显存：清华与OpenBMB联合打造新算法，50个7B模型仅需80G显存，节省高达8倍！

实现接近无损的任务性能

原标题：80G显存塞50个7B大模型！清华&OpenBMB开源增量压缩新算法，显存节省8倍
文章来源：量子位
内容字数：4377字

Delta-CoMe：量子位最新模型增量压缩技术

Delta-CoMe是清华大学NLP实验室与OpenBMB开源社区、北京大学和上海财经大学合作提出的一项新技术，旨在通过参数增量（Delta）实现模型的高效压缩与部署。此技术能够使得一块80G的A100 GPU加载多达50个7B模型，显著节省显存并保持接近无损的模型性能。

1. 技术核心与创新

Delta-CoMe结合了低秩分解和低比特量化技术，利用Delta参数的低秩特性来进行压缩。这种混合精度压缩方法不仅提升了推理效率，还在复杂任务上保持了与未压缩模型相似的性能表现。与传统的微调方法相比，Delta-CoMe展现出更高的灵活性和适应性，尤其在多任务和多租户场景中极具应用价值。

2. 实验与性能评估

实验表明，使用Llama-2作为主干模型，Delta-CoMe在数学推理、代码生成和对话等多个任务中表现出几乎无损的性能。此外，该方法还在Mistral和Llama-3等其他开源模型上进行了验证，进一步确认了其有效性和优越性。通过采用Triton kernel进行优化，推理速度提升约3倍，使得大规模模型的部署成为可能。

3. Delta-CoMe与其他方法的比较

Delta-CoMe与Delta-Tuning、LoRA等传统方法相比，在相同存储开销下表现出更优的性能。Delta-Tuning是通过训练部分参数进行微调，而Delta-CoMe则是先进行全参数微调，再压缩增量。这一创新为资源受限的环境下的模型部署提供了新的思路。

4. 未来展望

Delta-CoMe不仅在压缩和推理速度上展现出巨大潜力，也有望推动大语言模型的普及和高效运作。随着技术的不断优化，未来可能会实现更广泛的实际应用，为多种场景下的智能化解决方案提供支持。

总之，Delta-CoMe作为一种新兴的模型压缩技术，展现了在资源利用、性能优化及应用灵活性方面的显著优势，将在未来的人工智能发展中发挥重要作用。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破