微软、国科大开启1Bit时代：大模型转三进制，速度快4倍能耗降至1/41

AIGC动态欢迎阅读

原标题：微软、国科大开启1Bit时代：大模型转三进制，速度快4倍能耗降至1/41
关键字：模型,报告,内存,性能,基线
文章来源：机器之心
内容字数：6222字

内容摘要：

机器之心报道
机器之心编辑部性的提升来了。把大模型的权重统统改成三元表示，速度和效率的提升让人害怕。
今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。如果该论文的方法可以广泛使用，这可能是生成式 AI 的新时代。
对此，已经有人在畅想 1-bit 大模型的适用场景，看起来很适合物联网，这在以前是不可想象的。人们还发现，这个提升速度不是线性的 —— 而是，模型越大，这么做带来的提升就越大。还有这种好事？看起来英伟达要掂量掂量了。
近年来，大语言模型（LLM）的参数规模和能力快速增长，既在广泛的自然语言处理任务中表现出了卓越的性能，也为部署带来了挑战，并引发人们担忧高能耗会对环境和经济造成影响。
因此，使用后训练（post-training）量化技术来创建低 bit 推理模型成为上述问题的解决方案。这类技术可以降低权重和激活函数的精度，显著降低 LLM 的内存和计算需求。目前的发展趋势是从 16 bits 转向更低的 bit，比如 4 bits。然而，虽然这类量化技术在 LLM 中广泛使用，

原文链接：微软、国科大开启1Bit时代：大模型转三进制，速度快4倍能耗降至1/41