Scaling Law或将终结？哈佛MIT预警：低精度量化已无路可走，重磅研究掀翻AI圈

AIGC动态欢迎阅读

原标题：Scaling Law或将终结？哈佛MIT预警：低精度量化已无路可走，重磅研究掀翻AI圈
关键字：精度,模型,权重,参数,研究人员
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：桃子 LRS
【新智元导读】哈佛斯坦福MIT等机构首次提出「精度感知」scaling law，揭示了精度、参数规模、数据量之间的统一关系。数据量增加，模型对量化精度要求随之提高，这预示着AI领域低精度加速的时代即将结束！就连「量化」也不管用，scaling law真的要终结了吗？
一提scaling law，人们重点关注的是参数规模、数据量等因素，却忽视了「精度」这一关键变量。
哈佛斯坦福MIT等机构研究人员竟发现，低精度训练会降低模型的「有效参数量」！
对此，他们提出了「精度感知（precision-aware）」scaling law。
论文地址：https://arxiv.org/pdf/2411.04330
对于推理过程来说，训练数据越多，量化带来的性能损失越大。
就训练来说，「精度感知」scaling law能够预测不同部分采用不同精度的模型的损失。在某些情况下，用低精度训练LLM可能更有效率。
论文中，作者统一了训练后和预训练量化的scaling law，建立了一个完整的理论框架。
这个单一函数形式可以预测在不同精度下进行训练和推理时的性能降级。
基于46

原文链接：Scaling Law或将终结？哈佛MIT预警：低精度量化已无路可走，重磅研究掀翻AI圈