连OpenAI都推不动Scaling Law了？MIT把「测试时训练」系统研究了一遍，发现还有路

AIGC动态欢迎阅读

原标题：连OpenAI都推不动Scaling Law了？MIT把「测试时训练」系统研究了一遍，发现还有路
关键字：模型,任务,测试,研究者,方法
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部昨天，The Information 的一篇文章让 AI 社区炸了锅。
这篇文章透露，OpenAI 下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升，因为高质量文本和其他数据的供应量正在减少，原本的 Scaling Law（用更多的数据训练更大的模型）可能无以为继。此外，OpenAI 研究者 Noam Brown 指出，更先进的模型可能在经济上也不具有可行性，因为花费数千亿甚至数万亿美元训练出的模型会很难盈利。
这篇文章引发了业界对于未来 AI 迭代方向的讨论 —— 虽然 Scaling Law 放缓这一说法令人担忧，但其中也不乏乐观的声音。有人认为，虽然从预训练来看，Scaling Law 可能会放缓；但有关推理的 Scaling Law 还未被充分挖掘，OpenAI o1 的发布就证明了这一点。它从后训练阶段入手，借助强化学习、原生的思维链和更长的推理时间，把大模型的能力又往前推了一步。这种范式被称为「测试时计算」，相关方法包括思维链提示、多数投票采样（self-consistency）、代码执行和搜索等。其实，除了测试时计算，还有另外一个近

原文链接：连OpenAI都推不动Scaling Law了？MIT把「测试时训练」系统研究了一遍，发现还有路