“Scaling Law的复活：预训练时代的未来之路”

这届NeurIPS将被铭记成预训练终结的一届会议

原标题：OpenAI附议Ilya预训练终结！“但Scaling Law还没死”
文章来源：量子位
内容字数：3115字

Scaling Law的再探讨

在最近的NeurIPS会议上，OpenAI的Noam Brown发表了关于Scaling Law的重要演讲，引发了对AI预训练和推理计算的热烈讨论。许多专家认为，这次会议标志着预训练时代的终结，同时Scaling Law依然具有活力。

1. Scaling Law的演变

Noam Brown回顾了自2019年以来AI的发展历程，从GPT-2到GPT-4的巨大进步主要得益于数据和算力规模的扩大。然而，Brown指出，即使是在这个过程中，大语言模型在解决简单问题（如井字棋）时依然面临挑战，这引发了一个重要问题：我们是否还需要继续增加训练成本来提升AI性能？

2. 推理计算的重要性

Brown强调，推理的成本在过去的Scaling中被低估。他提到o1引入了Scaling的全新视角，指出在某些情况下，增加模型的推理时间能显著提升其效能。例如，在扑克游戏中，增加模型的搜索时间可以带来相当于扩大模型规模的显著效果。

3. 推理与大模型的关系

他进一步引用了Andy L. Jones的研究，表明在游戏领域，增加测试时间的计算量能够有效提升模型的表现。Brown提出，如果将这一原则应用到大语言模型上，未来可能会实现更强的推理计算能力。

4. 业界反响与不同观点

对于Brown的观点，业内人士表示推理时间计算并非新鲜事物，许多游戏最初就注重推理时间，但随着研究的发展，大家更多地转向了离线学习策略，从而减少了在线计算时间。这种趋势在大语言模型中也同样存在，导致了对推理时间的关注减弱。

5. 未来的方向与挑战

Ilya在会上也提到，现有的AI系统尚未真正理解和进行推理，未来的AI将可能在推理和决策方面表现出更强的能力。然而，Brown的演讲让与会者对Scaling Law在大模型中的应用前景充满期待。

结语

此次NeurIPS会议不仅是对Scaling Law的重新审视，也为AI的未来发展提供了新的思路。随着推理计算的进一步探索，我们有望看到更高效、更智能的AI系统的诞生。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破