“Scaling Law的未来：在预训练终结后如何重塑AI发展！”

这届NeurIPS将被铭记成预训练终结的一届会议

原标题：OpenAI附议Ilya预训练终结！“但Scaling Law还没死”
文章来源：量子位
内容字数：3115字

Scaling Law的未来探讨

在最近的NeurIPS会议上，OpenAI的Noam Brown分享了对Scaling Law的深刻见解，讨论了AI预训练的未来和推理计算的重要性。这场演讲引发了关于AI发展方向的热烈讨论，尤其是在预训练即将终结的背景下，Scaling Law是否仍然适用的问题。

1. Scaling Law的演变

Noam Brown回顾了自2019年以来，AI域从GPT-2到GPT-4的巨大进步，这些成就主要得益于数据和算力的规模扩大。然而，他指出，尽管大语言模型在许多方面表现出色，但在解决简单问题上仍存在不足，例如井字棋。这引发了一个关键问题：我们是否仍需继续投入更多资源训练更大的AI？

2. 推理计算的重要性

Brown调，推理计算的成本在过去的Scaling中被低估。他提到，在扑克模型的扩展中，虽然模型规模每年扩大五倍，但效果却不明显。相反，增加推理时间可以显著提高模型表现，20秒的搜索时间相当于将模型规模扩大100000倍。此外，他还提到AlphaGo Zero的成功，证明了推理时间的重要性。

3. 对未来的展望

Brown预见o1将在推理计算能力方面取得更高的成就，认为未来的AI将能在多步推理和自我博弈中展现出更的能力。他的团队正致力于多智能体AI的研究，并积极招募人才。

4. 业内争议与观点

尽管Brown的观点引起了广泛关注，但也有业内人士对此提出异议。他们认为，推理时间计算并不鲜，许多游戏的早期发展也曾专注于此。此外，他们指出，过于调预训练可能导致推理计算成本被忽视，从而影响用户体验。

5. 结语

这场关于Scaling Law的讨论不仅揭示了当前AI研究的复杂性，也为未来的发展指明了方向。虽然预训练时代可能接近尾声，但推理计算的潜力仍待进一步探讨。科学家们的持续探索将为AI的未来带来更多可能性。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能趋势，关注科技行业突破