预训练时代的终结：AI未来发展的新趋势与Scaling Law的命运探讨

本期通讯 25018 字，可免费试读至 9%。

原标题：预训练将结束？AI的下一步发展有何论调？Scaling Law 撞墙与否还重要吗？
文章来源：机器之心
内容字数：4975字

预训练将结束？AI的下一步发展有何论调？

本周五，Ilya Sutskever在NeurIPS会议上提出“预训练将结束，数据压榨到头了”的观点，引发了关于AI未来发展方向的广泛讨论。Scaling Law是否“撞墙”的争论持续发酵，各方意见不一。以下是对这一话题的深入解析。

1. Scaling Law的争论

关于Scaling Law是否达到了瓶颈的讨论日益频繁。许多人认为，单纯依靠数据和参数的规模堆叠无法再显著提升模型性能。Gary Marcus在其文章中指出，Scaling Law的收益已开始递减，未来需要新的方法和思路。

2. 数据枯竭的担忧

Sutskever在其演讲中强调了数据资源的有限性，认为现有的预训练方法将会遭遇重大挑战。他预测，未来的模型将展现出更高的自主性和推理能力，并可能会超越当前的预训练模式，探索新的学习算法和数据处理技术。

3. 密度定律的提出

清华大学的研究团队提出了Capability Density（能力密度）这一指标，关注模型的有效参数量与实际参数量的比值，提供了一种新的评估方法。研究表明，随着时间推移，LLM的能力密度呈指数增长，这将推动智能模型在消费市场的普及。

4. 新的Scaling目标探索

近期的研究集中在“Scaling What”的新视角上。一些研究者尝试将Scaling的重点从预训练转移到推理阶段，探索“测试时计算”和“测试时训练”等新方法。此外，还有研究关注高维数据和知识的利用，以推动AI的进一步发展。

总结

关于AI未来发展的讨论仍在进行中，Scaling Law的争议以及数据的有效利用将是关键因素。随着研究的深入，新的方法和思路将不断涌现，推动AI技术的进步。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台