Scaling Law的未来：终章还是新篇？

Inference ScalingLaw的实质究竟是什么

原标题：ScalingLaw终结了么?
文章来源：智猩猩GenAI
内容字数：4784字

2024中国生成式AI大会预告

根据大会预告，智猩猩共同主办的2024中国生成式AI大会（上海站）将于12月5-6日举办。此次大会将邀请20多位行业嘉宾参会并进行演讲，包括北大（临港）大模型对齐中心执行主任徐骅、腾讯优图实验室天衍研究中心负责人吴贤、银河通用机器人合伙人张直政等。欢迎大家报名参与。

AI模型进化的现状与挑战

近期《Information》报道指出，OpenAI的训练和模型进化速度减缓，GPT-5的推出面临困难。同时，AI行业内其他公司也在推迟新模型发布，显示出整个行业在推进新技术时所面临的共性挑战。尽管如此，AI社区对推理的Scaling Law仍保持乐观态度，认为其将继续存在并发挥作用。

Scaling Law的争论与反思

Ilya Sutskever和Yann LeCun等业内人士对此展开了争论，强调了Scaling Law的重要性。然而，随着模型的不断推陈出新，过度训练带来的量化难题也逐渐显现。Meta在Llama 3.1模型中提出的观点表明，虽然过量数据训练可以带来收益，但也可能导致模型在精度上的下降。

未来的发展方向与建议

在当前的技术背景下，AI模型的发展亟需从算法层面进行突破。高阶范畴视角下的Self-Prompt构建被认为是未来发展的关键方向。个人观点认为，国内模型大厂应将资源投入到Sparse AutoEncoder的研究中，开源数据以鼓励更多的参与者共同探索。这将有助于推动AI技术的进一步发展，避免在接近极限的道路上重复投资。

结论

综合来看，尽管AI行业正经历模型发布放缓的阶段，但对未来的信心依然存在。Scaling Law的研究与实践将继续是推动AI进步的重要方向。希望通过更高阶的范畴构建与算法创新，能够为AI领域带来新的突破。

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下矩阵账号之一，聚焦大模型开启的通用人工智能浪潮。