突破极限：Scaling Law如何重塑人工智能的未来

来自当年百度硅谷人工智能实验室 (SVAIL) 系统团队

原标题：Scaling Law百度最早提出？！OpenAI/Claude都受它启发，Ilya出现在致谢名单中
文章来源：量子位
内容字数：4717字

Scaling Law的起源与发展

近年来，深度学习的发展引起了广泛关注，其中“Scaling Law”这一概念尤为重要。令人意外的是，Scaling Law的早期研究并非源于OpenAI，而是来自于2017年由百度硅谷人工智能实验室（SVAIL）主导的研究。该研究由吴恩达主持，探讨了训练集大小、计算规模与模型精度之间的关系。

研究的主要发现

百度的研究通过大规模的实证研究揭示了深度学习中的一些规律，包括：

1. 泛化误差与训练集大小之间呈现幂律关系，训练集增大时，泛化误差以一定的幂次下降。
2. 模型大小与数据大小之间存在Scaling关系，模型大小增长速度通常慢于数据大小。

该团队针对机器翻译、语言建模、图像分类和语音识别等多个领域进行了测试，发现不同领域的学习曲线和模型规模表现出相似的规律。

具体领域的研究成果

在机器翻译领域，随着训练集规模的增大，优化难度增加，模型可能出现容量不足的问题。在语言建模方面，最佳拟合模型随训练分片大小的增长表现出次线性增长。而在图像分类中，同样观察到了幂律学习曲线，准确率在小规模训练集上趋于平稳。语音识别领域则显示出模型准确率与数据量之间的复杂关系。

对未来的影响

这些发现对深度学习的研究和实践具有重要意义。它们不仅能帮助研究者优化模型，还能指导数据集的增长决策和计算系统的设计。研究团队的成果强调了持续计算扩展的重要性，为后续的研究奠定了基础。

总结与反思

这一“冷知识”再次引发了人们对Scaling Law起源的关注，很多研究者纷纷重温这篇被低估的论文。值得注意的是，许多当年参与研究的学者如今已在各大机构继续从事大模型相关研究，推动了深度学习领域的进一步发展。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破