百度研究院：Scaling Law的突破性发现，颠覆AI发展新局面！

原标题：是百度太低调了吗？网传Scaling Law开山之作来自百度研究院
文章来源：夕小瑶科技说
内容字数：5161字

1. 引言

最近，Anthropic的CEO Dario Amodei在采访中提到，Scaling Law的概念最早在2014年于百度被发现，这一消息引发了广泛关注。Scaling Law，或称为“扩展法则”，指的是随着模型规模和训练数据的增加，模型性能显著提升的现象。

2. Scaling Law的起源

根据Amodei的说法，2014年他与吴恩达在百度工作时观察到了这一规律。虽然OpenAI于2020年发表了相关论文，使得Scaling Law广为人知，但实际上，早在2017年，百度的研究就已揭示了深度学习模型的泛化误差与模型大小和训练集规模之间的可预测关系。

3. 百度2017年论文的贡献

百度的论文《Deep Learning Scaling Is Predictable,Empirically》通过大规模实证研究，探讨了四个机器学习领域中模型性能与数据集规模的关系。研究表明，随着训练数据的增加，泛化误差和模型大小呈现幂律缩放关系。尽管模型改进会改变幂律截距，但幂律指数保持不变。这项研究为后来的Scaling Law奠定了基础。

4. 研究方法与实验

研究团队选取了不同规模的数据集，并对模型进行超参数调整，以观察性能变化。他们发现，当训练集足够大时，模型性能会趋近于理论上的不可约误差。这一发现为理解深度学习中的Scaling Law提供了重要的实证支持。

5. 百度的AI发展历程

回顾百度在AI领域的发展，李彦宏曾试图引进图灵奖得主Geoffrey Hinton的团队，但未能成功。随后，他带领百度成立了硅谷人工智能实验室，招募了吴恩达等多位AI领域的知名专家，推动了百度在AI研究上的进展。

6. 结论

尽管百度在Scaling Law研究上的贡献被忽视，但其早期的研究成果为深度学习的发展提供了重要的理论基础。随着这一领域的不断深入，人们对Scaling Law的理解将更加全面，百度的努力也将得到应有的认可。

联系作者

文章来源：夕小瑶科技说
作者微信：
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189