何宝宏：大语言模型上半场已进入“垃圾时间”

原标题：何宝宏：大语言模型上半场已进入“垃圾时间”
文章来源：人工智能学家
内容字数：11248字

大模型发展进入下半场：从规模到性价比的转变

本文总结了中国通信院云计算与大数据研究所所长何宝宏在第十九届中国IDC产业年度大典上关于大模型发展趋势的观点。他认为，大模型发展已进入下半场，上半场的“规模竞赛”已进入“垃圾时间”，未来将转向“性价比”的竞争。

1. 上半场“垃圾时间”：Scaling Law减速

何宝宏指出，过去一年大模型训练效果普遍不及预期，主要原因是大模型的Scaling Law（规模法则）开始减速甚至失效。他强调，Scaling Law并非大模型独有，所有系统都会面临规模增长放缓的局面。Scaling Law的减速意味着通往AGI的道路可能更加漫长。

2. 战略调整：从训练转向推理和多模态

面对Scaling Law的减速，各大机构纷纷调整策略。一个方向是从训练转向推理，即从连接主义转向符号主义，寻求两者融合；另一个方向是从大语言模型转向多模态模型，例如开发更多应用、视觉模型和分布式大模型。然而，这些方向仍面临诸多挑战。

3. 开源崛起与工程化需求

开源模型的快速发展降低了大模型的准入门槛，开源模型的能力已接近GPT-3.5的80%，但成本仅为其1/20。未来大模型竞争将更加注重工程化，提升模型的可解释性、透明度、长期推理能力、安全性和可靠性，并实现模型压缩、轻量化和组件化。

4. “数据墙”与“死亡互联网理论”

何宝宏认为，大模型正面临“数据墙”的挑战，预训练时代可能终结。他并不认同通过视频数据、私域数据或AI合成数据来解决数据匮乏问题的观点，并提出了“死亡互联网理论”：AI生成的数据快速增长，而人类生产的高质量数据却在减少，这可能导致模型崩溃。

5. 下半场展望：Agent时代与智算基础设施重构

何宝宏预测，2025年Agent将成为焦点。Agent是目标导向的，这与大模型的知识压缩属性形成对比。Agent的出现也带来新的挑战，例如如何确保Agent的目标与人类目标一致。此外，下半场算力将更加注重边缘算力、混合算力以及智算基础设施的重构，这将是一个技术密集型、资金密集型、能耗密集型和人才密集型的过程。如果不加以控制，到2030年，全球20%的电力可能被人工智能数据中心消耗。

6. 人工智能“幻觉”的双面性

何宝宏认为，人工智能的“幻觉”并非完全负面，它可能是创意和创新的基础，尤其在文学、艺术和科技领域。

总而言之，大模型发展正经历从“拼性能”到“拼性价比”的转变，并面临着数据瓶颈、算力挑战以及Agent等新技术的冲击。未来大模型的发展需要在技术创新、资源利用和伦理安全等方面取得突破。

联系作者

文章来源：人工智能学家
作者微信：
作者简介：致力成为权威的人工智能科技媒体和前沿科技研究机构