普林斯顿DeepMind用数学证明：LLM不是随机鹦鹉！「规模越大能力越强」有理论根据

AIGC动态欢迎阅读

原标题：普林斯顿DeepMind用数学证明：LLM不是随机鹦鹉！「规模越大能力越强」有理论根据
关键字：节点,技能,能力,模型,文本
文章来源：新智元
内容字数：7663字

内容摘要：

新智元报道编辑：拉燕
【新智元导读】普林斯顿大学和DeepMind的科学家用严谨的数学方法证明了大语言模型不是随机鹦鹉，规模越大能力一定越大。今天故事的主角是两位科学家，Sanjeev Arora和Anirudh Goyal。
Arora来自普林斯顿大学，而Goyal则来自谷歌DeepMind。
他们凑到一起，只想探究一个问题。
那就是，LLM，究竟是只会叽叽喳喳学舌的随机鹦鹉，还是真学会了什么，摇身一变成为了具有涌现能力的智能体？
AI先驱Hinton和吴恩达曾经也聊过这个问题，但彼时并没有得出什么明确的结论。
不过Hinton表示，在这个问题的回答上如果我们不能达成共识，那么在AI会产生多大危害这个问题上也不可能达成共识。
而Arora和Goyal的观点是，LLM并不是只会学舌的鹦鹉。具体来说，他们不认为LLM的输出内容只是从海量的训练数据中随机组合而来的。
两个人为此合写了一篇论文。
论文地址：https://arxiv.org/abs/2307.15936
真相则是，经过大量训练，LLM的规模变得越来越大，它们的相关能力会得到切实的提升，并开发出新的能力。
这可不是一般的排列

原文链接：普林斯顿DeepMind用数学证明：LLM不是随机鹦鹉！「规模越大能力越强」有理论根据

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。