普林斯顿DeepMind用数学证明：LLM不是随机鹦鹉！「规模越大能力越强」有理论根据

AIGC动态欢迎阅读

原标题：普林斯顿DeepMind用数学证明：LLM不是随机鹦鹉！「规模越大能力越强」有理论根据
关键字：节点,技能,能力,模型,文本
文章来源：新智元
内容字数：7663字

内容摘要：

新智元报道编辑：拉燕
【新智元导读】普林斯顿大学和DeepMind的科学家用严谨的数学方法证明了大语言模型不是随机鹦鹉，规模越大能力一定越大。今天故事的主角是两位科学家，Sanjeev Arora和Anirudh Goyal。
Arora来自普林斯顿大学，而Goyal则来自谷歌DeepMind。
他们凑到一起，只想探究一个问题。
那就是，LLM，究竟是只会叽叽喳喳学舌的随机鹦鹉，还是真学会了什么，摇身一变成为了具有涌现能力的智能体？
AI先驱Hinton和吴恩达曾经也聊过这个问题，但彼时并没有得出什么明确的结论。
不过Hinton表示，在这个问题的回答上如果我们不能达成，那么在AI会产生多大危害这个问题上也不可能达成。
而Arora和Goyal的观点是，LLM并不是只会学舌的鹦鹉。具体来说，他们不认为LLM的输出内容只是从海量的训练数据中随机组合而来的。
两个人为此合写了一篇论文。
论文地址：https://arxiv.org/abs/2307.15936
则是，经过大量训练，LLM的规模变得越来越大，它们的相关能力会得到切实的提升，并开发出新的能力。
这可不是一般的排列

原文链接：普林斯顿DeepMind用数学证明：LLM不是随机鹦鹉！「规模越大能力越强」有理论根据