Scaling Law失效，LLM受益递减，OpenAI改变模型路线，AI社区炸锅了

AIGC动态欢迎阅读

原标题：Scaling Law失效，LLM受益递减，OpenAI改变模型路线，AI社区炸锅了
关键字：模型,表示,数据,人工智能,员工
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 分享来源 | 机器之心有研究预计，如果 LLM 保持现在的发展势头，预计在 2028 年左右，已有的数据储量将被全部利用完。届时，基于大数据的大模型的发展将可能放缓甚至陷入停滞。
来自论文 Will we run out of data? Limits of LLM scaling based on human-generated data但似乎我们不必等到 2028 年了。昨天，The Information 发布了一篇独家报道《随着 GPT 提升减速，OpenAI 改变策略》，其中给出了一些颇具争议的观点：
OpenAI 的下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升；
AI 产业界正将重心转向在初始训练后再对模型进行提升；
OpenAI 已成立一个基础团队来研究如何应对训练数据的匮乏。
文章发布后，热议不断。OpenAI 著名研究科学家 Noam Brown 直接表示了反对（虽然那篇文章中也引用了他的观点）。他表示 AI 的发展短期内并不会放缓。并且他前些天还在另一篇 X 推文中表示，对于 OpenAI CEO 山姆・奥特曼的 AGI 发展路径已经清

原文链接：Scaling Law失效，LLM受益递减，OpenAI改变模型路线，AI社区炸锅了

联系作者

文章来源：夕小瑶科技说
作者微信：
作者简介：