Scaling Law撞墙，AI圈炸锅了！OpenAI旗舰Orion被曝遭遇瓶颈，大改技术路线

AIGC动态欢迎阅读

原标题：Scaling Law撞墙，AI圈炸锅了！OpenAI旗舰Orion被曝遭遇瓶颈，大改技术路线
关键字：报告,模型,知识产权,人工智能,数据
文章来源：人工智能学家
内容字数：0字

内容摘要：

来源：机器学习研究组订阅
怎么回事，大模型Scaling Law也撞墙了？
几天前，Sam Altman在YC独家专访中大胆预言，2025年AGI降临，并期待在同年要一个孩子。没想到，The Information紧接着的一份独家爆料，直接打脸Altman：
GPT系列模型改进缓慢，OpenAI正在转变策略，另谋出路。
据称，下一代旗舰模型Orion并不像前代实现巨大的飞跃，虽然性能会超越OpenAI现有模型，但相较于从GPT-3到GPT-4的迭代，改进幅度要小得多。
不仅如此，这种提升也基本局限在了语言能力上——Orion的代码能力甚至不如旧模型，但成本却更高。
这篇文章直击OpenAI痛点，提出Scaling Law逐渐放缓，原因之一是高质量文本数据越来越少。
为此，OpenAI成立专门的基础团队，去研究如何解决训练数据匮乏问题改进模型，以及Scaling Law还能适用多久。
一时间，全网掀起了热议——对LLM能否通向AGI的质疑声此起彼伏。
向来都在唱衰的NYU教授马库斯，更是直接单方面宣布「胜利」：游戏结束，我赢了！
马库斯：我早就说过，GPT正在陷入收益递减阶段
为了扭转这

原文链接：Scaling Law撞墙，AI圈炸锅了！OpenAI旗舰Orion被曝遭遇瓶颈，大改技术路线