天塌了，Scaling Law 已撞收益递减墙？OpenAI 在内，所有大模型都正遭遇巨大瓶颈

AIGC动态欢迎阅读

原标题：天塌了，Scaling Law 已撞收益递减墙？OpenAI 在内，所有大模型都正遭遇巨大瓶颈
关键字：元宇宙,模型,小米,数据,研究人员
文章来源：AI前线
内容字数：0字

内容摘要：

整理 | 华卫、核子可乐
近日，有外媒报道称，OpenAI 正在制定新策略，以应对人工智能大模型改进速度放缓的问题。消息一出，知名认知科学家、AI 研究员 Gary Marcus 立即表示，“正如我所说，GPT 正在进入收益递减的时期。”而近期，遭遇发展瓶颈的大模型似乎并不只有 GPT，所遇到的问题也远不仅于一个。OpenAI 在内，都撞到了同一堵墙
根据 The Information 的最新报道，OpenAI 的下一个旗舰模型可能不会像其“前辈”那样带来巨大的飞跃。测试代号为 Orion 的新模型的 OpenAI 员工发现，尽管它的性能超过了 OpenAI 的现有模型，并且只完成了 20% 的训练就达到了 GPT-4 的水平，但与从 GPT-3 到 GPT-4 的巨大飞跃相比，整体质量的提升要小得多。
换句话说，GPT 的升级速度似乎正在放缓。事实上，Orion 在某些领域（如编码）可能并不会比以前的模型更好。对于此前有关其旗舰车型计划的消息时，OpenAI 方面表示：“我们今年没有发布 Orion 模型的计划。
报道提到，GPT 开发速度放缓的部分原因是用于预训练的文本和数据供应

原文链接：天塌了，Scaling Law 已撞收益递减墙？OpenAI 在内，所有大模型都正遭遇巨大瓶颈