曝OpenAI新旗舰模型“难产”，或明年年初发布

AIGC动态欢迎阅读

原标题：曝OpenAI新旗舰模型“难产”，或明年年初发布
关键字：模型,数据,瓶颈,任务,布朗
文章来源：智东西
内容字数：0字

内容摘要：

GPT进展放缓，OpenAI撞上数据墙，努力寻找出路。
编译|汪越
编辑|Panken
智东西11月11日消息，据The Information报道，OpenAI的GPT系列模型改进速度放缓，公司正调整策略以应对这一挑战。据OpenAI员工透露，下一代旗舰模型Orion已完成约20%的训练。Orion在语言任务上表现出色，但在编码等方面未超越GPT-4，且运行成本偏高，提升幅度低于预期。此外，Orion在明年年初发布时，可能不会沿用传统的“GPT”命名规则，而是采用新的命名方式。
Orion的开发暴露了高质量文本数据短缺的问题。根据Scaling Law理论，模型性能应随数据量和算力的增加而提升。但高质量数据的有限性已使Orion的训练效果受限，令Scaling Law的适用性受到质疑。即便投入更多数据和算力，模型的提升速度也可能不再如前几代那样显著。
为此，OpenAI成立了一个专门团队，研究如何克服数据短缺的挑战，评估Scaling Law还能适用多久。01.
撞上数据墙，
Orion在某些方面神似旧模型
据OpenAI员工透露，GPT改进速度放缓的重要原因是高质量文本和其他数据的

原文链接：曝OpenAI新旗舰模型“难产”，或明年年初发布