Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI

AIGC动态欢迎阅读

原标题：Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI
关键字：模型,时间,更多,数据,性能
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：Aeneas 好困
【新智元导读】Ilya终于承认，自己关于Scaling的说法错了！现在训练模型已经不是「越大越好」，而是找出Scaling的对象究竟应该是什么。他自曝，SSI在用全新方法扩展预训练。而各方巨头改变训练范式后，英伟达GPU的垄断地位或许也要打破了。昨天，The Information爆料，传统的大模型Scaling Law已经撞墙，OpenAI下一代旗舰Orion遭遇瓶颈。
就在刚刚，路透社也发文表示，由于当前方法受到限制，OpenAI和其他公司正在寻求通向更智能AI的新途径。
有趣的是，昨天拱火的The Information，今天又急忙发出一篇文章来灭火。
他们强调，昨天的文章只是在说改进大模型必须找到新方法，并不是说Scaling Law已经终结。
但一个不争的事实就是：硅谷几大主要AI实验室正在陷入困境。训练这些大规模的LLM动辄需要花费数千美元，但复杂系统还经常崩溃。往往需要数月时间，才知道模型能否按预期工作。
比起GPT-4o，Orion几乎没有任何改进；谷歌的Gemini 2.0，被曝也存在同样问题；Anthropic据传也已暂停Opu

原文链接：Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI

联系作者

文章来源：新智元
作者微信：
作者简介：