突破极限：Meta与谷歌如何寻找超越Scaling Law的新路径

Scaling Law没错，但是现阶段不能再这样用了

原标题：Ilya承认Scaling Law到头了，Meta和谷歌寻找替代o1的方法
文章来源：大数据文摘
内容字数：5054字

OpenAI的新模型：从GPT-5到o1的转变

近期，全球科技界的目光聚焦于OpenAI即将推出的下一代模型，究竟是o2还是GPT-5？这一问题在11月份便已引起讨论。OpenAI的CEO Altman提到，下一代技术不会是GPT的简单迭代，而是探索新的训练范式。

Scaling Law的局限性

GPT系列模型依赖于Scaling Law推动性能提升，但这种依赖逐渐显现出局限性。随着技术进步，模型性能的优化和改进速度放缓。OpenAI的前合伙人Ilya指出，Scaling Law已达到极限，全球可用于训练的数据几乎被全部使用，单纯增加数据和算力已无助于进一步提升性能。

新训练范式的探索

在这种背景下，OpenAI推出的o1模型代表了一种全新的训练范式，探索超越传统GPT架构的新途径。该模型可能与推理能力更紧密结合，未来有可能被重新命名为o2。

测试时计算策略

OpenAI的新策略是测试时计算，通过在推理过程中增加计算资源，使模型能够实时生成和评估多个选项。这种方法在处理复杂任务时能够进行更深入的思考与分析，提升模型性能并降低对资源的依赖。

其他科技公司的创新尝试

同时，Meta和Google等科技巨头也在寻找替代Scaling Law的方法。Meta提出的“思维偏好优化”（TPO）技术，旨在让模型在执行任务前进行“思考”；而Google的链式推理（CoT）方法则通过增加推理时的计算量，提升模型在复杂问题上的表现。

结论

AI的发展验证了Scaling Law的有效性，但也引发了关于其局限性的争议。未来的Scaling Law或许需要与算法创新相结合，探索模型压缩、少样本学习等新技术，以实现算力与算法的最佳配合。

联系作者

文章来源：大数据文摘
作者微信：
作者简介：普及数据思维，传播数据文化