o1方法性能无上限！姚班马腾宇等数学证明：推理token够多，就能解决任意问题

AIGC动态欢迎阅读

原标题：o1方法性能无上限！姚班马腾宇等数学证明：推理token够多，就能解决任意问题
关键字：电路,问题,模型,多项式,深度
文章来源：人工智能学家
内容字数：0字

内容摘要：

来源：量子位 | 公众号 QbitAI克雷西发自凹非寺OpenAI用o1开启推理算力Scaling Law，能走多远？
数学证明来了：没有上限。
斯隆奖得主马腾宇以及Google Brain推理团队创建者Denny Zhou联手证明，只要思维链足够长，Transformer就可以解决任何问题！
通过数学方法，他们证明了Transformer有能力模拟任意多项式大小的数字电路，论文已入选ICLR 2024。
用网友的话来说，CoT的集成缩小了Transformer与图灵机之间的差距，为Transformer实现图灵完备提供了可能。
这意味着，神经网络理论上可以高效解决复杂问题。
再说得直白些的话：Compute is all you need！
CoT让Transformer运行更高效首先需要说明的是，“可以解决任何问题”是一个通俗化的表述，严格来说，论文的核心结论是思维链（CoT）能够显著提升Transformer的表达能力。
作者首先通过理论分析，提出对于固定深度、多项式宽度、常数精度的Transformer模型，如果不使用CoT，其表达能力将受限于AC0问题类别。（AC0是一类

原文链接：o1方法性能无上限！姚班马腾宇等数学证明：推理token够多，就能解决任意问题