OpenAI o1 技术初探1：整体框架，利用Test-Time Scaling Law提升逻辑推理能力

AIGC动态欢迎阅读

原标题：OpenAI o1 技术初探1：整体框架，利用Test-Time Scaling Law提升逻辑推理能力
关键字：模型,报告,解读,方法,数据
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

前段日子OpenAI推出的o1模型，以其提升显著的逻辑推理能力，引发了人们对它背后训练方法的热烈讨论。关于o1的介绍和输出结果demo，这里就不再赘述，大家可以去openai的官网上阅读（很短，读起来很快，因为秘密都藏好了）。我相信最近的一段时间里，当大家在网上探索o1是如何训练时，肯定会看到以下几个热点词：
Test/Inference-Time scaling law，通过增加推理阶段的算力提升模型的推理能力
Post Training，通过后训练提升模型的推理能力
PRM/ORM：基于过程/结果的奖励模型
CoT：思维链
强化学习、self-play（自我博弈）与MCTS（蒙特卡洛搜索树算法）
等等。
当这些词单个出现在我们面前时，我们似乎很难把他们串在一起。不仅如此，我们也不知道单个词背后的原理，比如“什么是test/inference-time scaling law”？什么叫把算力花在推理阶段？为什么把算力花在推理阶段就有更好的结果？它和post training又是什么关系？诸如此类，令人很难在脑海里想象出完整的流程图。
在我对o1的探索期间，我参考了这个github仓库

原文链接：OpenAI o1 技术初探1：整体框架，利用Test-Time Scaling Law提升逻辑推理能力