AIGC动态欢迎阅读
原标题:OpenAI o1 技术初探1:整体框架,利用Test-Time Scaling Law提升逻辑推理能力
关键字:模型,报告,解读,方法,数据
文章来源:智猩猩GenAI
内容字数:0字
内容摘要:
前段日子OpenAI推出的o1模型,以其提升显著的逻辑推理能力,引发了人们对它背后训练方法的热烈讨论。关于o1的介绍和输出结果demo,这里就不再赘述,大家可以去openai的官网上阅读(很短,读起来很快,因为秘密都藏好了)。我相信最近的一段时间里,当大家在网上探索o1是如何训练时,肯定会看到以下几个热点词:
Test/Inference-Time scaling law,通过增加推理阶段的算力提升模型的推理能力
Post Training,通过后训练提升模型的推理能力
PRM/ORM:基于过程/结果的奖励模型
CoT:思维链
强化学习、self-play(自我博弈)与MCTS(蒙特卡洛搜索树算法)
等等。
当这些词单个出现在我们面前时,我们似乎很难把他们串在一起。不仅如此,我们也不知道单个词背后的原理,比如“什么是test/inference-time scaling law”?什么叫把算力花在推理阶段?为什么把算力花在推理阶段就有更好的结果?它和post training又是什么关系?诸如此类,令人很难在脑海里想象出完整的流程图。
在我对o1的探索期间,我参考了这个github仓库
原文链接:OpenAI o1 技术初探1:整体框架,利用Test-Time Scaling Law提升逻辑推理能力
联系作者
文章来源:智猩猩GenAI
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...