技术上，如何复现 o1?

AIGC动态欢迎阅读

原标题：技术上，如何复现 o1?
关键字：侵权,知乎,模型,数据,递归
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

开讲预约导读文章转载自知乎，作者为旷视科技主任研究员周舒畅博士。
本文是作者在9月15日总结的关于复现 o1的相关技术点，并在9月18日再次更新，对”技术上，如何复现 o1?”进行了续写。
原文地址：https://zhuanlan.zhihu.com/p/720127190
原文地址：https://zhuanlan.zhihu.com/p/720649745
本文只做学术/技术分享，如有侵权，联系删文。9.15 更新
不提基本的资源条件，只猜一下一些技术点。
01基础模型搞 o1 首先需要一个基模，这个基模必须是
能进行“长”生成。注意这个和“长 context“不是一回事。模型生成的结果，经常有会引发自激的噪声存在，或分布逐渐变的非常 sharp，从而导致模型生成内容的后半段质量下降。比如写小说时会“烂尾”用大团圆草草收场。在多模生成模型上也很容易观察到这一现象，表现为生成的音频和视频在结尾处要么糊掉要么变成静音静止。
有较强的抗噪能力。目前看这一点刚需大模型，比如万亿的 step2 就是比千亿的 step1 好。小模型容易被 context 里的一点点错误带偏。考虑到 CoT

原文链接：技术上，如何复现 o1?