从 Kimi K0-Math 到 DeepSeek R1 Lite：探索 OpenAI O1 模型的奇幻旅程

热点讨论：OpenAI O1 类模型的复现~

原标题：探索 OpenAI O1 模型复现：从 Kimi K0-Math 到 DeepSeek R1 Lite
文章来源：智猩猩GenAI
内容字数：2918字

2024中国生成式AI大会（上海站）预告

根据大会预告，2024中国生成式AI大会（上海站）将于12月5日至6日举行。此次大会由智猩猩共同主办，预计将吸引30多位行业嘉宾参与演讲，包括北大（临港）大模型对齐中心执行主任徐骅、腾讯优图实验室天衍研究中心负责人吴贤等。大会欢迎各界人士报名参加，具体信息可通过知乎账号初七123334查询。

O1类模型复现的技术讨论

近期，随着Kimi K0-Math和DeepSeek R1 Lite模型的发布，O1类模型的复现成为技术讨论的焦点。笔者发起的开源项目“Awesome-LLM-Strawberry”专注于收集O1模型复现方案及相关论文、博客与项目，目前已获得5000多颗星标。该项目旨在为研究者提供一个资源库，促进O1模型的进一步探讨与复现。

O1模型的训练与推理阶段

在O1模型的训练阶段，潜在的复现策略可分为三个阶段：

1. 阶段0：Continue pretrain – 通过大量的Cot、代码和数学类数据提升基础推理能力。
2. 阶段1：SFT训练 – 学习超长Chain-of-Thought（CoT）生成和反思等指令格式，为后续训练打下基础。
3. 阶段2：基于强化学习的CoT推理/反思能力强化 – 包括大规模RLHF与高质量数学代码类数据结合的方案。

在推理阶段，O1类模型可能采取的实现方式包括：

1. 方案1：超长CoT + 加反思的思维链 – 实现简单，适合流式推理，如DeepSeek R1 Lite模型展现的推理能力。
2. 方案2：MCTS – 虽然推理效果上限可能更高，但实现复杂，计算效率较低。

总结与展望

总体来看，O1模型复现的探索仍在持续中，Kimi K0-Math与DeepSeek R1 Lite的出现为社区提供了宝贵的经验与参考。无论是在训练阶段的创新数据处理方法，还是推理阶段的多样化策略，每种方案都展现了独特的优势与挑战。期待未来能有更多优秀的开源模型推动这一领域的创新与发展。

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下矩阵账号之一，聚焦大模型开启的通用人工智能浪潮。