从o1-mini到DeepSeek-R1，万字长文带你读懂推理模型的历史与技术

理解推理模型以及它们与标准 LLM 的关系。

原标题：从o1-mini到DeepSeek-R1，万字长文带你读懂推理模型的历史与技术
文章来源：机器之心
内容字数：34031字

推理模型时代：从o1-mini到DeepSeek-R1及未来

本文概述了近年来推理模型的快速发展，从OpenAI的o1-mini到DeepSeek-R1，以及该领域出现的关键趋势和未来挑战。

1. 早期推理模型：o1和o1-mini

OpenAI的o1系列模型（包括o1-preview和o1-mini）标志着推理模型时代的开始。它们的主要特点是通过生成“长思维链”（有时称为推理轨迹）来解决问题，这与标准LLM直接生成答案的方式截然不同。长思维链允许模型分解问题、检测错误并探索替代方案，显著提升了LLM在数学和编程等可验证任务上的推理能力。o1-mini虽然比o1更小、更快、成本更低，但在编程任务上表现依然出色。

2. 当前最佳推理模型：o3和o3-mini

OpenAI的o3模型在多个基准测试中取得了令人瞩目的成绩，甚至在ARC-AGI基准测试中超过了人类水平。虽然完整的o3模型尚未公开发布，但其更小、更高效的版本o3-mini已经问世，并展现了与o1相当甚至更优的性能，同时具备更强的世界知识和效率。

3. 其他模型提供商

除了OpenAI，谷歌的Gemini 2.0 Flash Thinking和xAI的Grok-3也加入了推理模型的竞争，展现了该领域蓬勃发展的态势。Grok-3在某些基准测试中甚至超过了o3-mini。

4. 推理模型的基准

传统的基准测试（如GSM8K）已不足以评估最新的推理模型，新的基准如AIME 2024和GPQA被提出，这些基准包含更复杂、更具挑战性的问题，涵盖了数学、科学等多个领域。

5. 推理模型的基础

推理模型的训练通常涉及两个关键组件：基于可验证奖励的强化学习和推理时间扩展（通过生成更长的思维链或多个输出）。可验证奖励可以来自精确的字符串匹配（如数学问题）或测试用例（如编程问题），而强化学习则根据这些奖励来优化模型的推理策略。

6. 开放式推理模型：DeepSeek-R1

DeepSeek-R1是一个具有里程碑意义的开放式推理模型，它提供了完整的训练细节，揭开了构建强大推理模型的神秘面纱。DeepSeek-R1及其前身DeepSeek-R1-Zero都基于强大的基础模型DeepSeek-v3，并通过强化学习进行训练。DeepSeek-R1-Zero甚至完全放弃了监督微调（SFT），展现了推理能力可以从大规模强化学习中自然涌现的可能性。DeepSeek-R1则结合了SFT和强化学习，在保持强大推理能力的同时，提升了模型的对齐程度和可读性。

7. SFT的必要性

DeepSeek-R1的实验表明，虽然SFT并非完全必要，但它可以为强化学习提供更好的起点，提高训练效率和模型质量。对于推理模型，收集SFT数据比标准LLM更困难，因此需要更有效的数据收集和利用策略。

8. 蒸馏模型

知识蒸馏被证明是创建更高效的推理模型的有效方法。通过将DeepSeek-R1的能力蒸馏到更小的模型中，可以获得性能与R1相当但成本更低的推理模型。

9. 未来展望

推理模型领域正处于快速发展阶段，新的挑战和问题也随之而来，例如如何实现长思维链的安全训练、如何平衡通用任务能力和推理能力，以及如何更高效地托管推理模型等。推理模型的出现将重新定义LLM的研究范式，推动人工智能迈向新的高度。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台