DeepSeek是否有国运级的创新？2万字解读与硬核分析DeepSeek V3/R1的架构

本文由浅入深分析和解读DeepSeek V3/R1的模型架构，适合投资人和行业人士了解新技术趋势

原标题：DeepSeek是否有国运级的创新？2万字解读与硬核分析DeepSeek V3/R1的架构
文章来源：智猩猩GenAI
内容字数：37411字

DeepSeek V3/R1架构深度分析与创新解读

本文深入分析了中存算董事长陈巍博士在“DeepSeek大解读”系列公开课中讲解的DeepSeek V3/R1模型架构，并对围绕DeepSeek的各种说法进行了技术层面的解读，澄清了部分误传。

1. V3/R1的主要特征

DeepSeek-V3和DeepSeek-R1均为6710亿参数的MoE（混合专家）模型。R1可视为具有推理能力的V3。两者关键特征包括：

1. MoE架构：采用细粒度专家+通才专家的思路，并结合无辅助损失的负载平衡策略，克服了传统MoE模型训练难题，显著提升训练效率。

2. MLA（多头潜注意力）：通过低秩键值联合压缩，显著减小KV缓存，提高计算效率。这是一种基于量化金融基因的创新，但并非颠覆性创新，未来仍有改进空间。

3. DeepSeekMoE：改进的MoE架构，通过细粒度专家和共享专家，提升模型性能和效率。

4. R1-Zero：仅使用强化学习训练，无需SFT，具备强大的推理能力，在推理方面甚至略超R1，但存在可读性和语言一致性问题。

5. R1：采用多阶段训练方法，结合SFT和强化学习，在保证推理能力的同时，提升了语言可读性和连贯性。

2. V3/R1架构提升

V3/R1的架构提升主要体现在MLA和MoE架构的改进上：

1. MLA：通过低秩近似对KV矩阵进行压缩，有效降低KV缓存大小，提升计算效率，并结合改进的RoPE实现长上下文能力。

2. MoE架构与无辅助损耗负载均衡：采用共享专家和路由专家，并通过无辅助损失的负载平衡策略，避免了传统MoE模型的“路由崩溃”问题，提高训练稳定性。

MoE并非大模型的终局，其应用场景与成本密切相关，在To C云计算场景中优势明显。

3. V3/R1训练架构的独特优势

DeepSeek的优势不仅在于模型架构，还在于其自研的HAI-LLM训练框架，该框架实现了软硬件协同优化：

1. FP8混合精度训练框架：首次在超大规模模型训练中验证了FP8的有效性，提升训练速度并降低显存使用。

2. DualPipe算法：高效的流水线并行算法，减少流水线气泡，提高信道使用效率，并通过计算-通信重叠隐藏通信开销。

3. 高效的跨节点All-to-All通信内核：充分利用InfiniBand和NVLink带宽，并优化显存使用，无需使用昂贵的张量并行。

DeepSeek的训练框架并非完全摆脱CUDA生态，而是利用PTX指令进行优化，提升效率。关于DeepSeek对英伟达的影响，应理性看待，其对英伟达的冲击并非决定性因素。

4. V3/R1的训练流程

V3的训练包含预训练、上下文长度扩展和后训练三个阶段，后训练包括SFT和强化学习。R1则在V3基础上，采用多阶段训练，包括冷启动SFT、面向推理的强化学习、拒绝采样SFT和面向全场景的强化学习与对齐。

R1-Zero采用无SFT的纯强化学习训练，展现出强大的推理能力，但需要解决可读性和语言一致性问题。R1则在R1-Zero基础上，通过SFT和强化学习，提升了模型的可读性和鲁棒性。

5. 模型蒸馏

DeepSeek通过模型蒸馏技术，将R1的推理能力迁移到更小的Dense模型，扩展其应用场景。

6. 结语

DeepSeek在算法架构和AI Infra方面都展现出领先优势，其成果值得肯定。但应理性看待其影响力，避免过度宣传。DeepSeek的成功也为国产AI芯片发展提供了启示，国产AI芯片应抓住机遇，发展新架构和技术，提升算力效率。

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下账号，专注于生成式人工智能，主要分享技术文章、论文成果与产品信息。