梁文锋、杨植麟同一天文“秀肌肉”，主题居然撞上了！下一代模型要来了？

DeepSeek和月之暗面，有点像，又不太一样。

梁文锋、杨植麟同一天发论文“秀肌肉”，主题居然撞上了！下一代模型要来了？

原标题：梁文锋、杨植麟同一天文“秀肌肉”，主题居然撞上了！下一代模型要来了？
文章来源：AI前线
内容字数：8151字

DeepSeek和月之暗面：长文本处理技术的巅峰对决

近日，DeepSeek和月之暗面(Moonshot AI)两家公司几乎同时发布了关于改进Transformer架构注意力机制的研究成果，引发业界广泛关注。两篇论文都致力于提升AI处理长文本的能力并降低计算成本，展现了行业对高效处理长文本的迫切需求，以及技术创新竞争的白热化。

1. Transformer架构的瓶颈：长文本处理难题

Transformer架构自2017年提出以来，极大地推动了AI发展。然而，其注意力机制的计算复杂度与输入序列长度的平方成正比(O(n²))，导致处理长文本(超过1万个token)时计算成本和内存占用急剧增加，成为限制模型进一步发展的瓶颈。

2. DeepSeek的NSA：原生可训练的稀疏注意力机制

DeepSeek提出的原生可训练稀疏注意力机制NSA(Natively Trainable Sparse Attention)，通过动态分层稀疏策略，结合粗粒度token压缩和细粒度token选择，高效建模长上下文。NSA的核心在于减少不必要的计算，在保持模型性能的同时显著提升速度。其算法优化针对现代硬件进行优化，并支持端到端训练，避免额外计算步骤。实验表明，NSA在多个长文本任务中表现优异，在处理64k长度序列时，解码、前向传播和后向传播分别实现了2.5倍、3.1倍和2.8倍的加速。

3. 月之暗面的MoBA：混合块注意力架构

月之暗面提出的混合块注意力架构MoBA(Mixture of Block Attention)，同样致力于解决长文本处理的计算瓶颈。MoBA的核心思想是让模型自主决定关注哪些部分，而不是人为规定，借鉴了“专家混合(MoE)”的思想。MoBA能够灵活切换全注意力和稀疏注意力，在保持模型性能的同时显著降低计算量。该技术已应用于其AI助手Kimi，使其能够高效处理长文本请求。

4. 两家公司技术路线的相似性与差异

DeepSeek和月之暗面两家公司在技术路线上的相似性体现在都采用了稀疏注意力机制来解决长文本处理问题，但具体实现方法有所不同。DeepSeek的NSA更注重算法优化和硬件适配，而MoBA则更强调模型的灵活性和自适应性。

5. 思维链学习的碰撞：R1与K1.5的较量

这并非两家公司第一次在核心思想上“撞车”。此前，DeepSeek的R1和月之暗面的K1.5都采用了强化学习(RL)和思维链学习(COT)来提升AI推理能力。K1.5在技术细节方面更为深入，但由于DeepSeek的R1更受关注，K1.5的成果未得到充分的讨论。OpenAI在其论文中也提及了R1和K1.5，认可了这两个模型在推理能力方面的成就。