mHC

mHC – DeepSeek团队推出的新型神经网络架构

mHC，全称Manifold-Constrained Hyper-Connections，是由DeepSeek团队匠心独运推出的创新型神经网络架构设计范式。该方法旨在攻克传统超连接（Hyper-Connections，简称HC）架构在海量数据训练过程中时常显露出的稳定性短板。mHC巧妙地将HC架构中的残差连接空间映射至一个特定的流形之上，从而得以重塑残差连接的恒等映射特性，有力地规避了梯度或梯度消失等棘手难题。

mHC的独特之处

mHC（Manifold-Constrained Hyper-Connections）是DeepSeek团队孕育而生的一套新颖的神经网络架构构建策略。它精准地解决了传统超连接（Hyper-Connections，HC）架构在超大规模训练时所面临的稳定性挑战。mHC的核心在于，它将HC架构的残差连接所处的空间，巧妙地投影到一个精心挑选的流形上，以此恢复残差连接本应具备的恒等映射特性，从而有效杜绝了梯度或梯度消失的发生。mHC借助Sinkhorn-Knopp算法，将残差连接矩阵精准地投射到由双随机矩阵构成的流形空间内，这一操作确保了信号在网络中传输时，其均值始终保持不变，同时对信号的范数进行了严格的约束。此外，mHC还集成了诸如内核融合、选择性重计算以及通信重叠等高效的基础设施优化技术，以保障其在大规模模型中的卓越运行效率。一系列实验结果有力地证明，mHC在训练的稳定性、收敛的速度以及下游任务的性能表现上，均超越了基线模型和原始的HC架构。即便是在海量规模的训练场景下，其时间开销也仅有微小的增长。mHC作为一种普适性的框架，为深度学习架构的设计注入了新的活力，预示着下一代基础架构的革新浪潮。

mHC的核心职能

• 重塑恒等映射的精髓：通过将残差连接的潜在空间映射至一个特定的流形，mHC成功地恢复了残差连接固有的恒等映射能力。这极大地缓解了传统超连接架构在多层级扩展时出现的信号不稳定现象，显著提升了大规模训练的鲁棒性。
• 流形约束与信号的精密调控：mHC运用双随机矩阵构成的流形，精确地保证了信号在网络中流转时均值不发生偏移，并对信号的范数进行了严苛的规范。这一机制有效地遏制了梯度或消失的风险，大幅增强了信号传播的稳定性。
• 高效算力基础设施的革新：借助于内核融合、智能重计算以及通信异步等先进技术，mHC实现了在大规模模型上的高效运行。其引入的训练成本微乎其微，确保了在实际应用中的卓越性能与无缝扩展性。
• 模型性能的显著飞跃：实证数据显示，mHC在多项下游任务上的表现远超基线模型及传统超连接架构。尤其在BBH和DROP等复杂任务中，其优势尤为突出，显著提升了模型的推理能力和整体效能。
• 普适性与灵活性的拓展：mHC作为一种通用性极强的框架，能够适配各类模型规模。它为探索多样化的流形约束提供了广阔的舞台，有望引领下一代基础架构的迭代与演进。

mHC的技术奥秘

• 流形投影的神奇作用：mHC通过将残差连接矩阵精确投影到一个特定的流形空间（例如，由双随机矩阵构成的Birkhoff多面体）来约束连接矩阵的内在属性。这种投影机制不仅保证了信号在网络中传输的稳定性，同时又保留了信息交互的丰富性。
• 双随机矩阵的巧妙应用：双随机矩阵的独特性在于其行和与列和皆为1的特性。这使得信号在传播过程中，其均值得以维持不变，信号范数也受到严格控制，从而有效规避了梯度或消失的风险。
• Sinkhorn-Knopp算法的赋能：mHC巧妙地运用Sinkhorn-Knopp算法来实现对残差连接矩阵的流形投影。通过迭代地对矩阵的行和列进行归一化处理，该算法能够将任意非负矩阵转化为双随机矩阵，从而实现信号传播的平稳过渡。
• 恒等映射的重拾光辉：通过实施流形约束，mHC成功地恢复了残差连接的恒等映射特性。这确保了信号在多层网络中能够稳定地传播，解决了传统超连接架构因缺乏恒等映射而导致的训练不稳定性问题。
• 高效计算与精细优化：mHC集成了内核融合、混合精度计算以及选择性重计算等一系列先进技术，显著提升了计算效率，降低了内存访问的开销。这些优化使得该架构在大规模模型训练中展现出极高的效率和强大的可扩展性。
• 信号传播的坚实保障：mHC通过对残差连接矩阵施加约束，确保了信号在前向传播和反向传播过程中都能保持稳定。这极大地压缩了信号增益的极端值范围，从而提高了模型训练的稳定性和收敛速度。

mHC的探索入口

• arXiv技术论文：https://arxiv.org/pdf/2512.24880

mHC的应用疆域

• 海量语言模型的基石：mHC能够显著提升语言模型在超大规模数据集上的训练稳定性，非常适合于27B等巨型语言模型的预训练任务，能够大幅度改善模型的收敛速度和整体性能。
• 多任务学习与智能推理的利器：在涉及多种下游任务（如BBH、DROP、GSM8K等）的场景中，mHC通过强化模型的推理能力和稳定性，帮助模型在复杂任务中取得更优异的成绩，提升多任务学习的效能。
• 高效分布式训练的先锋：mHC整合了内核融合和通信重叠等优化的基础设施设计，特别适用于分布式训练环境。尤其是在大规模集群中，能够显著降低训练成本，提高训练效率。
• 下一代架构创新的驱动力：mHC作为一个通用框架，为探索新型神经网络架构提供了坚实的基础。它支持研究人员在不同的流形约束和优化策略下进行大胆创新，有力地推动下一代基础架构的演进。
• 资源受限环境下的可行之选：鉴于mHC在保持卓越性能的同时，其引入的计算开销微乎其微，它非常适用于资源相对有限的环境，例如移动设备或边缘计算场景。在这些场景下，mHC能够以有限的计算资源实现高效的模型部署。
• 学术研究与理论深耕的沃土：mHC为深入研究深度学习中的信号传播机制和架构设计提供了全新的视角。它非常适合于学术界在神经网络拓扑结构和优化策略方面的深入探索。