关于 MoE 大模型负载均衡策略演进的回顾：坑点与经验教训

带着大家依次走过几个标志性的MoE系统，从GShard到DeepSeek-V3。

原标题：关于 MoE 大模型负载均衡策略演进的回顾：坑点与经验教训
文章来源：智猩猩GenAI
内容字数：16063字

从GShard到DeepSeek-V3：稀疏MoE模型的负载均衡演进

本文解读了从GShard到DeepSeek-V3一系列稀疏MoE（Mixture of Experts）模型的演进历程，重点关注负载均衡问题的解决方法及其挑战。MoE架构通过激活少量专家来处理每个token，从而在保持高精度的同时，高效训练拥有数十亿甚至数万亿参数的模型。然而，如何保证专家负载均衡成为MoE大规模应用的关键难题。

1. 为什么要使用稀疏专家MoE？

MoE架构的核心思路是：对每个token，只激活少量专家参与计算，而不是所有参数都参与，从而在不显著增加计算开销（FLOPs）的前提下，大幅提升模型参数量。但如何平衡专家负载，避免某些专家过载而另一些专家闲置，是MoE面临的挑战。

2. 历史脉络：关键模型及改进

文章回顾了几个标志性MoE系统，分析它们在负载均衡上的改进和遇到的问题：

1. GShard： 首个大规模MoE框架，采用top-2 gating和辅助损失来平衡负载，但存在token丢弃和计算开销大的问题。
2. Switch Transformer： 采用更简单的top-1 gating，速度更快，但需要精细调参capacity factor来避免过载。
3. GLaM： 回归top-2 gating，注重能效，但仍需解决数据分布不均导致的负载不均衡问题。
4. DeepSpeed-MoE： 通过多专家并多数据并行，动态重分配超容量token，并提出Residual-MoE结构，提升负载均衡水平。
5. ST-MoE： 提升了路由稳定性和可迁移性，引入了router z-loss来缓解数值不稳定问题。
6. Mixtral 8x7B： 利用时间局部性和专门的稀疏Kernel优化，提升了负载均衡效率。
7. OpenMoE： 指出上下文无关的专长化和末端token掉队问题。
8. DeepSeekMoE： 采用细粒度专家和共享专家，并设计了专家级别和设备级别的负载均衡损失。
9. JetMoE： 提出“dropless”策略，避免token丢弃，但实现复杂度高。
10. Skywork-MoE： 使用gating logit归一化和自适应辅助损失系数。
11. DeepSeek-V3： 使用偏置加成取代强辅助损失，并保留较弱的序列级别辅助损失，实现了更轻量级的负载均衡。

3. 负载均衡的挑战与经验教训

文章总结了MoE负载均衡中常见的挑战和应对策略：路由塌缩、容量因子调节、过度依赖辅助损失、推理瓶颈和领域迁移等问题。需要根据具体情况，在模型表达能力和资源利用率之间找到平衡点。

4. 总结与展望

从GShard到DeepSeek-V3，负载均衡已成为MoE模型成功的关键因素。未来的研究方向可能包括：更自动化、自适应的gating机制，以及更多针对HPC和推理部署的优化，以实现高效、均衡的专家分配。

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下账号，专注于生成式人工智能，主要分享技术文章、论文成果与产品信息。