BigMac

BigMac – 小红书开源的多模态大模型流水并行训练框架

BigMac：颠覆多模态大模型训练范式的流水并行新引擎

在飞速发展的多模态大模型（MLLM）领域，训练效率与显存占用之间的矛盾一直是横亘在研究者面前的巨大挑战。小红书 dots infra 团队推出的 BigMac，一款创新性的流水并行训练框架，正以其独特的“依赖安全的嵌套流水线范式”，为解决这一难题提供了性的思路。

BigMac 究竟有何不同？

BigMac 并非简单的性能叠加，而是对 MLLM 训练流水线的一次深度重塑。它以成熟的 LLM 流水线作为坚实的基石，巧妙地将编码器（encoder）和生成器（generator）的计算“嵌入”其中。这种嵌入并非粗暴的拼接，而是在严格遵守数据依赖关系的前提下，利用 LLM 执行过程中的“空档期”来完成模态计算。这种精妙的设计，不仅将训练速度提升了惊人的 1.08 至 1.9 倍，更重要的是，在实现性能飞跃的同时，成功将显存占用控制在稳定水平。目前，BigMac 已成为 dots 多模态训练不可或缺的核心组件，并在生产环境中接受了严峻的考验。

BigMac 的核心能力剖析

安全可靠的嵌套流水线：BigMac 的核心在于其“依赖安全的嵌套流水线”。它以 LLM 流水线为稳定主干，在确保数据依赖得到满足的恰当时机，将 encoder 和 generator 的计算无缝集成，有效避免了传统流水线中因跨模块计算而产生的“气泡”（bubble）干扰，确保了计算流程的顺畅。
显存可控的模态激活：通过精细化的显存管理，BigMac 将编码器和生成器的激活显存占用压缩至 O(1) 的级别。这使得 LLM 的激活行为得以保持稳定，从而能够支持更大规模的 batch size 进行训练，彻底告别显存溢出（OOM）的困扰。
解耦的全局调度与执行：BigMac 实现了调度与执行的彻底分离。其 Scheduler 负责生成覆盖所有计算节点（rank）、微批次（microbatch）以及各个模块的全局算子（operator）表。而 Executor 则根据本地序列解析这些算子，并将其高效分发给相应的计算后端执行。
对算法工程师的友好接口：BigMac 提供了“流水线无感”的接口设计。算法工程师只需关注模块的输入输出边界，而无需深入了解底层的流水线调度、数据传递（handoff）以及跨设备通信细节。模型代码的模块化得以保持，极大地简化了开发流程。
洞察力的 Schedule-aware 工具链：框架内置了强大的性能分析（profiler）和模拟（simulator）工具，能够以算子为单位导出详细的追踪信息（兼容 Perfetto UI），帮助用户快速定位 pipeline bubble、性能瓶颈算子以及通信等待问题。

BigMac 的技术原理深度解析

依赖安全的嵌套流水线调度：BigMac 将此作为其时间线设计的基石。调度器精细分析 encoder forward、LLM forward、generator forward 以及对应的 backward 操作之间的数据依赖关系。它仅在输入数据已准备就绪且不会打乱 LLM 原有执行顺序的“空闲时段”，才插入模态计算。这种策略确保了 LLM 能够持续稳定地推进，同时 encoder 和 generator 的激活也能在梯度就绪后被及时释放，backward 操作也得以迅速执行。这彻底打破了“计算效率与显存占用难以兼顾”的固有瓶颈。
全局 Operator 表与后端解耦：BigMac 将复杂的调度策略显式化为一张全局的 Operator 表，其中详细记录了所有流水线节点（pipeline rank）上 LLM、encoder 和 generator 的 forward/backward 算子，以及模块间的通信边界。执行层只需解析本地的算子序列即可。LLM 算子的执行复用了成熟的 Megatron Core，而模态算子则保留了其原有的数据并行（data-parallel）或 FSDP 实现。这种设计使得调度策略的调整无需改写模型运行时环境。

关注微信公众号，回复“开源”，即可加入AI开源项目交流群，与同行一起探索前沿技术。

如何轻松驾驭 BigMac？

定义清晰的模块边界：以模块化的方式编写 encoder_forward、llm_forward、generator_forward 函数，并明确声明各模块的输入与输出。
无缝接入 BigMac 接口：通过 PP-transparent 接口注册您定义的模块。BigMac 将自动完成流水线阶段（pipeline stage）的划分、激活数据的传递（activation handoff）、梯度数据的传递（gradient handoff）以及跨节点的通信。
灵活配置并行策略：您可以根据需求设置流水线并行（PP）、张量并行（TP）、微批次数量、以及模块在不同节点上的放置策略等参数。
启动训练，释放潜能：启动 Scheduler 生成全局执行计划，Executor 将在各个计算节点上高效执行算子序列。
深度性能诊断：使用内置的 profiler 收集算子级别的执行时间，并将 rank 对齐的时间线导出至 Perfetto UI 进行分析，诊断 pipeline bubble 和性能瓶颈。或者，利用 simulator 在正式训练前快速迭代和优化并行策略。

BigMac 的独特优势

突破帕累托边界：BigMac 实现了计算效率和显存占用的双重优化，告别了“鱼和熊掌不可兼得”的困境。
LLM 流水线零干扰：框架保留了成熟 LLM 的调度机制，编码器/生成器耗时的波动不会对整个流水线造成负面影响。
显存可扩展性强：编码器/生成器激活显存占用为 O(1)，为大规模 batch 训练提供了坚实的基础。
对算法友好：模型代码无需感知底层的流水线运行时环境，在单卡或 DP 环境下验证的实验模型，可以轻松扩展到流水并行。
易于调试与部署：全局调度计划清晰可见，配合 trace 和 simulation 工具链，极大地降低了性能优化的难度和成本。

深入了解 BigMac：项目链接

项目官网：https://dots-infra.github.io/BigMac/
GitHub 仓库：https://github.com/Dots-Infra/BigMac/
arXiv 技术论文：https://arxiv.org/pdf/2605.25451

BigMac 与同类竞品对比分析

维度	BigMac	Megatron-LM
调度范式	依赖安全的嵌套流水线，LLM 为主干	显存高效的单条流水线，模态模块作为 stage
计算效率	高，无跨模块 bubble	中，encoder/generator 波动会引入 pipeline bubble
显存占用	稳定，模态激活 O(1)	较低，但随模块耦合显存优化空间有限
扩展性	支持理解+生成双路径大规模训练	生成路径扩展时 bubble 与显存压力显著
接口友好度	PP-transparent，算法代码零侵入	需理解并适配 pipeline runtime 与 stage 划分
工具链	内置 schedule-aware profiler + simulator	依赖传统 nsys / torch trace 手动关联分析

BigMac 的应用场景展望

多模态理解模型预训练：对于图文理解、视频理解等 MLLM，BigMac 能够高效协同 ViT、Whisper 等编码器与 LLM 的流水线运行。
多模态生成模型训练：在包含理解与生成路径（如图像生成、语音合成）的模型训练中，BigMac 能有效协调 LLM 与 MMDiT、LDM 等生成器的双向依赖。
大规模 batch 训练：在显存受限的环境下，BigMac 帮助实现更大的 global batch size，避免传统高效设计带来的激活累积 OOM 问题。
加速实验迭代：算法团队可在单卡或 DP 环境快速验证模型，通过 BigMac 接口无缝扩展至流水并行，无需重写代码。
精细化训练性能调优：工程团队可利用 schedule-aware profiler 和 simulator 精准定位 pipeline bubble，优化并行配置与模块放置策略。

阅读原文