BlockDance

BlockDance – 复旦联合字节推出的扩散模型加速方法

BlockDance是什么

BlockDance 是由复旦大学与字节跳动的智能创作团队共同开发的一种新型加速扩散模型的方法。该方法通过识别和重用相邻时间步中的结构相似时空特征（STSS），显著减少冗余计算，从而提升推理速度，最高可实现50%的加速效果。BlockDance 专注于去噪过程中的结构特征，确保在重用特征时不会因相似度不足而影响图像质量。此外，BlockDance 还引入了 BlockDance-Ada，通过强化学习动态调整计算资源的分配，根据不同任务的复杂性优化加速策略，以进一步提升内容质量和推理速度。

BlockDance的主要功能

• 推理过程加速：通过减少冗余计算，提升 DiTs 模型的推理速度，最高可达50%，极大地提高了实际应用中的效率。
• 保持生成质量：在加速过程中，确保生成效果与原始模型一致，保证图像和视频的视觉效果、细节呈现和对输入提示的响应程度。
• 动态资源调配：利用 BlockDance-Ada，根据生成任务的复杂性动态调整计算资源的分配，实现速度与质量的最佳平衡。
• 广泛适用性：能够无缝应用于多种扩散模型和生成任务，如图像和视频生成，展现出极强的通用性。

BlockDance的技术原理

• 特征相似性分析：在扩散模型的去噪阶段，相邻时间步的特征通常高度相似，尤其是在模型的浅层和中层模块中。BlockDance 通过分析这些特征相似性，识别出结构相似的时空特征（Structurally Similar Spatio-Temporal，STSS），以此作为加速的关键。
• 缓存与重用机制：去噪过程分为“缓存步骤”和“重用步骤”。在缓存步骤中，模型保存当前步骤中的某些特征输出。随后，在重用步骤中，模型可以直接利用之前缓存的特征，从而跳过重复计算，节省计算资源。
• 动态决策网络（BlockDance-Ada）：引入基于强化学习的轻量级决策网络 BlockDance-Ada。该网络根据当前生成任务的复杂性（如图像结构复杂度、对象数量等）动态决定应缓存和重用哪些步骤。通过这种动态调整机制，BlockDance 在不同生成任务和模型上实现了更优的速度与质量平衡。
• 强化学习优化：通过强化学习中的策略梯度方法训练决策网络，设计奖励函数以平衡图像质量和计算效率。奖励函数包括图像质量奖励（如视觉美感、对提示的遵循程度）和计算效率奖励（如重用步骤的比例）。决策网络通过最大化预期奖励，学习到最优的缓存与重用策略，确保在保持生成质量的同时实现最大加速效果。

BlockDance的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2503.15927

BlockDance的应用场景

• 图像生成：加速艺术创作、游戏设计等领域的高质量图像生成，确保视觉效果的优越性。
• 视频生成：提升视频创作、动画制作等任务的速度，保持视觉与时间的一致性。
• 实时交互：适用于虚拟现实（VR）、增强现实（AR）等实时应用，快速响应用户输入，提升用户体验。
• 大规模内容生成：高效生成大量图像和视频，降低计算成本，提升整体效率。
• 资源受限环境：能够在移动设备、边缘计算等资源有限的环境中高效运行，无需额外训练。

常见问题

• BlockDance如何提高推理速度？ BlockDance通过识别和重用相邻时间步中的结构相似特征，减少冗余计算，从而实现显著的推理速度提升。
• 使用BlockDance生成的内容质量如何？ BlockDance在加速推理的同时，能够保持与原始模型一致的生成质量，确保图像和视频的视觉效果。
• BlockDance适合哪些类型的生成任务？ BlockDance广泛适用于图像生成、视频生成以及实时交互等多种生成任务，展现出良好的通用性。