MagicTryOn

MagicTryOn – 浙大联合vivo等机构推出的视频虚拟试穿框架

MagicTryOn是浙江大学计算机科学与技术学院、vivo移动通信等机构联手推出的创新视频虚拟试穿框架。它基于前沿的视频扩散Transformer技术，用更强大的扩散Transformer（DiT）架构取代传统的U-Net，并结合全自注意力机制，实现了视频的时空一致性建模。该框架通过精细的服装细节保留策略和多条件引导，在图像和视频试穿方面均展现出卓越的性能，为用户带来逼真流畅的试穿体验。

MagicTryOn：开启虚拟试穿新纪元

MagicTryOn，一项由浙江大学计算机科学与技术学院、vivo移动通信等机构倾力打造的视频虚拟试穿框架，正引领着时尚与科技的融合。它巧妙地运用了基于视频扩散Transformer的技术，并以更具表现力的扩散Transformer（DiT）架构替代了传统的U-Net，辅以全自注意力机制，从而实现了对视频时空一致性的精准建模。凭借其独到的服装细节保留策略和多条件引导能力，MagicTryOn在图像和视频试穿领域均取得了显著的突破，为用户提供了前所未有的逼真试穿体验。

核心功能：体验无缝试穿的魅力

• 精细的服装细节呈现：MagicTryOn能够精准地模拟服装的纹理、图案和轮廓，确保在人物过程中服装的真实感与稳定性，让每一次试穿都宛如亲身体验。
• 流畅的时空一致性：框架能够确保视频中各帧之间的连贯性，有效避免服装的闪烁和抖动，带来丝滑流畅的试穿感受。
• 多维度条件引导：MagicTryOn支持基于文本描述、图像特征、服装标记和轮廓线等多种条件进行引导，从而生成更加真实、细致的试穿效果，满足个性化需求。

技术解析：MagicTryOn的创新基石

• 扩散Transformer（DiT）架构：DiT的模块化设计赋予了其强大的灵活性，能够更有效地融入条件信息，从而将多级服装特征整合到去噪过程中。DiT内置的全自注意力机制则能够联合建模视频的时空一致性，捕捉帧内局部细节和帧间动态变化。
• 独具匠心的服装细节保留策略：
  • 粗略策略：在嵌入阶段，将服装标记（garment tokens）注入输入标记序列，并扩展旋转位置编码（RoPE）的网格大小，使得服装标记与输入标记能够共享一致的位置编码。
  • 精细策略：在去噪阶段，引入语义引导交叉注意力（SGCA）和特征引导交叉注意力（FGCA）模块，从而提供细粒度的服装细节引导。SGCA利用文本标记和CLIP图像标记作为输入，提供服装的全局语义表示；FGCA则结合服装标记和轮廓线标记，进一步注入详细的局部信息。
• 掩码感知损失（Mask-Aware Loss）：通过引入掩码感知损失，模型能够更加专注于服装区域的生成，从而提升服装区域的细节保真度和整体合成结果的真实感。
• 时空一致性建模：基于全自注意力机制，MagicTryOn联合建模视频的时空一致性，避免了传统方法中空间和时间信息分别建模的局限性。

探索MagicTryOn：访问与了解

• 项目官网：https://vivocameraresearch.github.io/magictryon/
• GitHub仓库：https://github.com/vivoCameraResearch/Magic-TryOn/
• arXiv技术论文：https://arxiv.org/pdf/2505.21325

应用场景：无限可能

• 线上购物：用户可以在线试穿不同服装，从而提升购物体验，做出更明智的购买决策。
• 时尚设计：设计师可以快速预览服装效果，从而加速设计流程，激发创作灵感。
• 虚拟试衣间：为实体店提供虚拟试衣服务，减少实体试衣间的使用，提升购物效率。
• 广告与营销：品牌可以制作个性化试穿广告，从而吸引消费者，提升品牌影响力。
• 游戏与娱乐：在游戏中实时试穿虚拟服装，增强沉浸感和互动性，为玩家带来更丰富的体验。