FitDiT：腾讯与复旦携手打造的高保真虚拟试穿技术实现无缝体验与精准匹配

FitDiT是由腾讯与复旦大合开发的高保真虚拟试穿技术，利用Diffusion Transformers（DiT）架构，专注于高分辨率特征的处理，显著提升了服装细节的呈现效果。该技术通过服装纹理提取器和服装先验演化技术，增强了对服装纹理（如条纹、图案和文字）的捕捉能力，并采用扩张-松弛掩码策略，优化了服装尺寸的适配问题。FitDiT在定性和定量评估中均表现卓越，能够快速生成真实感极强且细节丰富的试穿图像，从而为虚拟试穿领域带来了重大的突破。

FitDiT是什么

FitDiT是一项先进的虚拟试穿技术，由腾讯与复旦大合研发。该技术基于Diffusion Transformers（DiT）架构，专注于高分辨率特征的提取，以提升服装细节的表现力。FitDiT结合服装纹理提取器和服装先验演化技术，增强了对复杂服装纹理的捕捉能力，同时通过扩张-松弛掩码策略，解决了服装尺寸适配问题。这一技术在生成高度真实且细节丰富的试穿图像方面表现出色，推理速度也极为迅速，推动了虚拟试穿技术的进步。

FitDiT的主要功能

• 高保真虚拟试穿：生成逼真的试穿图像，让用户能够在多种场景中看到自己穿着特定服装的效果。
• 纹理感知保持：通过服装纹理提取器和先验演化技术，精确捕捉服装上的复杂纹理，如条纹、图案和文字。
• 尺寸感知拟合：采用扩张-松弛掩码策略，适应不同服装的长度和形状，确保在跨类别试穿时不泄露服装形状信息，达到更精准的拟合效果。
• 快速推理：在保持高保真试穿效果的前提下，优化DiT结构，单张1024×768图像的推理时间仅为4.57秒，提高了试穿过程的效率。

FitDiT的技术原理

• Diffusion Transformers (DiT)：FitDiT基于DiT架构，赋予高分辨率特征更多的参数和注意力，以增强对服装细节的处理能力。
• 服装纹理提取器：引入专门的提取器，结合服装先验演化微调服装特征，以更好地捕捉丰富的细节。
• 频域学习：基于定制的频率距离损失函数，增强高频细节，提升服装纹理的保真度。
• 扩张-松弛掩码策略：通过扩张-松弛掩码策略，解决尺寸拟合问题，确保服装的正确长度，避免跨类别试穿时生成的服装覆盖整个掩码区域，提高了试穿的准确性。
• 结构优化：对DiT结构进行了调整，去除了对虚拟试穿影响较小的文本编码器，降低模型的参数量，从而提升了模型的训练与推理速度。
• 混合注意力机制：在DenoisingDiT中采用混合注意力机制，将从GarmentDiT提取的服装特征融入去噪过程中，实现高分辨率特征的融合。

FitDiT的项目地址

• 项目官网：byjiang.com/FitDiT
• GitHub仓库：https://github.com/BoyuanJiang/FitDiT
• arXiv技术论文：https://arxiv.org/pdf/2411.10499

FitDiT的应用场景

• 电子商务平台：为服装零售网站提供在线试穿体验，让消费者在购物时能看到自己穿上不同服装的效果，提升用户体验和满意度。
• 时尚行业：设计师能够通过FitDiT展示其设计作品，让顾客在购买前预览服装的实际穿着效果，增加设计的吸引力。
• 个性化定制：为客户提供个性化的试穿体验，确保定制服装的尺寸和样式完全符合顾客需求。
• 增强现实（AR）和虚拟现实（VR）：在AR和VR应用中提供真实的试穿体验，让用户在虚拟环境中试穿服装，装扮虚拟形象。
• 社交媒体：社交媒体平台允许用户在分享照片或视频时试穿不同的服装风格，增加互动性和娱乐性。