3DV-TON

3DV-TON – 阿里达摩院联合浙大等推出的视频虚拟试穿框架

3DV-TON是什么

3DV-TON（Textured 3D-Guided Consistent Video Try-on via Diffusion Models）是由阿里巴巴达摩院、湖畔实验室与浙江大学共同开发的一种创新视频虚拟试穿框架。该框架基于扩散模型，旨在解决传统方法在处理复杂服装图案和多样化人体姿态时产生的效果不佳问题。3DV-TON通过生成动画化的纹理化3D网格作为显式的帧级指导，确保生成的试穿视频在视觉质量和时间一致性上表现卓越。此外，3DV-TON引入了高分辨率的基准数据集HR-VVT，推动了视频试穿技术的研究进展。

3DV-TON的主要功能

• 高保真视觉效果：精准复现服装细节，呈现出令人信服的试穿效果。
• 时间一致性：确保视频中服装纹理在各个帧之间保持连贯性，避免产生伪影或变形。
• 适应复杂场景：能够处理多样化的服装类型、复杂的人体姿态及动态场景。
• 提供基准数据集：推出高分辨率视频试穿基准数据集HR-VVT，推动相关研究与评估的发展。

3DV-TON的技术原理

• 纹理化3D指导：通过单图像3D重建技术生成可动画化的纹理化3D网格，并将其与原始视频的姿态同步，为扩散模型提供显式的帧级指导，确保试穿结果在外观和上的一致性。
• 动态3D指导管道：选择关键帧进行初步的2D图像试穿，重建动画化纹理化3D网格，并优化SMPL-X参数，以确保3D网格与人体姿态精确对齐。
• 矩形掩码策略：防止服装信息泄露，避免动态人体与服装现伪影。结合服装图像和试穿图像作为参考，提供上下文信息以增强生成效果。
• 扩散模型架构：基于Stable Diffusion，扩展UNet架构以支持伪3D结构，集成时间模块以实现真实感的生成，从而减少对显式光流或变形操作的依赖。
• 训练策略：结合图像与视频数据进行训练，通过随机选择数据类型来平衡图像质量与时间一致性，使用分类器引导（CFG）策略，随机省略某些条件输入以增强模型的鲁棒性。

3DV-TON的项目地址

• 项目官网：https://2y7c3.github.io/3DV-TON/
• arXiv技术论文：https://arxiv.org/pdf/2504.17414

3DV-TON的应用场景

• 在线购物：帮助用户进行虚拟试穿，提升购物体验并减少退货率。
• 时尚设计：快速展示服装设计效果，支持设计与营销活动。
• 虚拟试衣间：在实体店内节省试穿时间和精力。
• 影视和游戏：辅助角色服装设计与定制，提高制作效率。
• 社交媒体：为用户提供有趣的试穿视频创作与分享工具。

常见问题

• 3DV-TON如何实现高保真的试穿效果？：该技术通过生成纹理化的3D网格与原始视频的姿态同步，从而确保试穿效果的真实感。
• 3DV-TON支持哪些类型的服装？：该框架能够处理多样化的服装类型，包括复杂图案和动态设计。
• 如何访问3DV-TON的技术论文？：用户可以通过项目官网或直接访问arXiv链接获取相关论文。