寡姐带货国风Polo衫，马斯克穿牛仔走红毯！虚拟试衣新框架火了，只需两张图30秒即生成

AIGC动态欢迎阅读

原标题：寡姐带货国风Polo衫，马斯克穿牛仔走红毯！虚拟试衣新框架火了，只需两张图30秒即生成
关键字：模型,模块,方法,服装,特征
文章来源：量子位
内容字数：0字

内容摘要：

种政投稿自凹非寺量子位 | 公众号 QbitAI只需两张图像，不到30秒，就能让马斯克穿牛仔走红毯~
或者让寡姐带货国风Polo衫~
就是二次元换装也不在话下。
来自中山大学、Pixocial等机构联合发布轻量化模型架构CatVTON。他们是以Stable Diffusion v1.5 inpainitng为基础模型。
来看看更多效果。
用扩散模型进行虚拟试衣CatVTON可以实现传统平铺服装图到人物的换装。
不管是上衣、裤子、裙子，还是套装，各种不同品类服装都可以。
其形状和纹理都能保持较高的一致性。
另外，CatVTON 还可以实现人物A到人物B的换装。
无需显式地指定类别，根据 Mask 的不同即可完成目标服装的试穿，支持单独的上衣、裤子、裙子或者全身多件服装同时更换。
既然如此，那又是如何实现的呢？
轻量化模型架构CatVTON 在功能上丰富多样，但其模型架构却十分简洁高效：
2个网络模块（VAE+UNet）
899.06M总参数量
< 8G推理显存（输出图像 1024×768 ）
轻量化的架构来源于 CatVTON 对现有方法模块冗余的观察：
基于Warping的方法

原文链接：寡姐带货国风Polo衫，马斯克穿牛仔走红毯！虚拟试衣新框架火了，只需两张图30秒即生成