按需搭配一键叠穿，效果拿下新SOTA！中山大学&字节智创数字人团队提出虚拟试穿新框架

AIGC动态欢迎阅读

原标题：按需搭配一键叠穿，效果拿下新SOTA！中山大学&字节智创数字人团队提出虚拟试穿新框架
关键字：换装,服装,图像,数据,文本
文章来源：量子位
内容字数：0字

内容摘要：

MMTryon团队投稿量子位 | 公众号 QbitAI多件衣服按指定穿法一键虚拟试穿！
中山大学&字节智创数字人团队提出了一个名为MMTryon的虚拟试穿框架，可以通过输入多个服装图像及指定穿法的文本指令来生成高质量的组合试穿结果。
比如选中一件大衣、一条裤子，再配一个包，用语言描述穿法，“啪”的一键就穿到了人像上：
无论是真人图像又或是漫画人物，都能一键按照搭配试穿衣服：
对于单图换装，MMTryon有效利用了大量的数据设计了一个表征能力强大的服装编码器，使得该方案能处理复杂的换装场景及任意服装款式；
对于组合换装，MMTryon消除了传统虚拟换装算法中对服装精细分割的依赖，可依靠一条文本指令从多张服装参考图像中选择需要试穿的服装及对应的穿法，生成真实自然的组合换装效果。
在基准测试中，MMTryon拿下新SOTA。
多模态多参考注意机制加持，效果更精确灵活虚拟换装技术旨在将模特所穿服饰或者衣服的平铺图穿到目标人物身上，达到换装的效果，但是之前虚拟试穿的方案存在一些技术难点没有解决。
首先，现有的方法通常是为单件试穿任务（上衣/下衣、连衣裙）而设计的，并且无法自定义着装风格，例如，

原文链接：按需搭配一键叠穿，效果拿下新SOTA！中山大学&字节智创数字人团队提出虚拟试穿新框架