360度无死角！UC伯克利华人发布3DHM框架：一张图片即可模仿任意视频动作

AIGC动态欢迎阅读

原标题：360度无死角！UC伯克利华人发布3DHM框架：一张图片即可模仿任意视频动作
关键字：纹理,模型,报告,姿势,研究人员
文章来源：新智元
内容字数：7043字

内容摘要：

新智元报道编辑：LRS
【新智元导读】无需标注数据，3DHM框架即可让照片动起来，模仿目标视频动作，衣服动起来也真实！输入一张任意姿势的照片，想让照片里的人跟随「指定视频」来进行动作模仿并不简单，除了肢体动作的模仿外，模型还需要对过程中衣服、人物外观的变化进行建模。如果输入图像是正面的，而模仿的视频动作包括转身的话，模型还需要「想象」出衣服的背面样子，以及衣服在转动过程中飘起的样子。
为了解决这个问题，来自加州大学伯克利分校的研究人员提出了一个两阶段的、基于扩散模型的框架3DHM，通过从单个图像完成纹理图来合成3D人体，然后渲染3D人体以模仿视频中actor的动作。论文地址：https://arxiv.org/abs/2401.10889
3DHM模型中包含两个核心组件：
1. 学习人体和服装中不可见部分的先验知识。
研究人员使用填充扩散（in-filling diffusion）模型，在给定的单张图像中想象（hallucinate）出不可见部分，然后在纹理图空间（texture map space）上训练该模型，在姿势和视点不变的条件下提升采样效率。
2. 使用适当的服装和

原文链接：360度无死角！UC伯克利华人发布3DHM框架：一张图片即可模仿任意视频动作