360度无死角!UC伯克利华人发布3DHM框架:一张图片即可模仿任意视频动作

AIGC动态10个月前发布 新智元
10 0 0

360度无死角!UC伯克利华人发布3DHM框架:一张图片即可模仿任意视频动作

AIGC动态欢迎阅读

原标题:360度无死角!UC伯克利华人发布3DHM框架:一张图片即可模仿任意视频动作
关键字:纹理,模型,报告,姿势,研究人员
文章来源:新智元
内容字数:7043字

内容摘要:


新智元报道编辑:LRS
【新智元导读】无需标注数据,3DHM框架即可让照片动起来,模仿目标视频动作,衣服动起来也真实!输入一张任意姿势的照片,想让照片里的人跟随「指定视频」来进行动作模仿并不简单,除了肢体动作的模仿外,模型还需要对运动过程中衣服、人物外观的变化进行建模。如果输入图像是正面的,而模仿的视频动作包括转身的话,模型还需要「想象」出衣服的背面样子,以及衣服在转动过程中飘起的样子。
为了解决这个问题,来自加州大学伯克利分校的研究人员提出了一个两阶段的、基于扩散模型的框架3DHM,通过从单个图像完成纹理图来合成3D人体运动,然后渲染3D人体以模仿视频中actor的动作。论文地址:https://arxiv.org/abs/2401.10889
3DHM模型中包含两个核心组件:
1. 学习人体和服装中不可见部分的先验知识。
研究人员使用填充扩散(in-filling diffusion)模型,在给定的单张图像中想象(hallucinate)出不可见部分,然后在纹理图空间(texture map space)上训练该模型,在姿势和视点不变的条件下提升采样效率。
2. 使用适当的服装和


原文链接:360度无死角!UC伯克利华人发布3DHM框架:一张图片即可模仿任意视频动作

联系作者

文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...