Audio2Photoreal官网
从音频生成全身逼真的虚拟人物形象。它可以从多人对话中语音中生成与对话相对应的逼真面部表情、完整身体和手势动作。
网站提供:Ai工具箱,Ai开源项目,Audio,Photo,Audio2Photoreal。
Audio2Photoreal简介
Code and dataset for photorealistic Codec Avatars driven from audio – GitHub – facebookresearch/audio2photoreal: Code and dataset for photorealistic Codec Avatars driven from audio
Meta ai最近发布了一项炸裂的技术:Audio2PhotoReal,从音频生成全身逼真的虚拟人物形象。它可以从多人对话中语音中生成与对话相对应的逼真面部表情、完整身体和手势动作。
这些生成的虚拟人物不仅在视觉上很逼真,而且能够准确地反映出对话中的手势和表情细节,如指点、手腕抖动、耸肩、微笑、嘲笑等。
Audio2PhotoReal工作原理:
Audio2PhotoReal结合了向量量化的样本多样性和通过扩散获得的高频细节的优势,以生成更具动态性和表现力的动作。
1、数据集捕获:首先捕获了一组丰富的双人对话数据集,这些数据集允许进行逼真的重建。
2、运动模型构建:项目构建了一个包括面部运动模型、引导姿势预测器和身体运动模型的复合运动模型。
3、面部运动生成:使用预训练的唇部回归器处理音频,提取面部运动相关的特征。
利用条件扩散模型根据这些特征生成面部运动。
4、身体运动生成:以音频为输入,自回归地输出每秒1帧的向量量化(VQ)引导姿势。将音频和引导姿势一起输入到扩散模型中,以30帧/秒的速度生成高频身体运动。
5、虚拟人物渲染:将生成的面部和身体运动传入训练好的虚拟人物渲染器,生成逼真的虚拟人物。
6、结果展示:最终展示的是根据音频生成的全身逼真虚拟人物,这些虚拟人物能够表现出对话中的细微表情和手势动作。
Audio2Photoreal项目地址:https://github.com/facebookresearch/audio2photoreal/
Audio2Photoreal论文地址:https://arxiv.org/pdf/2401.01885.pdf
Audio2Photoreal官网入口网址
https://github.com/facebookresearch/audio2photoreal/
OpenI小编发现Audio2Photoreal网站非常受用户欢迎,请访问Audio2Photoreal网址入口试用。
数据统计
数据评估
本站OpenI提供的Audio2Photoreal都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由OpenI实际控制,在2024年 1月 5日 上午9:05收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,OpenI不承担任何责任。