FantasyTalking

FantasyTalking – 阿里联合北邮推出静态肖像生成可控数字人的框架

FantasyTalking

FantasyTalking是什么

FantasyTalking 是由阿里巴巴 AMAP 团队与北京邮电大学合作开发的一种创新框架，旨在通过单张静态肖像生成生动的可动画化虚拟形象。该框架基于预训练的视频扩散变换器模型，采用双阶段视听对齐策略。在第一阶段，利用片段级训练方案建立连贯的全局；第二阶段则通过唇部追踪掩码在帧级别上细化唇部，确保与音频信号的精准同步。此外，FantasyTalking 还引入了面部专注的交叉注意力模块，以确保面部特征的一致性，并通过强度调制模块实现对表情和身体动作强度的控制。

主要功能

口型同步：准确识别和同步虚拟角色的口型与输入语音，使角色在说话时的口型与语音内容完全一致，从而提升角色的真实感和信任度。
面部动作生成：根据语音内容及情感信息生成相应的面部动作，例如眨眼、皱眉和微笑等，使虚拟角色的表情更加丰富和生动。
全身动作生成：根据场景和情节需求生成全身的动作和姿态，如行走、奔跑和跳跃，使虚拟角色在动画中显得更加自然流畅。
强度控制：用户可以通过强度调制模块显式控制面部表情和身体动作的强度，实现对肖像的精确操控，超越唇部的局限。
多种风格支持：支持生成多种风格的虚拟形象，包括写实和卡通风格，能够生成高质量的对话视频。
多种姿态支持：支持生成具有各种身体范围和方向的真实说话视频，包括特写肖像、半身和全身姿势，以及正面和侧面视角。

技术原理

双阶段视听对齐策略
- 片段级训练：在第一阶段，模型通过片段级训练捕捉音频与整个场景（包括参考肖像、上下文对象和背景）之间的弱相关性，建立全局视听依赖关系，融合整体特征，使其能够学习与音频相关的非语言线索（如眉毛和肩膀动作）以及与音频强烈同步的唇部动态。
- 帧级训练：在第二阶段，模型专注于与音频高度相关的视觉特征细化，特别是在唇部动作方面。通过使用唇部追踪掩码，模型确保唇部与音频信号精确对齐，从而提高生成视频的质量。
身份保持：传统的参考网络方法通常会限制视频中人物和背景的自然变化。FantasyTalking 通过面部专注的交叉注意力模块，集中建模面部区域，利用交叉注意力机制解耦身份保留与动作生成，更加轻量化，能够释放对背景和人物自然的限制，从而确保在整个生成的视频序列中，角色身份特征的一致性。
强度调节：FantasyTalking 引入强度调制模块，用户可以显式控制面部表情和身体动作的强度，使肖像更加可控且多样化。通过调节强度，可以生成更自然的动画效果。
基于预训练的视频扩散变换器模型：FantasyTalking 基于 Wan2.1 视频扩散变换器模型，具有时空建模能力，能够生成高保真、连贯的说话肖像视频。该模型有效捕捉音频信号与唇部、面部表情及身体动作之间的关系，生成高质量的动态肖像。

项目官网

项目官网：https://fantasy-amap.github.io/fantasy-talking/
Github仓库：https://github.com/Fantasy-AMAP/fantasy-talking
arXiv技术论文：https://arxiv.org/pdf/2504.04842

应用场景

游戏开发：在游戏开发中，FantasyTalking 能生成游戏角色的对话动画和战斗动画。它可以根据语音内容生成精准的口型同步、丰富的面部表情和自然的全身动作，使游戏角色更加生动，提升视觉效果和玩家的沉浸感。
影视制作：在影视制作中，FantasyTalking 可用于生成虚拟角色的表演和特效动画。使用 FantasyTalking 可以快速生成复杂表情和动作的虚拟角色，从而减少传统动画制作中的人力和时间成本，为影视作品增添创意和想象力。
虚拟现实和增强现实：在虚拟现实（VR）和增强现实（AR）应用中，FantasyTalking 能生成虚拟角色的交互动画与引导动画。
虚拟主播：FantasyTalking 可用于生成虚拟主播的动画视频，支持多种风格的虚拟形象，适用于新闻播报、直播带货、在线教育等多种场景，展现出高度的实用性与灵活性。
智能教育：在智能教育领域，FantasyTalking 可以生成虚拟教师或虚拟助教的动画视频，提升学习体验。