ACTalker

ACTalker – 港科大联合腾讯、清华推出的端到端视频扩散框架

ACTalker是什么

ACTalker 是一款创新的视频生成框架，旨在生成逼真的说话人头部视频。该系统能够灵活地处理多种驱动信号，包括音频和面部表情，支持单信号与多信号的控制。在其核心架构中，ACTalker 采用了并行的 Mamba 结构，通过多个分支控制不同的面部区域，结合门控机制和掩码丢弃策略，实现自然且灵活的视频生成。在 CelebV-HQ 数据集上，ACTalker 的 Sync-C 和 Sync-D 分数分别达到 5.317 和 7.869，而 FVD-Inc 分数为 232.374，充分展现了其卓越的音频同步能力和视频质量。

ACTalker的主要功能

灵活的信号控制：ACTalker 支持单一和多种信号的控制，可以利用音频、面部表情等多种信号生成自然流畅的说话人视频。
协调一致的视频生成：通过 Mamba 结构，驱动信号能够在时间和空间两个维度内精确操控特征标记，确保生成的视频在这些维度上自然协调。
高品质视频输出：实验结果表明，ACTalker 能够生成自然且逼真的面部视频，在多信号控制下，Mamba 层能够无缝地整合各种驱动模态，确保视频生成过程中没有冲突。

ACTalker的技术原理

并行 Mamba 结构：ACTalker 采用并行 Mamba 结构，包含多个分支，每个分支利用的驱动信号（如音频和表情）来控制特定的面部区域。这种设计使得不同模态信号可以同时作用于视频生成，不相互干扰，从而实现多信号控制。
门控机制：在各个分支中实施了门控机制，训练阶段会随机开启或关闭，而在推理阶段则可以根据需求进行手动调整。这一机制为视频生成提供了灵活的控制选项，支持在不同情境下选择使用单一或多种信号。
掩码丢弃策略（Mask-Drop）：ACTalker 引入了掩码丢弃策略，使每个驱动信号能够控制相应的面部区域。在训练过程中，策略通过随机丢弃与控制区域无关的特征标记，增强驱动信号的有效性，同时提升生成内容的质量，避免控制冲突。
状态空间建模（SSM）：为确保视频在时间和空间上的自然协调，ACTalker 采用状态空间建模（SSM）技术，支持驱动信号在每个分支中跨时间和空间的特征标记操控，实现自然的面部动作协调。
视频扩散模型基础：ACTalker 基于视频扩散模型构建，在去噪过程中引入多分支控制模块，每个 Mamba 分支负责处理特定模态信号，通过门控机制动态调整各模态的影响权重。

ACTalker的项目地址

项目官网：https://harlanhong.github.io/publications/actalker
Github仓库：https://github.com/harlanhong/ACTalker
HuggingFace模型库：https://huggingface.co/papers/2504.02542
arXiv技术论文：https://arxiv.org/pdf/2504.02542

ACTalker的应用场景

虚拟主播：通过多种信号控制生成自然流畅的说话头视频，ACTalker 能够让虚拟主播更具生动性，提升与观众的互动性，增强观看体验。
远程会议：在远程会议中，ACTalker 可利用音频和参会者面部表情生成自然的说话头视频，解决因网络延迟导致的口型与声音不同步的问题，提升远程交流的真实感。
在线教育：在在线教育场景中，教师可借助 ACTalker 生成生动的说话头视频，使教学内容更加有趣，吸引学生注意力，提升教学效果。
虚拟现实与增强现实：在 VR 和 AR 应用中，ACTalker 能够生成与虚拟环境或增强现实场景完美匹配的说话头视频。
娱乐与游戏：在娱乐和游戏领域，ACTalker 可以为角色生成自然的说话头视频，增强角色的表现力和代入感。