EDTalk

EDTalk – 上海交大联合网易推出高效解耦的情感说话头像合成模型

EDTalk是什么

EDTalk是由上海交通大学与网易共同研发的一种音频驱动唇部同步模型。该技术能够控制嘴型、头部姿态和情感表情。用户只需上传一张照片、一段音频及一段参考视频，即可让照片中的人物进行口语表达，并支持定制情感，如快乐、愤怒和悲伤等。EDTalk通过三个轻量级模块将面部动态分解为表示嘴型、姿态和情感的潜在空间，每个空间由一组可学习的基向量构成，其线性组合定义特定的动作。这种高效的解耦训练机制不仅提升了训练效率，还降低了资源消耗，初学者也能轻松上手，探索创新应用。

EDTalk的主要功能

• 音频驱动唇部同步：通过上传的图片和音频，EDTalk可以驱动图片中的人物进行口语表达，实现嘴型的精准同步。
• 自定义情感表达：EDTalk支持用户自定义情感，如快乐、愤怒和悲伤，从而使合成视频中的人物表情与音频情绪高度一致。
• Audio-to-Motion模块：该模块能够根据音频输入自动生成与音频节奏相匹配的嘴唇动作及符合语境的表情。
• 支持视频和音频输入：EDTalk能够在视频和音频输入下生成高度精准的情感表达头像。

EDTalk的技术原理

• 高效解耦框架：EDTalk利用三个轻量级模块将面部动态分解为三个的潜在空间，分别表示嘴型、头部姿态和情感表情。这种解耦技术使得对面部动作的控制可以进行，互不干扰。
• 可学习的基向量表征：每个潜在空间由一组可学习的基向量构成，这些基向量的线性组合能够定义特定的动作。这种设计使得EDTalk能够灵活地合成具有特定嘴型、姿态和表情的讲话人头像视频。
• 正交性和高效训练策略：为确保各空间之间的性并加快训练速度，EDTalk在基向量之间进行了正交处理，设计了一种高效的训练策略，将动作责任分配给每个空间，避免依赖外部知识。

EDTalk的项目地址

• 项目官网：https://tanshuai0219.github.io/EDTalk/
• Github仓库：https://github.com/tanshuai0219/EDTalk
• arXiv技术论文：https://arxiv.org/pdf/2404.01647

EDTalk的应用场景

• 个性化数字助理：EDTalk可用于创建个性化的数字助理，通过合成与用户语音相匹配的动态人脸视频，提升交互体验。
• 影视后期制作：在影视制作中，EDTalk可用于角色对话合成，依据音频生成与角感相符的嘴型与表情，增强角色表现力。
• 教育软件的互动教学助手：EDTalk可以应用于教育软件中，创建互动式的教学助手，通过情感表达提升学习体验。
• 远程通讯：在远程通讯领域，EDTalk能够提供更真实、情感共鸣的视频交流体验，增强沟通效果。
• 虚拟现实交互：在虚拟现实环境中，EDTalk可以用于生成带有情感表达的虚拟角色，提升用户的沉浸感。

常见问题

• EDTalk支持哪些输入格式？EDTalk支持图片、音频和视频作为输入格式，用户可以自定义这些内容以生成合成视频。
• 使用EDTalk需要什么技术背景？虽然EDTalk的技术相对复杂，但其设计使得即使是初学者也能快速上手，进行简单的应用探索。
• 生成的视频质量如何？EDTalk能够生成高质量的视频，确保嘴型与音频的同步，以及情感表达的自然流畅。