DynamicFace

DynamicFace – 小红书联合上海交大等推出的视频换脸技术

DynamicFace是什么

DynamicFace是小红书团队开发的一项先进视频换脸技术。该技术结合了扩散模型和即插即用的时间层，基于3D面部先验知识，旨在实现高质量且一致性强的视频换脸效果。DynamicFace的创新之处在于引入了四种细致的面部条件：背景、形状感知的法线图、表情相关的地标和去除身份信息的UV纹理图。这些条件相互，有效提供了和身份信息的精准指导。同时，DynamicFace通过Face Former和ReferenceNet模块进行身份注入，确保在不同表情和姿态下身份的一致性。

DynamicFace的主要功能

• 精确的面部条件分解：DynamicFace利用3D面部先验知识，将面部分解为四种关键条件，包括背景、形状感知的法线图、与表情相关的地标和去除身份信息的UV纹理图，从而为换脸过程提供明确指导。
• 身份一致性与注入：通过集成Face Former和ReferenceNet模块，DynamicFace能够在多种表情和姿态下保持身份的一致性，确保换脸后的人脸身份与源图像高度匹配。
• 时间一致性与视频处理：引入时间注意力层，有效解决视频换脸中的时间一致性问题，使生成的视频在各个帧之间保持流畅连贯。
• 高质量图像生成：基于扩散模型，DynamicFace能够生成高分辨率且质量优良的换脸图像，同时保留目标图像的表情、姿态及背景等细节。
• 广泛适用性：DynamicFace不仅适用于静态图像的换脸，还能扩展至视频领域，广泛应用于人像重演、影视制作及虚拟现实等多个场景。

DynamicFace的技术原理

• 扩散模型与潜在空间生成：DynamicFace利用扩散模型生成高质量图像，通过逐步逆转加噪过程来实现图像生成。
• 3D面部先验与条件解耦：引入四种基于3D面部先验的细致条件：背景、形状感知的法线图、表情相关的地标图以及去除身份信息的UV纹理图。
• 身份注入机制：DynamicFace结合Face Former和ReferenceNet进行身份注入，前者提供高层次的身份特征，后者则注入详细的纹理信息，确保在不同表情和姿态下身份的一致性。
• 时间一致性机制：为保证视频换脸中的时间一致性，DynamicFace引入时间注意力层，确保生成的视频在各帧间保持自然流畅，避免突兀的变化。
• 多条件引导机制：通过多条件引导机制（Mixture-of-Guiders），DynamicFace能够精确控制面部的和外观，更好地保留目标面部的表情、姿态和光照等非身份属性。

DynamicFace的项目地址

• 项目官网：https://dynamic-face.github.io
• arXiv技术论文：https://arxiv.org/pdf/2501.08553v1

DynamicFace的应用场景

• 影视制作：DynamicFace可用于影视后期制作，快速替换演员的面部表情或身份，降低重拍成本，提高制作效率。
• 人像重演与虚拟现实：在肖像重演领域，DynamicFace能够将一人的面部表情和姿态完美转移至另一人的脸上，呈现高度逼真的效果。
• 社交媒体与内容创作：DynamicFace为创作者提供了在社交媒体上制作趣味、个性化短视频和图像内容的可能。用户可将自己的面部特征替换至明星或名人的图像，创造有趣的创意视频。
• 虚拟会议与直播：用户通过虚拟摄像头可在直播或虚拟会议中实时替换面部，为观众带来全新的视觉体验。
• 个人娱乐与创意：用户可以将自己的面部特征置入各种有趣的场景中，生成个性化的表情包或创意视频。