Follow-Your-Emoji – 腾讯等推出的人像动画框架

Follow-Your-Emoji是一种由香港科技大学、腾讯混元与清华大学的研究者联合开发的先进人像动画框架。该框架基于扩散模型，能够为静态肖像添加动态表情序列，实现生动的面部动画效果。通过精确对齐表情与肖像，该技术不仅保持了身份特征的完整性，还有效避免了身份信息的泄露。Follow-Your-Emoji支持多种风格的人像动画，包括现实主义、卡通、雕塑及动物图像，展现出极高的表现力和灵活性。

Follow-Your-Emoji是什么

Follow-Your-Emoji是一个基于扩散模型的人物动画框架，通过该技术，可以将目标表情序列动态地应用于参考肖像。这一创新解决方案由香港科技大学、腾讯混元及清华大学的研究团队共同研发。它通过表情感知标志点来精确对齐表情与肖像，确保在保证身份特征的同时，有效避免身份信息的泄露。此外，采用面部精细损失函数，进一步提升了模型对微妙表情变化的捕捉能力。该框架能够实现多种风格的人像动画，包含真人、卡通、雕塑甚至动物，展现出极高的控制性和表现力。

主要功能

• 动态表情同步：利用扩散模型，Follow-Your-Emoji可以将预设或实时捕捉的表情序列准确地同步到静态肖像上，实现如眨眼、微笑、皱眉等复杂表情的动态变化。
• 身份特征保持：该框架设计了特别的机制，确保在动画过程中参考肖像的关键身份特征不被改变，避免在表情剧烈变化时产生身份信息的失真。
• 夸张表情表现：通过表情感知标志点的技术，能够捕捉并展现夸张的表情动作，尤其适合卡通和漫画风格，增强动画的表现力。
• 多风格适应：Follow-Your-Emoji不仅限于现实风格的肖像，还能够适应并动画化不同艺术风格的肖像，如卡通、雕塑及动物等，显示出其广泛的适用性。
• 时间连贯性：通过面部精细损失函数，框架在生成每一帧动画时考虑前后帧的连贯性，确保动画序列在时间上自然流畅。
• 长期动画生成：采用渐进式生成策略，Follow-Your-Emoji能够生成在短期和长期播放中均能保持高质量和稳定的动画效果。
• 高度控制性：用户可以详细控制表情序列，从而精确调整动画输出，满足个性化创作的需求。

产品官网

• 官方项目主页：https://follow-your-emoji.github.io/
• arXiv技术论文：https://arxiv.org/abs/2406.01900

应用场景

Follow-Your-Emoji可以广泛应用于社交媒体、动画制作、游戏设计、虚拟现实等领域。用户可以通过该技术为自己的肖像或角色添加生动的面部表情，提升互动性和趣味性。

常见问题

• Follow-Your-Emoji支持哪些风格的人像动画？该框架支持多种风格，包括现实主义、卡通、雕塑及动物等。
• 如何确保身份信息的安全？框架采用了特殊机制，确保在表情变化时身份特征得以保留，防止信息泄露。
• 用户能否自定义动画表情？是的，用户可以通过提供不同的输入表情序列，精确控制动画的输出，实现个性化创作。

Follow-Your-Emoji的技术原理

1. 基于扩散模型的框架：该技术使用先进的扩散模型（Stable Diffusion）作为基础，能够生成高质量的图像和视频内容。
2. 表情感知标志点：利用MediaPipe等工具从动态视频中提取3D关键点，并将其投影到2D平面，从而指导动画过程。
3. 面部精细损失：引入新的损失函数，通过面部遮罩和表情遮罩引导模型关注微妙的面部表情细节。
4. 多风格适应性：该框架设计为能够适应不同风格的肖像，确保自然的动画效果。
5. 渐进式生成策略：采用从粗糙到精细的生成策略，确保动画的连贯性和稳定性。
6. 时间注意力机制：在UNet网络中加入时间注意力层，以保持动画帧之间的一致性。
7. 预训练与微调：使用大量的训练数据集对模型进行预训练，并针对特定任务进行微调。
8. 数据集和基准建设：团队构建了EmojiBench基准，用于评估模型性能。
9. 推理与动画生成：模型结合表情感知标志点和时间注意力机制，生成动态肖像动画，同时保持身份特征。
10. 用户控制与定制：用户可通过输入不同的表情序列，控制动画输出，增强定制化效果。