MirrorMe

MirrorMe – 阿里通义推出的音频驱动肖像动画框架

MirrorMe，由阿里通义实验室倾力打造，是一款革新性的实时、高保真音频驱动肖像动画框架。它基于LTX视频模型，融合了身份注入机制、音频驱动控制模块和渐进式训练策略三大核心创新，旨在解决实时生成高质量、时间一致动画视频的难题。在EMTD基准测试中，MirrorMe荣登榜首，以其出色的图像保真度、唇形同步精度和时间稳定性，以及高效的推理速度，为电商直播等应用场景提供了强有力的技术支持。

MirrorMe：开启虚拟形象新纪元

您是否曾梦想过，只需一段音频，就能让虚拟形象栩栩如生？现在，MirrorMe将梦想变为现实。这款由阿里通义实验室推出的尖端框架，能够实时、高保真地生成受音频驱动的肖像动画，为您的数字生活增添无限可能。

核心功能一览

实时动画生成，流畅体验：MirrorMe能够以每秒24帧的速度，实时生成高质量的半身动画视频，确保流畅的互动体验。
口型同步，精准无误：凭借先进的音频驱动技术，MirrorMe能够将音频信号精准转化为口型动作，实现高度逼真的唇形同步效果。
身份保持，个性化呈现：基于独特的身份注入机制，MirrorMe能够确保生成的动画视频在外观上与输入的参考图像高度一致，保留您的独特个性。
表情与手势，随心所欲：MirrorMe不仅能控制面部表情，还能基于手势信号实现对手部动作的精准控制，让您的虚拟形象更具表现力。

技术解析：MirrorMe的创新之道

MirrorMe的成功，离不开其背后的强大技术支撑：

LTX视频模型：作为核心架构，LTX模型基于扩散变换器，利用时空标记化技术实现极高的压缩比，为高效的视频生成奠定基础。
身份注入机制：通过3D变分自编码器（VAE）对参考图像进行编码，并将编码后的隐空间变量与带噪隐空间变量拼接，注入身份信息，确保动画形象与参考图像一致。
音频驱动控制模块：
- 因果音频编码器：利用预训练的wav2vec2模型提取帧级音频嵌入，并通过因果音频编码器压缩音频序列，使其时间分辨率与视频隐空间变量匹配。
- 音频适配器：通过交叉注意力机制将音频特征与视频特征融合，实现音频信号对表情和口型变化的精准驱动。
渐进式训练策略：通过逐步训练，先专注于面部表情映射，再扩展到半身合成，并引入面部遮罩和手部关键点信号，提升模型性能。
高效推理：得益于LTX模型的高效压缩和去噪技术，MirrorMe能够显著提升推理速度，在消费级NVIDIA GPU上实现24FPS的实时生成。