LLIA

LLIA – 美团推出的音频驱动肖像视频生成框架

LLIA（Low-Latency Interactive Avatars）是美团公司研发的一款革新性的实时音频驱动肖像视频生成框架，它基于前沿的扩散模型技术，能够根据输入的音频信号，实时生成栩栩如生的虚拟形象视频，实现低延迟、高保真度的流畅交互体验。

LLIA：开启沉浸式虚拟互动新篇章

LLIA，全称为Low-Latency Interactive Avatars（低延迟交互式虚拟形象），是美团公司精心打造的创新框架。它利用先进的扩散模型，将音频信息转化为逼真的虚拟形象视频，带来前所未有的沉浸式交互体验。LLIA的核心优势在于其低延迟特性，结合可变长度视频生成技术、一致性模型训练策略以及模型量化技术，实现了极速的推理速度。用户不仅可以体验到流畅自然的互动，还能通过类别标签精细控制虚拟形象的状态和表情，例如切换说话、倾听或闲置等状态，从而获得更具个性化的互动体验。

核心功能一览

• 实时音频驱动的肖像视频生成：根据输入的音频信号，即时生成对应的肖像视频，实现语音与表情、动作的完美同步。
• 低延迟交互：在高性能GPU的加持下，LLIA能够以高帧率（例如384×384分辨率下达到78 FPS）和极低的延迟（例如140 ms）生成视频，满足实时交互的需求。
• 多状态切换：支持通过类别标签控制虚拟形象的状态，包括说话、倾听和空闲等，让虚拟形象能够根据场景做出自然的反应。
• 面部表情控制：利用肖像动画技术，对参考图像的表情进行精细调整，从而实现对生成视频中面部表情的精细控制，增强虚拟形象的表现力。

技术揭秘：LLIA背后的创新

LLIA的卓越表现源于其独特的技术组合：

• 扩散模型架构：LLIA以扩散模型为基石，凭借其强大的生成能力和高保真度输出，为高质量视频生成奠定了基础。
• 可变长度视频生成：通过动态训练策略，LLIA能够在推理时生成不同长度的视频片段，在降低延迟的同时，确保视频质量。
• 一致性模型（Consistency Models）：引入一致性模型和判别器，LLIA能够在更少的采样步骤下生成高质量视频，从而显著提升推理速度。
• 模型量化与并行化：通过模型量化（如INT8量化）和流水线并行技术，LLIA进一步优化推理性能，降低计算资源需求。
• 条件输入与控制：借助类别标签和肖像动画技术，LLIA能够根据输入音频的特征，动态调整虚拟形象的状态和表情，实现流畅自然的交互效果。
• 高质量数据集：LLIA基于超过100小时的高质量数据集进行训练，涵盖开源数据、网络收集数据和合成数据，从而提升模型在不同场景下的表现能力。

官方网站

了解更多关于LLIA的信息，请访问官方网站：https://meigen-ai.github.io/llia/

应用场景展望

• 虚拟面试：打造逼真的虚拟面试官或应聘者，通过实时的表情和动作反馈，增强面试的真实感和互动性。
• 手机机器人：为机器人赋予生动的虚拟形象，根据语音输入实时生成表情和动作，提升用户交互体验。
• 虚拟客服：创建虚拟客服代表，实时响应客户语音，用自然的表情和动作提升客户满意度。
• 在线教育：生成虚拟教师或助教，根据教学内容和学生反馈实时调整表情和动作，增强教学互动性。
• 虚拟社交：为用户生成个性化的虚拟形象，通过语音控制表情和动作，实现更加真实自然的社交体验。

常见问题解答

Q: LLIA的延迟有多低？

A: 在高性能GPU上，LLIA能够实现低至140 ms的延迟，实现流畅的实时交互。

Q: LLIA支持哪些类型的虚拟形象？

A: LLIA可以根据用户需求，生成各种类型的虚拟形象，包括人物、动物等。

Q: 如何控制LLIA生成的虚拟形象的状态？

A: LLIA支持通过类别标签控制虚拟形象的状态，例如说话、倾听、空闲等。

Q: LLIA是否支持定制化？

A: 是的，LLIA提供了灵活的定制选项，可以根据用户的具体需求进行调整。