Pippo

Pippo – Meta 推出的单图生成多视角高清人像视频模型

Pippo是什么

Pippo是由Meta Reality Labs开发的一款先进的图像到视频生成模型，能够从单张照片生成1K分辨率的多视角高清晰度人像视频。该模型采用了多视角扩散变换器，并在30亿张人像图像上进行了预训练，随后在2500张专业捕捉的图像上进行了后训练。Pippo的关键技术包括ControlMLP模块，旨在注入像素对齐的条件，以及注意力偏差技术，使其在推理时能够生成比训练时多出5倍以上的视角。该模型还引入了重投影误差，以评估多视角生成的3D一致性。

Pippo的主要功能

• 多视角生成：Pippo可以从单张全身或面部照片生成多视角的高清视频，支持全身、面部或头部的生成需求。
• 高效内容生成：借助多视角扩散变换器，Pippo能够生成多达5倍于训练视角的视频内容。
• 高分辨率支持：Pippo实现了1K分辨率下的一致多视角人像生成，为用户提供更清晰的视觉体验。
• 空间锚点与ControlMLP：通过ControlMLP模块的像素对齐条件，如Plücker射线和空间锚点，实现更优异的3D一致性。
• 自动补全细节：在处理单目视频时，Pippo能够自动填补缺失的细节，例如鞋子、面部或颈部等。

Pippo的技术原理

• 多阶段训练策略：
  • 预训练阶段：Pippo首先在30亿张未标注的人像图像上进行预训练，以捕获丰富的特征信息。
  • 中间训练阶段：在高质量工作室数据集上，模型联合生成多个视角的图像，利用低分辨率视图进行去噪，并通过浅层MLP粗略编码目标相机。
  • 后训练阶段：在高分辨率下对少量视图进行去噪，引入像素对齐控制（如空间锚点和Plücker射线），确保3D一致性。
• 像素对齐控制（ControlMLP模块）：通过ControlMLP模块注入的像素对齐条件，如Plücker射线和空间锚点，确保在推理阶段固定为任意位置。
• 注意力偏差技术：在推理阶段，Pippo引入了注意力偏差技术，使模型能够生成比训练阶段多出5倍以上的视角。
• 3D一致性评估指标：Pippo采用改进的3D一致性评估指标——重投影误差（Re-projection Error），用于评估多视角生成的3D一致性。

Pippo的项目地址

• 项目官网：https://yashkant.github.io/pippo/
• Github仓库：https://github.com/facebookresearch/pippo
• 技术论文：https://yashkant.github.io/pippo/pippo.pdf

Pippo的应用场景

• 虚拟现实（VR）和增强现实（AR）：Pippo能够生成高质量的多视角人像视频，适用于VR和AR环境中的虚拟角色创建，增强用户的沉浸体验。
• 影视制作：在影视后期制作中，Pippo可快速生成多视角的特效镜头，显著降低拍摄成本和时间。
• 视频会议：通过从单张照片生成多视角视频，Pippo可以为远程参与者提供更自然的交互体验，提升会议的效果。
• 游戏开发：Pippo可用于生成游戏中的角色动画，提升游戏的视觉效果和玩家的沉浸感。
• 社交媒体和内容创作：内容创作者可以使用Pippo生成多视角视频，为社交媒体平台提供更丰富且吸引人的内容。

常见问题

• Pippo支持哪些类型的输入照片？：用户可以提供全身或面部的照片，Pippo能够根据这些图片生成多视角视频。
• 生成的视频质量如何？：Pippo生成的视频可达到1K分辨率，确保高清晰度和多视角体验。
• 使用Pippo需要哪些技术背景？：Pippo的使用相对简单，但对于模型的深入理解和应用可能需要一定的技术背景。
• Pippo是否支持实时生成？：目前，Pippo主要用于离线生成视频，对于实时生成的支持还需进一步开发。