Motion Dreamer

Motion Dreamer – 香港科技大学推出的合理视频生成框架

Motion Dreamer是什么

Motion Dreamer是由香港科技大学（广州）研究团队开发的一种视频生成框架，专注于创造合理的视频内容。该框架采用两阶段生成机制：首先，基于输入图像和条件，生成中间表示；接着，利用这些表示合成高细节的视频。通过引入实例流这一创新的模态，Motion Dreamer能够实现从稀疏到密集的控制，用户仅需提供稀疏的提示，模型便能生成时间连贯的视频。随机掩码实例流策略的运用提升了模型的推理与泛化能力。实验证明，Motion Dreamer在Physion数据集及自动驾驶数据集上表现出色，尤其在连贯性和物理合理性方面显著超越其他模型，同时确保生成高质量的视频。

Motion Dreamer的主要功能

• 生成物理合理的视频：作为一款两阶段的视频生成框架，Motion Dreamer能够生成符合物理规律的视频。在第一阶段，模型根据输入图像和条件生成中间表示，例如分割图或深度图，重点关注的本质；在第二阶段，利用这些中间表示来生成高细节的视频。
• 从稀疏到密集的控制：通过引入实例流这一新的模态，用户可以提供稀疏的提示，如表示平均光流方向的箭头，而模型则生成像素对齐的密集表示，从而实现时间连贯的视频生成。
• 提升模型的推理能力：采用随机掩码实例流的训练策略，在训练过程中随机掩码部分实例流，要求模型重建完整的密集表示。这一过程促使模型推断缺失的提示，增强了模型的泛化能力及其基于推理的生成效果。

Motion Dreamer的技术原理

• 两阶段生成框架
  • 第一阶段：推理：基于输入图像和条件，生成中间表示，如分割图和深度图，专注于的本质。这一阶段利用基于扩散的视频生成模型，强调低频表示，以增强时间连贯性。模型会预测光流、实例分割图和深度图等中间表示，构成对场景动态的全面描述。
  • 第二阶段：高保真视频合成：利用第一阶段生成的中间表示作为条件，生成高细节的视频。通过将推理与视频合成解耦，模型能够更准确地生成符合物理规律的，同时保持视频的高质量细节。
• 实例流：实例流是一种新颖的稀疏到密集的模态，用于连接用户输入与密集表示。为了有效整合实例流，模型准备了多尺度的实例流版本，以匹配网络中不同尺度的特征图。通过Softmax Splatting函数，将特征图进行变形，分布到新的位置，整合信息，同时保持可微性以支持端到端训练。
• 随机掩码实例流训练策略：在训练过程中，随机掩码部分实例流，要求模型重建完整的密集表示。通过这种方式，模型不仅可以处理不完整的信息，还能更好地理解和预测对象之间的交互及合理轨迹，即使在输入稀疏的情况下也能生成合理的。

Motion Dreamer的项目地址

• 项目官网：https://envision-research.github.io/MotionDreamer
• Github仓库：https://github.com/EnVision-Research/MotionDreamer
• arXiv技术论文：https://arxiv.org/pdf/2412.00547

Motion Dreamer的应用场景

• 视频内容创作：在电影、电视剧和广告制作中，Motion Dreamer可以生成高质量且符合物理规律的视频片段，为创作者提供更大的创意空间和素材选择。
• 动画制作：在动画电影及游戏动画制作中，Motion Dreamer能够生成逼真的角色动画，减少手动制作的时间和成本，从而提高动画制作的效率。
• 沉浸式体验：在虚拟现实和增强现实应用中，Motion Dreamer可以创造逼真的虚拟场景和动态效果，为用户提供更加沉浸的体验。
• 交互式应用：通过用户输入的稀疏提示，Motion Dreamer能够生成与用户互动的动态内容，实现更自然流畅的交互体验。
• 驾驶场景模拟：Motion Dreamer能在自动驾驶领域生成各种复杂的驾驶场景，助力测试和优化自动驾驶算法。
• 交通流量分析：利用Motion Dreamer生成的大量驾驶场景数据，可以进行交通流量分析和预测，为城市交通规划与管理提供参考依据。