LeviTor：创新3D目标轨迹控制视频合成技术提升视觉效果与交互体验

LeviTor是一项前沿的图像到视频合成技术，由学、蚂蚁集团和浙江大学等机构共同开发。该技术通过结合深度信息和K-means聚类点，智能控制视频中三维物体的轨迹，无需进行显式的三维轨迹跟踪。LeviTor经过高质量视频对象分割数据集的训练，能够有效捕捉复杂场景下的物体和相互作用，简化用户的三维轨迹输入流程，使视频生成技术更加先进且易于使用。

LeviTor是什么

LeviTor是一项创新的图像到视频合成技术，旨在简化视频制作过程。通过结合深度信息和K-means聚类，LeviTor能够在生成视频时精确控制三维物体的轨迹，而不需要显式的三维跟踪。这项技术利用高质量视频对象分割数据集进行训练，能够有效捕捉物体在复杂场景中的与交互。LeviTor的设计使用户能够轻松输入三维轨迹，降低了技术使用门槛，拓宽了创意应用的范围，适合更广泛的用户群体。

LeviTor的主要功能

• 精准控制物体：在将静态图像转化为视频时，能够精准操控物体的轨迹。
• 扩展创意应用：通过三维轨迹控制，丰富视频合成的创意应用场景。
• 简化用户输入：用户只需在二维图像上简单绘制和调整深度，便可轻松输入三维轨迹。
• 自动提取深度信息和物体掩码：系统自动从图像中提取深度信息和物体掩码，减少了用户的操作步骤。
• 交互式轨迹绘制：用户可以通过交互方式绘制物体轨迹，系统将其转换为三维路径。

LeviTor的技术原理

• K-means聚类：通过对视频对象掩码的像素进行K-means聚类，生成一组具有代表性的控制点。
• 深度信息融合：深度估计网络DepthAnythingV2预测相对深度图，并在每个控制点采样深度，为控制点增加深度信息。
• 控制信号构建：将二维坐标与估计的深度值结合，构建控制轨迹，这些轨迹作为视频扩散模型的控制信号。
• 视频扩散模型：将控制信号输入视频扩散模型，生成与三维轨迹对齐的视频内容。
• 用户友好的推理流程：设计直观的交互系统，用户通过点击和调整深度值输入三维轨迹。

LeviTor的项目地址

• 项目官网：ppetrichor.github.io/levitor
• GitHub仓库：https://github.com/qiuyu96/LeviTor
• HuggingFace模型库：https://huggingface.co/hlwang06/LeviTor
• arXiv技术论文：https://arxiv.org/pdf/2412.15214

LeviTor的应用场景

• 电影特效制作：生成逼真的特效场景，降低现场拍摄的成本，提高制作效率。
• 游戏动画生成：在游戏开发中创造动态的背景和角色动画，增强游戏的沉浸感。
• 虚拟现实体验：在虚拟现实应用中合成真实感强烈的虚拟环境，提供更真实的沉浸式体验。
• 增强现实展示：在增强现实领域实现虚拟信息与现实世界的无缝融合，适用于教育、导航等场景。
• 广告视频制作：制作动感十足的广告视频，吸引观众注意力，提升品牌形象及产品吸引力。

常见问题

如需了解LeviTor的更多信息，欢迎访问我们的官网或GitHub仓库，获取最新的技术支持和更新。我们期待您的反馈与建议！