ReCamMaster

ReCamMaster – 浙大联合快手等推出的视频重渲染框架

ReCamMaster是什么

ReCamMaster 是由浙江大学与快手科技等机构共同研发的一种视频重渲染框架，能够依据新的相机轨迹重新生成视频内容。该框架结合了预训练模型和帧维度条件机制，利用多相机同步数据集和相机姿态条件，灵活调整视频的视角与轨迹。用户只需上传视频并设定相机轨迹，系统便会生成全新视角的视频。这项技术广泛应用于视频创作、后期制作、教育等多个领域，为视频内容带来独特的视角和动态效果，提升创作的度与质量。

ReCamMaster

ReCamMaster的主要功能

相机轨迹控制的视频重渲染：根据用户指定的相机轨迹重渲染输入视频，生成新视角的动态场景，同时确保与原始视频的外观一致性。
视频稳定化：将不稳定的视频转化为平滑流畅的版本，同时保留原始场景和动作。
视频超分辨率与扩展：通过输入变焦轨迹，实现局部超分辨率，生成更清晰的细节。同时支持输入拉远轨迹，生成超出原始视频视野的新内容。
复杂轨迹支持：能够处理平移、旋转、缩放等多种复杂轨迹，用户可以灵活自定义相机。
高质量视频生成：通过帧维度条件拼接技术，保持视频的动态同步性和多帧一致性，生成高质量视频。

ReCamMaster的技术原理

预训练的文本到视频扩散模型：ReCamMaster 基于预训练的文本到视频扩散模型构建，模型整合了一个 3D 变分自编码器（VAE）和一个基于 Transformer 的扩散模型（DiT），能够生成高质量的视频内容。
帧维度条件机制：框架创新性地提出了帧维度条件机制，将源视频与目标视频的标记沿帧维度拼接，作为扩散 Transformer 的输入，使模型更好地理解视频间的时空关系，从而生成与源视频保持同步的一致目标视频。
相机姿态条件：ReCamMaster 通过可学习的相机编码器将目标相机轨迹编码到视频特征中，以旋转和平移矩阵的形式表示相机轨迹，投影到与视频标记相同的通道中，实现对相机轨迹的灵活控制。
多相机同步视频数据集：为了克服训练数据稀缺的问题，研究团队利用 Unreal Engine 5 创建了一个大规模的多相机同步视频数据集，包含多样化场景与相机，有助于模型在真实世界视频中的泛化能力。
训练策略：在训练过程中，ReCamMaster 采用了微调关键组件、应用噪声及统一相机控制任务等策略，以提升模型的泛化能力及生成能力，同时减少合成数据与真实数据之间的域差距。

ReCamMaster的项目地址

项目官网：https://jianhongbai.github.io/ReCamMaster/
Github仓库：https://github.com/KwaiVGI/ReCamMaster
arXiv技术论文：https://arxiv.org/pdf/2503.11647

ReCamMaster的应用场景

视频创作与后期制作：ReCamMaster 能够根据用户设定的相机轨迹重新渲染视频，生成具有新视角与轨迹的内容，创作者可以通过调整相机轨迹，增添更具创意的镜头，提升视觉效果。
视频稳定化：将不稳定的手持视频转化为平稳的版本，同时保留原始场景与动作。
自动驾驶与机器人视觉：ReCamMaster 可用于生成不同视角的驾驶场景，帮助训练自动驾驶模型，提高其对复杂场景的适应能力。
虚拟现实与增强现实：为虚拟环境生成匹配的视频内容，丰富虚拟现实和增强现实应用的视觉素材。