ReCapture：谷歌与加坡国立大学携手推出创视频处理技术，提升画质与处理效率

ReCapture是一项由谷歌和加坡国立大合开发的视频处理技术，能够从单一用户提供的视频中生成具有相机轨迹的视频。该技术运用多视图扩散模型及基于深度的点云渲染，创造出带有相机视角的噪声锚视频，并通过掩码视频微调技术，将锚视频转化为清晰且时间一致的重角度视频，同时保留原视频中的场景动态，从而以全的视角展现场景。

ReCapture是什么

ReCapture是一个创的视频处理工具，旨在从用户上传的源视频中生成具有全相机轨迹的视觉内容。该技术通过多视图扩散模型及深度点云渲染生成带有视角的初步视频，并借助掩码视频微调技术，将这一初步视频转换为干净、时间一致的高质量再现视频，确保原始视频中的场景得以保留。这种技术还能够合理地推测出未在原视频中展示的场景部分，增视频的完整性。

ReCapture的主要功能

• 视角视频生成：从用户提供的源视频中创建全的相机轨迹，支持从不同角度观察同一场景。
• 保留场景动态：在生成视角视频时，确保保留源视频中的所有现有场景动态。
• 高级相机模拟：模拟电影级的相机，如移、缩放和倾斜，增视频的视觉吸引力。
• 场景补全能力：能够合理想象并补全源视频中未显示的场景部分，提高视频内容的完整性。
• 视频质量提升：运用掩码视频微调技术，将带有噪声的锚视频转化为清晰、时间一致的高质量视频。

ReCapture的技术原理

• 锚视频生成：
  • 深度估计与点云渲染：通过逐帧深度估计，将视频帧转换为3D点云序列，根据用户指定的相机模拟视角，渲染点云序列生成的视频帧。
  • 多视图扩散模型：对于复杂的相机轨迹，利用多视图扩散模型生成视角的视频帧。
• 掩码视频微调：
  • 时间LoRA（低秩适应）：在掩码锚视频上微调时间LoRA，以学习场景的动态特征，专注于有意义的像素部分，忽略未知区域。
  • 间LoRA：在源视频的增帧上微调间LoRA，以学习场景的外观，确保填补的像素与原视频像素无缝融合。
• 视频模型的先验：利用先验知识，在掩码区域自动填充合理内容，从而显著提高视频的时间一致性，消除锚视频中的抖动。

ReCapture的项目地址

• 项目官网：generative-video-camera-controls.github.io
• arXiv技术论：https://arxiv.org/pdf/2411.05003

ReCapture的应用场景

• 电影和视频制作：电影制作人可以重编辑和调整已拍摄的视频，改变原有的相机角度和，创造的视觉效果或改善场景构图。
• 视频编辑与后期制作：视频编辑者能够修正或增视频内容，例如，改变相机视角以突出关键元素或消除不需要的背景。
• 虚拟现实（VR）和增现实（AR）：在VR和AR应用中，生成更加沉浸式和互动式的视频内容，提供多角度观察场景的能力。
• 闻和纪录片：记者和纪录片制作者可以从多个角度展示闻故事或历史，增加报道的深度与维度。
• 体育赛事直播：体育赛事的直播可以提供更多视角，让观众从不同的相机角度体验比赛，提升观赛体验。

常见问题

• ReCapture能处理哪些类型的视频？：ReCapture可以处理各种类型的视频，包括拍摄的电影片段、纪录片、体育赛事等。
• 用户需要提供什么样的视频素材？：用户需要提供清晰的源视频，以便系统能够准确生成视角视频。
• 生成视频需要多长时间？：生成视频的时间依据视频的长度和复杂性而有所不同，一般在几分钟到数小时内完成。