Video Depth Anything引领超长视频深度估计最新SOTA！字节跳动开源

旨在解决超长视频中的深度估计问题

原标题：Video Depth Anything引领超长视频深度估计最新SOTA！字节跳动开源
文章来源：智猩猩GenAI
内容字数：11928字

Video Depth Anything: 超长视频深度估计的新方法

本文介绍了一种名为Video Depth Anything (VDA) 的新方法，用于高效地估计任意长度视频的时间一致性深度。该方法在Depth Anything V2的基础上进行了改进，实现了在空间和时间上都达到最先进水平的视频深度估计，同时保持了极高的计算效率。

1. 解决的问题

现有的单目深度估计方法，例如Depth Anything，在单个图像上表现出色，但在视频应用中常常出现时间不一致性问题，影响了其实用性。虽然一些方法尝试解决这个问题，但它们通常仅适用于短视频，并且在质量和计算效率之间难以取得平衡。VDA旨在解决超长视频的深度估计问题，克服现有方法的局限性。

2. 核心技术

VDA的核心改进在于三个方面：

1. 高效的时空头 (STH): 用一个高效的时空头替换Depth Anything V2的原有头部，该时空头基于多头自注意力机制，能够有效地捕捉视频帧之间的时间关系，而无需额外的计算负担。
2. 时间梯度匹配损失 (TGM): 设计了一种新颖的时间一致性损失函数——TGM。与依赖光流的传统方法不同，TGM直接比较相邻帧相同位置的深度变化，避免了光流计算的额外开销，并更有效地保证了时间一致性。
3. 基于关键帧的超长视频推理策略: 提出了一种结合关键帧参考和重叠帧插值的策略，用于处理超长视频。该策略有效地减少了累积误差，并保证了不同视频片段之间的平滑过渡。

3. 实验结果

VDA在多个公开数据集上进行了测试，结果表明：

1. SOTA性能: 在长视频深度估计方面，VDA在几何精度和时间一致性指标上都超越了现有的方法，取得了新的SOTA。
2. 高计算效率: VDA的前馈结构和轻量级的时间模块使其具有极高的计算效率，即使是最小模型也能达到30 FPS的实时性能。
3. 零样本泛化能力: VDA在零样本视频深度估计中也表现出色，证明了其强大的泛化能力。

消融实验进一步验证了各个组件的有效性，特别是TGM损失函数和基于关键帧的推理策略对提升性能的关键作用。

4. 结论

Video Depth Anything提供了一种简单、高效且准确的超长视频深度估计方法。其在SOTA性能、高计算效率和强大的泛化能力方面的优势，使其在各种视频应用中具有巨大的潜力。

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下账号，专注于生成式人工智能，主要分享技术文章、论文成果与产品信息。