单卡3090帮你一口气看完《黑悟空》，港大百度打造超长视频理解引擎VideoRAG

研究团队还建立了全新的 LongerVideos 基准数据集。

原标题：单卡3090帮你一口气看完《黑悟空》，港大百度打造超长视频理解引擎VideoRAG
文章来源：机器之心
内容字数：8225字

VideoRAG：高效理解数百小时超长视频的创新框架

本文介绍了来自香港大学黄超教授实验室的最新科研成果——VideoRAG，一个用于高效理解超长视频的创新框架。该框架突破了现有技术在超长视频理解任务中的时长限制，仅需单张RTX 3090 GPU即可高效处理数百小时的视频内容。其核心在于创新的多模态知识索引框架和高效的检索机制，使得VideoRAG能够准确理解并回答关于超长视频的复杂问题。

1. 核心优势与研究背景

VideoRAG 的主要优势包括：高效理解数百小时超长视频；将视频内容浓缩为结构化的知识图谱；采用多模态检索以精准响应查询；建立了全新的长视频基准数据集LongerVideos。 当前的RAG（Retrieval-Augmented Generation）技术主要应用于文本领域，在处理超长视频时面临跨视频语义关联和长时序依赖建模的挑战。VideoRAG 通过解决这些挑战，实现了对超长视频的全面理解。

2. 框架设计

VideoRAG采用双通道多模态视频知识索引架构，分别处理视频的视觉、音频和文本信息。视觉信息通过视觉语言模型(VLM)生成自然语言描述；音频信息通过自动语音识别(ASR)转录成文本；然后，利用大语言模型(LLMs)构建全局知识图谱，建模跨视频片段的语义关联和时序依赖。在检索阶段，VideoRAG采用混合多模态检索范式，结合知识图谱和多模态特征嵌入，精准识别与查询相关的视频片段。最后，利用LLMs整合检索到的信息并生成最终的回答。

3. LongerVideos数据集与实验评估

研究团队构建了LongerVideos基准数据集，包含164个视频，总时长超过134小时，涵盖讲座、纪录片和娱乐等类别。该数据集支持对跨视频推理能力的评估。在LongerVideos数据集上，VideoRAG在多个维度（全面性、赋能性、可信度、深度、信息密度）上显著优于现有RAG方法和支持超长视频输入的LVMs模型，证明了其卓越的长视频理解能力。消融实验也验证了基于图的索引和视觉信息处理的重要性。

4. 案例分析与结论

案例分析展示了VideoRAG在处理复杂查询时的有效性，其能够准确提取相关信息并生成详细、有据可依的答案，显著优于其他基线模型。总而言之，VideoRAG通过精确的视频知识结构构建、高效的多模态信息检索和强大的长视频处理能力，为超长视频理解提供了新的解决方案。

VideoRAG 的研究成果为超长视频理解领域带来了重大突破，为未来相关研究提供了宝贵的资源和新的方向。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台