支持1024帧、准确率近100％，英伟达「LongVILA」开始发力长视频

AIGC动态欢迎阅读

原标题：支持1024帧、准确率近100％，英伟达「LongVILA」开始发力长视频
关键字：序列,长上,模型,研究者,下文
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：杜伟、陈陈现在，长上下文视觉语言模型（VLM）有了新的全栈解决方案 ——LongVILA，它集系统、模型训练与数据集开发于一体。现阶段，将模型的多模态理解与长上下文能力相结合是非常重要的，支持更多模态的基础模型可以接受更灵活的输入信号，以便人们可以以更多样化的方式与模型交互。而更长的上下文使模型处理的信息更多，例如长文档、长视频，这种能力同样为更多现实世界的应用程序提供了所需的功能。
然而，目前面临的问题是一些工作已经启用了长上下文视觉语言模型（VLM），但通常是采用简化的方法，而不是提供一个全面的解决方案。
全栈设计对于长上下文视觉语言模型至关重要。训练大型模型通常是一项复杂而系统的工作，需要数据工程和系统软件协同设计。与纯文本 LLM 不同，VLM（例如 LLaVA）通常需要独特的模型架构和灵活的分布式训练策略。
此外，长上下文建模不仅需要长上下文数据，还需要能够支持内存密集型长上下文训练的基础设施。因此，对于长上下文 VLM 来说，精心规划的全栈设计（涵盖系统、数据和 pipeline）是必不可少的。
本文，来自英伟达、MIT、UC 伯克利、得克萨斯大学奥斯汀

原文链接：支持1024帧、准确率近100％，英伟达「LongVILA」开始发力长视频