100万token，一次能分析1小时YouTube视频，「大世界模型」火了

AIGC动态欢迎阅读

原标题：100万token，一次能分析1小时YouTube视频，「大世界模型」火了
关键字：模型,解读,序列,视频,上下文
文章来源：机器之心
内容字数：5063字

内容摘要：

机器之心报道
编辑：陈萍、小舟这项研究为语言模型更好地理解物理世界铺平了道路。最近几天，我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解中的物理世界，被很多人称为「世界模型」。然而，这些刷屏无数的模型真的能很好的理解世界吗？我们就拿 Sora 来说，该模型在给大家带来惊叹的同时，却不能很好的模拟复杂场景的物理原理，如一位健身的男子倒着跑跑步机。不仅 Sora，现如今大模型虽然发展迅速，然而其自身也存在缺点，比如在现实世界中不容易用语言描述的内容，模型理解起来非常困难，又比如这些模型难以处理复杂的长程任务。视频模型的出现在一定程度上缓解了这个问题，其能提供语言和静态图像中所缺少的时间信息，这种信息对 LLM 非常有价值。随着技术的进步，模型开始变得对文本知识和物理世界有了更好的理解，从而帮助人类。
然而，由于内存限制、计算复杂性和有限的数据集，从数百万个视频和语言序列的 token 中进行学习挑战巨大。
为了应对这些挑战，来自 UC 伯克利的研究者整理了一个包含各种视

原文链接：100万token，一次能分析1小时YouTube视频，「大世界模型」火了