100万token,一次能分析1小时YouTube视频,「大世界模型」火了

AIGC动态9个月前发布 机器之心
15 0 0

100万token,一次能分析1小时YouTube视频,「大世界模型」火了

AIGC动态欢迎阅读

原标题:100万token,一次能分析1小时YouTube视频,「大世界模型」火了
关键字:模型,解读,序列,视频,上下文
文章来源:机器之心
内容字数:5063字

内容摘要:


机器之心报道
编辑:陈萍、小舟这项研究为语言模型更好地理解物理世界铺平了道路。最近几天,我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到,前者可以处理的上下文窗口达百万级别,而后者生成的视频能够理解运动中的物理世界,被很多人称为「世界模型」。然而,这些刷屏无数的模型真的能很好的理解世界吗?我们就拿 Sora 来说,该模型在给大家带来惊叹的同时,却不能很好的模拟复杂场景的物理原理,如一位健身的男子倒着跑跑步机。不仅 Sora,现如今大模型虽然发展迅速,然而其自身也存在缺点,比如在现实世界中不容易用语言描述的内容,模型理解起来非常困难,又比如这些模型难以处理复杂的长程任务。视频模型的出现在一定程度上缓解了这个问题,其能提供语言和静态图像中所缺少的时间信息,这种信息对 LLM 非常有价值。随着技术的进步,模型开始变得对文本知识和物理世界有了更好的理解,从而帮助人类。
然而,由于内存限制、计算复杂性和有限的数据集,从数百万个视频和语言序列的 token 中进行学习挑战巨大。
为了应对这些挑战,来自 UC 伯克利的研究者整理了一个包含各种视


原文链接:100万token,一次能分析1小时YouTube视频,「大世界模型」火了

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...