AI视频理解天花板，全新MiniGPT4-Video刷爆SOTA！宝格丽宣传片配文一绝

AIGC动态欢迎阅读

原标题：AI视频理解天花板，全新MiniGPT4-Video刷爆SOTA！宝格丽宣传片配文一绝
关键字：研究人员,视频,解读,模型,视觉
文章来源：新智元
内容字数：5803字

内容摘要：

新智元报道编辑：桃子润
【新智元导读】秒懂视频的AI诞生了！KAUST和哈佛大学研究团队提出MiniGPT4-Video框架，不仅能理解复杂视频，甚至还能作诗配文。几天前，OpenAI官方账号发布了第一支由Sora制作的MV——Worldweight，引全网围观。
AI视频，已然成为多模态LLM发展的大趋势。
然而，除了视频生成，让LLM对复杂视频进行理解，也至关重要。
最近，来自KAUST和哈佛大学的研究人员提出了MiniGPT4-Video——专为视频理解而设计的多模态大模型。
论文地址：https://arxiv.org/pdf/2404.03413.pdf
值得一提的是，MiniGPT4-Video能够同时处理时态视觉数据和文本数据，因此善于理解视频的复杂性。
比如，上传一个宝格丽的首饰宣传视频。
MiniGPT4-Video能够为其配出标题，宣传语。
再比如，使用虚幻引擎制作的视频，新模型可以对其进行理解。
能看出这个视频使用了后期处理和特效，而不是实际拍摄出来的。
甚至，看过一簇簇花盛开的视频，MiniGPT4-video即兴作出了超美的抒情诗。
基于MiniGPT-v

原文链接：AI视频理解天花板，全新MiniGPT4-Video刷爆SOTA！宝格丽宣传片配文一绝