复旦发布MovieLLM，让大模型看懂电影

AIGC动态欢迎阅读

原标题：复旦发布MovieLLM，让大模型看懂电影
关键字：模型,视频,电影,关键,风格
文章来源：夕小瑶科技说
内容字数：6770字

内容摘要：

夕小瑶科技说 原创作者 | 谢年年前两天我们介绍了大模型写歌神器点击即可播放！港中文发布大模型写歌神器！
最近，复旦又发布了合成高质量长视频数据的新框架——MovieLLM，利用GPT-4并引导文图生成模型生成一致的电影级视频关键帧，利用该框架生成的长视频指令数据，显著提高了多模态模型在理解复杂视频叙事方面的性能，让大模型更懂电影。
先来看看效果：
提供给模型几张电影关键帧：
并询问：你能用几句话概括一下这部电影吗?
模型能给出详细并正确的故事概括：
在《Splice》这部电影中，科学家克莱夫·尼科利和艾尔莎·卡斯特试图通过将人类DNA植入猪胚胎来创造一个杂交生物。然而，实验出现了意外，猪胚胎经历了迅速的生长和进化。艾尔莎的哥哥加文也参与了这次实验，他变得痴迷于拯救他的兄弟克莱夫脱离实验。随着杂交生物德伦的成长，它开始迅速发育，并展现出复杂、不可预测的个性。德伦的行为愈发失控，最终导致了一场冲突，德伦杀死了艾尔莎，并被迫接受安乐死。电影以克莱夫和加文反思他们所创造的道德困境和他们科学成就的道德影响而告终。
但没有经过该数据微调的模型则错误的将电影主旨的“人类DNA植入猪胚胎来创造一个杂

原文链接：复旦发布MovieLLM，让大模型看懂电影

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：更快的AI前沿，更深的行业洞见。聚集25万AI一线开发者、互联网中高管和机构投资人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备行业嗅觉与报道深度。