搞定图像+文本+视频大一统!智源发布多模态世界模型Emu3:下一个token预测直通AGI

搞定图像+文本+视频大一统!智源发布多模态世界模型Emu3:下一个token预测直通AGI

AIGC动态欢迎阅读

原标题:搞定图像+文本+视频大一统!智源发布多模态世界模型Emu3:下一个token预测直通AGI
关键字:模型,视觉,数据,图像,视频
文章来源:智东西
内容字数:0字

内容摘要:


下一个token预测,通向多模态AGI。
OpenAI前首席科学家、联合创始人Ilya Sutskever曾在多个场合表达观点:只要能够非常好的预测下一个token,就能帮助人类达到通用人工智能(AGI)。
虽然,下一token预测已在大语言模型领域实现了ChatGPT等突破,但是在多模态模型中的适用性仍不明确,多模态任务仍然由扩散模型(如Stable Diffusion)和组合方法(如结合 CLIP视觉编码器和LLM)所主导。
2024年10月21日,智源研究院正式发布原生多模态世界模型Emu3。该模型只基于下一个token预测,无需扩散模型或组合方法,即可完成文本、图像、视频三种模态数据的理解和生成。Emu3在图像生成、视频生成、视觉语言理解等任务中超过了SDXL 、LLaVA、OpenSora等知名开源模型,但是无需扩散模型、CLIP视觉编码器、预训练的LLM等技术,只需要预测下一个token。
图注:在图像生成任务中,基于人类偏好评测,Emu3优于SD-1.5与SDXL模型。在视觉语言理解任务中,对于12 项基准测试的平均得分,Emu3优于LlaVA-1.6。在视频生成任务中,


原文链接:搞定图像+文本+视频大一统!智源发布多模态世界模型Emu3:下一个token预测直通AGI

联系作者

文章来源:智东西
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...