多模态LLM多到看不过来？先看这26个SOTA模型吧

AIGC动态欢迎阅读

原标题：多模态LLM多到看不过来？先看这26个SOTA模型吧
关键字：报告,模型,腾讯,指令,任务
文章来源：机器之心
内容字数：11466字

内容摘要：

机器之心报道
机器之心编辑部多模态大型语言模型进展如何？盘点 26 个当前最佳多模态大型语言模型。当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题。
近日，腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布了一份综述报告，全面梳理了 MM-LLM 的近期进展。文中不仅总结了 MM-LLM 的模型架构和训练流程，而且还梳理了 26 个当前最佳的 MM-LLM。如果你正考虑研究或使用 MM-LLM，不妨考虑从这份报告开始研究，找到最符合你需求的模型。论文标题：MM-LLMs: Recent Advances in MultiModal Large Language Models
论文地址：https://arxiv.org/abs/2401.13601
报告概览
近些年来，多模态（MM）预训练研究进展迅速，让许多下游任务的性能不断突破到新的边界。但是，随着模型和数据集规模不断扩大，传统多模态模型也遭遇了计算成本过高的问题，尤其是当从头开始训练时。

原文链接：多模态LLM多到看不过来？先看这26个SOTA模型吧