苹果大模型MM1杀入场：300亿参数、多模态、MoE架构，超半数作者是华人

AIGC动态欢迎阅读

原标题：苹果大模型MM1杀入场：300亿参数、多模态、MoE架构，超半数作者是华人
关键字：数据,图像,模型,研究者,样本
文章来源：机器之心
内容字数：8519字

内容摘要：

机器之心报道
机器之心编辑部苹果也在搞自己的大型多模态基础模型，未来会不会基于该模型推出相应的文生图产品呢？我们拭目以待。
今年以来，苹果显然已经加大了对生成式人工智能（GenAI）的重视和投入。此前在 2024 苹果股东大会上，苹果 CEO 蒂姆・库克表示，今年将在 GenAI 领域实现重大进展。此外，苹果宣布放弃 10 年之久的造车项目之后，一部分造车团队成员也开始转向 GenAI。
如此种种，苹果向外界传达了加注 GenAI 的决心。目前多模态领域的 GenAI 技术和产品非常火爆，尤以 OpenAI 的 Sora 为代表，苹果当然也想要在该领域有所建树。
今日，在一篇由多位作者署名的论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》中，苹果正式公布自家的多模态大模型研究成果 —— 这是一个具有高达 30B 参数的多模态 LLM 系列。论文地址：https://arxiv.org/pdf/2403.09611.pdf
该团队在论文中探讨了不同架构组件和数据选择的重要性。并且，通过对图像编码器

原文链接：苹果大模型MM1杀入场：300亿参数、多模态、MoE架构，超半数作者是华人