太全了！苹果上新视觉模型4M-21，搞定21种模态

AIGC动态欢迎阅读

原标题：太全了！苹果上新视觉模型4M-21，搞定21种模态
关键字：模型,任务,数据,语义,本文
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：陈萍、小舟当前的多模态和多任务基础模型，如 4M 或 UnifiedIO，显示出有希望的结果。然而，它们接受不同输入和执行不同任务的开箱即用能力，受到它们接受训练的模态和任务的数量（通常很少）的限制。
基于此，来自洛桑联邦理工学院（EPFL）和苹果的研究者联合开发了一个任意到任意模态单一模型，该模型在数十种高度多样化的模态上进行训练，并对大规模多模态数据集和文本语料库进行协同训练。
训练过程中一个关键步骤是对各种模态执行离散 tokenization，无论它们是类似图像的神经网络特征图、向量、实例分割或人体姿态等结构化数据，还是可以表征为文本的数据。论文地址：https://arxiv.org/pdf/2406.09406
论文主页 https://4m.epfl.ch/
论文标题：4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities
该研究展示了训练单一模型，也能完成现有模型至少 3 倍多的任务 / 模态，并且不会损失性能。此外，该研究还实现了更细粒度和更可控的多模态生成能力。
该研究

原文链接：太全了！苹果上新视觉模型4M-21，搞定21种模态