EMMS：高效的多模态多任务预训练模型选择器 | NeurIPS 2023

AIGC动态欢迎阅读

原标题：EMMS：高效的多模态多任务预训练模型选择器 | NeurIPS 2023
关键字：模型,任务,标签,算法,基础
文章来源：算法邦
内容字数：14595字

内容摘要：

直播预告 | 今晚7点，「多模态大模型线上闭门会」正式开讲！阿里巴巴通义实验室 NLP 高级算法专家严明参与出品，携手刘兆洋、李彦玮、文束三位青年学者，共同探讨多模态大模型的发展与应用，欢迎报名。模型优选，指的是给定数据集以及一簇预训练模型后，选择一个最适合的预训练模型可以在下游任务上微调后得到最好的结果。尤其在大模型蓬勃发展的今天，模型优选能作为多任务处理模型TaskMatrix[1]的高效API选择器。在迁移学习的框架下，一个最简单的手段是把所有的预训练模型全部进行微调，最后选择最适合的那一个，但是微调的时间与物力成本过高。所以这一任务的难点在于如何准确且高效的完成多个预训练模型的下游任务效果预测。现有工作[2,3]都聚焦于特定任务的模型优选，比如图像分类。且由于方法设计包括了任务的先验信息，无法有效的扩展到其他任务比如图像描述等。
为了解决这个问题，我们提出EMMS（Efficient Multimodal Multitask Model Selector）。EMMS是一个高效的多模态多任务预训练模型选择器，可以快速为包括图像分类，图像描述，视觉，文本问答，视觉定位任务等任务选择

原文链接：EMMS：高效的多模态多任务预训练模型选择器 | NeurIPS 2023

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：「算法邦」，隶属于智猩猩，关注大模型、生成式AI、计算机视觉三大领域的研究与开发，提供技术文章、讲座、在线研讨会。