骁龙888实时运行，美团、浙大等打造全流程移动端多模态大模型MobileVLM

AIGC动态欢迎阅读

原标题：骁龙888实时运行，美团、浙大等打造全流程移动端多模态大模型MobileVLM
关键字：视觉,模型,本文,研究者,语言
文章来源：机器之心
内容字数：11177字

内容摘要：

机器之心报道
机器之心编辑部大模型涌向移动端的浪潮愈演愈烈，终于有人把多模态大模型也搬到了移动端上。近日，美团、浙大等推出了能够在移动端部署的多模态大模型，包含了 LLM 基座训练、SFT、VLM 全流程。也许不久的将来，每个人都能方便、快捷、低成本的拥有属于自己的大模型。MobileVLM 是一款专为移动设备设计的快速、强大和开放的视觉语言助手。它结合了面向移动设备的架构设计和技术，包括从头开始训练的 1.4B 和 2.7B 参数的语言模型、以 CLIP 方式预训练的多模态视觉模型，以及通过投影实现的高效跨模态交互。在各种视觉语言基准测试中，MobileVLM 的性能可媲美大型模型。此外，它还在高通骁龙 888 CPU 和英伟达 Jeston Orin GPU 上展示了最快的推理速度。论文地址：https://arxiv.org/pdf/2312.16886.pdf
Code 地址：https://github.com/Meituan-AutoML/MobileVLM
简介
大型多模态模型（LMMs），尤其是视觉语言模型（VLMs）系列，由于其在感知和推理方面的能力大大增强，已成为构

原文链接：骁龙888实时运行，美团、浙大等打造全流程移动端多模态大模型MobileVLM