MiMo-VL – 小米开源的多模态大模型

MiMo-VL 是小米公司倾力打造的开源多模态大模型，集视觉编码、跨模态交互与语言理解于一身。它基于 Qwen2.5-ViT 视觉编码器、小米自研 MiMo-7B 语言模型，并辅以创新的多阶段预训练策略和混合在线强化学习，在复杂图片推理、GUI 操作、视频理解等任务上展现出卓越性能。

MiMo-VL：开启多模态智能新篇章

MiMo-VL，这款由小米倾力打造的开源多模态大模型，汇聚了视觉编码器、跨模态投影层和语言模型的强大功能。其视觉编码器以 Qwen2.5-ViT 为基础，语言模型则采用了小米自主研发的 MiMo-7B。通过精细的多阶段预训练策略，MiMo-VL 汲取了高达 2.4T tokens 的多模态数据精华，并借助混合在线强化学习（MORL）持续提升性能。在测评中，MiMo-VL 展现出令人瞩目的实力，在 MMMU-val 榜单上以 66.7% 的得分超越了 Gemma 3 27B 模型，在 OlympiadBench 榜单上更是以 59.4% 的成绩力压 72B 模型。

核心功能一览

• 图像深度解读与问答：能够深入理解复杂图像内容，并给出精准的解释与解答。
• GUI 操控与交互：支持长达 10 步以上的 GUI 操作，轻松驾驭复杂的图形用户界面指令。
• 视频内容理解：具备视频内容分析能力，结合语言实现推理与问答。
• 长文档处理与分析：能够处理长篇文档，进行深度的推理和分析。
• 用户体验优化：借助混合在线强化学习算法（MORL），全面提升推理能力、感知能力和用户体验。

技术内核解析

• 视觉编码器：采用 Qwen2.5-ViT 技术，支持原生分辨率输入，保留图像细节。
• 跨模态投影层：运用 MLP 结构，实现视觉与语言特征的完美对齐。
• 语言模型：搭载小米自研的 MiMo-7B 基础模型，专为复杂推理任务量身定制。
• 多阶段预训练：通过收集、清洗、整合高质量的预训练多模态数据，涵盖图文、视频-文本、GUI 操作序列等多种类型，总计 2.4T tokens。通过分阶段调整不同类型数据的比例，强化长程多模态推理的能力。
• 四阶段预训练流程：
  • 投影层预热：使用图文对数据，序列长度为 8K。
  • 视觉-语言对齐：使用图文交错数据，序列长度为 8K。
  • 多模态预训练：使用 OCR/视频/GUI/推理数据，序列长度为 8K。
  • 长上下文 SFT：使用高分辨率图像/长文档/长推理链，序列长度为 32K。

官方资源

• 项目代码库：https://github.com/XiaomiMiMo/MiMo-VL
• HuggingFace 模型库：https://huggingface.co/collections/XiaomiMiMo/mimo-vl

应用前景展望

• 智能客服：为用户提供更智能、便捷的服务，例如完成复杂的图片推理和问答任务。
• 智能家居：通过理解家庭照片、视频等多媒体数据，实现 GUI Grounding 任务，提升人机交互体验。
• 智慧医疗：辅助医生进行诊断和治疗，通过理解医学图像和文本。
• 教育领域：辅助数学解题和编程学习，提供解题步骤和代码示例。
• 科研与学术：协助逻辑推理和算法开发，帮助研究人员验证假设和设计实验。

常见问题解答

（此处可根据用户反馈和实际使用情况，补充常见问题及解答，例如：如何获取 MiMo-VL 模型？如何进行模型微调？ MiMo-VL 的硬件要求是什么？等等）