MiniCPM-Robot

MiniCPM-Robot – 面壁智能开源的具身智能 VLA 模型系列

MiniCPM-Robot：轻量化具身智能的革新者

面壁智能近期重磅推出了其开源的具身智能VLA（视觉语言模型）系列——MiniCPM-Robot。这一系列模型以其轻量级的特性，在通用操作和目标跟踪两大核心领域展现出卓越的性能。其中，拥有1.5B参数的MiniCPM-RobotManip专注于精细化的机械臂操作，而0.9B参数的MiniCPM-RobotTrack则擅长机器狗的跟踪导航任务。两者均借助PhyAI推理框架，为机器人赋予了更强的感知与执行能力。

MiniCPM-Robot的出现，标志着具身智能在端侧本地化运行方面迈出了重要一步。通过巧妙融合视觉Token压缩与流式上下文记忆两大创新技术，该模型系列能够支持机械臂进行长距离、高精度的操作，例如制作三明治，以及机器狗在室内外环境中精准跟踪指定目标。更令人瞩目的是，MiniCPM-Robot即使在网络连接不佳的环境下，也能在终端设备上实现本地化运行，推理延迟低至120毫秒，在各项主流评测中已跻身行业领先行列。

MiniCPM-Robot的核心本领

• MiniCPM-RobotManip：此模型是机械臂的“大脑”，能够根据指令完成复杂的长距离操作，如制作一份美味的三明治。它支持多摄像头输入，并具备强大的上下文记忆能力，能够记住任务的每一个环节以及过往的操作，从而实现更流畅、更智能的动作序列。
• MiniCPM-RobotTrack：赋予机器狗“火眼金睛”的能力。用户只需通过自然语言下达指令，机器狗便能持续追踪目标，无论是单一目标、多人干扰下的跟踪，还是模糊不清的目标，它都能应对自如。该模型能够在弱网甚至无网环境下运行，确保任务的连续性。

MiniCPM-Robot的技术精髓

• 视觉信息精炼：通过“视觉Token压缩”技术，模型能够有效地过滤掉与当前任务无关的视觉冗余信息，显著降低单次推理所需的计算量，提升效率。
• 长程记忆机制：借助“流式上下文记忆”，模型能够高效地复用之前处理过的历史信息。对于新输入的画面，模型只需进行增量计算，从而避免了在长任务中计算量呈指数级增长的问题。
• 自适应学习管线：通过在仿真和真实环境中主动暴露模型的不足之处，并收集相关错误场景进行专家纠偏与闭环训练，MiniCPM-Robot能够不断自我进化，持续提升性能。

欢迎关注微信公众号，回复“开源”，加入AI开源项目交流群，与更多开发者一起探索AI的无限可能。

如何驾驭MiniCPM-Robot

• 环境的搭建：
  • 首先，您需要克隆GitHub仓库并安装所需的依赖库。
  • 其次，准备相应的硬件设备：对于RobotManip，需要一台机械臂；对于RobotTrack，则需要一台宇树Go2 Edu机器狗。
• 模型的部署：从HuggingFace平台下载对应模型的权重文件。通过PhyAI推理框架加载模型，并完成量化与算子优化等关键步骤。
• 摄像头的接入：根据具体模型配置摄像头的接入，RobotManip需要配置腕部相机和主视角相机，而RobotTrack则使用机器狗自带的摄像头。
• 指令的输入：输入自然语言指令，例如“跟着前面穿黑衣服的人”或“做三明治”。
• 一键启动执行：运行相应的开源脚本，模型将接收视觉和语言输入，并输出机器人动作指令，随即执行任务。

MiniCPM-Robot的突出亮点

• 参数精简，性能卓越：仅1.5B参数的MiniCPM-RobotManip在LIBERO、Calvin、RoboTwin2等评测中，性能已能比肩参数量更大的模型（如π0.5）。在RMBench评测中，其上下文记忆得分高达约53分，远超π0.5的约10分。
• 推理速度翻倍：在H100平台上，单帧决策延迟仅需约120毫秒，相较于π0.5（234毫秒），速度提升近一倍。
• 真·端侧运行：机器狗能够稳定以5Hz以上的频率进行跟踪，即使在断网情况下也能持续工作，实现真正的部署。

MiniCPM-Robot的官方入口

• 项目官网：https://github.com/OpenBMB/MiniCPM-Robot
• HuggingFace模型库：
  • https://huggingface.co/openbmb/MiniCPM-RobotManip
  • https://huggingface.co/openbmb/MiniCPM-RobotTrack

MiniCPM-Robot与同类竞品的比较

MiniCPM-Robot的广阔应用前景

• 餐饮服务：机械臂能够根据指令，精准地完成取面包、夹生菜、火腿和鸡蛋等一系列动作，高效制作三明治。
• 展厅导览：在无网络环境下，机器人可利用其本地知识库，提供离线讲解、问答及路线规划等服务。
• 园区安防：机器狗能够识别车辆违停、路面异常或公共设施损坏等情况，并将敏感信息在本地处理，无需上传云端。
• 仓储物流：机器人可执行货架上的物品取放、物料搬运等长距离操作，并在遇到问题时自动重试和恢复。
• 室内外跟随：机器狗能够根据用户指令，在电梯、地下停车场等弱网区域，持续稳定地跟踪目标人物。