ACE-Ego

ACE-Ego – 大晓机器人联合港中文开源的具身操作 VLA 模型

ACE-Ego：引领具身智能新纪元，一脑多型机器人操作的性突破

在人工智能飞速发展的浪潮中，具身智能（Embodied AI）正以前所未有的姿态改变着我们与机器交互的方式。近日，大晓机器人携手香港中文大学 MMLab 重磅发布了 ACE-Ego，一款性的“一脑多型”具身操作视觉-语言-动作（VLA）模型。ACE-Ego 以海量人类第一视角视频为基石，通过精妙的相机空间动作与形态条件编码技术，实现了单一模型适配多种机器人本体的突破性进展，极大地降低了多机器人部署的成本，并有望在零售、物流、家庭服务等多个领域掀起自动化新浪潮。

ACE-Ego的独特之处

ACE-Ego 的核心价值在于其“一脑多型”的设计理念。它打破了传统机器人需要为不同硬件进行训练的模式，通过形态条件编码，让同一个 VLA 模型能够理解并适应不同机器人本体的独特结构与特性。这意味着，无论是哪种形态的机器人，都能在 ACE-Ego 的驱动下执行复杂的任务，极大地提升了模型的通用性和部署效率。

ACE-Ego赋能的强大能力

跨形态的智能适配：ACE-Ego 的“一脑多型”特性，使得单一模型能够胜任不同机器人本体的操控，无需为每一种硬件量身定制训练方案。
精细化复杂任务执行：该模型能够稳定处理需要长时间接触和高精度操作的零售场景任务，例如熟练地将商品装入塑料袋，或将鞋子精准地放入鞋盒。
高效的双臂协调能力：在极具挑战性的双臂协调基准 RoboTwin 2.0 上，ACE-Ego 取得了高达 90.62% 的成功率，展示了其在复杂双手协作任务中的卓越表现。
开放共享的生态建设：ACE-Ego 及其相关技术资源被开源，旨在降低具身智能研发的门槛，促进整个行业的共同进步。

ACE-Ego背后的技术精髓

以人为中心的深度预训练：ACE-Ego 的训练过程融合了超过 6000 小时的第一视角人类操作视频、多机器人本体的演示数据以及仿真环境中的数据。通过学习人类日常操作的通用模式，模型能够建立强大的操作表征，再结合少量机器人数据进行微调，即可实现高效的技能迁移。
统一的相机空间动作指令：模型将所有动作预测统一到相机坐标系下，有效规避了因机器人本体和相机视角差异导致的动作空间不一致问题，从而能够跨越不同的硬件形态，输出统一、精确的动作指令。
精妙的形态条件编码：通过对机器人本体的形态信息（如关节结构、度配置等）进行编码，ACE-Ego 能够深刻理解不同硬件的物理限制，从而在同一模型框架内实现对多种机器人硬件的灵活适配。
可靠性感知训练机制：ACE-Ego 在训练过程中引入了可靠性评估机制，能够区分高置信度和低置信度的动作预测，从而显著提升模型在复杂接触操作中的稳定性和安全性。

轻松上手ACE-Ego

环境搭建：首先，克隆官方 GitHub 仓库并安装所需的 Python 依赖，确保您的系统已配置好 PyTorch 和 CUDA 环境。
模型获取：从提供的开源渠道下载 ACE-Ego 的预训练权重文件，即可加载强大的 VLA 基础模型。
本体配置：通过形态条件编码接口，录入您目标机器人的 URDF 结构、关节度和相机参数，完成“一脑多型”的适配。
相机校准：对机器人搭载的 RGB-D 相机进行内外参标定，确保建立统一的相机空间动作坐标系。
数据微调（可选）：若需针对特定任务优化性能，可采集少量机器人演示数据，结合人类视频预训练的权重进行轻量级微调。
视觉与指令输入：将机器人实时捕捉的相机画面与清晰的语言指令（例如：“请将鞋子放进鞋盒”）输入模型。
动作推理与输出：模型将输出相机空间下的末端执行器动作序列，包括精确的位置、姿态以及夹爪的开合度。
指令映射执行：将模型输出的相机空间动作指令转换为目标机器人本体可执行的关节控制信号，驱动硬件完成预设操作。
可靠性校验：启用可靠性感知模块，过滤掉低置信度的动作，确保长周期、复杂操作的稳定与安全。

ACE-Ego的突出优势

卓越的性能表现：在 RoboCasa GR1 TableTop 基准测试中，ACE-Ego 以 72.8% 的高分刷新了 SOTA 记录，远超 π0.5（37.0%）和 GR00T-N1.6（47.6%）等主流模型。
强大的跨形态泛化能力：其“一脑多型”架构使得单一模型能够适配多种机器人，极大地降低了多机器人部署的成本。
应对复杂任务的能力：在需要高强度接触和长周期的零售操作中，ACE-Ego 表现稳定，能够覆盖从商品整理到打包履约的全链路流程。
高效的数据利用率：基于人类视频的预训练，显著减少了对昂贵且稀缺的机器人演示数据的依赖。