从人类示范到机器人智慧：揭开高效模仿学习的神秘面纱

详解穹彻智能IROS 2024的最新成果RISE~

原标题：上交大卢策吾教授团队博士生方泓杰：基于人类示范数据的高效机器人模仿学习 | 具身智能前沿讲座预告
文章来源：智猩猩GenAI
内容字数：3806字

基于人类示范数据的高效机器人模仿学习

近年来，机器人模仿学习技术在基于人类示范数据的领域取得了显著进展。这一进展为机器人的操控策略提供了新的可能性，但仍面临诸多挑战，特别是在如何提高示范数据收集效率和实现通用操控策略方面。

1. 人类示范数据的挑战

尽管模仿学习技术展现出巨大潜力，但在真实世界中收集有效的人类示范数据仍然是一个耗时且昂贵的过程。如何提高数据收集的效率，对发展高效的模仿学习算法至关重要。

2. RH20T数据集的发布

为此，上海交通大学卢策吾教授团队推出了RH20T数据集，包含超过11万个丰富的机器人操控轨迹。这些轨迹通过人类遥操作收集，涵盖多种技能和场景，为模仿学习提供了丰富的资源。与RH20T相关的研究成果已被收录于RSS 2023和ICRA 2024。

3. 引入低成本外骨骼系统

为了降低双臂数据采集的成本，卢策吾教授团队与上海AI Lab联合引入了AirExo外骨骼系统。该系统能在野外环境中高效采集双臂操作数据，使得机器人在仅需3分钟的遥控演示和采集的野外数据下，学习效果超越20分钟的遥控演示。这一成果已在ICRA 2024上发表。

4. 基于3D感知的模仿学习策略RISE

穹彻智能与卢策吾教授团队共同提出了基于3D感知的真实世界机器人操控策略RISE。RISE通过有效提取空间信息，显著提升了机器人在不同物置和相机视角下的泛化能力。这一策略在多个机器人操作任务中表现优于传统的2D和3D方法，增强了其在真实环境中的鲁棒性，相关论文在IROS 2024上发布。

5. 高效且通用的操控策略CAGE

为进一步提高数据利用效率，团队还提出了CAGE策略。该策略能够利用仅50条单平台单相机视角采集的数据，无需预训练，便可实现技能的迁移。这一成果为复杂环境中的机器人操控策略提供了强有力的支持。

总结

通过大规模数据集的发布、低成本的外骨骼系统以及先进的感知技术，上海交通大学及其合作团队在机器人模仿学习领域取得了重要进展。这些研究不仅提升了人类示范数据的利用效率，也为机器人在复杂环境中的应用奠定了基础。未来的研究将继续致力于实现更加高效和通用的机器人操控策略。

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下矩阵账号之一，聚焦大模型开启的通用人工智能浪潮。