具身智能再创新高：李飞飞团队ReKep荣获CoRL-LEAP最佳论文奖！

原标题：李飞飞团队ReKep荣获CoRL-LEAP研讨会最佳论文奖，具身智能又下一城！
文章来源：新智元
内容字数：10260字

1. 引言

李飞飞团队在CoRL-LEAP研讨会上获得最佳论文奖的研究「关系关键点约束ReKep」，为机器人协调行动能力的提升提供了新思路。该研究旨在解决机器人在复杂环境中与物体交互时的操控挑战。

2. ReKep的核心理念

ReKep通过将操作行为转化为一系列对语义关键点的约束函数，利用分层优化程序实时解决机器人感知与动作循环的问题。研究表明，利用预训练的大型视觉模型（LVM）和视觉语言模型（VLM）可以自动生成ReKep，显著降低了手动指定的需求。

3. 系统实现与应用

团队在轮式单臂平台和固定双臂平台上进行实验，展示了ReKep在打包鞋子、折叠衣物、放置书籍和倒茶等任务中的应用。这些任务展示了机器人的复杂操控能力，无需特定的任务数据或环境模型。

4. 关键点约束的定义

关键点约束是指在特定任务中定义的3D点，通过Python函数映射到数值，表示关键点之间的空间关系。研究团队将操作任务分解为多个阶段，并为每个阶段指定子目标约束和路径约束，以实现复杂的操控行为。

5. 优化过程与实时解决方案

研究者将控制问题公式化为离散时间轨迹优化，为每个阶段寻找满足子目标的末端执行器姿态，实时求解优化问题。通过使用SciPy和局部优化器，系统能够在大约10Hz的频率下进行实时决策。

6. 自动生成ReKep的流程

团队设计了一个流水线，通过RGB图像和语言指令自动生成关键点和ReKep。采用DINOv2进行特征提取，并结合VLM生成任务相关的约束，从而实现开放环境中的任务执行。

7. 实验结果与评估

实验评估了七项不同任务的成功率，结果表明ReKep的表现优于基线模型VoxPoser。通过对不同任务的外部干扰测试，ReKep展示了良好的适应性和鲁棒性。

8. 结论与未来展望

ReKep为机器人操控提供了一种结构化、灵活的任务表示方法，展现出实时性能和广泛适用性。尽管存在依赖刚性假设和点跟踪的挑战，研究团队依然对未来的优化与自动化充满信心。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。