李飞飞团队提出ReKep，让机器人具备空间智能，还能整合GPT-4o

AIGC动态欢迎阅读

原标题：李飞飞团队提出ReKep，让机器人具备空间智能，还能整合GPT-4o
关键字：报告,关键,阶段,任务,目标
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：Panda视觉与机器人学习的深度融合。当两只机器手丝滑地互相合作叠衣服、倒茶、将鞋子打包时，加上最近老上头条的 1X 人形机器人 NEO，你可能会产生一种感觉：我们似乎开始进入机器人时代了。事实上，这些丝滑动作正是先进机器人技术 + 精妙框架设计 + 多模态大模型的产物。
我们知道，有用的机器人往往需要与环境进行复杂精妙的交互，而环境则可被表示成空间域和时间域上的约束。
举个例子，如果要让机器人倒茶，那么机器人首先需要抓住茶壶手柄并使之保持直立，不泼洒出茶水，然后平稳移动，一直到让壶口与杯口对齐，之后以一定角度倾斜茶壶。这里，约束条件不仅包含中间目标（如对齐壶口与杯口），还包括过渡状态（如保持茶壶直立）；它们共同决定了机器人相对于环境的动作的空间、时间和其它组合要求。
然而，现实世界纷繁复杂，如何构建这些约束是一个极具挑战性的问题。
近日，李飞飞团队在这一研究方向取得了一个突破，提出了关系关键点约束（ReKep/Relational Keypoint Constraints）。简单来说，该方法就是将任务表示成一个关系关键点序列。并且，这套框架还能很好地与 GPT-4

原文链接：李飞飞团队提出ReKep，让机器人具备空间智能，还能整合GPT-4o