北大具身智能成果入选CVPR'24：只需一张图一个指令，就能让大模型玩转机械臂

AIGC动态欢迎阅读

原标题：北大具身智能成果入选CVPR'24：只需一张图一个指令，就能让大模型玩转机械臂
关键字：物体,腾讯,模型,方向,任务
文章来源：量子位
内容字数：3392字

内容摘要：

北大前沿计算研究中心投稿投稿量子位 | 公众号 QbitAI只靠一张物体图片，大语言模型就能控制机械臂完成各种日常物体操作吗？
北大最新具身大模型研究成果ManipLLM将这一愿景变成了现实：
在提示词的引导下，大语言模型在物体图像上直接预测机械臂的操作点和方向。
进而，得以操控机械臂直接玩转各项具体的任务：
例如打开抽屉、冰箱，揭锅盖、掀马桶盖……
作者表示：
该方法利用LLM的推理和面对开放世界的泛化能力，成功提升了模型在物体操纵方面的泛化能力。
在仿真和真实世界中，ManipLLM在各种类别的物体上均取得了令人满意的效果，证明了其在多样化类别物体中的可靠性和适用性。
与谷歌RT2等输出机器人本体动作的策略相比(如下图所示)，该方法侧重于以物体为中心（Object-centric）的操纵，关注物体本身，从而输出机器人对物体操纵的位姿。
以物体为中心的操纵策略，设计针对物体本身特性的表征，与任务、动作、机器人型号无关。
这样就可以将物体和任务及环境解耦开来，使得方法本身可以适应于各类任务、各类机器人，从而实现面对复杂世界的泛化。
目前，该工作已被CVPR 2024会议接收，团队由

原文链接：北大具身智能成果入选CVPR'24：只需一张图一个指令，就能让大模型玩转机械臂