机器人新突破：精准模仿视频，轻松组装宜家家具！

涵盖1120个子步骤

原标题：空间智能新进展：教机器人组装宜家家具，首次实现操作步骤与真实视频对齐 | NeurIPS
文章来源：量子位
内容字数：5668字

斯坦福团队发布IKEA Video Manuals数据集，助力机器人家具组装

斯坦福大学的吴佳俊教授团队近期开发了一套名为IKEA Video Manuals的大型多模态数据集，旨在帮助机器人学习如何组装宜家家具。这一数据集已被NeurIPS会议接收，标志着机器人在空间智能领域的一个重要进展。

数据集概述

IKEA Video Manuals数据集涵盖了6大类宜家家具，共36种不同类型，每种家具均配有完整的3D模型、组装说明书和实际组装视频。数据集细分为1120个具体子步骤，详细描述了组装过程，并通过6D Pose追踪技术记录了每个部件的空间轨迹。

时空信息的精细标注

该数据集基于两个已有的数据集（IKEA-Manual和IKEA Assembly in the Wild）构建，涵盖了90多个不同环境下的真实组装视频，反映了家具组装的多样性。研究团队建立了一套可靠的标注系统，以应对遮挡、相似部件识别和摄像机运动等挑战。

核心任务与评估

为了评估当前AI系统在家具组装和空间推理方面的能力，团队设计了多个核心任务，其中包括基于3D模型的分割与姿态估计、视频目标分割和基于视频的形状组装。实验结果显示，现有AI模型在真实场景中的视频理解能力和空间推理能力仍存在不足。

研究意义与未来展望

该项目的第一作者刘雨浓表示，这项工作将组装规划从2D提升到了3D空间，解决了空间智能研究中的关键瓶颈。随着数据集的发布，机器人将能够更好地理解和执行家具组装任务，为未来的自动化家居提供了重要基础。

更多信息请参考项目主页和相关论文链接。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破