Gen2Act – 谷歌、卡内基梅隆、斯坦福联合推出生成人类视频引导机器人操作策略

Gen2Act是一种由谷歌、卡内基梅隆大学和斯坦福大学联合开发的机器人操作策略。它通过利用网络视频数据中的运动信息，生成与人类相似的执行任务的视频，从而引导机器人完成新的任务。该策略依托于海量的网络视频资源，规避了直接生成机器人视频所带来的复杂性。Gen2Act具备强大的泛化能力，能够适应未见过的物体和动作，在实际应用中显著提升了任务执行的成功率。

Gen2Act是什么

Gen2Act是由谷歌、卡内基梅隆大学和斯坦福大学共同推出的一种机器人操作策略，基于预测网络数据中的运动信息来生成人类视频，并将视频用在引导机器人执行新任务。该策略利用大量可用的网络视频数据，避免了直接生成机器人视频的复杂性。Gen2Act的核心在于零样本的人类视频生成，结合预训练的视频生成模型和少量的机器人交互数据进行策略训练。在真实世界的应用中，Gen2Act展现出强大的泛化能力，能够操作未曾见过的物体并执行新动作，相较于其他方法，其成功率显著提高。此外，Gen2Act支持复杂任务的长时间执行，如连续完成“制作咖啡”等多步骤活动。这一方法减少了对大规模机器人数据采集的需求，并通过闭环策略动态调整，提高了操作的准确性。

Gen2Act的主要功能

• 零样本视频生成：Gen2Act可以直接利用预训练的视频生成模型，根据语言描述的任务和场景图像生成人类执行任务的视频，而无需针对特定任务进行微调。
• 泛化到新任务：通过生成的人类视频引导，Gen2Act使机器人能够执行在训练数据中未出现过的新任务，包括操作未见过的物体和执行新的动作。
• 闭环策略执行：结合生成的视频和机器人的实时观察，Gen2Act通过闭环策略动态调整机器人的动作，以适应变化的场景，确保准确执行任务。
• 长时任务处理：Gen2Act能够完成单一任务，并基于任务序列的链接，执行一系列复杂的长时任务，如“制作咖啡”，涉及多个步骤的连续操作。
• 减少数据需求：Gen2Act只需较少的机器人演示数据，大幅降低了数据收集的成本和工作量。

Gen2Act的技术原理

• 人类视频生成：基于预训练的视频生成模型，利用语言描述的任务和场景的首帧图像，实现零样本的人类任务视频生成。
• 视频到动作的翻译：通过闭环策略，将生成的人类视频转化为机器人的动作，策略利用视频的视觉特征和点轨迹预测隐式编码的运动信息。
• 视觉特征提取：使用ViT编码器和Transformer编码器从生成的视频和机器人的观察历史中提取特征。
• 点轨迹预测：基于轨迹预测Transformer，预测视频中点的运动轨迹，以辅助损失来训练策略。
• 行为克隆损失：通过最小化预测动作与真实动作之间的误差来优化策略，从而模仿人类视频中的行为。

Gen2Act的项目地址

• 项目官网：https://homangab.github.io/gen2act/
• arXiv技术论文：https://arxiv.org/pdf/2409.16283

Gen2Act的应用场景

• 家庭自动化：在家庭环境中，Gen2Act能够控制家居设备，如开关微波炉、操作咖啡机、整理物品等，助力家庭自动化的实现。
• 工业自动化：在制造业中，Gen2Act可以执行复杂的装配任务，或在需要灵活性和适应性的环境中替代或辅助人工操作。
• 服务行业：在餐饮或零售服务中，Gen2Act可以指导机器人完成点单、上菜、整理货架等任务。
• 医疗辅助：在医疗领域，Gen2Act有助于开发执行精细操作的机器人，如协助手术或递送医疗用品。
• 灾难救援：在灾难救援现场，Gen2Act能够操控机器人在未知环境中进行搜索和救援任务。

常见问题

• Gen2Act的主要优势是什么？ Gen2Act的主要优势在于其零样本视频生成能力、强大的泛化能力以及通过闭环策略动态调整机器人操作的能力。
• Gen2Act能应用于哪些行业？ Gen2Act适用于家庭自动化、工业自动化、服务行业、医疗辅助以及灾难救援等多个领域。
• 使用Gen2Act需要多少数据？ Gen2Act只需较少的机器人演示数据，大幅降低了数据收集的需求。