突破极限：清华TSAIL团队发布全新12亿参数双臂机器人操作扩散基座模型RDT！

清华大学TSAIL团队博士生刘松铭主讲

原标题：清华TSAIL团队开源12亿参数的双臂机器人操作扩散基座模型RDT | 一作刘松铭博士主讲预告
文章来源：智猩猩GenAI
内容字数：2052字

双臂机器人操作与扩散基座模型的突破

双臂机器人在机器人技术中扮演着重要角色，但由于其固有的复杂性和训练数据的稀缺，开发高效的基座模型一直是一个巨大的挑战。传统的操作策略往往局限于特定任务或小规模模型，使得其应用范围受到限制。为此，清华大学人工智能研究院 TSAIL 团队提出了一种新的解决方案——Robotics Diffusion Transformer（RDT），这是目前最大的用于机器人操作的扩散基座模型，参数量达到1.2B，并已实现开源。

1. 技术挑战与解决方案

双臂机器人操作面临多种技术挑战，包括协调性、灵活性和对复杂任务的适应能力。RDT模型通过采用扩散模型的方式，有效地表示多峰的人类动作分布。此外，它利用可扩展的Transformer架构，能够处理异构的多模态输入，捕捉机器人数据中的非线性和高频特性，进而提升机器人的操作能力。

2. 物理可解释的统一动作空间

为了解决数据稀缺的问题，RDT模型引入了一种物理可解释的统一动作空间，这一空间能够统一不同机器人的动作表示，同时保留原始动作的物理含义。这一设计不仅促进了可迁移的物理知识的学习，也增强了机器人在多样化任务中的灵活性和适应能力。

3. 微调与任务完成效果分析

RDT模型在超过6000条轨迹的双臂数据集上进行了微调，显著提升了其在复杂任务中的表现。双臂机器人ALOHA在RDT模型的加持下，成功挑战了7项高难度任务，平均成功率比当前最好的模型高出56%。这一成果表明，RDT模型在控制方面已经接近人类的水平，展现了其强大的应用潜力。

4. 总结与展望

RDT模型的推出为双臂机器人操作领域带来了新的可能性，其在实现自作能力和复杂任务处理上取得的突破，标志着机器人技术向更高层次发展的重要一步。未来，随着技术的不断进步，双臂机器人将在更多实际应用中发挥作用，推动智能机器人技术的进一步发展。

该模型的详细研究成果已发表于论文《RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation》，感兴趣的朋友可以通过以下链接了解更多信息：论文链接，以及项目地址：项目地址。对于想参与相关讨论的朋友，欢迎添加小助手进行报名。

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下公众号之一，深入关注大模型与AI智能体，及时搜罗生成式AI技术产品。