何恺明新作出炉!异构预训练Transformer颠覆本体视觉学习范式,AI性能暴涨超20%

AIGC动态1个月前发布 新智元
11 0 0

何恺明新作出炉!异构预训练Transformer颠覆本体视觉学习范式,AI性能暴涨超20%

AIGC动态欢迎阅读

原标题:何恺明新作出炉!异构预训练Transformer颠覆本体视觉学习范式,AI性能暴涨超20%
关键字:数据,机器人,模型,本体,任务
文章来源:新智元
内容字数:0字

内容摘要:


新智元报道编辑:桃子 乔杨
【新智元导读】通用机器人模型,如何解决异构性难题?来自MIT、Meta FAIR团队全新提出异构预训练Transformer(HPT),不用从头训练,即可破解。通用机器人模型,目前最大的障碍便是「异构性」。
也就是说,必须收集全方位——每个机器人、任务和环境的特定数据,而且学习后的策略还不能泛化到这些特定设置之外。
由此,AI大神何恺明带队的MIT、Meta FAIR团队,提出了异构预训练Transformer(HPT)模型。
即预训练一个大型、可共享的神经网络主干,就能学习与任务和机器人形态无关的共享表示。
简单讲,就是在你的策略模型中间放置一个可扩展的Transformer,不用从头开始训练!
论文地址:https://arxiv.org/pdf/2409.20537
研究人员将不同本体视觉输入对齐到统一的token序列,再处理这些token以控制不同任务的机器人。
最后发现,HPT优于多个基准模型,并在模拟器基准和真实世界环境中,将未见任务微调策略性能,提升20%。
值得一提的是,这项研究被NeurIPS 2024接收为Spotlight。
在真实环


原文链接:何恺明新作出炉!异构预训练Transformer颠覆本体视觉学习范式,AI性能暴涨超20%

联系作者

文章来源:新智元
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...