Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型

AIGC动态欢迎阅读

原标题：Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型
关键字：感官,物体,模型,对象,智能
文章来源：新智元
内容字数：11981字

内容摘要：

新智元报道编辑：桃子 好困
【新智元导读】Sam Altman认为AGI很快就会降临，但若是没有感官兼备的AI何以称为智能？最近，UCLA等机构研究人员提出多模态具身智能大模型MultiPLY，AI可以知冷知热、辨音识物。具身智能，是大模型未来应用的一个重要方向。
现在，大模型加持下的智能体，能够参与3D环境，不仅有了听觉视觉，还有了触觉等多种感官能力。
卧室里有什么物体，一眼辨认。
听到门铃响了，LLM便会告诉你家里来客人了。
大模型加持的NPC，在触摸桌子的香蕉后，发现没熟并建议不要吃。
甚至，它还能感受到物体的温度，餐桌上的汉堡已经凉了，会告诉你加热后再吃。
除此之外，这些智能体借助LLM之力，还擅长使用工具、物体检索、导航、任务分解等多种任务。
来自UMass Amherst、UCLA和MIT-IBM Watson AI Lab研究人员，推出了全新的具身智能大模型MultiPLY。
通过智能体与3D环境交互，MultiPLY呈现了大模型多感官能力，无缝地连接了语言、动作和感知！
论文地址：https://arxiv.org/abs/2401.08577
在推理过程中，Mult

原文链接：Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。