Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型

AIGC动态欢迎阅读

原标题：Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型
关键字：感官,物体,模型,对象,智能
文章来源：新智元
内容字数：11981字

内容摘要：

新智元报道编辑：桃子好困
【新智元导读】Sam Altman认为AGI很快就会降临，但若是没有感官兼备的AI何以称为智能？最近，UCLA等机构研究人员提出多模态具身智能大模型MultiPLY，AI可以知冷知热、辨音识物。具身智能，是大模型未来应用的一个重要方向。
现在，大模型加持下的智能体，能够参与3D环境，不仅有了听觉视觉，还有了触觉等多种感力。
卧室里有什么物体，一眼辨认。
听到门铃响了，LLM便会告诉你家里来客人了。
大模型加持的NPC，在触摸桌子的香蕉后，发现没熟并建议不要吃。
甚至，它还能感受到物体的温度，餐桌上的汉堡已经凉了，会告诉你加热后再吃。
除此之外，这些智能体借助LLM之力，还擅长使用工具、物体检索、导航、任务分解等多种任务。
来自UMass Amherst、UCLA和MIT-IBM Watson AI Lab研究人员，推出了全新的具身智能大模型MultiPLY。
通过智能体与3D环境交互，MultiPLY呈现了大模型多感力，无缝地连接了语言、动作和感知！
论文地址：https://arxiv.org/abs/2401.08577
在推理过程中，Mult

原文链接：Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型