大模型勇闯洛圣都，加封「GTA五星好市民」！南洋理工、清华等发布视觉可编程智能体Octopus：打游戏、做家务全能干

AIGC动态欢迎阅读

原标题：大模型勇闯洛圣都，加封「GTA五星好市民」！南洋理工、清华等发布视觉可编程智能体Octopus：打游戏、做家务全能干

关键字：任务,模型,研究者,报告,视觉

文章来源：新智元

内容字数：16924字

内容摘要：新智元报道编辑：LRS 好困【新智元导读】让视觉语言模型（VLM）在模拟的电子世界里游玩是什么体验？让Octopus根据智能体的观测写控制代码，即可实现让VLM做家务、闯荡洛圣都。随着游戏制作技术的不断发展，电子游戏已然成为现实世界的模拟舞台。以游戏《侠盗猎车手》（GTA）为例，在GTA的世界里，玩家可以以第一人称视角，在洛圣都（游戏虚拟城市）当中经历丰富多彩的生活。然而，既然人类玩家能够在洛圣都…

原文链接：点此阅读原文：大模型勇闯洛圣都，加封「GTA五星好市民」！南洋理工、清华等发布视觉可编程智能体Octopus：打游戏、做家务全能干

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。