GPT-4o能玩《黑神话》！精英怪胜率超人类，无强化学习纯大模型方案

AIGC动态欢迎阅读

原标题：GPT-4o能玩《黑神话》！精英怪胜率超人类，无强化学习纯大模型方案
关键字：动作,人类,操作,智能,数据
文章来源：量子位
内容字数：0字

内容摘要：

小明发自凹非寺量子位 | 公众号 QbitAIAI玩黑神话，第一个精英怪牯护院轻松拿捏啊。
有方向感，视角也没有问题。
躲闪劈棍很丝滑。
甚至在打鸦香客和牯护院时，AI的胜率已经超过人类。
而且是完全使用大模型玩，没有使用强化学习。
阿里巴巴的研究人员们提出了一个新型VARP（视觉动作角色扮演）智能体框架。
它能直接将游戏截图作为输入，通过视觉语言模型推理，最终生成Python代码形式的动作，以此来操作游戏。
以玩《黑神话·悟空》为例，该智能体在90%简单和中等水平战斗场景中取胜。
GPT-4o、Claude 3.5都来迎战研究人员以《黑神话·悟空》为研究平台，一共定义了12个任务，75%与战斗有关。
他们构建了一个人类操作数据集，包含键鼠操作和游戏截图，一共1000条有效数据。
每个操作都是由原子命令的各种组合组成的序列。原子命令包括轻攻、闪避、重攻击、回血等。然后，他们提出了VARP智能体框架。
主要包含动作规划系统和人类引导轨迹系统。
其中动作规划系统由情境库、动作库和人类引导库组成，利用 VLMs 进行动作推理和生成，引入分解特定任务的辅助模块和自我优化的动作生成模块。
人

原文链接：GPT-4o能玩《黑神话》！精英怪胜率超人类，无强化学习纯大模型方案