GPT-4助力《黑神话·悟空》游戏体验：AI视觉语言模型驱动的游戏智能体框架实现精英怪胜率超越人类玩家，纯大模型方案无需强化学习

近年来，AI技术在游戏领域的应用越来越广泛。最近，一项新的研究表明，AI不仅能够流畅地玩《黑神话·悟空》，还能在某些场景中取得比人类更高的胜率。这项研究由阿里巴巴的研究团队完成，并提出了一种名为VARP（视觉动作角色扮演）智能体框架，该框架通过视觉语言模型（VLMs）直接处理游戏截图并生成相应的Python代码来操控游戏。

在《黑神话·悟空》这款游戏中，研究人员定义了12个任务，其中75%与战斗相关。为了验证VARP框架的有效性，他们构建了一个包含1000条有效数据的人类操作数据集，其中包括键鼠操作和游戏截图。每个操作都是由原子命令的组合构成，例如轻攻击、闪避、重攻击、回血等。

VARP框架主要由动作规划系统和人类引导轨迹系统组成。动作规划系统包括情境库、动作库和人类引导库，通过VLMs进行动作推理和生成，并引入了辅助模块来分解特定任务。人类引导轨迹系统则利用人类操作数据来改进智能体的性能，对于复杂任务，通过查询人类引导库来获取相似截图和操作，生成新的人类引导动作。

此外，VARP框架还包含三个库：情境库、动作库和人工引导库。这些库中存储了智能体自我学习和人类指导的，可以进行检索和更新。动作库中包含了多种动作类型，包括动作计划系统生成的新动作、人工引导轨迹系统生成的动作以及预定义的动作。

研究人员使用了GPT-4o、Claude 3.5 Sonnet和Gemini 1.5 Pro三种模型进行了实验。结果显示，在简单的战斗场景中，AI的表现达到了人类玩家的水平。然而，在面对更复杂的敌人时，如牯护院，只有GPT-4o表现最佳。但对于新手玩家来说较难对付的幽魂，所有AI模型都无法应对。

尽管如此，由于VLMs的推理速度受限，无法实时输入每一帧画面，只能间隔输入关键帧，这导致AI在某些情况下会错过关键信息。此外，由于游戏中缺乏明确的道路引导且存在空气墙，智能体在没有人类引导的情况下无法自行找到正确的路线。

这项研究由阿里巴巴团队完成，共有五位作者参与。未来，相关的代码和数据集有望公开，感兴趣的研究者可以关注后续动态。

AI在游戏领域的发展一直在持续进步。此前，基于强化学习的方法已经在《星际争霸II》中击败了人类职业选手。相比之下，这项研究仅使用了1000条有效数据，就能实现不错的游戏表现，这无疑是一个令人惊讶的结果。

论文地址：[https：//arxiv.org/abs/2409.12889](https：//arxiv.org/abs/2409.12889)
项目地址：[https：//varp-agent.github.io/](https：//varp-agent.github.io/)

本文来源： 量子位【阅读原文】