AI玩黑神话，第一个精英怪牯护院轻松拿捏啊。
有方向感，视角也没有问题。
躲闪劈棍很丝滑。
甚至在打鸦香客和牯护院时，AI的胜率已经超过人类。
而且是完全使用大模型玩，没有使用强化学习。
阿里巴巴的研究人员们提出了一个新型VARP（视觉动作角色扮演）智能体框架。
它能直接将游戏截图作为输入，通过视觉语言模型推理，最终生成Python代码形式的动作，以此来操作游戏。
以玩《黑神话·悟空》为例，该智能体在90%简单和中等水平战斗场景中取胜。
GPT-4o、Claude3.5都来迎战
研究人员以《黑神话·悟空》为研究平台，一共定义了12个任务，75%与战斗有关。
他们构建了一个人类操作数据集，包含键鼠操作和游戏截图，一共1000条有效数据。
每个操作都是由原子命令的各种组合组成的序列。原子命令包括轻攻、闪避、重攻击、回血等。
然后，他们提出了VARP智能体框架。
主要包含动作规划系统和人类引导轨迹系统。
其中动作规划系统由情境库、动作库和人类引导库组成，利用 VLMs 进行动作推理和生成，引入分解特定任务的辅助模块和自我优化的动作生成模块。
人类引导轨迹系统利用人类操作数据改进智能体性能，对于困难任务，通过查询人类引导库获取相似截图和操作，生成新的人类引导动作。
同时VARP还包含3个库:情景库、动作库和人工引导库。
这些库中存储了agent自我学习和人类指导的内容，可以进行检索和更新。
动作库中，“def new_func_a（）”表示动作计划系统生成的新动作，“def new_func_h()”表示人导轨迹系统生成的动作。”def pre_func()”代表预定义的动作。
动作案例研究和相应的游戏截图。第一行和第二行中的操作是预定义的函数。第三行动作由人工制导轨迹系统生成。
SOAG会在玩家角色与敌人的每次战斗互动后总结第四行和第五行中的新动作，并将其存储在动作库中。
框架分别使用了GPT-4o（2024-0513版本）、Claude3.5Sonnet和Gemini1.5Pro。
对比人类和AI的表现结果，可以看到小怪部分AI们的表现达到人类玩家水平。
到了牯护院时，Claude3.5Sonnet败下阵来，GPT-4o胜率最高。
但是对于新手玩家普遍头疼的幽魂，AI们也都束手无策了。
另外研究还提到，由于VLMs推理速度受到限制，是无法实时输入每一帧画面的。它只能间隔输入关键帧，这也会导致AI在一些情况下错过boss攻击的关键信息。
以及由于游戏中没有明确的道路引导且存在很多空气墙，在没有人类引导下，智能体也不能自己找到正确的路线。
如上研究来自阿里团队，一共有5位作者。
后续相关代码和数据集有发布计划，感兴趣的童鞋可以蹲下。
One More Thing
AI打游戏并不是一个新鲜事了，比如AI基于强化学习方法打《星际争霸II》已经可以击败人类职业高手。
利用强化学习方案，往往需要输入大量对局。商汤此前训练的DI-star（监督学习+强化学习），就用了“16万场录像”和“1亿局对战”。
但是纯大模型也能打游戏，还是很出乎意料的。在本项研究中，数据集中的有效数据为1000条。
论文地址:
https://arxiv.org/abs/2409.12889
项目地址:
https://varp-agent.github.io/
总结
### 文章总结本文主要介绍了阿里巴巴研究团队利用其提出的VARP（视觉动作角色扮演）智能体框架，成功让AI玩转热门游戏《黑神话·悟空》的成就与局限。该智能体能够在无需强化学习的情况下，仅凭大模型实现高效的游戏操作，尤其是在部分战斗场景中表现出超越人类玩家的能力。
#### 核心亮点：
1. **VARP智能体框架**：
- 直接通过游戏截图输入，利用视觉语言模型（VLMs）推理并生成对应的Python代码动作，从而操控游戏。
- 包含动作规划系统和人类引导轨迹系统，通过情境库、动作库和人工引导库支持智能决策和学习。
2. **研究成果**：
- 在《黑神话·悟空》中，AI智能体在90%的简单和中等难度战斗场景中取胜。
- 与GPT-4o和Claude3.5Sonnet等先进大模型对比，GPT-4o在特定任务（如牯护院）上胜率最高，但面对高级敌人如幽魂时也遇到困难。
3. **挑战与局限**：
- 受到视觉语言模型推理速度限制，AI无法实时处理每一帧画面，可能导致错过关键攻击信息。
- 游戏中复杂的道路指引和空气墙问题使得智能体在无人类指引下难以自主找到正确路线。
4. **数据与效率**：
- 框架采用少量数据（1000条有效数据）即能实现高效游戏操作，显著区别于依赖海量数据的强化学习方案。
#### 后续与展望：
- 研究团队计划发布相关代码和数据集，为感兴趣的研究者提供更多支持与合作机会。
- 强调了大模型在游戏操作领域的潜力，预示着未来可能的无监督或半自动化的游戏AI新纪元。
#### 文章信息：
- 论文发表于：[https://arxiv.org/abs/2409.12889](https://arxiv.org/abs/2409.12889)
- 项目网址：[https://varp-agent.github.io/](https://varp-agent.github.io/)