阿里巴巴的研究人员提出新型 VARP（视觉动作角色扮演）智能体框架，能让 GPT-4o、Claude 3.5 等大模型玩《黑神话：悟空》。该框架直接将游戏截图作为输入，通过视觉语言模型推理生成 Python 代码形式的动作操作游戏。以《黑神话·悟空》为研究平台定义了 12 个任务，构建了包含 1000 条有效数据的人类操作数据集，每个操作由原子命令组合而成。VARP 框架主要包含动作规划系统和人类引导轨迹系统，还有情景库、动作库和人工引导库。对比人类和 AI 表现，小怪部分 AI 达人类玩家水平，精英怪牯护院 GPT-4o 胜率最高，但对幽魂束手无策。由于 VLMs 推理速度限制和游戏无明确道路引导等问题，AI 存在不足。后续相关代码和数据集有发布计划。同时提到 AI 打游戏并非新鲜事，纯大模型能打游戏出乎意料，本研究中数据集有效数据为 1000 条。
论文地址：
https://arxiv.org/abs/2409.12889
项目地址：
https://varp-agent.github.io/
本站文章通过互联网转载或者由本站编辑人员搜集整理发布，如有侵权，请联系本站删除。