多模态模型在交互式视觉智能基准上表现如何？

由数千款陌生游戏构成的基准

PlaySuite 评估的是交互式视觉智能：观察不断变化的画面、选择动作，并在环境作出响应时持续朝目标推进的能力。该基准的游戏来自 PyWeek 和 itch.io，前者提供轻量级 Python 游戏，后者补充了用 Unity、Godot、GameMaker、RPG Maker 等引擎开发的游戏。评测集包含 5,734 款不同游戏，取自作者团队流程验证过的约 1.75 万款可启动游戏这一更大游戏池。

规模决定了这个基准能支持什么样的结论。论文指出，PlaySuite 覆盖的游戏环境数量比此前的多游戏基准高出两个数量级以上。由于这些游戏由独立开发者制作，对当前模型而言大多属于分布外数据，作者认为模型更难靠检索记忆中的通关攻略或网络规模的训练产物来取得成功。这也是论文把这些游戏视为迁移能力测试而非记忆测试的理由。

统一控制接口与自动评判

游戏种类庞杂带来两个实际问题：不同引擎暴露的执行和控制接口各不相同，游戏之间也没有共通的奖励或计分信号。PlaySuite 用统一的闭环交互框架解决第一个问题，智能体通过标准键盘和鼠标动作操作游戏。该框架在隔离容器中运行游戏，限制 CPU、内存和网络，最多可同时运行 768 款游戏，这使在 HPC 集群上评测数千款游戏成为可能。

第二个问题由 Video-LLM-as-a-judge 协议解决。评判模型不依赖每款游戏各自的奖励，而是从录制的游戏画面中提取可观察的游戏里程碑，再映射到标准化的进展等级。这样，原本并非按同一标准计分的游戏也能得到可比较的进展度量。代价内嵌在设计之中：该指标衡量的是大规模下的可观察进展，而不是策略效率、推理质量或对游戏底层机制的掌握程度。

十四个开放模型分属三类智能体

评测覆盖十四个近期开放模型，包括通用视觉语言模型、计算机使用智能体和视觉—语言—动作模型。这三类模型把感知转化为控制的方式不同：通用视觉语言模型把指令落到像素上，计算机使用智能体为界面预测控制标记，视觉—语言—动作模型则直接输出动作。把三类都纳入评测，使论文可以追问：针对交互的专门化能否弥合这一落差。

论文给出的主要答案是不能。论文报告称，当前模型只在少数游戏上取得有意义的游戏进展。对游戏轨迹的定性检查发现，模型反复在空间定位、控制选择、动作执行、随时间适应以及被动等待上遇到困难。这些类别来自对轨迹的检查，而不是对错误占比的定量拆分，因此应把它们理解为作者对失败原因的描述，而不是测量出的比例。

各类型游戏的进展分数普遍偏低

论文报告的分类型结果采用无历史条件下、0.33Hz 的 Mean Progress Score，只纳入至少包含 60 款游戏的类型。在 itch.io 语料上，总体表现最好的模型 Qwen3-Omni-30B-A3B 在模拟类得到 1.38，策略类 1.33，射击类 1.17，冒险类 1.06。排名更低的模型明显落后，OS-Atlas-Pro-7B 在冒险类为 0.56，解谜类为 0.43。

PyWeek 的结果在更小的类型样本上呈现相同模式，论文明确提醒该处的分类型样本量很小，因此这些数字主要是描述性的。这是一条重要边界：分类型表格支持“进展有限”这一总体判断，但不支持进一步断言某个模型在特定类型中稳定优于另一个模型。

增加历史与提示结构都无助于提升

两组消融实验检验了直觉上的改进办法。在时间上下文方面，作者把历史长度设为 k = 0、3、5 和 10。PyWeek 上的 Mean Progress Score 从无历史时的 0.946 降到 k = 3 时的 0.778，k = 5 时约为 0.793，k = 10 时降到 0.740。itch.io 子集方向相同，从 k = 0 时的 0.616 降到 k = 10 时的 0.511。论文称这一结果反直觉：增加历史并未提升平均表现，尽管个别模型的反应可能不同。

在提示方面，作者在共用标准提示模板的八个视觉语言模型上测试了显式策略字段和三个少样本示例。两者都没有帮助。策略字段使 PyWeek 上的平均进展从 0.785 降到 0.747，itch.io 上几乎不变，从 0.538 到 0.535；少样本示例在两个语料上都降低了表现，PyWeek 从 0.789 降到 0.720，itch.io 从 0.538 降到 0.504。作者把这项消融限定在这八个视觉语言模型上，因为计算机使用模型和视觉—语言—动作模型依赖各自专用的输出格式和解析器，会把提示效果与解析失败混在一起。

更好的进展伴随高昂算力成本

成本分析补充了原始分数看不到的比较。Qwen3-Omni 的平均进展优于 Qwen2.5-VL，但每 1,000 款游戏需要 105.5 个 H100 GPU 小时，而后者为 59.9 个。论文把成本差异归因于模型规模、服务配置和生成长度。对比较模型的读者来说，这意味着更高的 Mean Progress Score 并不自动是更好的取舍：取决于把进展还是每 1,000 款游戏的算力作为约束条件，同一基准可能给出不同的模型排序。

论文还报告，模型的大致排序在几百款游戏后就趋于稳定，而排名最靠前的模型之间的细粒度比较需要大得多的样本。对任何复用该基准的人来说，这是一个实用阈值：小规模子集足以区分强模型和弱模型，但不足以分辨顶尖模型之间的接近差距。

落差结论未覆盖的范围

评测采用零样本设置，因此衡量的是开箱即用的泛化能力，而不是微调或强化学习后的最高表现。闭环协议还把模型推理延迟从游戏动态中移除，因此 PlaySuite 不衡量实时反应速度。此外，由于游戏、源代码和元数据都是公开的，无法排除数据污染；加入新发布的游戏可以降低但不能消除这一风险。

这些限制决定了核心发现应如何使用。感知—行动落差说明的是当前开放模型在未经适应就被放入陌生交互环境时的表现，而不是断言交互能力无法达到。作者指出的失败类别——空间定位、控制选择、动作执行、适应和被动等待——正是这个基准设计用来长期追踪的具体目标。

基准改变了哪一类比较

最具决策意义的转变在于比较单位。静态视觉推理分数和计算机使用结果并不能预测这里的游戏进展：在这些任务上表现强劲的模型，在 5,734 款游戏中仍只在少数游戏上取得有意义的进展。对于要在开放模型中挑选交互式工作方案的读者，论文证据支持同时考察模型在陌生环境中的持续进展和每 1,000 款游戏的算力成本，而不是从静态基准排名外推。

第二个转变在于该修什么。既然增加历史和增加提示结构都未能提升平均进展，论文证据就不指向简单地给模型更多上下文或更明确的指令，而指向轨迹中观察到的失败模式：把动作落到空间位置上、选对控制、执行动作，以及在出错后纠正。这些正是 PlaySuite 为随新模型出现而持续测量所构建的能力。

本文引用的文献