语义世界模型能提升移动 GUI 智能体的任务成功率吗？

为什么预测 GUI 像素不是好目标

世界模型会预测某个动作之后系统会变成什么样。主流做法借自机器人和视频生成，逐像素预测未来帧。论文认为这套做法在手机屏幕上会失效。它以新闻应用中的滚动为例，列出像素模型必须做对的几件事：理解滚动会带出更多文章、而大部分布局保持不变这一高层语义；推断新页面的布局；编造出看起来合理的新闻内容；再把所有文字和图标渲染出来。即便模型这四件事都做到了，预测出的下一屏也很难与真实下一屏一致，因为那一刻真实的新闻标题本身无法预测。

论文给出的替代方案是语义世界模型。给定当前屏幕和一个动作，它预测一个隐变量，用来表示高层变化，例如搜索栏会出现，或输入框中会多出一个词。这个隐变量通过两种方式读取：一是生成一段描述预期变化的文本，二是对关于下一状态的陈述给出是或否的回答。作者把通常的下一屏预测拆成语义步骤和单独的渲染步骤，并假设一旦知道了变化，即使不知道动作也能确定下一状态。

论文中用于引出这一思路的对比是定性的，并非受控基准测试：在其图示中，前沿图像生成器难以准确渲染 GUI 状态，而前沿视觉语言模型能用文本描述出预期的变化。这个例子只是提出后文要检验的假设，本身并不是检验。

用两个任务分别衡量世界建模

MobileWorldBench 用两个回答不同问题的任务来评估语义世界模型。Next-State-Generation 要求模型根据当前屏幕和动作写出预期状态变化的描述；随后由 GPT-4o 作为评判模型，对照真实的下一屏，从准确性、完整性和相关性三个维度打分，每项为 1 至 5 分，并给出总分。Next-State-QA 则考察模型能否判断关于下一状态的陈述，按回答准确率计分。一个模型可能擅长描述状态转移，却弱于核实具体陈述，因此这两个分数不应被当作同一种能力来读。

基准本身由人类演示构建。流程先把低层动作转换为高层动作，标注状态变化描述，生成问答候选，再用视觉语言模型按自洽性和相关性过滤，最后由人工核验正确性和相关性。最终基准经过完整人工核验，这一点很重要，因为后文介绍的训练数据并没有经过人工核验。

基准的规模按设计并不大：论文报告生成了 4,000 个问题，经模型过滤后剩下 2,458 个，另有 500 个样本、其中 250 个经人工检查，以及 1,787 个问题。这些是评测条目而非训练样本，人工检查正是这个基准与自动过滤数据的区别所在。

前沿模型预测下一状态的能力偏弱

在不提供真实下一张图像的 Next-State-Generation 任务上，前沿模型的分数集中且偏低。总分从 Intern-VL3-78B 的 11.81 到 Qwen3-VL-235B-A22B 的 12.16，其中 Gemini-2.5-Flash 为 12.08，Claude-Sonnet-4.5 为 12.11，GPT-4o 为 12.00。更有信息量的是它们与标注模型之间的差距：标注模型能看到真实的下一张图像，总分分别达到 13.08 和 13.05。可见这个基准尚未饱和，而提升空间很大一部分在于知道接下来实际会发生什么。

在作者的 MobileWorld 数据集上微调后，较小的 Qwen3-VL-8B-Instruct 总分从 11.84 升到 12.39，相对提升 4.7%。分项显示提升来自哪里：准确性上升 3.7%，完整性上升 8.2%，相关性上升 2.7%，而 General 类别保持在 12.83 不变。相对提升最大的是 System（+7.7%）和 Web（+8.3%）类别，说明改进在不同应用类型之间并不均匀。

Next-State-QA 呈现的是另一幅图景。在不提供下一张图像时，人类在全集上答对 84.4%，而表现最好的前沿模型 Gemini-2.5-Pro 为 79.1%，GPT-4o 仅为 66.0%。微调把 Qwen3-VL-8B-Instruct 在全集上的成绩从 67.3% 提升到 71.4%，在 500 个样本的 TestMini 子集上从 67.6% 提升到 74.8%。即便微调之后，模型仍低于人类准确率，而且这两列的分母不同，全集与 TestMini 的数字不应混用。

MobileWorld 数据集给 VLM 带来什么

MobileWorld 包含 140 万个样本，取自 AITW 和 Android Control 训练集中的人类演示。每个样本把当前屏幕、一个动作和真实的下一屏配成一组，并围绕这次状态转移生成文本描述和问答对。最终过滤后的数据集包含 94.2 万条状态变化描述和 54.3 万条问答对。出于成本考虑，标注由 Qwen3-VL 系列模型完成而非 GPT-4o：90% 的数据由 8B 模型标注，10% 由 235B 模型标注，并分为预训练和微调两部分。

由于这些训练数据没有经过人工核验，论文在子集上检查了数据流程，报告自动过滤前的错误率为 13.8%，过滤后为 4.7%。这部分残留错误是该数据集的主要质量隐忧，作者也指出使用更昂贵的过滤模型可以进一步降低它。因此基准和数据集的可信程度不同：前者经过完整人工核验，后者是自动过滤加小范围抽查。

人工评估补充了一项检查，说明自动评判并不能代表全部。在一项基于 3,000 场随机抽样的竞技式比较中，人类评判更偏好微调模型的输出，该模型获得最高的 ELO 分数 925，高于 Gemini-2.5-Flash 的 910 和 Qwen3-VL-235B-A22B 的 909。论文还报告，GPT-4o 的准确性分数有 83% 的时候能预测人类偏好，这支持使用该评判模型，同时说明完整性分数与人类偏好的相关性较弱。

世界模型预测提升任务成功率

真正的检验在于预测出的状态变化能否改善智能体的决策。论文采用基于模型的策略：动作提议模型生成候选动作，语义世界模型为每个候选预测隐变量变化，价值模型再对照高层目标为每个预测变化打分，得分最高的动作被执行。动作提议模型和价值模型本身也是视觉语言模型，因此世界模型是新增组件，而不是替代智能体。

在 AndroidWorld 上，Qwen3-VL-235B-A22B 的成功率从 46.9% 提升到加入动作价值函数后的 49.1%，再到加入零样本语义世界模型后的 50.8%，最后到加入微调世界模型后的 54.3%。Gemini-2.5-Pro 在加入微调世界模型后从 63.4% 提升到 66.1%。这些是同一基准上的成功率，其排序说明世界模型和它的微调都有贡献，而微调版本带来的增益大于零样本版本。

在 WebVoyager 上的零样本迁移测试中，一个基于 GPT-4o 的智能体成功率从 45.4% 提升到 49.3%。这是论文用来表明收益并不局限于世界模型训练所用 Android 环境的证据，不过对于同类新增组件，这一增益小于 AndroidWorld 上的提升。

哪些增益最可靠

支持语义世界建模的最强证据，是智能体结果方向一致：加入微调世界模型后，两个不同的基础模型在 AndroidWorld 上成功率都上升，第三个智能体在 WebVoyager 上也上升。最弱的证据则是世界模型本身的绝对质量，因为即便微调后的模型在 Next-State-QA 上仍落后于人类准确率，而基准中的标注模型在拿到真实下一张图像时表现优于所有前沿模型。

实际解读是，价值来自对候选动作的排序，而不是来自生成对下一屏的忠实描述。价值模型对照目标给预测变化打分，因此一段抓住了相关变化的描述即使不完整也能提供帮助。这也解释了为什么微调后 General 类别没有提升，而 System 和 Web 类别有提升：收益取决于预测变化对该应用类型是否与决策相关。

论文自己列出的局限也指向同一方向。生成的输出可能出现幻觉，训练数据在过滤后仍有 4.7% 的残留错误，并未被消除。这些限制影响的是所报告增益的大小而非方向，对于把该数据集当作训练资源而非把基准当作评测工具的读者，它们尤其重要。

关键在于预测目标而非渲染器

论文的核心主张是一种优先级排序：对移动 GUI 智能体而言，世界模型中有用的部分是对将发生什么变化的语义预测，而像素级渲染是一个独立的、更难的问题，不必先解决。支持这一排序的证据是：微调后的 8B 模型提升了下一状态描述分数和问答表现，并且把它的预测接入动作选择后，AndroidWorld 成功率从 46.9 提升到 54.3、从 63.4 提升到 66.1，WebVoyager 从 45.4 提升到 49.3。

读者最应关注的比较，是同一智能体上零样本世界模型与微调世界模型的对比：AndroidWorld 上为 50.8 对 54.3。这一差距说明，带来大部分收益的是数据集，而不只是语义化的建模方式。因此，正在决定是否采用这一方法的读者，应同时权衡预测目标的改变和领域内状态转移数据的可得性，因为论文中智能体最大的增益来自微调模型而非零样本模型。

本文引用的文献