CLIFT 认证哪些自验证问题可信
网页智能体已经能执行真实的浏览器任务，但强化学习仍依赖弱监督。二元成功信号对信用分配来说过于稀疏：当 GRPO 组内所有 rollout 得到相同结果时，优势估计会崩塌。前沿语言模型评判器能提供更丰富的反馈，但每一步都调用成本高昂，且无法假定部署时可用。CLIFT 的答案是：把评判器反馈转化为智能体随身携带的可复用验证器，而不是单独的过程奖励模型或事后 best-of-N 打分器。
这个可复用对象是一个关于智能体行为的自然语言验证问题库，每个问题带有 URL 范围和极性符号。组合式共形认证器只保留那些 URL 条件证据与训练时评判器一致的问题，使用全局、主机和 URL 路径三级 Mondrian-ACI 追踪器，目标 alpha-star 为 0.10，最小认证计数为 50，最小提升为 0.02。通过认证的问题经由极性感知提升获得带符号的信任权重。这个库不是提示词清单：它是一组经过校准的问题、URL 范围、极性符号和信任权重，并在训练后保留下来。
URL 局部奖励优于每条轨迹一个标量奖励
原始 GRPO 广播单一的轨迹标量奖励。CLIFT 则用验证问题给每个访问过的 URL 打分，并把该 URL 分数继承到在那里执行的动作上，通过非对称混合把经过认证的验证器证据融入每步奖励，这种混合可以支持评判器奖励，但绝不会从中扣除。随后，按 URL 分层的回报被写入工具调用跨度上的 token 优势。
WebArena Infinity 的消融实验分离出这一变化。无 RL、贪心 rollout 的基础 Gemma-4 总体得分为 61.8%。使用标量比较评判器奖励的原始 GRPO 达到 64.7%，提升 2.9 个百分点，同时把成功轨迹的平均步数从 15.4 提高到 18.5。CLIFT 的认证步奖励加 URL 优势达到 72.6%，提升 10.8 个百分点，平均步数为 16.0。论文将此解读为证据，表明经过认证的 URL 局部反馈主要改善信用分配，而不是鼓励更长的轨迹。
共形轨迹选择无需调用评判器即可带来增益
测试时，经过认证的问题库被冻结并作为结构化证据复用。智能体采样一条贪心 rollout 以及一条或多条多样化重试，自验证器总结每条 URL 轨迹，保守多数投票规则决定是否从当前 incumbent 切换。不调用任何外部评判器。报告的 CTS 设定使用投票数 m=3、自验证器温度 0.7、贪心 incumbent 温度 0、多样化重试温度 1.0。
在 WebArena Infinity 上，给训练后的 CLIFT 策略加入 CTS 把 9 个应用的总体成功率从 72.6% 提升到 74.6%，再增 2.0 个百分点，同时把平均步数从 16.0 降到 15.5。CTS 在五个应用上改善、四个持平、零个退步，平均切换率为 17.8%。论文明确划分了分工：训练产生更强的策略，CTS 只在认证问题库提供足够证据偏好替代 rollout 时选择性介入。
在开放模型上训练的库仍能帮助 GPT-5.5
VisualWebArena 被用作受控迁移基准：三个 Docker 环境具有确定性的 URL/DOM 结果验证器，但其视觉定位、页面布局和导航流程与 WebArena Infinity 的 SaaS 应用不同。问题是：在训练开放 Gemma-4 智能体时学到的库，在被评估策略为 GPT-5.5、执行器权重冻结、推理时只复用认证问题库的情况下，是否仍能提供有用证据。
Gemma 各行分离出开放骨干上的训练效果：CLIFT 改善基础模型，CTS 再增加较小的额外提升。GPT-5.5 各行直接测试迁移。在 rollout 预算 K=4 时加入 CTS 把加权平均提升到 53.7，略高于 WALT 的 52.9 参考值，并在三个环境上都有增益。论文对这一点说明得很谨慎：人类行仍远高于所有智能体，因此 VisualWebArena 并未被解决。其主张更窄也更有用：在训练开放模型时构建的库，在执行器为闭源模型时仍然有用。
经过认证的问题分类体系可跨基准迁移
Online Mind2Web 是最难的设定：约 30 个公共域名上的 300 个实时网页任务，由 LLM 评分标准端到端评判，而非 DOM 匹配。没有任何报告的策略在 Online Mind2Web 数据上微调。唯一的适配发生在验证器层：从 WebArena Infinity 和 VisualWebArena 问题库中挖掘的问题被过滤、改写、扩展以覆盖实时网页失败模式，如机器人拦截页、幻觉抽取、部分筛选应用和错误最终答案停止，然后用同样的基于提升的认证器在 Online Mind2Web rollout 上重新校准。
迁移后的分类体系在更嘈杂的实时网页评判器下并未崩塌。最终问题库的 132 个问题中有 100 个通过认证，包括 75 个正提升和 25 个负提升，因此选择器同时获得进展证据和失败模式证据。论文将此视为最强证据，表明该库是可复用产物，而非基准局部的提示词清单。迁移的是经过认证的问题分类体系加校准配方，而不是策略：在新领域重新校准只需要一批评判器打分的 rollout，无需策略更新即可开始选择轨迹。
测试时扩展在训练留有余地处显现
Online Mind2Web 的迁移增益让选择器的贡献变得可见。在开放 Gemma-4 骨干上，迁移后的问题库和 CTS 把成功率从 40.0% 提升到 45.0%，足以超过同一评判器下 GPT-5.5 低投入基线的 43.7%。在更强的 GPT-5.5 高投入骨干上，同样的测试时机制在 rollout 预算 K=4 时把成功率从 49.7% 提升到 61.0%，增益 11.3 个百分点。每个“+ ours”行每任务只输出一条被选中的轨迹，而不是对样本的 oracle 并集。
与 WebArena Infinity 的对比是论文自己的解释：在那里，训练已把贪心策略推到接近其上限，因此 CTS 只增加 2.0 个百分点。在 Online Mind2Web 上，选择器仍有大量空间在不同已完成轨迹间选择，因此同一机制贡献大得多。因此测试时扩展的幅度取决于训练后策略留下多少余量，而不只取决于选择器本身。
未认证问题是诊断信号而非静默失败
CLIFT 的失败被设计为可见。在 WebArena Infinity 和 VisualWebArena 上，许多 URL 状态积累了足够观测以获得带符号信任权重；在 Online Mind2Web 上，更嘈杂的实时网页评判器使更多问题未通过认证。论文把这种拒绝框定为诊断：它表明当前评判器、状态划分或问题库不支持可靠蒸馏，并把嘈杂的验证器证据挡在训练奖励和 CTS 选择器之外。在所有层级都低于提升阈值、或极性被观测提升所否定的问题会被降为中性或丢弃，并可在不同的 rollout 样本上重新认证。
该研究仍以多种方式受限，这些限制限定了其结果。它只训练一个开放权重骨干，并在训练和问题库构建期间依赖前沿评判器；如果该评判器存在系统性偏差，校准只能通过观测数据检测分歧。迁移结果表明该库能帮助更强的闭源智能体，但不能说明一个库在所有网页领域通用。作者还指出，更强的开放网页智能体带来滥用风险，因此部署应保留速率限制和领域特定防护。
复用认证问题库时应关注什么
这篇论文中与决策相关的比较不是 CLIFT 与单一基线的对比，而是训练增益与测试时增益之间的划分，以及这种划分如何依赖基准。在 WebArena Infinity 上，训练贡献了大部分改进：从 61.8% 基础到 72.6%（认证步奖励），再到 74.6%（加 CTS）。在 Online Mind2Web 上，由于没有训练任何策略，迁移后的问题库和 CTS 承担了全部增益，在 GPT-5.5 高投入、K=4 时从 49.7% 到 61.0%。
对于决定是否复用认证问题库的读者，论文自身的变量指出了关键检查点：在相关 URL 层级上有多少问题通过认证，问题库是否同时保留正提升和负提升问题，以及训练后策略为选择留下多少余量。Online Mind2Web 问题库的 100 个认证问题（75 正、25 负）以及 WebArena Infinity 17.8% 的切换率和零应用退步，是可对照的具体操作点。最有用的解读是：认证质量和策略余量，而非选择器本身，决定共形自验证是否带来回报。
本文引用的文献
CLIFT: Conformal Self-Verification for Web Agent Training and Test-Time Scaling
CLIFT 针对训练时评判器认证按 URL 限定范围的自验证问题，加密每步奖励并实现无需评判器的共形轨迹选择；它在 9 个应用的 WebArena Infinity 切片上达到 74.6% 的总体成功率，并在 rollout 预算 K=4 时把 Online Mind2Web 上 GPT-5.5 高投入设定的成功率从 49.7% 提升到 61.0%。