[Google DeepMind] MiRA：突破长程障碍，让 12B 模型反超 GPT-4o 的子目标驱动框架

TL;DR

即使是强如 Gemini 2.5 或 GPT-4o 的模型，在面对复杂的网页操作任务时也经常“短路”。来自 Google DeepMind 的研究团队发现，长程任务失败的根源在于规划缺失和奖励稀疏。他们提出的新框架通过在推理时引入动态里程碑（Dynamic Milestoning），并在训练时使用 MiRA（Milestoning RL） 进行稠密奖励塑形，成功让 12-B 规模的开源模型在 WebArena 榜单上以 43% 的成功率碾压了仅有 13.9% 的 GPT-4o。

1. 痛点：Agent 为什么会“鬼打墙”？

在真实数字环境中，Agent 往往需要执行数十步操作才能完成一个目标（如：在 Gitlab 中创建项目并配置成员）。研究团队通过自动错误分析器发现：

• Mid-task Stuck (40%-50%)：Agent 陷入死循环，重复无效操作，因为它不知道自己“在哪”以及“离目标还有多远”。
• Sparse Rewards：传统的强化学习只有“成”或“败”，在长路径下，Agent 很难溯因到具体哪一步做对了。

图 1：现有模型在 WebArena-Lite 上的主要失败模式，"Get Stuck Midway" 是最大元凶。

2. 核心方法论：子目标作为“罗盘”

为了解决这一瓶颈，作者提出了两手抓的策略：推理侧的监控与训练侧的塑形。

2.1 推理时：动态里程碑框架

与其让 Agent 盲目摸索，不如给它一个 Checklist。

• Retrospective Reflection：Agent 每一步都会盯着历史 Trace 问自己：我完成当前子目标了吗？下一步的里程碑是什么？
• 动态计算分配：只在里程碑验证模糊时才增加“思考”负载，有效平衡了 Latency 与 Accuracy。

图 2：Dynamic Milestoning 架构，将抽象规划转化为逻辑严密的执行链路。

2.2 训练时：MiRA 强化学习

这是本文最具学术深度的部分。作者引入了 Potential-Based Reward Shaping (PBRS)。

• 双判别器架构：除了传统的 Outcome Critic（判断最终成败），新增了一个 Potential Critic。
• 线性插值标签：将离散的子目标完成点连接成平滑的“势能曲线”，为 Actor 提供每一步的梯度指引。
• MSE 决策优化：不同于传统的 PPO，MiRA 使用 MSE 回归来对齐优势函数，这在处理混合质量的 Off-policy 数据时表现出极强的数值稳定性。

图 3：MiRA-RL 训练管线，通过 Potential Critic 实现稠密奖励。

3. 实验战绩：开源模型的逆袭

实验结果令人振奋。在 WebArena-Lite 基准测试中：

• Gemma3-12B + MiRA：成功率达到 43.0%，远超其 SFT 版本的 30.9%。
• 对比闭源巨头：相比之下，GPT-4o (13.9%) 和 GPT-4-Turbo (17.6%) 在此类长程任务中表现极其惨淡。
• 消融实验验证：如果不加 Potential Critic（即去掉子目标塑形奖励），性能会立刻从 43% 跌落回 35% 左右，证明了稠密信号的必要性。

表 1：各模型在不同子域上的成功率对比，MiRA 优势显著。

4. 深度洞察：为什么子目标能起作用？

从数学直觉上看，子目标将一个极高方差的稀疏奖励问题转换为了一个分段单调的势能优化问题。

• 防止漂移：子目标充当了语义锚点，防止 Agent 在漫长的 HTML 序列中产生幻觉或偏移初衷。
• 自适应课程：通过分析失败 Traces 重新生成子目标，框架实际上在执行一种“错误驱动”的自动课程学习。

5. 局限性与未来

尽管 MiRA 表现强劲，但仍存在依赖“教师模型”生成初级子目标的问题。如果教师模型在解构复杂任务时出错，RL 可能会产生错误的偏置。未来的研究方向在于如何实现子目标的自主探索与发现，摆脱对高级闭源模型的依赖，实现完全自主的进化闭环。

总结

MiRA 的成功告诉我们：Agent 的智能不仅仅在于模型规模，更在于如何利用结构化的先验（子目标）来规范长程推理过程。这为未来构建更具健壮性的“数字化同事”提供了明确的技术范式。