LLM 智能体何时该推理，何时该直接行动？

推理并非每一轮都必要

大多数 LLM 智能体在长程交互中每执行一个动作前都会写一段推理。这种做法代价高昂，而论文认为它常常没有必要：某一轮产生的推理可以在此后若干轮继续支撑动作，作者称之为跨轮推理持续性。有些推理只对下一轮有用，另一些则能跨多轮持续发挥作用，因为先前生成的计划、约束或中间判断在产生它们的那一轮之后仍然相关。

因此，真正的问题不是智能体该不该推理，而是它已有的推理何时变得不够用。当交互上下文的变化使先前推理无法支撑下一步动作时，才需要新的推理步骤。论文的贡献在于提供一种检测该条件的方法，而不必为每个推理轮次反复生成候选动作来测试。

用似然下降代替动作恢复检验

论文的核心观察来自实证。如果去掉后续推理后，某个后续参考动作仍能依据先前推理被恢复，那么该参考动作的似然会相对稳定；如果动作不再可恢复，其似然就会下降。作者把这一变化量定义为：在完整上下文下参考动作的平均每 token 对数似然，减去在只保留先前推理的截断上下文下的对数似然。

这一做法的意义在于用打分取代生成。要检验某个动作在去掉一段推理后是否仍成立，重新生成动作代价很高；而在两种上下文下给已知参考动作打分，只需批量做教师强制前向计算。论文报告，较小的似然下降通常对应可靠的恢复，较大的下降对应较低的恢复率，因此该下降幅度可以作为跨轮动作支撑的轻量代理指标。

LoGiC 找出可以删除的推理轮次

RACE 建立在一个名为“似然引导的渐进式推理覆盖检测”（LoGiC）的过程之上。它利用似然下降信号而非反复生成，逐步找出那些删除后对当前及后续参考动作影响有限的推理轮次，输出一组删除信号，标出哪些推理没有起到应有作用。

这些信号随后分两个阶段用于训练。在监督微调中，作者对 DeepSeek-V4-Pro-0813 标注的成功轨迹运行 LoGiC，使用 Qwen3.5-9B，似然下降阈值设为 0.001，再用得到的自适应推理轨迹做微调。在智能体强化学习中，训练从对应的 RACE-SFT 检查点开始，LoGiC 只作用于成功的同策略轨迹，阈值同样为 0.001。策略由此从“删除推理也不会破坏后续动作”的示例中学习。

四个基准同时衡量成功率与推理 token

评估覆盖 ScienceWorld、WebShop、AppWorld 和 DeepSearch，每个回合上限为 30 轮交互，每次生成最多 65,536 个 token。报告的两项指标是任务成功率和每条轨迹平均推理 token 总数，因此推理成本是被直接测量的，而不是从实际耗时推断。

各基准的成功定义不同，不能混为一谈。ScienceWorld 使用覆盖 30 种任务类型的 1,819 个测试实例，只有最终环境得分达到 100 才算成功。WebShop 使用官方测试集中的 500 条众包指令，环境奖励达到 1 即成功。AppWorld 在 Test-Normal 和 Test-Challenge 上共 585 个任务，报告整体严格任务成功率。DeepSearch 使用 400 个问题，以精确匹配（EM）计分。在其中一个基准上的提升，不能等同于在另一个基准上的提升。

推理成本下降，成功率保持或提升

作者报告，在四个基准上，RACE 大幅降低推理成本，同时保持或提升任务表现。这一结论是在整个基准套件层面、用论文自己的两项指标表述的：每条轨迹的推理 token 更少，而成功率没有受损。

论文给出的示例轨迹展示了这种定性行为。在一个 WebShop 例子中，RACE 9B 模型在构造搜索查询、以及检查商品描述是否提到独立包装时会推理，而在选择商品、打开页面或购买这类直接点击时输出空的推理块。在一个 AppWorld 例子中，它会推理以规划凭据获取和联系人查找，计划一旦确立便直接行动。这些例子说明的是预期模式，而非量化结果；定量结论仍依赖基准层面的 token 与成功率测量。

该信号在论文自身设置内得到验证

似然代理指标由论文自身的分析支撑，即比较似然下降与基于生成的恢复率；训练方案也绑定于具体选择：以 Qwen3.5-9B 为基座模型，SFT 数据来自 DeepSeek-V4-Pro-0813 的标注，似然下降阈值为 0.001，学习率和批大小按基准分别设定。报告的结果来自这四个智能体基准，并受所述轮次与 token 上限约束。

读者还应区分两个阶段。SFT 从标注成功轨迹上的删除信号中学习，而 RL 只对成功的同策略轨迹应用 LoGiC，并加入一个闭包损失项，ScienceWorld、WebShop 和 AppWorld 的权重为 0.02，DeepSearch 为 0.01。证据支持的是按此评估的整套方案；它并未单独确定各组成部分的贡献，也未说明该阈值如何迁移到其他模型或任务集。

先前推理不再覆盖动作时才推理

这篇论文的独特主张是把推理看作具有持续跨度的事物，而不是每轮必备的步骤。它支持的决策规则是有条件的：当下一步参考动作在没有新推理时似然仍然稳定，就继续直接行动；当该似然会明显下降时，就插入一次推理。由于这项检查只是一次打分而非生成，训练时应用它的成本远低于逐轮重新生成动作来验证。

最关键的比较，是这一似然引导信号与忽略跨轮持续性的逐轮必要性检查之间的差别。论文的论点是：前者判断先前推理是否仍覆盖后续动作，后者孤立评估每一轮，且需要反复生成才能得到删除信号。对于想训练更廉价智能体的读者，相关阈值是参考动作开始无法恢复时的似然下降幅度，相关证据则是四个基准上推理 token 与任务成功率的配对报告。

本文引用的文献