token 比率受控，状态却在漂移
论文的起点是一个错位：现有方法测量的对象，和真正出问题的地方并不一致。在长程自回归 rollout 中，每个 token 都在由此前全部已采样 token 决定的状态上生成，因此目标策略的状态分布取决于整段策略偏差的历史。局部的微小失配会沿轨迹累积，在靠后的位置变成很大的偏移。
作者用在 GRPO 训练过程中随机采样的点来说明这一点：token 级策略比率在各位置上相对稳定，但状态级比率随着位置后移逐渐偏离 1。这就是论文所说的差距。GRPO 用 token 级重要性比率做校正，GSPO 把 token 比率聚合成序列级校正，但两者都没有显式校正前序轨迹带来的状态分布。随着回答长度增长，累积的偏移表现为行为策略与目标策略之间不断上升的 KL 散度，论文报告两个基线最终都出现训练崩溃。
动作级校正为何覆盖不了整条轨迹
重要性采样是处理离策略失配的标准工具，论文争论的是校正施加在哪一层。把整条轨迹当作一个动作（GSPO 的做法）还有 token 效率上的代价：一旦序列级比率超出裁剪范围，轨迹中所有 token 都会被裁剪，包括那些失配其实仍受控的中间 token。反过来，序列级比率落在裁剪范围内时，中间位置仍可能藏着明显的状态偏移，因为局部偏差会在最终序列比率中被平均掉，而对应的 token 更新依然是在严重偏移的状态上计算的。
理论上的关键一步是分解。在附录推导中，第 t 步的累积重要性校正可分解为两部分相乘：该步目标策略与行为策略状态密度之比构成的状态分布校正，以及动作级比率。由于 LLM 的状态转移是确定性的，每个状态唯一对应其前序 token 序列，因此状态比率等于此前所有位置 token 比率的乘积。现有方法保留了动作项、丢掉了状态项；TAPO 两项都保留。
几何均值让校正项不再爆炸
保留完整乘积校正会带来新问题。在论文的建模假设下——对数比率是相互独立、方差为常数的正态变量——精确乘积校正的方差随轨迹长度 t 指数增长，而几何均值版本（把乘积开 1/t 次方）的方差以 1/t 的量级衰减。论文证明了两条结论，还给出集中不等式，说明几何均值校正的对数偏离其均值的程度是次高斯的，方差代理按 1/t 缩放。
这就是 TAPO 不直接把所有 token 比率相乘的原因。几何均值保留了校正的方向，同时避免估计器方差在长程下压过梯度。Qwen3-8B-Base 上的消融实验把原始轨迹比率与若干变体比较，其中包括只对状态校正比率做几何平均，论文借此把估计器的贡献与校正本身分开。
裁剪幅度随轨迹长度调整
第二个组件处理的是更新幅度，而不是估计器方差。TAPO 采用长度感知的动态裁剪规则，目的是防止整条轨迹上出现过大的偏离更新。在 Qwen3-8B-Base 的数学推理消融实验中，论文把这一裁剪策略与轨迹感知校正比率的构造放在一起考察，说明作者把两者都当作需要检验的设计选择，而非默认设定。
论文报告的训练动态把两个组件与稳定性联系起来：随着策略偏移累积，GRPO 和 GSPO 出现训练分数下降、熵波动和 KL 散度上升，而 TAPO 的训练分数持续上升，KL 散度受控，熵保持稳定。论文将此解释为轨迹感知校正缓解了长程更新带来的状态分布偏移的证据。
基线越强，提升幅度越小
在八个竞赛级数学推理与算法编程基准上，TAPO 在两个领域的平均表现都最好。相对 GRPO，论文报告数学平均提升 48.0%，编程平均提升 11.8%。判断这个方法时更重要的比较是对更强的校正基线：相对被描述为最强 token 级校正方法的 RIPO，TAPO 的平均表现提升 1.2%（数学）和 2.4%（编程）；相对序列级方法 GSPO，提升为 16.8% 和 9.1%。
这些数字是基准套件上的平均值，不是逐任务结果，差距大小高度依赖所选基线。对 GRPO 的大幅领先和对 RIPO 的小幅领先，描述的是同一方法面对不同参照点；因此，若要把 TAPO 与现代 token 级校正方法比较，应锚定 1.2% 和 2.4%，而不是标题式的 48%。
规模结论成立，但只测了两个较小模型
泛化实验在 Qwen3-1.7B-Base 和 Qwen3-4B-Base 上训练 TAPO 做数学推理，并用 Avg@8 评估。TAPO 在两个模型上的平均表现都最好，相对 GRPO 分别提升 31.5% 和 21.3%，相对 GMPO 在 1.7B 上提升 13.2%，在 4B 上提升 9.3%。
这部分证据的范围有两处较窄。规模检验只覆盖两个较小的 Qwen3 基础模型，且只做数学推理；而八基准比较横跨数学与算法编程。论文的稳定性结论来自数学推理上的训练动态观察。证据包中没有测试其他模型家族、其他任务领域，也没有测试比训练时更长的轨迹，因此这项校正的收益应理解为在上述设定内得到验证，而不是长程强化学习的普遍性质。
先选对比较基线
论文的实践优先级来自它自己的比较结构。如果手头的替代方案是 GRPO 或 GSPO，报告的差距很大，换用的主要理由是稳定性论证：在基线随回答长度增长而崩溃的地方，TAPO 把 KL 散度保持在受控范围。如果替代方案是 RIPO 这类强 token 级校正方法，预期平均增益有限——数学 1.2%、编程 2.4%——此时支持 TAPO 的理由在于轨迹级校正与裁剪设计，而不是基准上的大幅跃升。
因此，论文留给读者最需要判断的问题不是状态分布偏移是否存在（论文自己的测量已表明存在），而是在给定训练设定的轨迹长度和基线强度下，额外加入的状态校正是否值得其复杂度。证据最清楚地支持在对比 GRPO 和 GSPO 时做这个权衡，在对比最强 token 级方法时支持最弱。
本文引用的文献
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
TAPO 从离策略策略梯度中推导出状态分布校正，加入几何均值估计器和长度感知动态裁剪；在八个竞赛级基准上，论文报告其平均表现比 GRPO 提升 48.0%（数学）和 11.8%（编程），比 RIPO 提升 1.2% 和 2.4%。