跨循环蒸馏的循环自改进如何训练循环语言模型？

循环模型为何难以后训练

循环语言模型（LoopLM）在输出每个 token 之前，会复用同一组 Transformer 块完成多步循环计算。这样在不增加参数量的前提下提高了计算深度，这正是它的吸引力所在。难点出现在后训练阶段：如何监督中间步骤，而不只是监督最终输出。

论文梳理了三条现有路线及其代价。带可验证奖励的强化学习（包括 GRPO）只把奖励信用分配给终端循环，中间潜在计算得不到直接的奖励监督。Reward Latent Thought Trajectories 把信用扩展到所有循环，但必须保留每个循环的对数概率，内存随循环数线性增长，长 rollout 训练因此受限。On-Policy Distillation 提供稠密的分布监督，却依赖一个外部更强的教师；作者指出，对 Ouro-2.6B-Thinking 而言，同系列中没有更强的 LoopLM 教师可用。On-Policy Self-Distillation 用特权信息从同一模型构造教师，但会引入教师与学生的上下文不匹配。

因此，论文瞄准的缺口很具体：在没有更强外部教师时，让稠密监督直接到达中间循环。其前提是，更深的循环获得更多循环计算，因而在同一模型内部构成更强的策略。

终端循环充当教师

LoopOPD 把模型自身的终端循环当作计算特权教师，把某个中间循环当作学生。教师保持冻结，监督以 on-policy 方式进行：由学生生成 rollout，终端循环在这些相同 rollout 上的 token 分布作为训练目标。整个过程不使用外部教师，也不使用特权信息。

这是蒸馏目标，而不是奖励信号，因此监督是逐 token 稠密的，而非逐回合稀疏的。教师的优势不来自额外知识，而来自额外的循环计算，这也是论文称其为“计算特权”的原因。

作者还刻画了某一循环深度上的蒸馏更新如何传播到其他深度，并推导出充分条件：在这些条件下，单次更新能让中间循环和终端循环的任务代理目标同时获得局部改善。这些条件是针对更新的分析结果，并不是在基准上实测得到的保证。

刷新教师把蒸馏变成自改进

冻结教师有一个明显上限：一旦学生追平，信号就不再变化。Dynamic LoopOPD（D-LoopOPD）取消冻结，在每次优化步骤刷新终端循环教师。由于教师与学生共享参数，学生的更新也会改变教师，从而闭合论文所称的“循环自改进”反馈回路。

报告的训练动态与这一机制相符。在深度为 2 的学生循环上测量，D-LoopOPD 的训练奖励和验证 Avg@16 都高于冻结的 LoopOPD。论文还报告，在训练的大部分时间里，D-LoopOPD 的教师和学生 token 分布熵都高于 LoopOPD，差距在后期收窄；作者将此解读为分布不那么尖锐，从而支持更多样的 rollout 和更广的探索。

这一熵的解读是作者对实测曲线的解释，并不是单独检验过的因果结论。

数学增益集中在较大模型上

主要比较使用具有四个循环的 Ouro-Thinking 模型，在 AIME 2024、AIME 2025、AIME 2026、OlympiadBench 和 BeyondAIME 上评估。AIME 系列报告两个指标，不能混为一谈：Avg@16 是 30 道题各采样 16 次、即每个基准 480 条回答中正确回答的比例；Pass@16 是 30 道题中至少有一次正确回答的题目比例。

在 Ouro-2.6B-Thinking 上，D-LoopOPD 的 Avg@16 在 AIME 2024 为 71.67，AIME 2025 为 55.21，AIME 2026 为 60.21；原始模型分别为 62.08、48.96 和 55.42。冻结的 LoopOPD 居中，为 65.21、53.75 和 59.17。在 OlympiadBench 上差距更小：D-LoopOPD 为 65.78，LoopOPD 为 64.88，原始模型为 64.30。在 BeyondAIME 上，D-LoopOPD 得 34.00，低于原始模型的 35.00，说明增益并非在每个数学基准上都一致。

在较小的 Ouro-1.4B-Thinking 上，模式相同但幅度更小：D-LoopOPD 在 AIME 2024 的 Avg@16 为 55.00，原始模型为 51.25；在 AIME 2026 为 47.92，原始模型为 45.21。论文的主张是，两种方法在数学推理上平均都优于现有基线，而 D-LoopOPD 又进一步领先于 LoopOPD。

只用数学训练也能带动代码与通用推理

后训练只使用数学数据，来自 DAPO-Math-17k 训练集，共 17,398 个答案为整数真值的样本。因此，迁移结果检验的是跨循环监督是否改变了训练领域之外的能力。

在 Ouro-2.6B-Thinking 上，D-LoopOPD 在全部五个非数学基准上都优于原始模型：MMLU 76.67 对 76.09，MBPP 75.93 对 74.87，MBPP+ 63.76 对 62.43，HumanEval 79.27 对 78.66，HumanEval+ 75.00 对 74.39。MMLU 是在 5-shot 设置下对 14,042 道题的准确率；代码基准是贪心解码下的 Pass@1，MBPP 和 MBPP+ 各 378 题，HumanEval 和 HumanEval+ 各 164 题。

在 Ouro-1.4B-Thinking 上，LoopOPD 取得该组最好的 MMLU 结果 68.05，D-LoopOPD 则取得最好的 MBPP、MBPP+ 和 HumanEval+ 结果。这些差距很小，论文将其作为“循环计算能成为有效监督来源”的证据，而不是跨领域大幅提升的断言。

第 2 层循环比第 1、3 层更适合当学生

在 Ouro-2.6B-Thinking 上的学生深度消融实验把教师固定在第 4 层，让学生分别取第 1、2、3 层，以 AIME 2024 的 Avg@16 评估。结果是一种权衡，而不是单调规律。

第 2 层带来最好的终端表现，把第 4 层的 Avg@16 从 62.08 提升到 71.67，增益 9.59 个百分点，同时自身 Avg@16 从 39.16 升到 47.50。第 3 层起点已接近初始终端策略，为 61.46 对 62.08，留给蒸馏的空间很小，终端增益为 5.21 个百分点。第 1 层与教师的差距最大，但单独准确率很低：训练后其学生 Avg@16 仍为 0.63，尽管终端循环提升到 68.54。

作者由此认为，教师与学生的差距更大或学生更强，单凭任何一项都不能决定效果。在他们的设置中，深度为 2 的中间循环在 student 能力与教师优势之间取得了平衡。

增益会传到更深的循环

在 Ouro-2.6B-Thinking 上的跨循环评估检验监督一个中间循环是否会改变其他循环。LoopOPD 和 D-LoopOPD 在每个深度上都比原始模型提高了 Avg@16，其中 D-LoopOPD 在参与比较的方法中 Avg@16 最高。在被直接监督的第 2 层，它把 Avg@16 从 39.16 提高到 47.50，增益 8.34 个百分点；第 3、4 层分别提高 5.41 和 9.59 个百分点，达到 66.87 和 71.67。

这是论文对其核心主张最强的支持：监督中间计算同时改善了中间策略和终端策略，额外的循环深度并未只作用于被训练的循环。

证据范围也有边界。所有主要结果都来自在数学数据上训练、具有四个循环的 Ouro-Thinking 模型，论文称代码和检查点将在录用后发布，因此这些数字是作者自己的评估，而非独立复现的基准结果。同时改善的充分条件是解析推导所得，论文并未将其作为在这些基准上实测的保证。

带来增益的是刷新教师而非冻结

这篇论文中与决策相关的比较不是 LoopOPD 对原始模型，而是 LoopOPD 对 D-LoopOPD。冻结终端循环已经能在没有外部教师的情况下提供稠密的跨循环监督，并提升数学推理。随着共享参数变化而刷新教师，才带来进一步的一步：在 Ouro-2.6B-Thinking 上，D-LoopOPD 的 AIME 2024 Avg@16 为 71.67，比冻结 LoopOPD 的 65.21 高 6.46 个百分点，比原始模型高 9.59 个百分点。

第二点值得带走的是学生深度的选择。若要用这种方式后训练循环模型，证据支持选择一个自身具备真实能力、但与终端循环仍有明显差距的中间循环，这里就是第 2 层；像第 1 层这样很弱的学生，尽管改善了终端循环，自身准确率仍停留在 0.63。

把这两项结果放在一起，就得到论文的优先级：跨循环蒸馏的价值取决于能否通过刷新让教师始终领先于学生，以及能否选到一个差距仍然可用的学生循环。

本文引用的文献