迁移教师相对偏移能否改进多教师同策略蒸馏？

Δ-MOPD 迁移的是偏移而非端点

多教师同策略蒸馏（MOPD）让学生在自己的 rollout 上接受多个冻结教师的评分。常见做法是迁移每个教师的端点策略，也就是教师经过后训练后最终输出的分布。论文指出，这个端点混合了两样东西：后训练真正带来的改变，以及教师从自身基座模型继承下来的偏好。当教师的基座与学生的起始检查点不同时，端点监督会把这份继承差异一并迁移过去。

Δ-MOPD 改变了迁移对象。对每个教师，它先计算该教师与其自身基座之间的 logit 偏移，再把这些偏移之和重新锚定到学生冻结的初始化上。用 z 表示学生在自己生成的状态上的 logits：端点目标把每个“教师减学生”项加到学生的 logits 上，偏移目标则把每个“教师减其基座”项加上去。当教师的基座等于学生的初始化时，两种构造给出相同的项，因此只有跨来源教师会受影响。

论文把 MOPD 配方中常被混在一起的两个决定分开：教师选择，即由哪些教师监督某个状态；目标构造，即如何用这些教师的评分定义要匹配的分布。所有比较都固定教师选择，只改变跨来源教师 Polaris 的表示方式，因此差异可以归因于目标构造，而不是换了一组教师。

继承的基座拉力可能压过后训练偏移

论文把教师的端点奖励分解为两项：偏移项，即教师减基座的 logit 差；以及基座参考拉力，即基座减学生的差。在初始化时，这个拉力恰好等于从教师基座继承来的差异。作者的诊断是，这份继承拉力可能大于教师本应贡献的后训练改变，于是端点监督把梯度花在复现基座上，而不是复现专业化能力。

诊断指标支持这一解读。在双教师机制实验中，端点组合的目标到学生前向 KL 在训练后期窗口（第 300 至 380 步）平均为 0.1522，而 Δ-MOPD 为 0.0307，约接近学生五倍。端点组合的教师项聚合范数为 10231.5，Δ-MOPD 为 3247.5；其抵消值为 0.1363，Δ-MOPD 为 0.2871，而两个正交等范数向量的参考值是 0.2929。论文把更高的抵消值解读为教师组合更均衡。

这些是学习信号的诊断指标，不是基准分数。该 KL 是目标到学生的前向 KL，在完整的 151,665 词表上计算，论文明确说它衡量目标跟踪程度，而不是训练目标本身。范数、余弦、抵消和符号冲突统计都在学生访问过的前缀上计算，因此依赖 rollout 协议和池化规则，只能在同一次运行内解读。

三个教师共同评分同一状态时收益显现

在共同域组合中，多个教师对同一提示域的同一条 rollout 评分，信号合并成一个目标。组合三个教师时，Δ-MOPD 比端点组合高 4.11 个 Math 分和 1.95 个五项基准分。组合两个教师时，摘要报告它与端点准确率持平，而机制实验显示了具体分布：Δ-MOPD 在 MATH-500 上低 3.40 分，在 GPQA-Diamond 上高 1.26 分，最终英语 Math 宏平均低 1.03 分，Science/IF 宏平均高 0.58 分。

扩展实验在 Nemotron 和 Polaris 之外加入 JustRL。第三个偏移的量级与其他两个相当（范数分别为 12,891、11,114 和 6,490），它与另外两个的两组余弦仍接近零（0.072 和 0.062），第三组升到 0.315。在记录的双教师和三教师诊断中，偏移组合降低了目标位移、奖励方差和梯度幅度；三教师时最终目标到锚点的 KL 为 0.483，而不是 0.695。代价是每次更新耗时多 11.0%（167.1 秒对 150.6 秒），因为还需要对 Polaris 的前驱模型评分。

论文的解释是，去掉继承的基座差异会让目标更接近学生，并在组合时让各教师之间更均衡。这是作者提出的机制主张；基准比较和几何统计是为它提供的证据。

路由收益取决于教师信号是否累积

在路由域蒸馏中，不同域的提示被分配给对应的专家，因此每个状态只由一个教师监督。论文测试了两种调度。交错路由下，每次更新只涉及一个教师，且从第一次更新起就混合各域，两种目标表现相当。分阶段路由下，一个域阶段接另一个域阶段，actor 和优化器状态跨切换保留，Δ-MOPD 在两种阶段顺序下都取得更高的平均表现，并把观察到的顺序差距从 10.50 分降到 6.42 分。

分阶段的具体数字显示了差异所在。在 Science/IF 到 Math 的顺序中，Δ-MOPD 的 Math 宏平均为 34.39、Sci/IF 宏平均为 22.89，端点为 28.02 和 18.25。在 Math 到 Science/IF 的顺序中，它达到 42.20 和 27.23，端点为 40.87 和 25.23。由于 Science/IF 阶段在两种方法中完全相同，差异来自 Polaris 的 Math 阶段。

论文对这项证据的强度很谨慎。同顺序比较是在相同题目上做的精确配对 McNemar 检验，唯一低于 p = 0.05 的比较是 Math 到 Science/IF 顺序中的 MATH-500（不一致项为 56 对 36，p = 0.047），而它在十项基准与顺序比较的多重校正后不再显著。因此作者把分阶段结果描述为支持性证据，说明收益可能延伸到跨训练阶段累积的信号，而不是已确认的效应。

更新次数更少，但每次更新更贵

Δ-MOPD 需要每个教师的前驱检查点，因此每次更新要多评分一个模型。在单教师习得实验中，它每次更新慢 27.3%；在相同更新次数下，单教师设置成本高 27.3%，双教师设置高 12.0%，低于简单翻倍，因为 rollout 生成、优化、批处理和并行评分是共享的。

算力节省来自用更少的更新达到目标分数。Δ-MOPD 在第 100 步首次超过端点最佳评估英语 Math 宏平均，而端点在 195 步才达到该最佳分数。按四块分配的 H100 上约 252 秒和 198 秒的平均步时计算，分配成本分别为 28.0 和 42.9 H100 小时，降幅 34.7%，论文报告为 35%。按论文的平台期标准，Δ-MOPD 约在第 75 步稳定，端点约在第 125 步，对应 21.0 和 27.5 H100 小时。

这些数字衡量的是分配的设备时间，不是 FLOPs，也没有校正利用率。习得实验只在 BigMath 提示上训练，其英语 Math 宏平均在第 100/150/195 步分别为 Δ-MOPD 的 47.90/45.65/47.68 和端点的 45.03/46.18/46.54。在 GPQA-Diamond 和 IF-Eval 上，排序随解码方式翻转：第 100 步时，Δ-MOPD 在 Avg@4 宏平均上领先 0.91 分，而贪心解码下端点领先 1.07 分。

投影的第四个教师只提升 Math

论文把构造扩展到第二个跨来源教师 Qwen3-DAPO-449。它与自身的 Qwen3-8B 前驱分词器一致，但与 DeepSeek/Qwen2 锚点并非完全特殊 token 兼容。作者在 Qwen3 家族内部计算 Qwen3 偏移，只把重叠的 token 坐标投影到锚点词表，并验证了 151,660 个 token 字符串重叠和 151,658 个 id 相同的共享 token。

加入这个投影偏移后，Math 宏平均从 33.50 升到 36.82，五项基准宏平均从 26.19 升到 28.04。三个 Math 基准都提升，AIME 2025 提升最大，而 Science/IF 没有提升。由于跨分词器的端点 logits 无法放到锚点词表上，这一扩展没有定义配对的端点对照，因此它说明的是构造可以扩展，而不是在四个教师时优于端点监督。

按教师是否在同一状态汇合来选择目标

证据支持的判断规则关乎监督模式，而不只是教师数量。当多个教师评分同一状态、信号合并成一个目标时，偏移目标是更好的迁移对象：三个组合教师给出最明显的差距，两个组合教师给出持平而非损失。当每次更新只涉及一个教师时，如交错路由，两种目标相当，额外的前驱评分收益很小。分阶段路由介于两者之间，在两种顺序下都偏向偏移目标，但统计支持被作者自己描述为有限。

这些要求会影响选择。Δ-MOPD 需要每个教师的前驱模型，以及兼容的分词器或明确的投影规则，这与黑盒同策略蒸馏不同；评估覆盖公开推理专家，共同域组合使用 Math 提示，Science/IF 通过留出评估衡量。在这些边界内，论文强调的优先级是：目标构造是 MOPD 中独立于教师选择的设计维度。已经选定教师的实践者仍可改变迁移的内容，而证据表明，这种改变恰好在教师信号于同一状态汇合时带来收益。

本文引用的文献