相对策略差异何时能在同策略蒸馏中迁移？

相对策略差异究竟编码了什么

同策略蒸馏（OPD）通常让目标模型在自己的生成结果上训练，并借助更强教师模型的词元级指导。这一设置假设教师明显优于目标。论文研究的是另一种变体：它迁移专家策略与参考策略之间的差异，因此教师不必在绝对能力上强于目标。

论文的推导把这一点讲得更具体。代理专家与代理参考之间的对数概率比被当作 KL 正则化策略优化的隐式奖励；KL 正则化策略优化是一种标准目标，在任务奖励与贴近参考策略之间做权衡。对该目标求导，得到一种同策略更新：目标保留自己的参考策略，并用专家与参考之间的相对变化对它重新加权。当代理专家就是教师、代理参考就是目标的参考策略、迁移强度比等于 1 时，传统 OPD 成为这一形式的特例。

作者把一般形式称为任意到任意策略迁移，因为代理对和目标可以独立选择。这一推导还区分了两个此前工作容易混为一谈的问题：一个源对是否编码了有用的改进，以及某个特定目标能否实现这一改进。

任务训练差异可迁移，规模差距大多不行

核心实验把 Qwen3-8B 固定为目标，改变代理差异的来源。由强化学习或监督微调在数学和代码数据上构建的任务优化代理对，都提升了目标。报告的目标增益从 Qwen3-1.7B-RL 代理对的 9.78 个百分点，到以 Qwen2.5-7B 为参考的 Skywork-7B 代理对的 32.23 个百分点。

仅靠规模差距的代理对表现不同。四个纯粹由更大模型对更小模型构成的代理对带来的增益小得多，有些还是负的：Qwen3-8B 专家对 Qwen3-4B 参考时，目标增益为 −1.025 个百分点；Qwen3-14B 专家对 Qwen3-4B 参考时为 0.018 个百分点。这些代理对的代理能力差距仍为正，因此失败不能用专家并不优于其参考来解释。

论文的解释是：KL 正则化的任务优化让对数比编码了一个与任务相关的方向，这一理解可近似推广到通过强化学习或离线监督微调得到的专家，即使没有显式 KL 正则化。独立训练的模型之间的规模差距则不一定指向任何与任务相关的方向。实际含义是：更大的专家并不自动是更好的监督来源，关键在于差异是否由任务训练产生。

专家提供能力，参考隔离出残差

代理对中的两个模型承担不同职责。专家携带待迁移的能力，参考则去掉两个模型共有的行为，留下要求目标学习的残差差异。论文通过固定专家、更换参考来检验这一点。

以 Qwen3-4B-RL 为专家时，更换参考会显著改变结果。参考为 Qwen3-4B 时目标提升 26.84 个百分点；参考为 Qwen3-1.7B 时提升 25.85 个百分点；参考为 Qwen2.5-3B 时，报告表格中提升 25.85 个百分点。参考不必是专家原本的训练基座，但它的选择决定了什么样的残差到达目标。

参考还决定差异是否以目标能使用的形式出现。在一项干预中，把 Qwen3 参考换成 Qwen2.5 参考，使 Qwen2.5 目标从接近零或负的增益转为正增益，分别为 6.74、2.25 和 5.76 个百分点，而 Qwen3 目标仍然成功。作者据此认为，迁移失败不是目标或差异的内在局限，参考控制着差异的呈现方式。

有用的差异仍需兼容的目标

把同一差异应用到不同目标，结果差异很大。使用 Qwen3-1.7B-RL 代理对时，Qwen3 目标提升 9.78 至 29.09 个百分点，而在 Qwen3 参考下的 Qwen2.5 目标几乎没有提升，目标增益在 −2.46 至 2.72 个百分点之间。因此，差异是否有帮助既取决于差异本身，也取决于目标。

一个自然的猜测是，越接近代理对的目标受益越大，但数据否定了这一点。无论是性能实现比还是迁移后的准确率，都不随代理与目标参考之间的基础 KL 单调变化。在测得的最大基础 KL 处，Qwen3 目标仍有提升，基础 KL 超过 1.2 时实现比约为 0.65。结果按模型家族分化，而不是按策略距离分化。

论文直接给出了要求：诱导出的更新必须把目标推向专家，并且必须泛化到采样轨迹之外。原始策略距离不能预测可迁移性，而合适的参考能挽救原本失败的迁移。这使参考选择成为一个可操作的杠杆，而不是形式上的步骤。

研究如何测量迁移及其边界

所有实验都优化同一目标，迁移强度比固定为 1，使用 Qwen3 和 Qwen2.5 家族的模型。为提高效率，训练使用前 16 个词元的分布，而不是完整词表。代理对通过在 DeepMath-103K 数学数据和 Eurus-RL-Code 代码数据上做强化学习或监督微调得到，使用规则可验证的奖励。

迁移在性能空间中测量。代理增益是专家的平均任务性能减去参考的对应性能，目标增益是优化后目标的性能减去其参考的性能，实现比则是目标增益除以代理增益。评估覆盖八个数学基准，每个 16 个样本，以及三个代码基准，每个 8 个样本，温度为 1.0，top-p 为 1.0。

论文还报告了基于 KL 的诊断指标，它们描述分布变化而非准确率，包括代理专家与参考之间的差异、代理与目标参考之间的差距，以及目标的变化与代理对数策略差异所诱导的变化之间的差异。这些量与性能增益是不同的量，不应被当作性能增益的替代。前 16 个词元的截断和两个模型家族限制了结果的可推广范围。

先选参考，再考虑更大的专家

论文中最具决策价值的比较，是让代理对看起来更强的两种方式。增大专家规模带来了正的代理增益，但目标增益很小或为负；任务特定训练产生的差异则稳定迁移。如果目标是可复用的监督，证据更支持任务训练过的专家，而不是仅仅更大的专家。

第二个优先事项是参考。它过滤共有行为，决定目标看到的残差，并在报告的干预中把 Qwen2.5 目标从失败变为正增益。代理与目标之间的原始策略距离不能预测成功，因此仅按接近程度选择参考并不被这些结果支持。

剩下的条件是目标本身：诱导出的更新必须把它推向专家，并泛化到采样轨迹之外。论文对这一条件的证据是其自身实验中的家族层面分化，而不是适用于任意模型对的通用规则；固定的迁移强度和前 16 个词元的截断也限制了这些数字可以外推的范围。

本文引用的文献