自信冲突是这篇论文针对的失效模式
小语言模型常作为学生模型，在更强教师模型的推理轨迹上进行后训练。论文的起点观察是：对教师轨迹进行严格的 token 级模仿，可能迫使学生复制远离自身预期分布的续写。作者把其中最严重的情况称为自信冲突：学生预测熵很低，却给目标 token 分配了低概率，也就是说它自信地倾向另一个续写，却被要求覆盖这一偏好。
论文报告，这类分歧目标在教师生成的轨迹上很常见，即使教师与学生来自同一模型家族也是如此；而在学生生成的轨迹上则基本不常见，因为后者更接近学生自身的分布。冲突也不限于最终答案：在数学推理轨迹中，它们经常涉及空白符、换行符、LaTeX 符号、数字和短数值片段等模板化 token。这一点重要，因为干扰集中在低熵状态，那里的更新可能大幅覆盖已学到的表示。
熵决定每个 token 接收多少教师信号
熵感知混合用学生预测熵门控的动态逐 token 插值，取代固定的教师目标。混合分布低熵状态时贴近学生，随着学生熵升高而向教师偏移。论文实现了凸插值和几何插值两种形式。
作者把它与两种替代方案对照。按学生熵对 SFT 损失重新加权，会降低低熵状态的影响，但可能放大教师强制训练上下文与推理时学生生成上下文之间的错配。用固定系数插值学生与教师分布的混合目标避免了这种错配，却均匀施加指导，限制了注入更强指导的能力。熵感知混合被表述为无需屏蔽自信冲突，也无需依赖小的均匀插值系数。
同一机制在离线和在线策略两种设置下被检验
论文在两种训练设置中实现该混合。离线设置中，它从熵感知目标采样，构建固定的推理轨迹数据集，再用标准监督微调训练学生。为高效生成数据，它使用投机解码，以学生为草稿模型、混合分布为目标分布，从而保留精确的边缘目标分布。从凸混合和几何混合采样得到两个数据集：ConMix-SFT 和 GeoMix-SFT。
在线设置中，混合分布成为在线策略前向 KL 目标的逐 token 目标，用学生生成的样本优化，得到 ConMix-FKL 和 GeoMix-FKL。实践中，混合建立在重新归一化的教师 top-64 分布上，并用停止梯度算子把混合视为训练期间固定，因为它依赖学生。论文报告，教师 top-64 token 在训练早期就已覆盖至少 90% 的概率质量，并迅速接近几乎全部质量，因此这是对全分布混合的高效近似。
两个实现选择限定了门控计算的精确程度。学生熵只用 top-K logits 近似，而非全词表；论文使用 K=32，并报告该近似在所考察的学生-教师组合中与精确全词表熵保持非常强的相关性。论文把 K 的影响及由此产生的 top-K 近似误差的系统研究留待未来工作。
数学推理提升，通用能力得以保持
论文报告，在两种设置下，熵感知混合在数学推理和通用能力上都优于传统固定教师监督。在离线 Qwen3-1.7B 的 MATH 实验中，GeoMix-SFT 取得最佳平均 Pass@64 为 72.73，教师生成轨迹为 70.39，学生生成轨迹为 69.96；最佳平均 Avg@64 为 40.59，后两者分别为 38.95 和 40.23。同一表格的通用能力基准上，GeoMix-SFT 的 HellaSwag Avg@8 为 55.07，MMLU Avg@8 为 62.70，均高于教师生成基线的 51.59 和 61.00。
在在线 Qwen3-1.7B-Base 实验中，GeoMix-FKL 取得最佳平均 Avg@64 为 36.91、Pass@8 为 56.34，而普通前向 KL 为 33.85 和 53.99。对比集合包括 OPD、EOPD、Skew-KL 和 TAID，混合变体在报告的平均值上与之相当或更高。论文还把几何混合扩展到通过 OPD 的反向 KL 蒸馏，报告 GeoMix-OPD 与 OPD 相比仍有竞争力，平均提升为 +0.08 Avg@64、+0.04 Pass@8 和 +1.40 Pass@64。
这些是带有特定分母和采样预算的基准分数，不是关于所有能力的普遍结论。数学结果以三个随机种子的均值和标准差报告，通用能力数字来自 HellaSwag、IFEval 和 MMLU。论文称完整基准套件印证了主要发现。
最佳熵调度取决于训练来源
论文的核心限定是：最优熵调度并非通用。离线生成的轨迹偏好凹调度，教师总体影响更大。在线策略训练偏好线性或凸调度，把教师指导集中在高熵状态。在报告的超参数中，这体现为两种设置使用不同的混合变换：在线为 x^2，离线为 x^(1/4)。
这一区分是论文支持的实际决策。读者在离线轨迹生成与在线策略蒸馏之间做选择时，不能沿用同一种插值形状；调度必须匹配监督信号的产生方式。论文把这视为分析得出的发现，而非调参细节，并指出离线和在线训练使用不同的熵变换，使有原则或可学习的插值调度成为重要方向。
低熵并不保证学生正确
论文直接检验了一个潜在失效模式：低学生熵不一定意味着正确，因此基于熵的系数可能恰好在学生自信却错误时降低教师影响。论文按平均熵对 Qwen3-1.7B 生成的轨迹分组，报告最低熵四分位的回答准确率显著高于其余部分，为 92.82% 对 64.06%，这提示较高熵的序列可能需要额外的推理时计算才能从更好的探索中获益。
论文随后筛选最低熵四分位中至少包含一次错误 rollout 的轨迹，得到 542 个提示，并在这些提示上报告学生生成、教师生成、ConMix-SD 和 GeoMix-SD 分布的 Avg@8 与 Pass@8。作者得出结论：保留自信行为不一定导致更差表现，同时指出未来工作可以结合验证器来判断何时教师监督应覆盖学生，尤其是在安全关键领域。
证据的适用边界
评估限于同一模型家族内的学生-教师组合。论文指出，把分析扩展到不同家族的模型有助于证明保留学生行为的有效性，因此不应假定所报告的增益能跨家族迁移。论文确实把评估扩展到 LFM2.5-350M 和 Granite-3.2-2B-Instruct，以检验 Qwen3 上观察到的在线蒸馏增益能否跨模型家族和学生规模迁移，但关于同家族组合的既定限制仍然存在。
论文还指出，预测熵可能只是对学生共享表示中重要更新的代理，而非其根本原因，这也是它呼吁有原则或可学习插值调度的原因。学生熵和教师支持的 top-K 近似都是效率选择，其误差未在此系统研究。
因此最有用的结论是有条件的。当监督是离策略且自信冲突很可能出现时，熵感知混合值得考虑，且调度应匹配训练来源：离线生成轨迹用教师影响更大的凹调度，在线策略训练用把教师指导集中在高熵状态的线性或凸调度。论文自身对两种设置下 ConMix 与 GeoMix 变体的比较，是读者在采用任一方之前应使用的具体判断阈值。
本文引用的文献
Learning What to Imitate: Entropy-Aware Distribution Mixing
熵感知混合以学生预测熵按 token 插值学生与教师分布，稳定蒸馏，提升分布内和分布外数学推理，同时比固定教师监督更好地保留通用能力；最优熵调度取决于训练来源，离线轨迹偏好凹调度，在线策略训练偏好线性或凸调度。