重新思考大模型策略内蒸馏：现象学、核心机制与实操指南

TL;DR

策略内蒸馏（On-Policy Distillation, OPD）已成为 Qwen3、GLM-5 等顶尖 LLM 后处理的核心技术。然而，为什么强教师有时会带不动弱学生？本文通过系统实验证明：OPD 的本质是在学习教师的“思维模式”。只有当师生思维契合且教师拥有学生未见的新知识时，蒸馏才真正有效。

背景定位：OPD 为何成为新宠？

传统的离线蒸馏让学生学习固定的教师数据，容易积累误差（曝露偏差）。OPD 让学生自己生成答案（On-policy），由教师对学生生成的每一个 Token 给出“点对点”的反馈（Dense Reward）。这种方法在效果上直逼 RL（强化学习），但计算成本却低得多。

1. 核心现象：并不是教师越强效果就越好

作者发现了两个颠覆直觉的现象：

• 思维模式一致性 (Thinking-pattern Consistency)：如果教师和学生的思维方式跨度太大（例如 Base 模型和经过强化学习的模型），学生很难吸收教师的 Token 级信号。
• 新知识 vs 纯规模：如果教师只是规模大，但没有接触过学生未见过的新数据，蒸馏效果会大打折扣。

图：当师生思维模式对齐（GRPO Teacher）时，即便教师性能稍弱，蒸馏效果也优于思维不匹配的强教师。

2. 机制拆解：寻找“消失的梯度”

为什么有些蒸馏跑不通？通过监控 Token 级的动态，作者发现：

• 高概率 Token 对齐 (Progressive Alignment)：成功的 OPD 中，学生和教师的高概率 Token 集合（Top-k）重合度会从 72% 稳步提升到 91% 以上。
• 重合区决定论：实验证明，只要优化师生共同看重的 Top-k Token（占据了 97-99% 的概率质量），就能达到全量蒸馏的效果。非重合区的 Token 对学习贡献极小。

图：重合率(Overlap Ratio)是判断 OPD 训练是否健康的核心金标准。

3. 最佳实践：如何挽救失败的蒸馏？

针对蒸馏失败的场景，作者给出了两路“药方”：

1. 离线冷启动 (Off-policy Cold Start)：先用教师的数据给学生做一遍 SFT（有监督微调），强行把学生的思维拉近教师，再开始 OPD。
2. 教师对齐的提示词 (Teacher-aligned Prompts)：使用教师在强化学习阶段见过的提示词模板。哪怕是一个微小的模板改动（如从 Answer: 变更为 \boxed{}），都能显著提升蒸馏质量。

4. 深度洞察：密集奖励的代价

OPD 虽然提供了 Dense Reward（每个词都有分），但它也有“天花板”：

• 轨迹越长，信号越脏：随着生成长度增加，学生逐渐进入教师陌生的状态空间，此时教师给出的分数变得不可靠。
• 局部可利用性 (Local Exploitability)：即便教师的全局奖励是正确的（能分对错），如果局部的梯度分布太乱（Anisotropy），学生依然学不会。

图：我们可以看到，在长轨迹（10K+ Token）下，模型表现会出现明显的退化或崩溃。

5. 总结与展望

本文的研究提醒我们，蒸馏大模型不仅是“灌输知识”，更是一场“思维同频”的过程。

• Takeaway：在做模型蒸馏前，必须先评估师生的思维模式重合度。
• 未来挑战：如何在长链条推理（Long-horizon CoT）或多轮对话中保持蒸馏信号的稳定性，将是下一个技术高地。