多证据自蒸馏如何改进 VideoLLM 强化学习？

序列级奖励无法指导 token 级信用

带可验证奖励的强化学习为 VideoLLM 提供可靠的结果监督，但论文认为序列级奖励对 token 级指导有限。最终答案的奖励无法可靠说明中间步骤是否正确使用了时间与空间证据，因此模型可能因答案正确而被强化，却没有学到哪些推理 token 应得信用。

在线自蒸馏通过在特权信息上条件化一个自教师，在学生生成的轨迹上提供密集的 token 级监督。论文指出两个遗留问题：把异质证据聚合进单一教师上下文会掩盖跨证据的一致与冲突；以及教师指导究竟应精修基于奖励的更新，还是纠正失败轨迹，尚不明确。

三个教师共享参数但看到不同证据

MeSD 构建三个共享参数的证据条件化教师。答案教师只看到语义标准答案，不含时间区间、关键帧时间戳和边界框坐标。答案-时间教师额外加入标注的时间区间或关键帧时间戳，答案-空间教师额外加入物体名称和变换后的边界框。三者都在相同的学生生成前缀上评估，不生成额外 rollout，其预测被 detach 以阻止梯度回传。

这一设计使跨证据比较成为可能。由于答案上下文保持不变，而时间或空间证据被分别加入，论文可以测量相对于答案教师的证据特定偏好偏移，而不是把所有特权信息混进一个上下文。

融合把共识与证据特定残差分开

对每个候选 token，MeSD 把时间或空间证据引起的偏好变化定义为相对答案教师的对数概率差。正值表示新增证据相对锚点提高了对该 token 的支持，负值表示支持下降。

融合分布把教师共同偏好与门控的教师特定残差结合起来。共同项使用非锚点教师的几何平均，强调被所有教师支持的 token，因为任一教师给出低概率都会拉低联合支持。残差是算术平均与几何平均在对数空间中的差，捕捉来自单个教师的互补支持。两个门控制残差：一致性门在证据特定偏好符号相反时降低其贡献，幅度门则限制其相对共同偏好的大小。门控残差被加回，用于重新加权并归一化答案教师分布。

当语义答案不可用时，方法回退到无特权锚点教师；若没有辅助教师可用，则保留该分布。

验证结果决定精修还是纠正

MeSD 用任务专用验证器把每条轨迹分类为 Success、Failure 或 Indeterminate。对 Success 和 Indeterminate 轨迹，token 级优势精修调整优势幅度，同时保留由奖励导出的符号。精修后的 token 优势代入 GRPO 裁剪目标，其中一个强度参数控制教师重加权，一个裁剪范围约束 token 特定权重。

对含有必需证据的已验证失败轨迹，MeSD 改为应用失败条件化蒸馏。这用面向融合教师分布的反向 KL 目标替换 GRPO 策略损失，条件化在相同的学生生成前缀上。教师目标被 detach，梯度只流经学生分布。关键在于，该损失不依赖优势，因此即使组相对优势消失，也能提供纠正性监督。

统一目标按轨迹混合两个分支，并对蒸馏损失加权。教师目标在训练全程保持 detach，共享教师参数在学生每次更新后以指数移动平均更新，教师强度逐渐衰减，最后把精修与纠正开关置零以恢复标准 GRPO。

增益覆盖多类基准与模型规模

论文报告在多个视频基准上相对强化学习和自蒸馏基线取得一致增益。评估覆盖 V-STaR 上的联合时空推理，它有两条推理链（what–when–where 与 what–where–when），使作者能把答案准确率与时间、空间定位区分开；TVGBench 和 Charades-STA 上的时间定位；以及 WorldSense、VideoMMMU、LongVideo-Reason-eval 和 Video-MME-v2 上的一般或长视频理解。

讨论指出改进扩展到不同 Qwen3-VL 模型规模，且消融支持证据分离、门控融合和选择性纠正。训练数据是来自 Open-o3-Video 的 STGR-RL 集合，共 37,231 个样本：32,231 个基于视频，5,000 个基于图像的 spatial grounding 样本。MeSD 复用现有标注，不新增人工撰写或模型生成的标注，只是把它们重组为分离的证据条件化上下文。

标注允许什么又不允许什么

证据条件化教师依赖标注可用性。一般视频问答提供语义答案，时间问答提供时间区间，联合时空问答包含关键帧时间戳和物体级边界框。对纯时间问答，答案本身就是时间区间，因此它贡献时间证据而非单独的语义答案。这意味着三教师结构只有在相应标注存在处才被完整填充。

论文也界定了失败纠正主张的边界。反向 KL 论证针对分布级目标：对符合条件的已验证失败，即使信用精修提供不了信号，分布不匹配也能提供纠正信号。论文明确指出，这并不保证答案正确，也不保证对模型参数存在非零的聚合梯度。被严格资格规则排除的失败仍保留信用精修。

重点是选择性纠正而非全面蒸馏

这篇论文最具决策意义的区分不是教师信号是否有用，而是它们应在何时起作用。MeSD 在 Success 和 Indeterminate 轨迹上保留由奖励导出的优势符号，只对含有必需证据的已验证失败保留反向 KL 纠正。这一划分是论文关于如何结合结果奖励与密集 token 监督的核心主张。

对比较后训练方案的读者而言，实际阈值因此是验证结果加证据可用性：缺少必需证据的失败轨迹不会被蒸馏纠正，成功轨迹是被精修而非覆盖。论文自身的表述是，这种对融合教师分布的选择性使用——由现有标注构建——正是 MeSD 区别于在成功与失败轨迹上统一重加权 token 的方法之处。

本文引用的文献