参数化轨迹蒸馏如何实现少步视频生成？

少步蒸馏本质是容量分配问题

视频扩散模型和流模型靠依次多次评估网络来生成样本。少步蒸馏把这一过程压缩成学生的少数几次评估，通常保留教师的主干网络，因此学生的参数量可能与教师相同，但可用的串行计算量少得多，却要复现长得多的生成过程。论文把这视为容量分配问题：监督信号必须帮助学生把有限的计算用在教师路径中它真正能表示的部分上。

失效方式很具体。已有的轨迹目标训练学生复现教师完整的噪声到样本轨迹，这能保留运动与多样性，但属于覆盖众数（mode-covering）的目标：当少步学生无法表示复杂的教师转移时，回归会把预测拉向目标值的平均，从而模糊细节。论文指出，教师转移在高噪声处弯曲得最厉害，而这正是这种平均压力最强的地方。

教师查询沿学生自己的曲线进行

PTD 改变了要求学生输出的内容。一次学生评估预测一段教师轨迹的多项式近似，随后教师速度沿这条预测路径查询，而不是沿教师原本的路径查询。论文把这一设计类比为分布匹配——分布匹配只在学生自己的样本上评估教师——同时保留了轨迹监督提供的噪声到样本对应关系。

这条曲线有两个输出，由同一个速度回归损失训练。曲线的平均速度直接给出端点更新，曲率头给出多项式的形状。两者的训练都不需要计算雅可比向量积，也不需要训练辅助判别器；作者据此把它描述为一种简单配方，可把轨迹蒸馏扩展到大型主干网络，包括参数高效的 LoRA 微调。

曲率头只是训练时的脚手架

曲率头的作用是塑造用于学习主干网络速度预测的监督信号，推理时会被丢弃。采样按 x_{k+1} = x_k + Δ_k h_θ(x_k, t_k | y) 进行 N 次学生评估，不查询教师，也不评估曲线内部。部署时每一步都保留原有的主干拓扑和输出维度。

在 MiniMax-H3 上，每一步的 LoRA 适配器（包括被适配的速度投影）可以合并回原投影的形状，因此部署模型保持原有的层类型和输出维度。在 Wan2.1-14B 上，则直接保留完整微调的主干网络和稠密平均速度投影。两种情况下，部署模型都只走四步，且不评估曲率系数。

四步 PTD 在 Wan2.1-14B 上优于 PDD

在 Wan2.1-14B 上，四步 PTD 与复现的并行解码蒸馏（PDD）在相同训练设置下比较，PDD 被描述为该模型上表现最好的纯轨迹方法。PTD 在第 64 次迭代达到 84.57 的 VBench 总分，而 PDD 复现在第 64、96、256 次迭代分别为 83.29、83.67、82.83；PDD 的最佳检查点第 96 次迭代作为 Astra、人类偏好和 VBench 比较的基线。论文报告 PTD 在动态质量和自然度上显著优于 PDD。

作者也指出，他们复现的 PDD 得分低于 PDD 原作者报告的 VBench 数值，并将其归因于训练提示数据与评估提示的差异，以及 VBench 评估噪声。这一说明限定的是差距大小，而不是该训练设置下比较的方向。

33B 音视频模型的 LoRA 蒸馏

在 33B 音视频模型 MiniMax-H3 上，PTD 仅用每步 LoRA 和轨迹监督就被训练成四步生成器。与 LightX2V Turbo（被描述为 H3 Acceleration Arena 上最先进的四步 DMD 方法）相比，PTD 显著提升了多样性（2.81 对 1.55）和由 GPT-6 Astra 测得的自然度，同时在动态质量和静态质量上与之持平。报告的检查点为第 150 次迭代，输出 124 帧和立体声 32 kHz 音频。

评估使用 GPT-6 Astra 作为自动评判，在三个随机种子上按四个维度打分：动态质量、静态质量、自然度和多样性。论文说明这些判断不是人类评分，音频未被评估。这里的多样性指同一提示下三个种子输出之间被评判出的差异，而不是分布层面的指标。

盲评投票在两个基线上都偏向 PTD

盲评人类投票中，PTD 相对 PDD 和 LightX2V Turbo 分别获得 55.1% 和 63.4% 的偏好份额。这些是盲评比较中的偏好份额，不是四个 Astra 维度上的分数，因此应作为关于整体偏好的另一条证据来读，而不能替代多样性或自然度数值。

两项比较的设置也不同：与 PDD 的比较在 Wan2.1-14B 上使用完整微调，与 LightX2V Turbo 的比较在 MiniMax-H3 上使用 LoRA 训练。因此论文的主张是两项各自针对特定主干的胜出，而不是跨模型的单一排名。

PTD 学到收缩且与教师对齐的弯曲

轨迹形状探针测量学生在每一步中间一半区间内预测的弯曲与教师弯曲的关系。在 Wan2.1-14B 上，教师在高噪声的第一步弯曲最厉害：其速度方向在第 0 步内转过 43.5°，而最后一步只转过 4.7°。在这个强弯曲的步内，从 32 到 224 次更新的每个共同检查点上，PTD 的弯曲幅度比、方向余弦和教师对齐投影都大于 PDD。第 64 次更新时，幅度比为 PTD 0.081、PDD 0.024，余弦为 0.171 和 0.139，投影为 0.014 和 0.003。

作者将此解释为学生学到了一条收缩且与教师对齐的曲线，使目标保持可学习，尽管该曲线族几乎能精确拟合教师轨迹。在更平滑的最后一步，两种方法的教师对齐投影在每个共同检查点上相差至多 0.005，这与 H3 配方只在最后一步施加教师推进相一致。

监督目标应匹配每一步的可预测性

论文的诊断显示，可预测性沿轨迹变化很大。用 K=2 个勒让德项做离线拟合，可解释最后一步 90% 的速度变化，而在最接近噪声的那一步只有 46%。在 H3 上的冻结特征探针给出最后一步的留出得分：岭回归约 45%，Adam 为 49–50%；而第 0、1、2 步分别只有 7–11%、14–15% 和约 3.5%。

这解释了两种针对具体模型的配方。H3 检查点只在最后一步加入教师推进，因为该步端点更平滑，并报告这比全部使用双查询配方在训练计算量高约 20% 的情况下改善了视觉细节。Wan 检查点在全部四步上只使用学生曲线目标。作者报告，在 Wan2.1-1.3B 上对每一步都做推进会使局部细节变软，因为推进后的端点会把高噪声处的弯曲折进目标，使其难以为一次学生评估所学。

由此得到的实践优先级不是通用配方，而是一条匹配规则：在曲率难以学习的步上沿学生预测曲线查询教师，只在足够平滑、学生一次评估就能学会的步上考虑推进目标。这一划分的证据来自 Wan2.1-14B、MiniMax-H3 和一项 Wan2.1-1.3B 消融，因此在迁移到不同主干或时间网格前，应重新核验具体的步分配。

本文引用的文献