固定预算下，粒子搜索与 MH 精修如何对齐音视频生成？

两种对齐工具因相反原因失效

奖励引导的推理时对齐不修改模型权重，而是把生成结果推向奖励更高的输出。对联合音视频生成来说，这意味着用对齐目标给候选视频和音频打分，再让生成过程偏向得分更高的样本。论文把障碍归结为成本：优化多个对齐目标需要大量昂贵的模型评估，因此现有方法在算力有限时变得昂贵。

两个构件有互补的弱点。基于粒子的搜索能进行全局探索，可并行运行且不需要奖励梯度，但粒子数量有限会带来估计误差，并可能降低样本质量。Metropolis-Hastings（MH）精修能在局部改进候选，但论文指出，由于混合速度慢，它做全局探索需要大量算力，而且它受益于一个较强的起点。SWIM 正是围绕这种分工设计的：先搜索找到一个有希望的候选，再对它做局部精修，而不是为更大的粒子群或长时间的全局 MH 运行付出代价。

粒子流向权重分散度高的检查点

第一阶段把粒子分配视为固定粒子预算下的方差最小化问题。去噪过程被划分为若干检查点，在每个检查点，到达的粒子被打分并获得选择权重。论文用有效样本量衡量这些权重的集中程度，再把它转换为经验平方变异系数。当权重集中在少数粒子上时，分散度高；当所有粒子权重相等时，该估计为零。

分配定理指出，某一阶段的最优粒子数与该阶段预期分散度成正比，与该段长度的平方根成反比。通俗地说，预期信息量更大的阶段获得更多粒子，更长、更昂贵的阶段获得更少粒子。由于推理时无法知道未来的分散度，在线算法用当前检查点的分散度预测下一个检查点，并根据已花费的预算调整一个算力乘子。一个节奏下限为后续阶段保留最低粒子数，一个可负担上限则为剩余阶段预留算力。论文明确指出，求和后的分散度项只是一个可计算的方差代理量，并非最终输出的精确方差。

MH 精修完整输出而非全局探索

粒子漏斗返回粒子阶段奖励最高的终端粒子，该输出用于初始化一段较短的 MH 链。每个 MH 步骤把输出潜变量重新加噪到选定水平，再沿一条新的随机路径对两个模态重新去噪，形成提议。提议用对齐目标与质量目标的固定加权和打分，并以取决于奖励差的概率被接受。

接受规则值得仔细阅读。在精确逆向模型下，这个仅依赖奖励的规则就是奖励倾斜目标分布的 MH 接受比；在使用学习得到的逆向模型时，论文称其为近似。有限的 MH 运行还取决于初始化和提议尺度，这也是作者用粒子搜索提供起点的原因。粒子阶段本身使用依赖检查点的奖励：一项在每个检查点都使用，另一项只在混合阈值之后加入，此时论文称其中间估计更可靠。

算力匹配时组合流程占优

核心比较是在 JavisBench-Mini 上、算力大致匹配时进行的。SWIM 报告称，搭配 JavisDiT++ 时，在七项指标上的平均相对增益为：相对 best-of-N 提升 30.7%，相对 EvoSearch 提升 14.1%；搭配 LTX-2 时相对 best-of-N 提升 9.2%，相对 EvoSearch 提升 17.0%。这些是七项指标的平均相对增益，不是单一绝对分数，因此不应理解为每一项指标都均匀提升。

论文还报告，在算力匹配时，把粒子搜索与 MH 精修结合能获得比单独使用任一方法更高的奖励。这一论断针对的是组合方式，也是论文的核心设计论点：MH 能从强候选出发找回额外奖励，而不需要更大的粒子群或昂贵的全局探索。

粒子稀缺时自适应分配收益最大

附录把 SWIM 与在各检查点均匀分配粒子的 uniform-K 基线进行比较。在 JavisDiT++ 上使用 TV-IB 时，最大分数提升为 2.5%，出现在 400 次神经函数评估（NFE）时，到 NFE=500 时收窄至 1.3%。在 SD1.5 上使用 AestheticScore 时，最大提升为 2.3%，出现在 NFE=400 时，到 NFE=1000 时收窄至 0.9%。论文的解释是，更大的粒子群让均匀分配也能更有效地探索奖励景观，从而削弱自适应带来的收益。

估计方差呈现相同趋势，但有一个明显例外。对 TV-IB，SWIM 在 NFE=200 和 NFE=400 时把总估计方差分别降低 36.1% 和 27.2%；对 AestheticScore，分别降低 14.9% 和 10.6%。对 TV-IB，差距在 NFE=500 时仍为 28.7%；对 AestheticScore，到 NFE=1000 时收窄至 0.8%。论文把音视频差距持续存在归因于音视频生成的搜索空间远大于图像。这些方差数字是代理估计方差，与奖励分数不是同一个量。

适度自适应优于两个极端

调度中有参数会改变算力转移的激进程度。节奏下限 gamma 为后续阶段保留最低粒子数。gamma 较小时，调度高度自适应，会把大量粒子放在信息量大的中间检查点，但之后可能过度剪枝；gamma 较大时，调度接近均匀分配，失去部分自适应收益。在报告的扫描中，最佳奖励出现在 gamma=0.6。

对偶步长控制算力乘子对预算超支或欠支的响应速度。各设置在最初两个检查点之前调度相同，之后才出现分化。较大的值剪枝更激进，最终性能呈非单调趋势，最高奖励出现在步长 1e-3，最低出现在 1e-1。论文的解读是，适度自适应会把粒子保留到更靠后的去噪阶段，那里的奖励估计更有信息量。当粒子群扩大时，增长规则也很重要：一种兼顾奖励引导选择与谱系保留的 rescue 策略在 VR-TA 上取得最大提升（0.099），高于 weighted（0.089）和 best（0.086），而 uniform 表现最差（0.068）。

预算增大后优势收窄

论文自己的讨论划出了边界。在更大预算下，自适应分配带来的较小收益可能不足以证明其额外调度参数合理。持续性预测假设下一个检查点的分散度与当前相似，当相邻检查点之间方差变化很快时，这种预测可能不是最优。在使用学习得到的逆向模型时，MH 接受规则是近似的，短链的结果取决于初始化和提议尺度。

由此得出的实际优先级是一个预算阈值，而不是普遍建议。自适应分配报告的最大收益出现在低 NFE 预算下，论文指出这些低预算收益对昂贵的音视频模型尤其相关，因为模型评估次数是主要约束。随着算力上升，均匀分配会缩小大部分分数差距，在图像生成中尤其明显，而音视频的方差优势持续更久。因此，读者在决定是否采用这种调度时，应先看自己的评估预算，以及瓶颈是分数还是估计方差。

本文引用的文献