两类扩散强化学习在效率与稳定间取舍
在线扩散强化学习用黑盒奖励评估完整生成样本，因此输出层面的反馈必须转化为许多去噪状态上的更新。论文把这一点称为信用分配问题，并按更新施加的位置把现有方法分成两类。
Flow-GRPO 等反向过程方法用基于分组的端点奖励优化采样到的去噪转移。它们在生成器实际访问的状态上训练，但需要把 ODE 转成 SDE 才能得到可计算的似然；而且每条被选中的转移都沿着自身的转移级采样噪声被推动，权重却来自只能部分决定该转移的轨迹级优势。论文认为这种错配就是限制效率的信用分配不佳。
DiffusionNFT 等前向过程方法对生成的干净样本加噪，再用奖励加权的正、负目标回归速度。它们不需要转移似然，效率很高，但论文报告说，缺少两个稳定器时训练会不稳定：联合正负训练，以及滞后量需按任务调参的 EMA rollout 策略。两类方法都无法在不做逐任务调参的情况下同时做到高效和稳定，这正是论文要填补的空白。
先聚合奖励从构造上消除该力
DiffusionART 借用前向过程训练中的监督式速度回归，但把更新施加在反向 rollout 中访问到的状态和动作上。对每个提示词，它收集 K 个端点及其奖励、状态和模型的速度预测，再把该提示词的样本与奖励聚合成一个共享的奖励提升方向 G(c)。
每个被访问状态的动作都向一个冻结目标回归，该目标由该状态自身的预测加上 G(c) 构成。由于整个提示词的状态共享同一个方向，而不是每个端点各推一个方向，一致性力在构造上就被消除，而不是被近似抵消。该方法不需要可微奖励模型，因此可以使用标量黑盒奖励。
此外还加入带信赖域掩码的第二次更新。掩码用固定的漂移阈值 10^-5 和一个强调高噪声状态的因子来检测过度漂移与向外更新，并且只约束这第二次更新。论文把第二次更新描述为随漂移自适应的恢复，用来替代逐任务的 EMA 调参。
视频训练以更少 GPU 小时达到基线奖励
核心比较使用 HunyuanVideo-13B，视觉质量与运动质量奖励等权。DiffusionART 达到 DiffusionNFT 和 Flow-GRPO-Fast 的后期平均奖励水平，所用 GPU 小时数分别少 12.02 倍和 11.72 倍；它在最后 50 个训练步的平均奖励为 13.018，而两者分别为 10.105 和 8.510，提升 28.8% 和 53.0%。
在正文采用的 TA:VQ:MQ = 7:2:1 权重下，DiffusionART 在第 29 步和第 46 步分别达到训练 VQ 6 和 MQ 3，其他方法在各自记录的轨迹内未达到这些水平。达到 VQ 5.5 时，它需要 24 步和 63.4 GPU 小时，而带 EMA 的 DiffusionNFT 需要 273 步和 1,401.4 GPU 小时，论文报告为步数少 11.4 倍、GPU 小时少 22.1 倍。评估 VQ 和 MQ 达到 8.970 和 4.224，比最强基线高 31.4% 和 57.4%。
这些是论文自身设置内的训练奖励与评估比较，并非对任意视频模型的结论。论文还报告，DiffusionART 在提升视觉与运动质量的同时，文本对齐奖励与最强基线相当。
图像收益成立，掩码主要影响视频
在 SD3.5-M 上，DiffusionART 无需逐任务 EMA 调参就避免了在策略 DiffusionNFT 的严重崩溃，训练效率与带 EMA 的 DiffusionNFT 相当。它在 GenEval、OCR 和 PickScore 上达到 Flow-GRPO 第 500 步奖励所需的训练步数分别少 10.0、5.2 和 9.6 倍，并且在单奖励与多奖励训练下表现相似。
扩展到 12B 的 FLUX.1-dev 时，DiffusionART 在对比方法中学习最快，而 DiffusionNFT 因超参数未针对该模型重新调参而出现明显的奖励波动。
信赖域掩码并非在所有场景都同样重要。在图像任务上只去掉掩码，训练仍然有效，甚至可能略快一些；FLUX.1-dev 的无掩码运行在第 180 步达到训练 GenEval 分数 0.971。在 VQ:MQ = 1:1 权重的视频任务中，无掩码运行在第 200 步左右先下降再恢复，而有掩码运行稳步提升。HunyuanVideo 上的诊断显示，在共同的前 300 个训练步中，有掩码时第一次更新的最大梯度范数为 1.96，无掩码时为 3.33，说明掩码也让后续的第一次更新保持良好行为。
小 rollout 组与成对奖励仍然有效
论文报告 DiffusionART 对组大小 K 不敏感，较小的 K 能显著降低计算量。在相同的 400 步预算下使用成对反馈，K=2 的最终 VQ 为 12.235，不低于 K=8 的 12.092，而 GPU 小时数仅为 260.8 对 883.3，减少 3.4 倍。
DiffusionART-Pairwise 把方法扩展到在线成对偏好反馈：把每个提示词的 K 个端点分成互不重叠的配对，标注胜者、败者或平局，用这些标签替代标量奖励，其余协方差与训练流程不变。论文报告，在以标量奖励作为评估指标时，成对训练的表现接近标量反馈。
论文还与 ReFL 做了比较。ReFL 通过冻结的奖励模型和 VAE 反向传播；DiffusionART 只用奖励值，就以更少的优化器更新提升了两种奖励，不过 ReFL 每次更新使用的样本更少，K=1 对 DiffusionART 的 K=8。
调参预算受限时优先考虑 DiffusionART
论文的独特主张不只是 DiffusionART 更快，而是它在保持前向过程效率的同时，免去了按任务调 EMA 滞后量的需要。正是这一取舍把它与依赖调好 EMA 才稳定的 DiffusionNFT、以及反向过程信用分配限制效率的 Flow-GRPO 区分开来。
证据还给出一个实际优先级：信赖域掩码的价值主要体现在视频生成上，去掉它会导致训练中期下降，而图像任务没有它也能有效训练。当算力紧张时，K=2 的成对结果说明，在论文报告的设置中，每个提示词只用一对就能达到 K=8 的最终 VQ，而 rollout 成本约为四分之一。
这些结论受论文自身配置的限制：SD3.5-M 使用 512x512 分辨率、秩为 32 的 LoRA 适配器，HunyuanVideo-13B 在 480x480、16 个采样步下做全参数微调，并使用特定的奖励权重。报告的加速与稳定性都在这些设置内测得，因此它们支持的优先级只是对可比图像与视频后训练的一个起点假设，并不保证适用于不同的奖励模型或采样预算。
本文引用的文献
DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
DiffusionART 把每个提示词的奖励聚合成一个共享的奖励提升方向，以消除 NFT 式训练中隐藏的前向—反向一致性力，并加入带信赖域掩码的第二次更新来实现无需 EMA 调参的恢复；在 HunyuanVideo-13B 上，它达到 DiffusionNFT 和 Flow-GRPO-Fast 的后期平均奖励，所用 GPU 小时数分别少 12.02 倍和 11.72 倍。