串行到并行扩散能让视频生成在物理与逻辑上一致吗?

S2PD 先在高噪声下自回归扩散,再并行精修,减少规则违规并缩短采样时间。

直接答案

在论文测试的设定内,可以。S2PD 把采样分成两个阶段:高噪声下做自回归去噪,提供协调相互依赖事件、产生有效状态转移所需的串行计算;随后在低噪声下并行精修,联合清理整段视频。在游戏、物理模拟和真实视频上,它比同规模的双向基线更可靠地遵守规则,并且在同一块大小下比其他串行方法时间稳定性更好、速度约快一倍。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

并行去噪无法协调相互依赖的事件

双向视频扩散并行地对整段视频去噪:每个 token 都能关注其他所有 token,整个序列在训练时共享一个噪声水平,在推理时一起被去噪。论文的前提是,这种设计缺少因果依赖所需的串行计算。一步棋取决于上一块棋盘;一个球的位置取决于它的碰撞历史。当模型必须一次性确定所有帧时,这些依赖关系在计算中没有有序的路径。

作者报告说,即使使用来自程序化生成器、实际上无限的同分布训练数据,这种失败依然存在。用这类数据训练的双向模型仍会违反物理定律和简单的符号规则。这就是论文的动机性论断:更多同类数据并不能修复并行去噪与串行依赖之间的结构性错配。

S2PD 从串行去噪切换到并行精修

S2PD 先在高噪声下做自回归扩散,再切换到低噪声下的并行扩散。过渡噪声水平 tau 决定切换点。tau = 1.0 时生成完全并行;tau = 0.0 时完全串行。自回归阶段提供协调相互依赖事件、产生有效状态转移所需的串行计算,而并行阶段联合精修整段视频,并相对完全串行生成缩短采样时间。

该机制通过块结构实现。token 被分成 K 个大小为 b 的块;同一块内的 token 在训练时共享一个噪声水平,在推理时一起被去噪。更小的块允许采样时有更多自回归步。当块大小等于整个序列长度时,生成等价于全视频双向扩散,因此该设计覆盖了从完全并行到完全串行的连续区间。

两种架构检验同一套采样思路

论文用两种架构实现 S2PD。第一种是从零训练的像素空间扩散 Transformer(DiT-B),使用 x 预测与 v 损失。第二种通过带因果注意力的 LoRA 微调改造一个预训练视频模型(Wan-5B-LoRA),使用潜空间扩散与 v 预测、v 损失。两者都用 Wan 冻结的 UMT5-XXL 编码器编码文本提示,并通过交叉注意力把文本嵌入送入每个 Transformer 块。

训练成本差别很大:DiT-B 在单节点四块 H100 GPU 上约需 12 小时,而 Wan-5B-LoRA 在四个节点、每节点四块 H100 GPU 上约需 48 小时。论文训练 100 个 epoch,每个 epoch 1,000 步,并把一个 epoch 定义为 1,000 次优化器步,以统一有限数据集和程序化生成数据集上的训练。每个数据集和每种方法都训练一个专用模型。

串行方法在同规模基线下减少规则违规

核心比较是串行方法与同模型规模的双向基线之间的对比。在离散和连续数据集上,所有串行方法表现相近,没有明显赢家,但都大幅优于双向基线。诊断叠加显示,基线经常走出无效的国际象棋着法、做出无效的 2048 转移,在模拟中丢球,并产生不真实的 Pong 对局。

指标随数据集类型不同,论文把它们分开处理。对离散数据集,当任一状态违反数据集的状态规则,或没有合法着法连接两个状态时,该转移即为无效;报告单位是每次 rollout 的无效转移数,持续存在的状态错误会在其影响的每一次转移上计费。对连续数据集,每一帧都用模拟器的动力学从过去帧外推,并与观测到的视频比较;残差是预测区域与观测区域之间的 1 减 IoU,先对来源物体取平均,再对帧求和,作为每次 rollout 的动力学误差。预期存在但缺失的物体,在其缺失的每一帧都计为完整残差误差。这两个数字回答不同的问题,不能互换。

并行精修换来速度与时间稳定性

在 Wan-5B-LoRA、块大小 64 下,S2PD 在全部四个视频数据集上取得最低 CD-FVD,同时速度约为其他串行方法的两倍。Kubric MOVi-A:S2PD 为 137.0、6.8 秒,cDF 为 168.5、13.8 秒,BC 为 141.2、13.7 秒。Kubric MOVi-C:231.7、6.8 秒,对比 376.5、13.7 秒和 240.3、13.8 秒。MPMWorlds:42.5、6.9 秒,对比 43.2、13.7 秒和 43.9、13.6 秒。Rubik's Cube Real:64.4、7.0 秒,对比 70.8、13.8 秒和 70.9、13.7 秒。

时间稳定性是与规则合规不同的另一项论断。在 Kubric 数据集上,纯串行生成会出现时间不稳定或闪烁。把每帧水平中心线垂直堆叠形成的时空切片显示,S2PD 与真值呈现干净的竖直线,尤其在静态背景中,而 BC 和 cDF 出现细微的斑块伪影。论文把这一点归因于并行精修阶段让所有块协调各自的外观。

tau 0.6 与更小的块在精度和时间之间取舍

过渡噪声水平控制并行精修开始前有多少去噪是串行的。论文报告 tau = 0.6 的得分与 tau = 0.2 相近,但明显更快,并把 tau = 0.6 作为默认值。tau = 0.0 的完全串行生成不被推荐,因为此时模型极易受自回归漂移影响。在国际象棋、块大小 8 下,完全并行为每次 rollout 52.1 个无效转移、0.1 秒,tau = 0.6 为 13.3、10.4 秒,完全串行为 26.3、21.0 秒。在 2048、块大小 8 下,同样设置分别为 48.5、0.1 秒,1.0、9.3 秒,2.7、19.2 秒。

块大小是第二个杠杆。减小块大小对离散数据集的误差降低幅度大于连续数据集,而针对特定块大小训练主要改善离散数据集。在国际象棋上,按块大小 8 训练时误差从块大小 64 的 8.9 变为块大小 8 的 10.3,而固定在 64 的模型从 8.9 变为 12.3。Double Pendulum 等连续数据集在各块大小下都稳定在 1.1,Colliding Balls 2D 稳定在 0.0。token 顺序是论文测试的第三个变量:zigzag 和 Hilbert 顺序相对默认的 raster 顺序没有一致优势。

证据覆盖特定数据集与评测规则

遵守规则的论断受论文自身评测流程的约束。离散数据集按各自规则评分:Conway 网格必须遵循 Conway 规则;国际象棋要求每方一个王、交替行棋、被牵制的棋子只能合法移动;2048 的转移必须是滑动加上新出现的 2 或 4 方块;十五数码、Tetris 和 Snake 各有自己的解析规则。Rubik's Cube 3D 把立方体拟合到轮廓上,测试可能的相机朝向和合法四分之一转,只要有一种组合匹配两帧中所有可见面片就接受该转移;论文明确不强制颜色数量或可解性,隐藏颜色也不受约束,因此该指标检验的是局部运动,而非遮挡下的持续身份。

连续数据集通过用模拟器动力学从过去帧外推来评分,这意味着该指标假设模拟器的接触定律或方程能描述观测到的运动。若干数据集在训练时即时渲染,并使用与训练种子不同的专用验证种子,另一些则预生成或自行采集。报告的比较都基于匹配的模型规模和训练预算,因此增益可归因于采样方案,而非更大的模型。

实际选择在于把串并行切换点放在哪里

论文最具决策相关性的结果不是抽象地说串行优于并行,而是切换点比两个极端更重要。完全并行生成快但错误;完全串行生成慢且漂移。默认的 tau = 0.6 位于两者之间,得分与 tau = 0.2 相当,而在所有块大小下都快一倍以上,也是论文推荐的设置。因此,比较视频生成方法的读者应同时看过渡噪声水平和块大小,因为它们共同决定一次运行在精度与时间上的位置。

第二个实际区分是规则合规与时间稳定性。规则合规在离散数据集上由每次 rollout 的无效转移数衡量,在连续数据集上由每次 rollout 的动力学误差衡量;时间稳定性则从时空切片和 CD-FVD 读出。论文把稳定性与 CD-FVD 优势归功于 S2PD 的并行精修阶段,把有效状态转移归功于自回归阶段。读者若要把该方法用于新领域,应先问这两种失败模式中哪一种在该领域占主导,因为两个阶段分别针对不同的失败模式。

本文引用的文献

1

S2PD: Serial-to-Parallel Diffusion for Physically and Logically Consistent Video Generation

S2PD 先在高噪声下做自回归扩散,再切换到低噪声下的并行扩散,在游戏、物理模拟和真实视频上比同规模双向基线更可靠地遵守规则,并比其他串行方法生成时间稳定性更好、采样效率更高的视频。