扩散采样中何时应启用无分类器引导?

Fisher 信息平衡条件解释了条件引导何时开始起作用,并据此实现免训练的自适应 CFG 调度。

直接答案

论文认为,条件信息并非在整个反向扩散轨迹上同样有用。作者把采样过程表述为随时间变化的信息瓶颈,说明只有在满足 Fisher 信息平衡条件的临界阶段之后,引导才会明显更有效;他们再把这一条件转化为一条免训练规则:当批估计的引导增益越过阈值时,就开启 CFG。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

固定 CFG 调度默认条件信息始终同等重要

多数无分类器引导实现在每个去噪步骤上套用同一条引导规则,这等于默认条件信息从纯噪声到最终样本的每个阶段都同等重要。论文质疑这一假设:条件输入与得分函数之间的相关性很可能随时间变化,而现有的动态变体仍主要依赖手工设计的调度或固定激活区间,并未说明引导为何应在某一时刻开始。

因此,作者提出的问题不是引导尺度该取多大,而是条件引导究竟应在何时开启。他们从信息论角度回答,而不是再调一个加权函数。

瓶颈目标给出一个平衡点

论文把扩散轨迹表述为随时间变化的信息瓶颈,目标函数为 L(t) = I(X0; Xt) − β I(Xt; C),其中 X0 是目标数据,Xt 是时刻 t 的含噪样本,C 是条件变量。第一项奖励保留关于数据分布的信息,第二项以 β 为权重惩罚对条件的依赖。引导在这两种压力达到平衡处最有用。

作者借助扩散 SDE 的熵演化引理说明,与条件变量的互信息以条件 Fisher 信息决定的速率衰减。把这一结果代入瓶颈目标,在内点极小值 t* 处得到一阶条件 β J(Xt*; C) = J(Xt*; X0)。换言之,注入引导的最佳时刻,是条件 Fisher 信息乘以 β 后,与连接含噪样本和干净数据的 Fisher 信息相等之处。

作者对轨迹的解释是:反向采样早期样本由噪声主导,两项都很小,此时施加 CFG 主要会放大噪声;随着过程推进,一旦 I(Xt; C) 开始占主导,瓶颈目标达到最小值,引导项才成为有效的控制信号。这是论文给出的解释,并非另行测量的因果结论。

得分范数之差让条件变得可观测

平衡条件用 Fisher 信息写出,而 Fisher 信息无法直接从训练好的网络中读出。论文的实际做法是,用得分平方范数的小批量均值近似条件 Fisher 信息和边缘 Fisher 信息:条件分支取 ‖sθ(xt, t, c)‖² 在批上的平均,无条件分支取同一量。两者之差 ΔJ(t) 被当作瞬时引导增益的代理量。

是否激活由反向停止时间决定:从最后一步 T 向 0 扫描,方法记录 ΔJ(t) 超过缩放阈值 (n/m(t))β* 的最晚步骤,并在生成过程正向推进的后续所有步骤中施加引导。一次前向传播即可评估拼接在同一小批量中的条件输入与无条件输入,因此该统计量来自模型自身的得分输出,而非单独训练出的预测器。

由于规则只是对批统计量做阈值判定,它免训练、即插即用:只改推理循环,不改网络权重。论文还指出,缩放阈值改善了数值条件,并给出一个可解释、依赖具体模型的激活区域。

区间引导是自适应规则的极限情形

作者并未把自适应规则说成与既有做法无关。当批量大小趋于无穷时,小批量得分统计量会集中,随机激活时间 τactivate 趋近于所有样本共有的确定性边界。作者把这个固定边界对应到区间式引导所用的激活端点,后者把 CFG 限制在人工选定的时间步范围内。

区别在于边界从何而来。区间引导需要事先指定边界;本方法在有限批量下从批得分统计量推断边界,且推断规则与瓶颈分析相连。这一联系是论文关于动态引导的主要概念主张:自适应调度与预定调度位于同一轴线上,差别只在于允许激活时间变化多少。

实验覆盖四种骨干网络与多项任务

实证部分报告了跨扩散与流式架构的实验,包括 SiT、DiT、SD3 和 FLUX,作者称在多种评估设置下生成质量有所提升。他们还报告了多种子稳定性分析、与替代激活准则的比较以及高分辨率单样本推理,并说明方法同时支持批级和单样本使用。

此处可用的证据包对结果部分做了压缩,因此具体质量指标、其单位、所比较的基线以及每项提升的幅度都无法从这份材料中引用。可以归给论文的是结论方向——在被测架构和任务上质量与稳健性有所提升——以及作者列出的支撑分析,而不是某个数值效应量。

批平均可稳定激活统计量

激活统计量是蒙特卡洛估计,其可靠性取决于有多少样本参与计算。作者承认,尽管支持单样本推理,批平均仍能提高激活统计量的稳定性,并把更稳健的样本级准则和异构条件场景列为未来工作。因此,逐样本使用该规则的读者应把阈值判定视为比批使用时更嘈杂。

理论也有明确范围。信息瓶颈分析可推广到随机流模型,但作者把完整刻画确定性耦合描述为尚待完成的下一步。平衡条件是在瓶颈目标的内点极小值处推导的,而实际部署的规则用估计的得分范数统计量替代了该条件中的 Fisher 信息量。

关键决策是何时切换而非引导多强

论文的独特贡献在于改变了使用者需要选择的量。方法不再要求手工挑选引导尺度调度,而是要求给定阈值 β*,由观测到的条件与无条件得分范数之差决定激活时间,缩放准则 (n/m(t))β* 决定越过阈值的位置。引导开启后,引导尺度 ω 仍控制条件预测与无条件预测的混合强度。

这一区分影响结果的解读方式。论文检验的主张关乎激活时机,其证据是推导出的平衡条件,以及在 SiT、DiT、SD3 和 FLUX 上的实验。对使用者而言,最关键的未决问题是估计增益能否在样本级别可靠地越过阈值,而这正是作者自己指出局限所在之处。

本文引用的文献

1

Opening the Black Box of Classifier-Free Guidance via Information Bottleneck

把扩散采样表述为随时间变化的信息瓶颈,推导出条件引导何时开始有效的 Fisher 信息平衡条件,并将其转化为基于批得分范数统计量的免训练自适应 CFG 激活规则。