[ICLR 2025] 扩散模型的几何探针：String Method 揭秘似然与真实感的深层悖论

TL;DR

扩散模型不仅能采样，还隐藏着复杂的“地理景观”。本文引入了计算化学中的 String Method (字符串方法)，无需重新训练即可计算样本间的真实演化路径。最重要的发现是：在高维空间，最“像”数据的路径（最大似然）往往看起来像“卡通”，而只有加入“熵”的考量（有限温度），才能得到符合人类视觉直觉的真实过渡。

背景定位：这是一篇深度结合了随机动力学与生成模型的理论性工作，旨在利用物理化学的经典工具重新定义扩散模型的插值几何。

痛点深挖：为什么最大似然反而不真实？

在扩散模型中，我们通常认为 Score Function $abla\log \rho (x)$ 指向高密度区域。逻辑上，连接两个样本的最优路径应当是最小能量路径 (Minimum Energy Path, MEP)。

然而，作者指出一个深刻的直觉：高维空间中，体积效应（熵）统治一切。

• MEP（能量驱动）：寻找的是密度峰值。但在高维空间，峰值处往往缺乏“体积”，导致模型在这些点产生过度简化的“卡通”图像。
• 典型集（熵驱动）：真实数据点实际上集中在密度与体积平衡的区域。

以往的插值方法（如线性插值）往往横穿“无人区”，产生破碎的中间体，而 MEP 虽然在模型眼中“极像数据”，在人眼看来却是失真的。

核心机制：String Method 的三种演化范式

作者提出一个统一公式，通过调节速度场 $v_t$，可以在三种模式间转换：

1. 纯传输 (Pure Transport)：跟随概率流 ODE。路径平滑但缺乏几何约束。
2. 最小能量路径 (MEP)：令迁移率 $\gamma o\infty$，强制曲线经过密度最大的 saddle points。
3. 主曲线 (Principal Curves)：引入有限温度 $T$。在演化过程中加入随机噪声，通过计算预期位置的均值（EMA），让路径保持在数据的“典型集”内。

算法流程

算法通过“演化-重参数化”交替进行。重参数化（Reparametrization）是关键，它确保了路径点之间不会因为吸引力而堆积，维持了路径的连续性。

图 2：String Method 示意图。灰色虚线展示演化步，蓝色点线展示重参数化步，确保路径等长分布。

实验见证：似然之巅的荒诞

在 ImageNet 实验中，作者对比了不同温度下的插值效果。

图 1：MEP 路径（绿色）穿过超高似然区域（黄色），但生成的图片（4）是卡通化的；主曲线（红色）虽然似然稍低，但图像（3）更真实。

关键发现

• MEP 的过度拟合：如图 4 所示，当权重 $\gamma$ 增加时，中间图像变得极度简化（如单色的海狸）。图 6 的定量分析显示，这些点的 log-likelihood 甚至远超验证集中的真实图片。
• 温度的力量：通过增加温度 $T$（图 5），路径被推离“超高似然峰值”，重新回到真实数据分布的“环带”上。

图 4：随着 Score 引导强度 $\gamma$ 增加，中间过程从写实变为抽象卡通。

跨领域应用：蛋白质构象预测

除了视觉艺术，该方法在生物物理领域展现了巨大潜力。利用在静态结构上训练的模型，String Method 能够揭示蛋白质如何从“开启”状态转变为“关闭”状态。

作者在 Adenylate Kinase 蛋白上进行了测试，计算出的路径保持了二级结构的完整性，避免了原子重叠，展示了扩散模型作为“动力学模拟器”的隐性能力。

图 8：腺苷酸激酶的转换路径，中间体具有物理合理性。

总结与洞察

1. 几何修正：扩散模型学习到的不只是点，而是流形。String Method 是提取这个流形拓扑结构的有力手术刀。
2. 熵的重要性：在高维生成任务中，单纯的梯度上升（Maximum Likelihood）是有害的。这项工作为未来的采样策略提供了理论指导——我们需要在模型的高能区寻找“温暖”的路径。
3. 零样本分析：该方法完全基于预训练模型，这意味着我们可以直接用它来审计现有的 SOTA 模型（如 Stable Diffusion 或 AlphaFold）的内部连通性。

局限性：路径质量高度依赖于 Score 估计的准确度，特别是在数据分布边界（$to1$），Score 会变得不可靠，这也是为什么作者引入了 Quenching（淬火）策略来优化终点表现。