确定性求积与随机中点方案的对比
论文比较了两类 Langevin 动力学离散化方法,用于从 R^d 上的目标分布 π ∝ e^{-V} 采样,其中 Hessian 满足 0 ≺ αI ⪯ ∇²V(x) ⪯ βI,κ := β/α。论文不假设 V 的三阶或更高阶导数有界。精度以产生满足 √α W₂(μ, π) ≤ ε 的分布 μ 所需的梯度求值次数来衡量,其中 W₂ 是 2-Wasserstein 距离。
一侧是确定性求积规则:用于过阻尼动力学的 Heun 方法,以及欠阻尼指数中点方法。另一侧是随机中点(RLMC 与 RULMC)和 Poisson 中点(PLMC 与 PULMC)方案。论文要回答的问题是:早期分析归功于随机化的维度与精度指数改善,在使用更精细的工具后是否真的成立。
Heun 达到 d^{1/3} ε^{-2/3} 次梯度查询
对于确定性 Heun 方法,论文证明若 0 < βh ≤ h₀,则该核具有唯一不变分布 π̂_h^{Heun},且 α W₂²(π̂_h^{Heun}, π) ≤ C κ d (βh)³。从极小值点 x⋆ 出发迭代,当 0 < ε ≤ √d/2 时,满足精度准则所需的梯度查询次数至多为 C κ^{4/3} d^{1/3} ε^{-2/3} log(d/ε²)。
证明并未依赖标准耦合论证,后者只能给出 κ^{-1} W₂²(π̂_h^{Heun}, π) ≲ κ d h。论文转而将单步误差的条件均值与其中心化涨落分离。系统性部分是该半群的梯形求积缺陷,由于它是当前位置的确定性函数,新噪声无法将其衰减。作者通过一个求解离散 Poisson 方程 (I − P_h)χ = e_h 的校正项 χ 预先抵消它,从而移动比较点,得到参考分布 ν := (I + χ)_#π,满足 W₂(ν, π) ≤ C √d h³。在该平移后的参考分布处,误差的条件均值仅为 O(√d h⁵);而中心化涨落虽然量级为 O(√d h³),在 W₂ 中却只花费 O(√d h⁵),因为中心化扰动对高斯卷积的影响是二阶的。
指数中点方法把维度指数降到 d^{1/4}
对于取 γ = 2√β 的欠阻尼指数中点方法,论文证明当 0 < √β h ≤ c κ^{-1/4} 时,该核在 P₂(R^{2d}) 中具有唯一不变分布 π_h^{ExpMid},且 √α W₂((π_h^{ExpMid})_x, π) ≤ C √(κd) (√β h)²。从 X̂₀ = x⋆ 和 P̂₀ ∼ N(0, I_d) 出发,迭代满足 √α W₂(Law(X̂_n), π) ≤ C √d e^{-cn√β h/κ} + C √(κd) (√β h)²。因此,当 0 < ε ≤ √d/2 时,梯度查询次数满足 N_{∇V} ≤ C κ^{5/4} d^{1/4} ε^{-1/2} log(d/ε²)。
其机制与过阻尼情形类似。精确解通过两个梯度积分表示端点,而该方法用 t = h/2 处被积函数乘以 h 来近似每个积分,并使用预测点 X^{pred}_{h/2} 代替精确中点。预测点与精确中点在 L² 中相差 O(√d h³),而梯度以 h 阶系数进入,因此用精确中点替换预测点仅使输出改变 O(√d h⁴)。收缩性在一个扭曲的双曲强制度量中衡量,其中摩擦作用于动量,交叉项将耗散传递到位置;平稳态下的单步误差具有完整的 h³ 阶,不动点论证将其除以收缩间隙,从而给出不变分布的界。
有界 κ 下下界与 d 和 ε 的幂次吻合
在条件数有界时,论文证明了一个下界,与两种确定性方法的 d 和 ε 幂次吻合。对于 Heun,当 d^{-1} ≤ ε ≤ ε₀ 时,下界包含 κ d^{1/3} ε^{-2/3},因此 d 和 ε 的指数与上界一致,但仍残留一个 κ^{1/3} 因子。作者将这一残余差距归因于用三角不等式累积相邻迭代之间的距离;改进该累积需要跨步的进一步抵消,而当前证明并未建立这一点。
欠阻尼情形也出现同类条件数差距,作者指出在当前证明中难以轻易修正。因此,比较两种确定性方法的读者应将 κ 指数视为上界带来的产物,而非已确定的分离。
随机中点方法面临 d^{1/3} ε^{-1/3} 障碍
对于随机中点方法和至少含两个网格点的 Poisson 中点方法,无论过阻尼还是欠阻尼变体,一个简单的高斯计算给出下界 d^{1/3} ε^{-1/3},即使从良性初始化出发,也需要这么多步才能得到 ε 接近的样本。该计算使用尺度-高斯分解:条件状态协方差被表示为独立高斯乘以随机标量或矩阵,而高斯尺度扰动的 Wasserstein 下界将该尺度的方差转化为与标准高斯之间的距离。
对于过阻尼随机中点方法,在单个均匀求值时间下,主导的中心化协方差缺陷为 h²(1 − 2Θ),其不变分布满足 W₂(π̂_h^{RLMC}, N(0, I_d)) ≥ c min{d h³, √(d h³)}。对于 k ≥ 2 的欠阻尼 Poisson 中点方法,方差系数 ϑ_k := (k−1)²(2k−1)/(64k³) 落在 [3/512, 1/32) 内,同一套机制给出相应的下界。与确定性上界的对比正是论文所称的意外之处:在高维下,确定性离散化可以优于其随机对应方法。
平稳态抵消与 Malliavin 平滑带来增益
相对于此前基于标准耦合的上界,改进来自两个分析要素。第一个是平稳态下的抵消:证明利用了目标分布不变这一事实,因此平稳路径 X_t 对每个 t 都服从 π,系统性误差可被隔离为该半群的求积缺陷,而非逐步累积。第二个是使用 Malliavin 演算技术的平滑,附录用它验证各界的成立;卷积估计表明中心化扰动对高斯卷积的影响是二阶的。
正是这些工具使分析能够在初等位移估计之外再恢复两个 h 的幂次。论文还指出,最近提出的 Poisson 中点方法获得了超过此前猜想指数的精度率 ε^{-1/3},而 LMC 被证明已匹配经典的随机过阻尼保证;这两项结果都揭示了常规界所遗漏的抵消,并重新开启了确定性与随机求积之间的比较。
确定性优势实际适用的范围
该比较针对一个特定设定:目标 π ∝ e^{-V} 满足 0 ≺ αI ⪯ ∇²V ⪯ βI,不假设三阶或更高阶导数有界,精度以 √α W₂ ≤ ε 衡量,查询次数按梯度求值计数。确定性上界在步长限制下成立——Heun 要求 0 < βh ≤ h₀,指数中点要求 0 < √β h ≤ c κ^{-1/4}——而随机下界适用于随机中点与至少含两个网格点的 Poisson 中点方法,无论过阻尼还是欠阻尼变体,即使从良性初始化出发。
实际解读是维度层面的。当 d 较大且目标为条件数有界的强对数凹分布时,确定性方法具有更好的 d 和 ε 指数:Heun 为 d^{1/3} ε^{-2/3},指数中点为 d^{1/4} ε^{-1/2},而随机方法面临 d^{1/3} ε^{-1/3} 的障碍。条件数指数正是确定性上界尚未紧致之处,因此 Heun 与指数中点之间的选择应首先看 d 和 ε 的幂次,其次才看 κ 因子。
本文引用的文献
Sharp dimensional analysis of midpoint methods for Langevin sampling
确定性 Heun 方法达到 √α W₂ ≤ ε 至多需要 Õ(κ^{4/3} d^{1/3} ε^{-2/3}) 次梯度查询,欠阻尼指数中点方法至多需要 Õ(κ^{5/4} d^{1/4} ε^{-1/2}) 次;而随机中点与 Poisson 中点方法即使从良性初始化出发也面临 d^{1/3} ε^{-1/3} 的下界,因此在高维下确定性离散化可以优于其随机对应方法。
