贝叶斯最优实验设计中如何近似微分熵？

嵌套积分为何坍缩为单层积分

贝叶斯最优实验设计通过最大化期望信息增益来选择实验设计，也就是在看到数据后，未知参数不确定性预期减少多少。直接写出来，这个量是一个嵌套积分：内层对每个可能的数据集在后验或似然上取平均，外层再对先验和数据分布取平均。每次内层评估都可能需要调用一次似然，而在前向映射是一次 PDE 求解的大规模反问题中，这恰恰是最昂贵的一步。

论文针对的是一种更窄但常见的情形：似然熵要么与设计无关，要么可以显式计算，例如噪声熵不随设计变化的加性噪声模型。在这个条件下，期望信息增益中依赖设计的部分就是证据分布的微分熵，嵌套积分因此坍缩成单层积分。设计问题变成最大熵估计问题，剩下的问题是如何在尽可能少地调用前向映射的同时估计这个熵。

用高斯混合模型代替证据密度

所提出的估计方法把嵌套形式纠缠在一起的两个近似拆开。第一个循环从先验中抽取 M 个点，可以用普通蒙特卡洛抽样，也可以用随机化拟蒙特卡洛点，并在每个点上评估前向映射。这 M 个前向映射输出随后用来构建证据密度的高斯混合模型代理：以映射点为均值、以噪声协方差为协方差的等权高斯分量混合。

第二个循环用标准熵估计方法，从该混合模型中抽取 N 个样本，计算其微分熵。这个循环不再进行任何前向映射评估。论文主张的结构性节省就在这里：昂贵的前向求解被限制在 M 点的第一个循环中，熵评估则复用代理。作者指出，第二个循环中的蒙特卡洛方案并非唯一选择，应当根据具体应用挑选合适的熵估计方法。

以正向求解次数衡量的收敛速率

论文的复杂度比较以前向映射评估次数计成本，而不是总运行时间。使用蒙特卡洛代理时，所提方法的前向求解复杂度为 TOL^(-2-ω/η) 阶；使用随机化拟蒙特卡洛格点代理时为 TOL^(-1-ω/η-ε) 阶；使用 α 阶的高阶拟蒙特卡洛时为 TOL^(-1/α-ω/η-ε) 阶。后三行结果来自平衡依赖 K 和依赖 M 的误差项，同时忽略最终熵评估中依赖 N 的成本。

作者明确说明，这些数字应理解为前向求解复杂度估计，而不是完整的计算复杂度估计。拟蒙特卡洛那几行还忽略了拟蒙特卡洛误差常数对近似维度 K 的可能依赖，因此除非这些常数能随 K 增大而一致受控，它们只是形式上的渐近前向求解估计。所以这一比较成立的前提是前向求解占主导，而这正是论文的动机所在。

与既有方法的速率对比

对照论文列出的基线，蒙特卡洛变体的 TOL^(-2-ω/η) 阶与 Foster 等人的变分蒙特卡洛方法相当，论文在同一前向离散化成本模型下将其记为 O(TOL^(-2-ω/η))，并优于标准嵌套蒙特卡洛估计器的 O(TOL^(-3-ω/η))。随机化拟蒙特卡洛格点变体的 O(TOL^(-1-ω/η-ε)) 阶，与 Kaarnioja 和 Schillings 的稀疏张量拟蒙特卡洛嵌套方法、以及 Bartuska 等人的多层随机化拟蒙特卡洛方法相当，后两者都列为 O(TOL^(-1-ω/η))。

论文还区分了假设，而不只是速率。它只要求前向映射具有温和的光滑性，而 Kaarnioja 和 Schillings 的维度稳健拟蒙特卡洛估计依赖强得多的加权正则性与可和性假设。作者补充说，在那些更强的假设下，他们的证据代理可以继承维度稳健的内层积分界，这说明其拟蒙特卡洛常数中的维度依赖来自更弱的无加权正则性框架，而不是高斯混合构造本身。

与变分证据近似的区别

按论文的叙述，最接近的既有方法是 Foster 等人对证据的变分近似：其证据近似以 O(M^(-1/2)) 阶收敛，蒙特卡洛误差以 O(N^(-1/2)) 阶收敛，总体均方根误差为 O(M^(-1/2)+N^(-1/2))。论文列出三点区别。第一，Foster 等人假设目标分布可以在有限维潜空间中表示，而高斯混合可以近似非参数族的证据分布。第二，所提方法是直接近似方案，除了对先验求积点抽样并映射之外不需要额外计算。第三，拟蒙特卡洛求积可以利用模型的映射性质进一步加速收敛。

两个分离 M 速率的实验

数值部分的设计目标是分离出关于 M（前向映射评估次数）的收敛速率，为此选取足够大的 N，使依赖 M 的项占主导。第一个实验是带高斯先验和高斯噪声的加权反卷积问题，维度 d = K = 20，先验标准差 σ_x = 10，噪声标准差 σ_ε = 2，核参数 γ = 0.1。由于证据熵有闭式 J_K = (K/2)(1 + log 2π) + (1/2) log|AΣAᵀ + Γ|，每次估计器实现的误差都能精确计算。基于 30 次实现，报告的均方根误差符合预测：蒙特卡洛为 O(M^(-1/2))，随机化拟蒙特卡洛为 O(M^(-1+γ))。

作者也说明了第一个实验的一个注意事项：在这些参数选择下，其定理所需的充分条件 L₁² < (1/2)L₂ 无法满足，因此定理并不保证该处的速率。他们解释说，对这个线性高斯模型，相关期望本来就是有限的，所以预测的速率仍然出现。他们还根据未记录的实验指出，对某些线性高斯问题，蒙特卡洛估计器的误差可能更接近 O(M^(-1))，原因可能是高斯混合对高斯分布的近似非常准确。

第二个实验是单位正方形上的非线性椭圆 PDE 源问题，未知量是扩散系数，测量值是解的逐点取值，论文称这一设定可以描述多孔介质中的 Darcy 流。均方根误差与参考熵在三种设计下比较：最优设计 {(0.50,0.50),(0.75,0.50),(0.50,0.75)}、最差设计 {(0.25,0.25),(0.25,0.50),(0.25,0.75)}，以及第 42 优设计 {(0.25,0.50),(0.75,0.25),(0.75,0.50)}，取 N = 2^20，参考值由 M₀ = 2^13 的帐篷变换格点规则计算。同一最优设计还在截断与网格组合 (K, h) = (50, 1/64)、(50, 1/128) 和 (100, 1/128) 下重跑，速率与前面的图一致。

节省成立与失效的边界

方法的优势取决于论文开篇就说明的结构条件：似然熵必须与设计无关或可以显式计算。满足这一条件时，利用该结构并转向最大熵估计是有利的，所得名义速率在前向求解占主导的情形下与最先进方法相当，同时只要求更温和的光滑性假设。不满足时，坍缩为单层积分的前提不存在，论证也无法沿用。

第二个边界是成本模型本身。报告的速率只计前向求解次数，忽略了最终熵评估中依赖 N 的成本，因此它们描述的是该评估相对前向映射可以忽略的情形。作者还提醒，其数值例子使用的前向算子相对简单，因此在所测试的大 N 值下，他们并不声称第一个循环主导计算时间；这些实验是作为 M 速率的验证，而不是实际耗时节省的展示。

在这些限制之内，论文的实践优先级很清楚：如果设计问题的似然熵与设计无关或可显式计算，且前向求解昂贵，那么应优先选择配合拟蒙特卡洛抽样的高斯混合证据代理，因为它达到 O(TOL^(-1-ω/η-ε)) 的前向求解速率，同时让熵步骤不增加额外似然调用。当更平滑的拟蒙特卡洛结构不可用时，蒙特卡洛变体仍是退路，它与变分基线速率相当，而不是超过它。

本文引用的文献