模型设定错误时，贝叶斯推断如何保持有效？

似然几乎从不完全正确

标准贝叶斯分析把参数的先验与似然结合，通过贝叶斯法则得到后验。论文把这一步背后的假设讲得很直白：先验必须精确表达用户在看到数据之前对参数合理性的信念，似然必须精确对应数据的生成方式，或者至少对应用户所相信的生成方式。作者认为这些条件几乎从不满足。一个先验密度包含无穷多个概率陈述，在单个问题的时间范围内把它们全部 elicitation 出来并不可行；同时，贝叶斯分析越来越多地涉及高维数据或观测数据，要正确建模其生成过程本身就很困难。

论文对由此推出什么保持谨慎。实际分析使用的是近似理想先验和似然的“工作”版本，只有当得到的后验与理想后验相差不大、推断不被简化的函数假设所主导时，这种做法才有意义。论文还给出一个影响后文全部分讨论的区分：在有限参数贝叶斯模型中，先验的影响随样本量增大而减弱，但模型设定错误的影响通常无法靠收集更多数据来消除。论文把设定错误正式定义为：模型类中不存在任何参数值能复现数据生成分布。

后验是先验与损失之间的权衡

论文的核心辩护来自一种改写：把后验看作一个优化问题的答案，而不是正确似然的必然结果。后验是这样一个密度——它使候选后验下的期望负对数似然，加上候选后验到先验的 Kullback-Leibler 散度，两者之和最小。第一项通过对数评分衡量与数据的接近程度，第二项衡量与先验信念的接近程度。

这一改写之所以重要，是因为优化问题从不追问模型是否为真。它问的是：哪种后验信念能在拟合观测数据与忠实于先验之间取得最好的权衡，从而给后验一个决策论基础。论文解释了每个成分为何被选中：Kullback-Leibler 项带来一致的更新——先用一部分数据更新，再把结果当作先验去更新其余数据，与一次性用全部数据更新得到相同答案；负对数似然是唯一的局部恰当评分规则，局部意味着评分只依赖模型在观测数据处的密度，恰当意味着当模型与数据生成方式一致时评分达到最小。按这种解读，只要接受该优化问题足以衡量候选后验信念的合适程度，后验在设定错误下就仍然有效。

不确定性量化先于点估计失效

变分辩护覆盖的是后验的位置，而不是其区间的宽度。在模型正确设定且满足标准正则条件时，Bernstein-von Mises 定理使后验渐近服从高斯分布，中心在数据生成参数处，协方差等于 Hessian 矩阵的逆。此时后验渐近地与最大似然估计量的抽样分布一致，可信区间同时也是置信区间。

在设定错误下，渐近高斯的形状仍然保留，但中心和离散程度的含义变了。后验集中到模型类中与数据生成分布 Kullback-Leibler 散度最小的参数上，协方差仍由该参数处的 Hessian 逆给出。最大似然估计量中心在同一参数，但协方差是三明治形式。两者不再一致，因此后验可信区间不是置信区间，论文称后验的不确定性量化对模型与数据之间的分歧不稳健。这是论文中最尖锐的限制：变分论证允许把后验当作信念更新，但许多用户默认的覆盖率保证已经丢失。

学习率可以放宽后验以改善覆盖

一种应对是把贝叶斯法则推广：给似然乘上一个正幂次，通常写作学习率。取值小于 1 得到更分散的后验，大于 1 得到更集中的后验；论文综述的文献主要关注小于 1 的取值，以防止覆盖不足和过度自信。论文给出的直觉是：小于 1 的速率相对先验降低了似然的权重，因此在先验固定时，后验对似然与数据之间的分歧更稳健。

论文列出了归入这一类的若干变体，包括 tempered、fractional 和 power 后验，用于改善线性建模经验风险的 safe-Bayes 范式，把条件从精确数据改为精确观测邻域内数据的 coarsened 后验，以及只指定线性回归均值函数和方差函数的拟似然设定。论文也说明了速率如何选取：匹配实验信息、校准到贝叶斯 bootstrap，或以重复抽样下的覆盖率为目标。论文还指出单一速率的局限：调整对数似然的曲率，或用其梯度与梯度方差估计构成的二次型替换它，可以让后验的渐近方差与三明治协方差一致，但单一学习率通常无法对所有参数同时做到这一点。

后验学到的参数对尾部敏感

即使后验行为可预测，它收敛到的参数也未必是用户想要的那个。论文解释说，Kullback-Leibler 散度最小的参数通常对似然模型尾部的变化或数据中的离群观测不稳健。原因在于，最小化该散度等价于在数据生成分布上最小化对数评分的期望，而当某观测处的模型密度趋于零时，负对数似然趋于无穷。因此，稍微改变模型尾部，或删掉一个离群点，就可能得到非常不同的推断。

论文把这与传统贝叶斯实践作对比，后者偏好重尾模型：用 Student's t 替换高斯，或采用具有灵活重尾行为的模型类。论文引用了一项对带 Student's t 误差的线性回归的分析，发现有些情形下这些尾部仍不够重、无法忽略离群点，这促成了尾部更重的 log-Pareto-tailed normal 分布。要点不是重尾失效，而是设定错误下贝叶斯学习的默认目标带有一种特定敏感性，用户应当识别出来。

广义更新用选定损失替换似然

由于变分形式不要求参数去索引一个概率模型，对数似然可以被一个通用损失函数替换，用来评价参数对观测数据的合适程度。由此得到的更新常被称为 Gibbs 后验。论文梳理了这种形式的若干用法：逻辑回归中的误分类误差，已被证明能在设定错误下改善预测表现，后来被推广到分类之外；在线性回归中把平方误差换成 Huber 或 Tukey 损失的 M 估计量；进一步形式化的贝叶斯 M 估计，包括以非充分统计量为条件的框架和选择 M 估计超参数的方法；以及一个在估计处理效应最小临床重要差异时避免指定模型的应用。

第二类方法选择由 Kullback-Leibler 散度之外的散度导出的损失。早期例子使用 Hellinger 距离或全变差距离，但需要非参数密度估计，因而无法扩展到低维问题之外。更方便的是那些最小化可替换为最小化恰当评分规则的散度，包括与 Tsallis 评分对应的 beta 散度、与 Hyvärinen 评分对应的 Fisher 散度，以及 gamma 散度。第三类使用差异度量，如最大均值差异和核 Stein 差异，它们把模型模拟与数据比较，因此可对密度不可积的模型做推断，同时提供稳健性。论文指出，若模型正确，这些损失中有许多仍会学到数据生成参数，只是损失一些统计效率；但在设定错误下，它们学到的是具有不同稳健性质的不同参数。

损失函数没有内建的概率尺度

用损失替换对数似然带来一个论文直接指出的问题：广义更新不保证其不确定性量化有任何意义。概率密度必须积分为 1，而损失函数没有这种约束。把损失乘以一个不等于 1 的常数，不改变它学到的参数，却会改变不确定性量化，因此损失的尺度需要校准。

常见的修正是在损失前放一个学习率，与 tempered 后验相呼应。在正则条件下，这种更新满足 Bernstein-von Mises 结果，但其渐近方差是损失二阶导数的逆，与损失最小化者的重复抽样渐近分布不一致。因此这一领域的工作集中在设定速率以更好匹配重复抽样渐近性质，或修改损失使其产生相同的渐近分布。论文观察到，这一文献通常不区分“在设定错误的模型上使用对数评分”和“使用通用损失函数”，这正是校准问题同时适用于两者的原因。

先修区间，再追求更好的点估计

论文自己给出的优先级顺序才是有用的要点。变分论证让贝叶斯法则在似然错误时仍站得住脚，而这个论证关心的是后验代表哪些信念，不是它集中得多紧。论文记录下来的失效是具体的：设定错误下，后验的渐近协方差是 Kullback-Leibler 最近参数处的 Hessian 逆，而最大似然估计量的是三明治协方差，因此可信区间不是置信区间。需要区间覆盖率的用户，应把学习率或修改后的损失当作实际选择，并注意单一速率通常无法对所有参数同时匹配三明治协方差。

而需要抵御离群点或尾部行为的用户面对的是另一个选择，因为默认目标本身就尾部敏感：当某观测处的模型密度趋于零时，负对数似然趋于无穷，所以尾部的微小变化或删掉一个离群点就可能显著改变推断。这正是采用基于散度的损失或差异度量的理由，代价是若模型恰好正确会损失一些效率。论文最后指出，设定更好的模型能消除这里的许多问题，但灵活建模不应以牺牲参数模型提供的结构和可解释性为代价，而且即使在非常复杂的模型中，设定错误也无法被排除。

本文引用的文献