用更灵活的函数替换线性模型
概率值包括 Shapley 值、Banzhaf 值和半值等,它们衡量某个参与者或特征对博弈的贡献:在其他参与者构成的随机子集上,计算加入该参与者后博弈值的变化,再对这些边际贡献取平均。每个子集大小被赋予多大权重,由向量 p 决定;Shapley 值采用一种特定权重,Banzhaf 值采用另一种。精确计算可能需要指数级时间,因此实际工作只能通过对价值函数 v 做有限次求值来估计这些值。
此前有两条路线。蒙特卡洛方法抽取子集,对重加权后的边际贡献取平均。回归方法则对采样得到的 v 值拟合一个线性模型,再返回该拟合模型的概率值。这篇论文的做法是保留回归框架,但允许拟合函数来自任何能高效计算其概率值的函数族。XGBoost 这类树集成模型是论文的主要动机,因为树结构支持精确计算概率值。
这一点之所以重要,是因为线性拟合只能捕捉 v 中与子集指示变量呈线性关系的部分。如果底层价值函数存在交互作用或其他非线性结构,拟合模型就会设定错误,估计结果也会继承这一误差。换用表达能力更强的函数族,正是针对这一误差来源;而采样步骤仍然控制着需要对 v 进行多少次昂贵的求值。
交叉拟合以运行时间为代价换取无偏
如果在用于形成最终估计的同一批样本上拟合模型,就会引入偏差,因为模型已经见过用来给它打分的那些数据。论文用交叉拟合解决这个问题:把样本分成 k 折,训练 k 个函数,每个函数在 (k−1)/k 的样本上训练,并在留出的 1/k 样本上做校正。当 k≥2 时,得到的估计是无偏的。
代价很明确。当 k=1 时,方法只在全部 m 个样本上训练一个函数,这是最便宜的版本。实验对 Linear MSR 和 Tree MSR 都采用 k=10,因此每个函数在 90% 的样本上训练。全样本版本在线性函数族上快 1.1–5.8 倍,在树函数族上快 2.6–9.9 倍。
精度并不总是偏向交叉拟合。在线性函数族上,交叉拟合估计器在 112 个“数据集–权重”组合中的 53 个上更准确,因此两个版本在那里几乎可以互换;在 Shapley 权重下,交叉拟合是 Linear MSR 与 Leverage SHAP 之间唯一的差别。在树函数族上,交叉拟合在 112 个组合中的 90 个上胜出,全样本版本的误差通常大 1.8 倍。作者的建议正来自这一分化:运行时间优先时用全样本版本,否则用交叉拟合。
误差降幅取决于估计的是哪种值
核心数字来自八个数据集上的实验。对于 Shapley 值,论文报告的误差最多比 Permutation SHAP 低 11 倍(后者被称为最流行的蒙特卡洛方法)、比 Kernel SHAP 低 6.5 倍(最流行的线性回归方法)、比 Leverage SHAP 低 3.4 倍(此前最先进的 Shapley 值估计器)。这些比较针对的是同一目标值的估计误差,而不是下游模型精度。
对一般概率值,差距更大。对于 Shapley 之外的值,论文报告的误差比此前工作中最好的估计器低 390 倍。这个更大的倍数应放在它自己的设定中理解:一般概率值不具备效率性,而 Shapley 值正是靠效率性才能精确确定一个加性常数,因此此前的回归估计器必须从整个价值函数估计该常数,额外引入一个误差来源。论文的定位是,它的方法直接处理了这种一般性。
另一项在小型数据集上使用神经网络模型的实验,可以实际算出真实的概率值,报告 Tree MSR 的平均误差比此前最好的估计器低 243 倍(对所有概率值取平均)。这个数字来自不同的真实值设定和不同的数据子集,与八数据集比较不是同一组实验,因此不应与 11 倍和 390 倍混在一起。
样本充足时 Tree MSR 优势最明显
论文报告 Tree MSR 表现最好,当 m 较大时往往领先几个数量级,其中 m 是价值函数的求值次数。因此这一优势并不是处处成立的固定倍数;它随采样预算增长,这与机制一致:表达能力更强的拟合函数能从更多样本中获得更大收益。
噪声实验指向同一方向。当把误差对噪声幅度作图时,Tree MSR 表现最好,尤其在噪声幅度较小时往往领先几个数量级。这些图在神经网络真实值下对小数据集(n<30)取平均误差,在回归森林真实值下对大数据集(n≥30)取平均误差,均为 10 次运行的平均误差。
实际含义是:当使用者能负担对 v 的大量求值、且价值函数并不接近线性时,这一方法的优势最大。预算紧张时,回归步骤中的采样噪声和训练 k 个树模型的成本都会对它不利。
证据覆盖八个表格数据集
八个数据集的特征数从 12 到 101:Adult(12)、Forest Fires(13)、Real Estate(15)、Bike Sharing(16)、Breast Cancer(30)、Independent(60)、NHANES(79)和 Communities(101)。它们来自 shap.datasets、UCI 机器学习仓库、OpenML 和 sklearn.datasets,许可包括 CC-BY 4.0、MIT 和公有领域。
这一范围影响结论的可迁移性。八个数据集都是特征数不多的表格特征归因场景,价值函数是用特征子集做预测时的模型输出。论文也讨论了数据归因和数据估值作为概率值的应用,其中 v 是在数据子集上训练时的模型损失,但报告的实验是表格特征归因的那些。读者不应假定测得的误差降幅会原样迁移到需要重新训练模型才能求值 v 的场景。
选择取决于运行时间与精度的权衡
论文自己的决策规则很窄也很具体。如果运行时间优先,就用 k=1 的全样本版本,它在线性函数族上快 1.1–5.8 倍,在树函数族上快 2.6–9.9 倍。如果更看重精度,就用交叉拟合,它是无偏的,并且在树函数族的 112 个“数据集–权重”组合中的 90 个上更准确。
第二个选择是函数族。在 Shapley 权重下,Linear MSR 与 Leverage SHAP 除交叉拟合外完全一致,因此线性版本本质上是对已有估计器的重新表述,而不是新的精度上限。论文报告的精度提升来自树模型版本,并且在 m 较大、噪声较小时最大。
因此最有用的结论是有条件的,而不是普适的:当拟合函数族能够表示线性拟合遗漏的结构,且求值预算足以学到这种额外表达能力时,回归调整的思路才会带来收益。在这些条件下,报告的 Shapley 误差可以比此前最先进水平低 3.4 倍;在这些条件之外,更便宜的全样本线性版本仍是合理的默认选择。
本文引用的文献
Regression-adjusted Monte Carlo Estimators for Shapley Values and Probabilistic Values
把基于回归的概率值估计中的线性模型换成任何能高效计算其概率值的函数族,并配合交叉拟合实现无偏,可以得到最先进的估计:Shapley 值误差最多比 Permutation SHAP 低 11 倍、比 Kernel SHAP 低 6.5 倍、比 Leverage SHAP 低 3.4 倍,一般概率值误差比此前最好的估计器低 390 倍。
