临床预测中的 Shapley 值解释如何被使用与误用?

一项针对100篇临床预测论文的范围综述发现,Shapley 解释被广泛使用,但其计算过程很少被报告。

直接答案

在一项从同行评审的临床预测研究中随机抽取100篇的范围综述里,Shapley 值解释主要用于建立信任和指出关键预测因子,但决定这些解释含义的计算选择几乎从未被报告:91%的研究未披露计算算法,97%未披露参考人群的来源或规模。由于 Shapley 值是以该参考人群为基准定义的,读者往往无法判断一项已报告的解释究竟在与什么作比较。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

Shapley 值以参考人群为基准

Shapley 值解释把一次模型预测拆分为各个特征的贡献。这篇论文的关键观点是,这种拆分并非绝对:这些贡献通常以研究者所选参考人群的平均预测为基准来表达。更换参考人群,每一项贡献都可能随之改变。

论文用一个数值例子说明这种效应的大小。一个由100人组成的参考人群,其平均预测为5.48,而数据集中全部1,000人的平均预测为4.92。如果抽取另一个平均预测为5.00的随机样本,所有 Shapley 值解释都会相应改变。因此,参考样本较小时解释不稳定,样本较大则能降低这种不稳定性。

参考人群也可以有选择地抽样,例如只纳入30岁以下的女性,此时解释就以具有这些特定特征的人群为基准。论文认为这是一种合理的设计选择,但必须明确说明,因为它会改变这些数字的含义。

边际与条件 Shapley 值回答不同问题

论文区分了两种常见的 Shapley 值解释。边际 Shapley 值(也称干预型 Shapley 值)有助于描述模型的功能形式。条件 Shapley 值有助于描述开发数据中存在的相关性,即使模型并未学到这些相关性,因为它们倾向于在相关特征之间分摊贡献。

这一区别对解读很重要:条件解释可能把贡献归给模型几乎不使用的特征,仅仅因为该特征与模型确实使用的某个特征相关。论文指出还存在其他类型,包括因果 Shapley 值和基线 Shapley 值,并指出边际解释和条件解释通常被推荐,因为它们更实用,涉及的研究者主观决定更少。相比之下,基线 Shapley 值要求选择一组基线值,这一选择可能显得随意,却可能大幅改变解释结果。

论文还指出,计算 Shapley 值解释至少有24种不同算法,不同方法可能产生带有偏差的值(在假设被违反时引入)或带有方差的值(源于计算中的随机过程)。

从一年窗口抽取一百篇论文

作者对2023年7月至2024年7月间收录于 PubMed 的出版物进行了范围综述。纳入标准是:英文同行评审期刊论文,在标题或摘要中明确使用 Shapley 值解释,并使用监督机器学习方法,基于表格形式的临床特征对患者相关的健康结局建模。仅使用基因组学或影像组学等非临床特征的研究被排除。

筛选覆盖3,876篇唯一摘要,其中515篇符合纳入标准;作者随后随机抽取100篇出版物进行数据提取。两名评估者独立筛选和提取数据,分歧通过讨论解决。对于有多个最终模型的出版物,作者从所有最终模型中提取数据,但每篇出版物只报告一个模型,选择针对主要研究问题的模型,或在目标众多且各异时选择表现最好的模型。

样本覆盖多个临床领域,肿瘤学最多,为20篇,其次是神经病学13篇、外科12篇、心脏病学10篇。由于样本是随机的且限于一年窗口,这些百分比描述的是该样本中的报告模式,而非所有临床 Shapley 应用的普查。

多数论文未报告计算选择

这项综述的核心实证发现关乎披露。在100篇出版物中,91%未披露用于计算 Shapley 值解释的算法,97%未披露计算中所用参考人群的来源或规模。

这两项缺失并非表面问题,而是有实质后果。没有算法,读者无法判断这些值是否带有估计过程引入的偏差或方差。没有参考人群,读者无法知道这些贡献是相对于什么来衡量的,也无法评估稳定性,因为参考样本较小时,用不同随机样本重新计算可能使解释发生显著变化。

作者还补充了一层不稳定性:预测模型本身在样本量较小时可能不稳定,而这种不稳定性会被解释继承。他们引用近期研究指出,Shapley 值解释可能比预测本身更不稳定。在综述样本中,报告缺失意味着读者往往无法直观判断所呈现解释的稳定程度。

信任与关键特征识别主导使用动机

作者将作者自述的动机归为四个主题,这些主题在同一出版物内可能重叠。可信度最常见,为83%,其次是识别关键预测因子,为77%,临床决策支持为33%,探索性分析为12%。

关于可信度,论文识别出五个子主题,作者称这些有助于让读者信任其预测模型,包括生物学合理性(10%)和与现有文献一致(30%)。关于关键特征识别,作者指出所用词汇十分多样,同一类输出被分别描述为关键预测因子、风险因素、潜在生物标志物、决定因素、贡献因素、关键因素、核心因素、影响因素和保护因素。

论文的担忧在于,这套词汇往往承载了超出解释所能支持的推断分量。解读应严格指向模型的行为或训练数据集中的关联。

因果措辞超出解释所能支持的范围

综述发现,许多出版物在解读所识别的关键特征时缺乏细致区分,作出过于笼统的陈述,或使用可能与因果关联混淆的措辞。论文给出一个具体改写:称住院时长、甘油三酯和乳酸脱氢酶“对30天非计划再入院影响最大”,更准确的表述应是对预测的30天非计划再入院影响最大。

在临床决策支持方面,这一差距更大。一些作者把可改变的变量,例如术中生命体征如血压,描述为可通过心脏手术期间干预加以控制的风险因素;另一些作者提出用于患者咨询的工具,或暗示可以基于这些解释给出可操作的建议。综述发现,没有任何一篇出版物使用明确的因果模型、披露潜在的因果图,或评估因果推断所需的其他假设。因此作者得出结论:仅基于 Shapley 值解释提出可操作干预的建议通常缺乏依据,个体化治疗或新干预方案应作为假设来报告。

论文也举了一个措辞谨慎的反例,其中作者指出,揭示哪些特征对预测影响更强,并不必然意味着特征与结局之间存在真实的生物学关系。

报告缺口才是可操作的着力点

论文的实用建议直接来自这两项披露缺失。解读应在预测模型或开发数据的语境中表述:应说“输入 X 的值越高,预测的结局风险越高”,而不是“X 增加结局风险”;应说“在我们 N 个回顾性观测的样本中,年龄较大者的疾病 A 患病率更高”,而不是“年龄影响疾病 A 的发生”。

作者还建议把计算选择讲清楚,例如在附录或代码仓库中公开代码,他们称这是让计算过程中所做选择变得透明的最简便方式。

因此,这篇论文设定的优先事项不是是否使用 Shapley 值,而是必须附带哪些细节。一篇临床预测论文如果报告了 Shapley 解释,却未说明算法和参考人群,读者就无法判断其稳定性或含义;如果它在没有因果模型的情况下把特征排序转化为干预建议,就已经超出了解释所能支持的范围。描述一次预测与描述一种疾病之间的界线,正是这项综述希望读者守住的。

本文引用的文献

1

Shapley value explanations for clinical prediction models: a scoping review and guide

在随机抽取的100篇临床预测出版物中,91%未披露用于计算 Shapley 值解释的算法,97%未披露参考人群的来源或规模;同时,可信度(83%)和关键特征识别(77%)是最主要的自述动机。