参与者为AI检测设定了很高的门槛
这篇论文问了一个简单却很少被量化的问题:患者和公众能容忍AI疾病检测系统犯多少错?研究者没有让人给某台设备打分,而是请他们说出在100名患者中最多能接受多少例错误,再把答案换算成最低可接受灵敏度和特异度。
在1,328名参与者中,最低可接受灵敏度的均值为0.90(标准差0.20),最低可接受特异度的均值为0.90(标准差0.19)。两者的中位数更高,均为0.97,四分位区间为0.90至1.00。约三分之一的人选择了最高值1.00:灵敏度451人(34.0%),特异度443人(33.4%)。也就是说,典型回答不是对错误有适度容忍,而是要求接近完美的表现。
两类错误被拆成两个独立门槛
灵敏度和特异度很容易被混为一谈,因此调查在测量环节就把两者分开。参与者先填写:在100名确实患病的人中,最多能接受多少例被漏掉。这个数字除以100,就是最大可接受假阴性比例;用1减去该比例,就是最低可接受灵敏度。
随后参与者填写:在100名没有患病的人中,最多能接受多少人被错误判为患病。这个数字除以100,就是最大可接受假阳性比例;用1减去该比例,就是最低可接受特异度。由于两个问题分开询问,得到的这一对数值不一定对应设备能在同一工作点上同时达到的灵敏度和特异度。作者明确指出了这一点,这对理解两个均值同为0.90很关键:它并不说明参与者对漏诊和误报给予了同等权重。
全国样本加上长期癌症生存者
主要人群是韩国一项全国性调查中的1,222名19至84岁成年人,调查于2025年8月进行,按全部17个道和特别市做比例分层抽样,并对年龄、性别和地区设置配额。65岁及以上参与者还可选择面对面作答。另一个由106名长期肺癌生存者组成的队列从三星医疗中心招募;入选条件是确诊肺癌,并且要么即将完成治疗后5年随访,要么已完成至少5年随访且仍在接受监测。
调查中的假想系统被有意设定得较为笼统。问题没有指定目标疾病、临床场景、预期用途、疾病患病率,也没有说明AI是独立工作还是辅助临床医生。这种设计让不同受访者的回答可以相互比较,但也意味着这些门槛反映的是一般性期望,而不是对某项具体检测的要求。作者指出,这些数值不应被当作实施门槛。
多数参与者的要求高于IDx-DR的表现
为了让回答有一个外部参照,研究者查阅了同时报告灵敏度和特异度的AI设备FDA决策摘要。在已审阅的疾病检测设备中,IDx-DR报告的值最高,实测灵敏度为0.874,特异度为0.895。由于回答以0.01为增量记录,最低可接受灵敏度至少0.88、特异度至少0.90,就被计为超过该设备报告的性能。
按这一规则,1,084名参与者(81.6%)报告的最低可接受灵敏度至少为0.88,1,083名(81.6%)报告的最低可接受特异度至少为0.90。这一比较只针对特定设备和适应证:作者强调,FDA授权并不设定通用最低标准,跨设备比较也受目标疾病、场景和验证研究差异的限制。尽管如此,这一模式是论文中最具决策意义的结果:对许多受访者来说,一款已获批设备报告的准确度仍低于他们眼中的最低可接受水平。
癌症史与更严格的期望相关
在合并分析中,调整年龄、性别和各类慢性病后,有癌症史的参与者报告的最低可接受灵敏度和特异度更高。灵敏度的调整后差异为0.046(95% CI 0.001至0.091),特异度为0.058(95% CI 0.014至0.102)。未调整比较同样显著,两项p值均小于0.001。
这一关联的来源需要谨慎看待。134名有癌症史的参与者中,106人来自单独招募的肺癌生存者队列,该队列的最低可接受灵敏度均值为0.96(标准差0.12),特异度为0.97(标准差0.09)。当分析仅限全国调查时——那里癌症史为自我报告,且只有28人报告——癌症史与两项指标都没有明确关联。作者据此认为,合并分析的结果至少部分反映了生存者队列的回答。在该队列内部,不同癌症分期、治疗史和确诊后时间的取值都接近1.00,但亚组差异的置信区间很宽,且只有6人处于III–IV期。
高特异度不等于阳性结果就有用
论文还把组均值换算成假定患病率1%至20%下的预测值。在1%患病率下,无癌症史参与者的计算阳性预测值为7.82%,有癌症史者为16.59%;两组的阴性预测值都超过99%。当患病率升至20%时,阳性预测值分别升至67.73%和83.11%,阴性预测值则降至97.02%和98.58%。
这些数字由组均值和假定患病率推算而来,既不是参与者报告的预测值,也不是设备的实测性能。它们的价值在于说明:AI阳性结果的含义在很大程度上取决于检测使用的人群。作者据此主张,沟通时应说明在预期使用人群中阳性或阴性结果代表真实患病的概率,而不只是罗列灵敏度和特异度。
这些门槛在哪些情况下不能当作目标
有几项特征限制了这些数字的适用范围。调查情景是一般性的假想情景,灵敏度和特异度又是分开询问的,因此这些数值是期望值,而不是一个可同时达到的工作点。肺癌生存者队列来自单一三级中心,全国调查则具有全国代表性;作者提醒,两组在招募来源和临床特征上不同,不应被当作直接比较。
人口学差异存在但并不一致。在全国调查内部,最低可接受灵敏度和特异度随教育水平不同而有差异(p = 0.009和p < 0.001),特异度还随婚姻状况(p = 0.009)和家庭收入(p = 0.010)不同而有差异,灵敏度则没有。两项指标都没有随就业状况出现显著差异。这些只是同一项调查内的关联,并不能证明上述任一特征导致了某个特定门槛。
实际重点是结合情境说明错误
论文最有用的结论是一个比较,而不是一条通用界线。报告有癌症史的参与者最可能要求接近完美的表现:在有癌症史者中,91.0%报告的最低可接受灵敏度至少为0.88,92.5%报告的特异度至少为0.90,这是所考察各慢性病类别中最高的比例。对临床医生和开发者而言,这一分化提示沟通应针对有既往疾病经历的人,他们可能用接近1.00的期望去衡量一款已获批设备。
作者的建议也来自同一组证据:说明假阴性和假阳性结果的出现频率与后果,并解释患病率如何改变预期使用人群中的预测值。这项调查无法说明监管机构或卫生系统应采用哪个门槛。它能说明的是,很大一部分受访者设定的最低要求高于所审阅最强参照设备报告的性能,而且这一差距在有癌症史者中最大。
本文引用的文献
Participant-reported minimum acceptable sensitivity and specificity for artificial intelligence-based disease detection
在1,328名参与者中,人们对AI疾病检测的最低可接受灵敏度和特异度均值均为0.90;81.6%的人报告的最低要求超过IDx-DR报告的灵敏度0.874和特异度0.895。
