临床专业度如何塑造人机诊断中的自动化偏差?

新生儿影像研究中,高可靠AI让受训者接受52%的错误建议,专家则能纠正有缺陷的AI。

直接答案

专业度改变的是临床医生如何应对AI错误,而不只是AI帮了多少忙。在一项针对新生儿气腹X线片的交叉读片研究中,受训者对高可靠模型给出的错误建议接受了52.0%;而三名新生儿科医生面对刻意注入错误的模型时,正确推翻了91.7%的错误——这一结果来自小样本专科队列,属于假设生成性质。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

更好的AI为何不等于更好的团队

医学AI的验证往往基于一种叠加假设:算法敏感度加上临床医生的监督,应当带来更好的诊疗。本研究在新生儿气腹这一场景中检验了该假设。气腹指腹膜腔内出现游离气体,常继发于坏死性小肠结肠炎或肠穿孔,是需要争分夺秒处理的外科急症。

作者认为,关键问题不是算法单独的准确率,而是算法出错时人机团队会发生什么。他们把系统韧性定义为算法失效时维持诊断完整性的能力,并通过临床医生在AI出错病例上的行为来测量:是接受错误,还是正确推翻。

两种AI可靠性水平的交叉压力测试

14名读片者——6名儿科放射科医生、3名新生儿科医生和5名放射科住院医师——判读了125张外部验证X线片,分为三个组:无AI辅助(41例)、可靠AI辅助(40例)和错误注入AI辅助(44例)。研究采用多读片者、多中心交叉设计,两次读片之间间隔六周以洗脱影响,且未告知读片者存在两种不同的AI可靠性水平。

可靠模型在其分配子集上达到AUC 0.861,敏感度0.77,特异度0.96。错误注入模型被设计为低可靠性,平衡准确率0.44(敏感度0.40,特异度0.47),由18个假阳性、6个假阴性和20个正确预测构成。分析覆盖1750次判读事件,使用广义线性混合模型,并对读片者和病例设置交叉随机效应。

受训者最常跟随错误的AI建议

在可靠AI出错的病例中,放射科住院医师在可以跟随或推翻AI的读片者-病例事件里,有52.0%(13/25)接受了错误建议。儿科放射科医生这一比例为20.0%(6/30),差异经Bonferroni校正后仍显著(P = 0.016);与新生儿科医生的33.3%(5/15)相比则未达显著(P = 0.326)。

这种错误接受率是论文对自动化偏差最清晰的测量:读片者采纳了错误的自动化提示。它与总体准确率是不同的量。住院医师在可靠AI下的总体准确率为0.89,相对其无AI基线没有统计学显著提升(OR 0.92,95% CI 0.32–2.70;P = 0.885),作者将其归因于错误接受抵消了AI正确预测带来的收益。

专家推翻而非吸收有缺陷的AI

当AI被注入错误时,新生儿科医生在91.7%(66/72)的情形中正确推翻,作者将这一模式称为哨兵行为。儿科放射科医生推翻比例为85.4%(123/144),住院医师为81.7%(98/120)。

统计支持来自交互作用而非简单的组间差异:新生儿科医生对错误注入AI的反应与儿科放射科医生的参照模式显著不同(交互项OR 4.16,95% CI 1.26–13.77;P = 0.020)。但各组相对自身无AI基线的后验对比未通过多重比较校正,且新生儿科医生组只有三名读片者,因此作者将该发现标记为假设生成性质,并呼吁开展前瞻性重复研究。

更长的读片时间标记核查投入

在所有组中,与AI建议不一致都伴随更长的判读时间(β = 0.892,SE = 0.174,t(1043) = 5.12,P < 0.001)。分组边际斜率显示,在不一致病例相对一致病例中,儿科放射科医生读片时间延长1.77倍(95% CI 1.44–2.18),新生儿科医生延长1.95倍(95% CI 1.46–2.59),住院医师延长1.49倍(95% CI 1.18–1.88)。

这种延长的组间差异不显著(F(2, 1096) = 1.32,P = 0.267),因此作者把额外时间视为各专业水平相近的工作流成本,而非某种独特专家机制的证据。他们的解释是,与AI相悖会促使深思,但读片时间只是代理指标,并非对推理过程的直接观察。

从业年限并未预测准确率

在控制专业类别后,临床经验不是准确率的显著预测因子(P = 0.771),胎龄(P = 0.542)和出生体重(P = 0.969)也不影响正确性。作者据此认为,行为差异来自特定领域的训练,而非累积的资历。

这一区分影响结果的使用方式。本研究中的关键分野是受训者与专科医生所处的角色,而不是一条平滑的年限梯度。儿科放射科医生在各条件下保持稳定,可靠AI未带来显著提升(P = 0.358),错误注入AI也未造成显著损失(P = 0.490)。

韧性结论的适用边界

专科队列规模很小:三名新生儿科医生,该亚组有375个独立决策点。逐一剔除一名新生儿科医生的重拟合使交互作用方向保持一致(比值比2.04至2.64),以读片者为聚类的GEE也予以确认(P = 0.018),但作者仍将该结果描述为初步刻画,需要在更大规模的多中心研究中重复。

显著性图分析明确属于探索性和描述性。由于打开热图是用户主动行为,使用情况受选择效应影响,因此新生儿科医生查看热图时报告的100%错误推翻率不能支持关于可解释性的因果结论。研究还使用不带置信度分数的二值AI输出,且未设置时间限制,因此并未检验概率展示或时间压力会如何改变这些行为。

把韧性作为团队层面的指标

论文的实践重点在于改变测量对象。在这里,较高的单独AUC并不足以证明临床安全,因为同一个可靠模型恰恰在受训者中引发了最高的错误接受率。作者提出,除准确率外,还应以对抗韧性——AI出错病例上的错误接受率和正确推翻率——来评估人机团队。

证据引出的情景分野在于可靠模型与刻意失败模型之间。可靠AI对专家收益有限,却暴露了受训者的过度依赖;错误注入AI则揭示了专家的推翻能力。作者还发布了一个开源教学沙盒,旨在让临床医生对自动化错误产生免疫力,针对的正是这些行为模式所引发的技能退化和从未习得技能的风险。

本文引用的文献

1

Expertise modulates automation bias and sentinel behavior in human–AI collaborative diagnosis of neonatal pneumoperitoneum

高可靠AI在受训者中诱发自动化偏差,他们接受了52.0%的错误建议;而三名新生儿科医生正确推翻了刻意注入错误的模型中91.7%的错误。