依赖校准衡量的是对齐,而非信任
依赖校准是这篇论文提出的组织性概念:在一次交互会话中,用户接受或拒绝 AI 建议的行为,在多大程度上与这些建议实际是否正确相匹配。校准良好的用户会在 AI 正确时接受建议,在 AI 错误时拒绝或修改建议;校准不良的用户则会系统性地过度依赖或依赖不足。
研究把这一点与单纯的接受率区分开来。在两个 AI 条件下,参与者接受建议的比例为 75.0%,修改为 20.2%,拒绝为 4.8%。带解释时的接受率(72.0%)低于只给预测时(79.0%)。这些比例描述的是行为;校准要问的是,这种行为是否跟随了 AI 的正确性。
作者用一个 RC 分数概括校准偏差,分数越低表示校准越好,并将其拆分为过度依赖和依赖不足。在这个样本中,两者差距很大:过度依赖均值为 0.31(SD 0.24),依赖不足均值为 0.04(SD 0.12);配对单侧 Wilcoxon 检验确认,参与者的过度依赖显著多于依赖不足(p << .001)。
没有反馈时,用户只能自我监控
以往大多数校准研究都假设存在明确的绩效反馈:每次决策后,任务层面的信号会告诉用户其判断或 AI 建议是否正确。此时反馈和解释都是学习信号,让用户更新对 AI 可靠性的心智模型。
这篇论文关注的是缺少这种信号的场景。使用诊断工具的临床医生,或标注医学文本的分析人员,可能完成整个会话都不知道自己接受或推翻 AI 建议是否恰当。在这种环境中,用户必须依靠内部元认知资源,反思自己知道什么、对此有多大把握,来决定接受还是推翻建议。
作者认为,这一机制对新手尤其脆弱,因为他们的领域专业知识不足以独立验证 AI 输出或解读解释。研究要检验的正是这一缺口:当用户无法自行核查 AI 时,解释能否替代缺失的反馈。
一项反馈有限的临床抽取任务
研究采用被试间实验,通过面向研究的众包平台 Prolific 招募了 110 名参与者。参与者要从匿名化的患者出院小结中抽取六类临床词语和短语,包括体征与症状、检验值、药物和疾病障碍。对每份文档,他们需要先理解临床类别,再正确识别并标出对应的文本片段。
四种条件改变了 AI 支持的程度:无 AI、无 AI 加医学词典、仅 AI 建议、AI 建议加解释。参与者以标注文本的形式产生了 26,460 个决策点。AI 辅助条件的任务准确率(AI:M = 0.429,SD = 0.257;AI + Exp:M = 0.454,SD = 0.260)高于非 AI 条件(No AI:M = 0.211,SD = 0.226;No AI + MD:M = 0.180,SD = 0.212)。
作者说明,选择该任务是因为它需要专业知识、经过努力可以完成,且足够复杂,值得引入 AI 建议。他们为这一设计标注的限制是:临床类别被选为可区分的;如果即使有说明和解释,类别仍难以分辨,误解可能会使结果产生偏差。
解释基本没有改变校准水平
对解释的核心检验使用贝叶斯线性混合效应模型,以参与者为随机截距,以解释条件和临床类别为固定效应。解释系数可以忽略且不可信(beta = -0.02,95% CI [-0.05, 0.02]),后验分布集中在零附近,残差方差没有变化。解释条件也没有削弱不同临床类别之间的难度差异。
主动使用解释也没有改变这一结果。在 AI + Exp 条件内,无论是对置信分数的停留时间(beta = 0.00,95% CI [-0.01, 0.02]),还是对医学词典的停留时间(beta = -0.01,95% CI [-0.03, 0.01]),都与更低的 RC 分数无关。
有一个更窄的信号方向相反。逐项依赖指标在两个条件下都与 AI 正确性正相关,仅 AI 条件下较弱(rho = 0.20,p < .001),带解释时略强(rho = 0.27,p < .001);Fisher r-to-z 检验确认两个相关系数存在显著差异(z = -2.52,p = .012)。作者将此解读为解释小幅提升了用户对 AI 正确性的敏感度,尽管总体校准分数没有变化。
过度依赖随会话推进而上升
会话轨迹分析将 RC 分数对任务序列做回归,并为参与者设置随机截距和斜率。总体 RC 分数在整个会话中呈上升趋势,但该效应不显著。两个组成部分的变化更能说明问题:过度依赖随会话推进而增加(估计值 = 0.04,95% CI [-0.01, 0.09];P(beta > 0) = 0.94),而依赖不足显著下降(估计值 = -0.01,95% CI [-0.03, 0.00];P(beta < 0) = 0.97)。
作者将这一模式描述为随时间推移逐渐不加批判地接受 AI 建议。随机斜率方差超过平均斜率,说明个体轨迹差异很大,并非所有用户都沿同一条路径变化。
校准偏差还取决于标注的对象。加入临床类别作为固定效应后,检验值类任务的校准偏差最高(估计均值约 0.60,beta = 0.33,95% CI [0.28, 0.38]),诊断操作类任务为中等偏差(beta = 0.07,95% CI [0.02, 0.13])。类别使残差方差从 0.25 降至 0.21;加入文档 ID 没有提供证据,这些系数保持不变。
任务理解比自信更能预测选择性依赖
会话前的感知能力普遍较高(M = 4.33,SD = 0.61),到结束时略有下降(M = 4.03,SD = 0.86),其中仅 AI 条件下降最多(M = -0.47,SD = 0.88)。以会话前的感知能力作为调节变量,方向性检验对“感知能力越高,RC 分数越低”的假设提供了中等支持(后验概率 0.88,证据比 7.08)。
交互结果与作者的预期相反。解释与感知能力的交互为正但不可信(beta = 0.05,95% CI [-0.02, 0.13]),后验质量主要落在正向,作者将其解读为解释可能缩小而非放大了高能力参与者的校准优势。
更清晰的分野来自把自信与理解分开。在一个覆盖 12,798 个条目的贝叶斯逻辑混合模型中,自信在各项接受通道中都不能预测恰当依赖,而且更自信的参与者更不可能拒绝或修改错误建议(beta = -0.33,95% CI [-0.73, 0.05];P(beta < 0) = 0.95)。理解的作用相反:理解程度越高,拒绝和修改错误建议(beta = 0.51,95% CI [0.09, 0.94];P(beta > 0) = 0.99)以及补充遗漏实体(beta = 0.47,95% CI [0.05, 0.89];P(beta > 0) = 0.99)都更多,而对接受正确建议没有可信影响。
应监控类别特定的依赖,而非整体信任
这篇论文最具可操作性的区分是:校准偏差不是单一的用户特质。同一个用户使用同一个 AI 系统时,会因临床类别不同而表现不同,检验值类任务偏差最突出。作者将其归因于数值在视觉上显著且容易识别,导致用户过度依赖,而不去核查建议是否符合语境中检验值的临床定义。一位处于 AI 条件的参与者描述说,对于药物和检验值这类容易的类别,他只是快速浏览文本,并未参考 AI 高亮的文本。
这一解读支持的是设计优先级,而不是笼统呼吁提高透明度。由于解释随每条建议统一呈现,把评估负担压给了缺乏认知资源来使用解释的用户,作者因此提出元认知监控功能:追踪接受率、编辑频率和对解释的停留时间等行为信号,并在某一知识领域内出现变化时发出提示。与绩效反馈不同,这类功能在任务过程中不需要真实答案。
适用范围会影响如何应用这些结论。参与者是 Prolific 众包工作者,并不代表广泛人群,研究也没有考虑认知负荷和内在动机。在这些边界内,论文提供的实用阈值是行为层面的:某一知识领域内接受率骤升,或相对于用户自身基线的建议后编辑行为骤降,就是值得采取行动的信号,尤其是在仅靠解释未能纠正这种漂移的情况下。
本文引用的文献
Novice Reliance Calibration in AI-Assisted Decision Making: The Role of Explanations and Self-Assessment
在一项有 110 名参与者、无反馈的临床实体抽取研究中,AI 解释对依赖校准的影响可以忽略,过度依赖随会话推进而上升,而自评的任务理解(不同于自信)能预测用户更倾向于拒绝和修改错误的 AI 建议。
