“过度自信”在人工智能中究竟意味着什么，又为何危险？
对人工智能的过度自信，指的是系统对某个预测表现出高度确信，而该预测实际上是错误的。这在医学或法医学等高风险领域尤为危险——一个错误但自信的答案可能导致误诊或错误的法律结论。一项关于ChatGPT-4分类枪伤的研究发现，尽管该AI在区分受伤皮肤与完好皮肤时准确率达95%，但它仍对出口伤口做出了过度自信的错误分类——即它非常确信，但却是错误的[1]。另一篇关于医学影像的论文指出，“模型过度自信可能导致严重后果”，而标准的准确率指标往往掩盖了这一问题[3]。
独立审计如何发现开发者遗漏的过度自信？
最有效的审计是将技术性检查（如不确定性量化）与对人工智能构建和测试过程的审查相结合。一项对AI审计方法的评估指出，下一步应将这两种方法——即测试AI能力的技术导向审计与审查开发者质量管理的过程导向审计——相互关联，以形成对过度自信的全面防范[5]。这意味着独立审计师既要用新的、具有挑战性的数据来运行AI，也要审查开发团队是否充分测试了罕见但关键的情况。
审计在防止过度自信方面有哪些局限？
此外，如果审计未采用恰当的指标，其本身也可能存在缺陷。一份框架文件警告称，审计必须包含文化背景和尊重个体等“元要素”，因为针对某一群体校准良好的人工智能，在另一群体上可能表现出过度自信[2]。医学影像研究也指出，标准的softmax概率（一种常见的置信度衡量指标）在检测过度自信方面，不如更先进的不确定性方法可靠[3]。因此，使用错误工具的审计可能会带来虚假的安全感。
关于这些来源
该回答基于5篇经同行评审的研究构建而成——发表于2022年至2026年间，其中3篇为2024年或之后发表，2篇发表于Q1期刊，累计被引用270次——这些研究是从5篇通过质量筛选的研究中选出的最具相关性的成果，而后者又源自从超过5亿篇论文的数据库中检索出的45篇文献。
本文引用的文献
从描述到诊断：评估人工智能在法医枪伤分类中的能力
ChatGPT-4在区分完整皮肤与损伤时表现出95%的准确率，但即使在经过机器学习训练后，仍对出口伤口的分类过于自信且能力有限，这凸显了审计必须针对多样化的疑难案例进行测试，以发现过度自信的问题。
审计AI审计员：评估高风险AI预测模型公平性与偏差的框架
提出一个包含12个维度的心理审计框架，用于评估人工智能的公平性与偏见问题，强调审计必须审查源数据、设计及文化背景——而不仅仅是输出结果——以发现隐藏的过度自信。
基于深度学习的医学影像分类模型评估与个体化风险估计中的不确定性量化
引入风险覆盖曲线与个体化风险评估，以量化医学影像AI中的不确定性，表明标准softmax概率在揭示过度自信方面不如异方差模型有效。
超越陡峭曲线：AI中介的元认知解耦与邓宁-克鲁格隐喻的局限
描述了“AI介导的元认知脱节”现象：使用AI虽能提升输出质量，却削弱了用户判断AI何时出错的能力。这表明审计不仅要关注AI的校准，还必须解决人类过度依赖的问题。
人工智能审计：法律、伦理与技术路径
将AI审计作为一种治理机制进行评述，认为最有效的审计应结合技术导向的测试（能力）与流程导向的审查（治理结构），以捕捉过度自信及其他风险。