AI病理模型的安全风险是否被低估了？

AI病理模型的准确度有多高——而准确度等于安全性吗？

这些模型准确度惊人，但仅凭准确度并不能保证安全性。2021年《自然》杂志的一项研究训练了一个深度学习模型（TOAD），用于从常规病理切片中识别癌症起源：该模型对已知肿瘤的top-1准确率达到83%，top-3准确率达到96%；在外部测试集上，这两个数字分别为80%和93%[3]。这意味着在五分之四的病例中，模型给出的最佳单一判断与实际癌症起源相符——这一性能水平确实能为病理学家提供实质性帮助。然而，同一项研究指出，对于317例原发灶不明癌症病例，模型的首选预测与最终诊断的一致性仅为61%[3]。因此，尽管模型功能强大，但在相当比例的病例中仍会出错，若在无人监督的情况下使用，这些错误可能导致错误的治疗决策。

2024年推出的更先进模型CONCH更进一步——它是一个基于视觉语言的基础模型，在超过117万组图像-文本对上进行训练，并在14项不同的病理学任务中取得了最先进的成果，涵盖图像分类、分割和描述生成[1]。这种广泛适用性意味着单个模型可用于多种诊断任务，既提升了其实用价值，也增加了潜在风险：模型中的缺陷可能波及多项临床决策。关键在于，这些模型并非万无一失，其高准确率反而可能营造出虚假的安全感。

哪些具体的安全风险可能被低估了？

最大的风险并非技术故障，而是伦理与系统性风险。《美国病理学杂志》2021年的一篇综述明确指出，若人工智能被不道德地使用，“可能加剧医疗领域现有的不平等现象”[2]。该综述提出了病理学中安全应用人工智能的三项基本原则：透明性（使临床医生理解模型如何得出结论）、问责制（当模型出错时明确责任归属）以及治理机制（对人工智能部署的规则与监督）[2]。缺乏这些原则，即便精准的模型也可能造成危害——例如，若训练数据未能覆盖所有患者群体，可能导致模型对特定人群的表现更差。

一篇2025年关于人工智能在毒理病理学（用于药物安全性检测）中的论文补充指出，目前人工智能应用正根据其风险等级进行分类，其中“非豁免”类应用需要接受特别审查[4]。这表明监管机构已开始认识到某些人工智能应用涉及更高的安全风险。在病理学领域，风险尤为突出，因为相关决策直接影响诊断与治疗——人工智能输出结果一旦出错，可能导致癌症漏诊或治疗方案错误。2021年关于肾脏病理学的综述也强调，计算机科学家与病理学家之间的紧密合作至关重要，以确保人工智能创新成果真正转化为临床实践[5]。若此类合作薄弱，安全漏洞将进一步扩大。

AI病理模型的最大受益者是谁？在何种条件下它们才是安全的？

最有可能从该技术中获益的患者是那些患有难以诊断的癌症（如原发灶不明癌，CUP）的人群。TOAD模型正是针对这类病例设计的，在82%的CUP病例中，其诊断结果与最终诊断的前三位选项一致[3]。这意味着该模型能在超过五分之四的病例中将可能的癌症起源缩小至三种选项，从而指导后续检测和治疗。然而，该模型最安全的使用方式是作为病理学家的"辅助工具"，而非独立的决策者[3]。同样的原则也适用于CONCH模型：其处理图像和文本的双重能力使其功能多样，但作者指出，该模型可用于"需要极少或无需进一步监督微调"的工作流程[1]——这虽然高效，但若使用不当，也意味着更少的人工监督。

安全使用的条件在证据中已明确：模型必须对其局限性保持透明，病理学家必须始终参与其中，且部署须遵循伦理原则[2]。2021年的肾脏病理学综述进一步指出，人工智能应用必须实现“肾脏病理学优化”——即需针对特定医疗场景量身定制，而非仅作为通用型AI工具[5]。简言之，其益处真实且显著，但取决于审慎的实施过程，而非仅依赖模型的技术性能。

关于这些来源

该回答基于5篇经同行评审的研究——发表于2021年至2025年间，其中2篇为2024年及以后发表，4篇发表于Q1期刊，总被引次数达1274次——这些研究是从通过质量筛选的5篇文献中选出的最具相关性的成果，而该筛选过程则源于从超过5亿篇论文的数据库中检索到的45篇文献。

本文引用的文献

相关研究问题