AI 临床记录工具的主要安全风险是什么?
核心安全风险在于,AI医疗记录系统频繁生成不准确的临床记录。一项针对238名医生使用两种不同AI记录系统(DAX和Nabla)的随机试验显示,临床医生在五点李克特量表上报告,具有临床意义的错误“偶尔”发生,DAX的平均得分为2.7,Nabla为2.8(其中1分代表“从未发生”,5分代表“总是发生”)[1]。这意味着错误并不罕见——其发生频率足以要求持续保持警惕。
一项涵盖32项关于AI语音识别在临床文档中应用研究的范围综述发现,错误类型包括遗漏、替换以及对药物名称或简短语句的误识别[3]。该综述指出,单词错误率在口述笔记中处于中等水平,而在对话和急诊场景中则非常高,且系统经常遗漏临床相关细节[3]。作者得出结论:“无监督使用是不安全的”[3]。
另一篇论文警告称,AI生成的病历笔记可能更像“未经剪辑的原始素材而非完整的故事”,缺乏框架、因果关系和优先级排序[2]。这意味着笔记可能包含所有事实,却遗漏了连接这些事实的临床推理,从而可能导致误诊或不恰当的治疗。
AI临床记录员的益处是否大于安全风险?
益处确实存在,但必须与风险相权衡。在一项随机试验中,Nabla用户的笔记时间减少了9.5%,两种AI记录工具均改善了职业倦怠评分(Mini-Z量表在10-50分范围内提升约2.7-2.8分),并降低了医生的任务负荷(在0-400分范围内减少31-40分)[1]。对于过度劳累的临床医生而言,这些改善具有实际意义。
然而,同一试验仅报告了一起轻微不良事件,但临床医生指出的“偶发”不准确之处表明,错误是一个持续存在的问题[1]。一篇关于AI医疗记录员证据现状的评论文章指出,其应用“远早于对其安全性和有效性的可靠证据”,并且我们仍需了解“与其它记录方式相比,使用医疗记录员所能实现的临床结局”[4]。这意味着我们尚未掌握确凿数据,无法判断AI医疗记录员是否会导致实际的患者伤害,例如漏诊或用药错误。
范围综述发现,很少有研究将系统准确性与患者安全或诊断结果联系起来[3]。因此,尽管AI医疗记录员明显减轻了职业倦怠,但其对患者的直接安全影响仍属未知——这一空白使得相关风险难以量化,却又不容忽视。
谁应监督AI医疗记录员以确保其安全?
人类的监督是不可妥协的,并且这种监督不仅应涉及医生,还应包括护士及其他临床工作者。一篇论文特别指出,护士常常被排除在环境人工智能工具的设计与监督之外,然而她们却面临着生成记录中幻觉、遗漏和偏见带来的风险[5]。作者呼吁通过继续教育以及在模型开发、部署和审计中的领导作用来赋能护士[5]。
DIRECTOR框架论文提出,临床医生应作为病历记录过程的“导演”,运用叙事原则(如框架构建、因果逻辑与结局收束)来编辑AI生成的病历[2]。这一观点将临床医生的角色从被动接收者重新定位为主动编辑者,对于捕捉错误并保留临床推理至关重要。
随机试验的作者明确指出,“两种记录工具偶尔出现的不准确之处需要持续保持警惕”[1]。结合范围综述的结论——“人工监督仍然至关重要”[3],信息十分明确:AI记录工具是一种辅助手段,而非临床判断的替代品。
关于这些来源
该回答基于5篇经同行评审的研究——发表于2025年至2026年,其中5篇为2024年及以后发表,1篇发表于Q1–Q2期刊——这些研究是从5篇通过质量筛选的文献中选出的最相关成果,而该筛选范围又源自从超过5亿篇论文数据库中检索到的48篇论文。
本文引用的文献
临床实践中的环境AI记录员:一项随机试验
在一项涉及238名医生的随机试验中,AI医疗记录员减少了职业倦怠和文档记录时间(Nabla系统将时间缩短了9.5%),但临床医生在五分量表上报告了“偶尔”出现临床意义不准确的情况(评分2.7-2.8),需要持续保持警惕[1]。
临床医生作为导演:在人工智能时代将电影叙事运用于临床文档的实践
这篇概念性论文指出,AI生成的病历记录往往缺乏叙事结构(如因果关系、优先级排序、闭合性),并提出了一个名为“DIRECTOR”的框架,帮助临床医生编辑病历记录,恢复临床推理逻辑[2]。
评估人工智能语音识别在临床文档中的可靠性、准确性与相关性:一项范围综述。
一项涵盖32项研究的范围综述发现,人工智能语音识别工具存在显著的准确性局限,错误包括误识别药物名称及遗漏临床关键细节,并指出在无监督情况下使用存在安全隐患[3]。
AI抄写员:我们是否在衡量真正重要的东西?
这篇评论指出,人工智能医疗记录员的应用速度已超过其安全性证据的积累,并且与传统记录方式相比,我们仍缺乏关于使用这些工具时临床结果(如漏诊)的数据[4]。
隐形记录者:护士能否信任环境人工智能进行临床文档记录?
本文指出,护士常被排除在人工智能病历记录系统的设计与监管之外,使其面临模型幻觉与偏见带来的风险,并呼吁加强护士在模型审计方面的教育与领导力[5]。
