AI 能否从电子健康记录中准确提取乳腺癌试验数据？

MIRROR 实际比较了什么

MIRROR 是一项回顾性比较研究，不是前瞻性部署。研究取用经过培训的临床研究人员在 11 项乳腺癌临床试验中已经录入的电子病例报告表（eCRF）数据，并将其作为参照标准；随后让一款名为 CapTrial 的 AI 工具从同一批患者的医院电子健康记录（EHR）中提取相同变量，再衡量两者的一致程度。

研究队列为 113 名乳腺癌患者，全部在西班牙塞维利亚的 Virgen del Rocío 大学医院入组，该医院参与了全部 11 项试验。该工具处理了 138,454 条结构化记录和约 1,850,000 词的非结构化文本。评估覆盖 18 个数据领域，包括人口学信息、生活方式因素、既往疾病、受体状态、研究治疗、合并用药、实验室检查、影像学疗效和生存状态。

由于 eCRF 由遵循《药物临床试验质量管理规范》的试验人员填写，这一比较回答的是一个实际问题：自动化能否复现试验中心已经记录的内容，而不是 AI 能否发现新信息。这一定位对理解下文每个数字都很重要。

为何各数据领域的指标不同

论文没有在所有领域使用同一指标，读者也不应跨领域取平均。对于有明确阳性类别的分类变量，例如性别、吸烟状态或受体状态，作者计算真阳性、假阳性、假阴性和真阴性，再据此得出准确率 (TP+TN)/(TP+TN+FP+FN)、精确率 TP/(TP+FP)、召回率 TP/(TP+FN) 和 F1 分数 2TP/(2TP+FP+FN)。

对于研究治疗、合并用药和实验室检查等记录级领域，每条记录都是多个字段的唯一组合，不存在有意义的阳性或阴性类别。此时准确率指所有提取参数与 eCRF 条目完全一致的记录所占比例。对于总生存期和治疗开始日期等连续变量或日期变量，准确率指与参照值完全一致的比例。

第三种情况是当前癌症：由于所有患者都已确诊乳腺癌，不存在阴性类别，因此准确率只是 AI 预测与 eCRF 一致的比例。这些指标的分母不同，回答的问题也不同，一个领域的高数值不能直接套用到另一个领域。

哪些领域提取几乎完全一致

一致性最强的是结构化或格式统一的数据。所有患者都有行政性别记录，匹配准确率为 100%。112 名患者有出生日期记录，占全部记录的 99%；该工具对年、月、日完全匹配的比例为 78%，在允许正负一年误差以容纳部分日期或可能的录入错误后，其余出生年份的提取准确率达到 100%。

合并用药清楚显示了分母选择的影响。试验数据库中有来自 93 名患者（82%）的 526 条记录，而 AI 工具从 109 名患者（96%）中检索到 10,205 条记录。若只纳入试验数据库中有数据的患者，提取准确率为 100%。

生存状态的表现类似。试验数据库中有 17 名患者（15%）记录了死亡日期，而该工具检索到 27 名患者（24%）的死亡日期。在排除晚于各试验研究结束日期的死亡日期后，准确率为 100%。这两种情况下，工具找到的记录都多于人工参照，因此总体准确率取决于哪些患者和记录进入比较。

90% 至 99% 区间及其分母

若干领域的准确率落在 90% 至 99% 之间。试验数据库记录了 67 名患者（59%）的绝经状态，其中 61 名（91%）被正确匹配。64 名患者（57%）有药物使用信息；该工具检索到 42 名患者（37%）的信息，26 名患者（23%）在两个数据库中均有记录，其中 25 名（96%）准确匹配。

研究治疗在 81 名患者（72%）中被检索到。作者人工检查了真实世界数据库中无数据患者的 EHR，确认其中没有记录试验治疗的任何提及。将分析限制在 EHR 中有抗癌治疗数据的患者后，准确率为 99%。

所有患者都提取了当前癌症类型，并借助大语言模型判断医学术语是否等价，报告的准确率较高。反复出现的模式是：该工具常常找到试验数据库缺失的记录，而当比较仅限于有源文档的患者时，报告的准确率会上升。

处理流程如何应对结构化与叙述文本

CapTrial 不是单一模型。变量主要取自结构化 EHR 表，例如实验室检查、药房记录、出生日期和总生存期，使用提取、转换和加载（ETL）流程将各来源整合到统一数据仓库。正则表达式负责处理格式统一的模式。

对于部分结构化、编码不一致或叙述性的变量，处理流程会在每项试验的观察窗口内筛选相关文档，对自由文本进行分词、句子切分和章节识别等预处理，再用正则表达式和医学实体识别检测候选实体。预训练的 BERT 类编码器模型用于词级识别，包括检测否定表达，且不修改其预训练权重。

对于需要跨多份记录进行上下文推断的领域，例如既往癌症或非癌症疾病，研究使用基于 GPT-4 的提示以零样本方式处理，并用于汇总或规范化部分输出。作者报告，各类方法因数据类型而异：结构化和正则表达式处理结构化数据，医学实体识别处理叙述性提及，语言模型处理依赖上下文的推断。

可追溯性与无任务特定训练

每个提取变量都附带原始 EHR 文本的引用，出现不一致时还保留原始数据。审核人员可以检查不一致病例，判断差异来自提取错误、EHR 文档缺失或不完整，还是 eCRF 中的错误或不一致。作者将这一机制描述为验证程序，可提高数据质量并减少核对时间。

MIRROR 队列没有用于任何任务特定的模型训练。系统依赖预训练组件，因此没有用这些患者构建训练数据集。在部分任务中，最多 10% 的可用数据被用作开发子集来调整和优化提取流程，性能则在其余 90% 至 100% 的数据上评估，具体比例取决于领域。

研究没有计算正式的标注者间一致性，因为没有生成独立的平行人工标注。因此参照标准是常规 eCRF 实践，而不是第二次盲法提取，这限制了我们能在多大程度上把差异归因于 AI 还是原始人工录入。

作者下一步优先解决什么

作者将结果概括为多数临床领域的准确率、精确率、召回率和 F1 分数至少达到 80%，并把非结构化数据提取和跨中心标准化 eCRF 列为下一轮工作的重点。原因在结果中可见：绝经状态、药物使用和既往疾病等叙述性字段依赖明确记录，而领域定义允许文档缺失。

实际解读应按数据类型区分，而不是对 AI 提取给出单一结论。结构化且格式统一的字段，包括性别、出生年份、合并用药和生存日期，在分母对齐后接近完全一致。叙述性和依赖上下文的字段一致性较低或更有条件，论文自身的建议正是改进这些领域，并标准化 eCRF，使各中心的提取和评估保持一致。

因此，最具决策相关性的阈值不是一个准确率数字，而是提取方法与数据类型之间的匹配，以及在 EHR 文档多于试验数据库时，什么算作参照的明确规则。MIRROR 支持在存在结构化来源、且可追溯文本引用允许核验的地方使用 AI 提取，同时指出叙述性领域和跨中心 eCRF 差异是这种支持最薄弱之处。

本文引用的文献