癫痫相关记录为何难以分类
患者发作时,癫痫与心因性非癫痫发作(PNES)看起来可能相似,但两者的管理方式根本不同。论文指出,因疑似药物难治性癫痫被转诊至三级癫痫中心的患者中,有 20%–30% 最终被诊断为 PNES,因此这一区分对治疗和患者疾病负担有实际影响。
诊断金标准是长程视频脑电图(vEEG),但它费用高、容量有限:论文报告,美国单次 vEEG 住院通常超过 15,000 美元,典型等待时间为 8–12 周,监测持续 1–5 天。这一缺口促使研究者尝试用已经写好的文本构建更便宜的筛查工具。
文本本身就是障碍。发作持续时间、闭眼或咬舌等特征在两种疾病中的一种里统计上更常见,但没有一项是特异性的;“意识丧失”或“全身抖动”这类描述在两者中都会出现。作者认为,这正是基于规则或依赖特征的模型以及现成大语言模型表现不佳的原因:信号存在于整段叙述如何被语境化,而不在孤立的关键词里。
EpiScreen 如何把记录变成概率
EpiScreen 并非新架构。团队在带标签的临床记录上微调了四个开源大语言模型——三个通用领域模型(Llama-3.3-70B、Qwen-2.5-32B、DeepSeek-R1-32B)和一个医学模型(Med42-70B),使用 QLoRA 与 4 比特量化,LoRA 秩为 16,学习率 5e-4,训练 3 个 epoch,最大序列长度 4096 个 token。未进行额外的超参数调优。
对每份记录,模型被要求选择“Epilepsy”或“PNES”。预测概率来自模型最终预测层的内部置信度分数,并对两个 logit 做 log-softmax 归一化。推理使用固定权重和确定性的基于分数的解码,因此在相同运行环境下,相同输入会得到相同预测。
对照组的设置对理解结果很重要。基线包括基于表型的规则系统 FSLS,以及在相同数据上按标准监督方式训练的 BERT 和 ClinicalBERT;BERT 类模型通过把记录切成 512 token 的片段并做平均池化,被扩展到处理 4096 token。零样本提示则在同样的通用大语言模型和四个医学大语言模型(Med42-70B、MedGemma-27B、Baichuan-M2-32B、HuatuoGPT-o1-70B)上测试。
微调优于提示与规则基线
在同一机构内,EpiScreen 在两个数据集上都优于所有基线。在 MIMIC-IV 上,最佳 EpiScreen 变体(Med42-70B)AUC 达 0.891(95% CI 0.866–0.915),准确率 0.832;相比之下,ClinicalBERT 的 AUC 为 0.769,BERT 为 0.756,FSLS 为 0.695。在 UMN 队列上,EpiScreen 各变体 AUC 为 0.974–0.992,而 ClinicalBERT 为 0.960,FSLS 为 0.944。
提示与微调之间的差距是论文最清晰的信号之一。相对于现成大语言模型,微调在 MIMIC-IV 上带来平均 13.2% 的绝对 AUC 提升,在 UMN 上带来 11.6% 的提升。例如,提示式 Llama-3.3-70B 在 MIMIC-IV 上 AUC 为 0.813,但准确率只有 0.645;提示式 MedGemma-27B 在 MIMIC-IV 上 AUC 降至 0.725,在 UMN 上为 0.799。
AUC 和准确率在这里不能互换,论文自己的表格说明了原因:一个模型可以很好地排序病例,但在固定阈值下仍会错分许多病例。比较 EpiScreen 各变体的读者应同时看这两列,而不是把头条 AUC 当作可直接部署的准确率数字。
跨机构迁移拉开模型差距
更严格的测试是在一个机构训练、在另一个机构测试。在这里基线明显崩溃:在 UMN 上训练的 FSLS 在 MIMIC-IV 上 AUC 为 0.498,相对其域内表现下降 47.2%;在 MIMIC-IV 上训练的 BERT 在 UMN 上为 0.701,下降 26.6%。
EpiScreen 的退化小得多。在 UMN 上训练、在 MIMIC-IV 上测试时,EpiScreen 各变体 AUC 为 0.829–0.875;在 MIMIC-IV 上训练、在 UMN 上测试时,AUC 为 0.966–0.980。作者将此归因于模型抽象出更高层语义和关系模式——例如触发因素与前驱症状之间的联系——而不是锚定在精确关键词上,也归因于广泛的预训练能归一化本地记录风格的差异。
这一解释是作者的解读,而不是直接测量的机制。表格确立的是比较本身:跨机构 AUC 0.875 是摘要头条背后的数字,它低于域内数字,因此诚实的解读是迁移强但并非无损。
模型在记录中读了什么
为了打开黑箱,作者使用句子级积分梯度(Integrated Gradients),估计每个句子把预测从空基线推开多少。归因幅度更大的句子被视为更显著,团队再把这些句子聚合到 11 个由神经科医生整理的临床表型类别中,包括发作症状学、发作前症状、发作后特征、纵向时间模式、外部触发因素和医疗利用模式。
报告的案例研究显示了作者预期的模式:得分最高的句子描述了目击到的事件症状学、头痛前先兆,以及一天内近十次事件的聚集,归因分数分别为 0.946、0.930 和 0.894。作者将此解读为 EpiScreen 权衡临床特征组合而非单个词语的证据,这与神经科医生的推理方式一致。
这是可解释性证据,不是因果证明。归因分数显示模型依赖了哪些句子;它们并不显示这些特征导致了诊断,而且论文展示的是预测为癫痫的病例,而不是经过验证的临床推理轨迹。
医生加 EpiScreen 与单独医生对比
协作实验是论文最具实践相关性的结果。八名临床医生组成四组:三组各由两名平均接受四年神经科培训的住院医师组成,一组由两名各拥有十年以上临床经验的资深神经科医生组成。他们审阅了从 MIMIC-IV 测试集中分层随机抽取的 300 个病例,可访问互联网,并按组内共识作出判断。
在这一设置下,EpiScreen 辅助的神经科医生比无辅助专家表现最高提升 14.3%。展示给临床医生的模型输出是病例级预测加上句子级归因分数,用以指示预测背后的文本证据,因此这种辅助不是裸标签。
该设计限定了结论范围。比较使用 300 个 MIMIC-IV 病例和小组内共识,因此 14.3% 描述的是这一模拟审阅设置,而不是测量到的患者结局,也不能确定在不同病例构成或时间压力的真实门诊中辅助能带来多大帮助。
筛查结论的适用范围
两项敏感性分析处理标签可信度问题。第一项限制在 UMN 测试集中经长程 vEEG(公认金标准)确认的 502 例癫痫和 177 例 PNES 病例,对相同训练好的模型不再训练直接应用。第二项分析使用 300 个经 vEEG 确认的 UMN 病例,同时保留“疑似癫痫”等初步诊断怀疑,但不披露最终诊断,以近似首次评估时可获得的不完整信息。
预期用途也有明确的阶段定位。EpiScreen 设计用于专科诊疗阶段,处理神经科转诊期间及之后生成的叙述,在确诊性视频脑电图之前提供更早的诊断支持。它是基于已有记录构建的筛查辅助工具,不是 vEEG 的替代品,论文的成本与可及性论证正建立在这一顺序之上。
作者将收益表述为及时、低成本的筛查,可能减少诊断延迟并避免不必要的干预,尤其是在资源有限地区。这是陈述的潜力,不是研究测量到的结局;证据支持的是从记录中区分癫痫与 PNES,以及在模拟临床审阅中的提升。
重点是迁移而非头条 AUC
值得带走的数字不是私有 UMN 队列上 0.980 的域内 AUC,因为那来自与训练模型同一机构的数据。值得带走的是跨机构结果:在 UMN 上训练、在 MIMIC-IV 上测试时,EpiScreen 的 AUC 达 0.875,而同一迁移方向上 FSLS 降至 0.498,BERT 降至 0.701。
正是这一比较,使仅凭记录的筛查在不同医疗系统间变得可行——这些系统的记录风格、术语和详细程度各不相同。它也设定了现实预期:迁移相对于域内表现会损失准确度,而最高 14.3% 的医生辅助提升是在 300 个 MIMIC-IV 病例的共识审阅中测得的,不是在前瞻性诊疗中。
对于判断这是否重要的读者,论文自己的优先级很清楚:价值在于一种在机构变化时仍站得住的低成本筛查工具,部署在 vEEG 之前而非替代 vEEG,而应塑造预期的是迁移差距,不是最好的域内分数。
本文引用的文献
Early epilepsy detection from electronic health records with large language models
微调后的大语言模型(EpiScreen)能从常规临床记录中检出癫痫,跨机构 AUC 最高 0.875,域内最高 0.980;在 EpiScreen 辅助下,神经科医生比无辅助专家表现最高提升 14.3%。
