将临床文本与结构化时间序列融合,能否改善 ICU 谵妄早期预测?

DeliMF 用门控交叉注意力融合 ICU 时间序列与影像报告文本,主要在有文本的患者中提升 AUPRC。

直接答案

能,但范围有限:在 10.7% 阳性率的队列中,把早期影像报告加入结构化 ICU 时间序列后,论文的主要指标 AUPRC 得到提升,尤其在携带文本的 55.4% 测试住院记录中更明显。全队列 AUROC 相对纯结构化模型没有显著提升,而单用文本是较弱的预测器。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

一个排除“检出”的预测任务

论文要回答的是:仅使用重症监护病房(ICU)入院第一天记录的信息,模型能否标记出在此后才会发生谵妄的患者。这里的谵妄指注意力和意识出现急性、波动性紊乱;作者指出它与住院时间延长、持久的认知功能下降和更高死亡率相关,而且许多诱因可以干预,因此发病前标记才有意义。

队列设计使这个问题成为真正的预测任务,而不是检出任务。入院 24 小时内已出现谵妄或昏迷的住院记录被排除,早期死亡和非首次 ICU 入院也被排除。标签依据病历中记录的 CAM-ICU 特征,按正常、谵妄、昏迷三种状态重建;为避免标签污染,“无法评估”被当作昏迷而非阴性。重建标签与原生谵妄评估条目在 93.8% 的已评分区间上一致。最终 MIMIC-IV 队列包含 23,431 条住院记录,阳性率为 10.7%,按患者划分为训练集、验证集和测试集,其中测试集有 4,688 条记录。

为何以 AUPRC 而非 AUROC 承载结论

论文报告两个不依赖阈值的面积指标:AUROC 和 AUPRC。作者称 AUROC 在类别不平衡下较为稳定,而 AUPRC 会随阳性率变化。由于队列中只有 10.7% 为阳性,作者把 AUPRC 作为主要指标,把 AUROC 视为次要且偏乐观的信号。他们还报告了 0.5 阈值下的敏感度、特异度和 F1,以及用于校准的 Brier 分数,后者越低越好。

这一选择决定了所有结果的读法。AUPRC 的提升和 AUROC 的提升回答的是不同问题,论文的核心主张落在精确率-召回率视角上。作者用部署目的来论证这一优先级:把高风险患者筛出来以便干预,此时阳性类的精确率最重要。

结构化事件与文本如何结合

结构化流是一串时间不规则的事件,每个事件由三部分组成:一个连续数值、一个标识结构化变量的特征索引,以及以小时计的真实时间戳。每个事件通过三项相加变成一个 token:数值项、学习得到的按特征嵌入,以及由正弦和余弦项构成、频率可学习的时间编码。因此模型反映的是观测之间的真实间隔,而不是把数据对齐到固定网格。一个 Transformer 编码器处理带掩码的序列,再对有效 token 取均值,得到每条住院记录的一个汇总向量。

文本流使用入院 24 小时内书写的影像报告,按时间排序并拼接,默认由 ClinicalBERT 编码。只使用时间戳早于预测时点的报告,作者称这样不会泄漏信息。在融合模块中,结构化 token 状态作为查询,文本状态作为键和值进入多头交叉注意力,使生理轨迹能够关注描述性上下文;填充或缺失的文本 token 在 softmax 之前被掩掉。

随后一个门控按患者决定接纳多少交叉注意力表示。它是在结构化与文本汇总向量拼接上运行的两层网络,输出逐维权重;当某条记录没有文本时,文本可用性标志会把门控项置零。此时融合表示与结构化汇总完全相等,模型精确退化为纯结构化形式。门控第二层偏置初始化为 -2,使训练开始时权重约为 0.12,模型先依赖结构化流,只在文本被证明有用时才接纳它。

文本在有记录处有用,而非处处有用

与纯结构化模型以及两个在相同队列和协议下重新实现的基线(DeLLiriuM 式序列化模型和 E-PRE-DELIRIC 式预测器)相比,完整模型与纯结构化模型在 AUROC 上统计上无法区分。作者报告,在 AUPRC 上 DeliMF 明显领先。与序列化基线的对比更鲜明:该模型把结构化记录转成提示词并丢弃时间顺序,而 DeliMF 相对它的 AUROC 提升超过 8 个百分点,p 约等于 0。作者据此认为,结构化流更适合原生时间建模,而不是语言模型式框架;他们同时提醒,已发表的 DeLLiriuM 外部 AUROC 0.824 来自不同队列和标签定义,不能直接与本研究比较。

单用文本是较弱的预测器,作者称这并不意外,因为影像报告是间接信号,且只覆盖部分队列。文本模态只有在与结构化流融合时才有价值,替代它则不行。测试集分为 2,599 条(55.4%)在预测窗口内有影像报告,以及 2,089 条没有;有文本子组的阳性率更高,为 12.1% 对 9.0%。作者报告 AUPRC 增益集中在有文本和老年子组,而在没有文本时性能与纯结构化模型持平。

去掉任一组件都会损失 AUPRC

消融研究固定其他组件,每次替换一个设计选择,使用三个随机种子和相同的两阶段训练方案。去掉文本分支后,DeliMF 回到纯结构化形式,并交回它获得的 AUPRC,损失约 2.5 个百分点,p 约等于 0.06。若改为去掉结构化分支,则只剩文本模型,其 AUROC 下降约 20 个百分点,作者据此认为两个模态不可互换。

把门控交叉注意力换成简单拼接,损失接近 2 个 AUROC 点,p < 0.001,晚期融合也不更好。作者把这视为真实风险而非细微偏好:朴素融合时,弱模态可能把性能拖到纯结构化模型之下,而门控正是为避免这种失败而设计。若向融合模块输入池化的文本向量而非 token 级交叉注意力,损失约 2 个 AUPRC 点,说明轨迹与描述性上下文之间的细粒度交互有可测量的贡献。

骨干替换的影响更小。把时间 Transformer 换成双向 GRU,损失略多于 1 个 AUROC 点,AUPRC 基本不变,作者称这一差距很小且不显著。把 ClinicalBERT 换成 Qwen2.5-1.5B,全队列性能不变,有文本子组的 AUROC 略有上升。

单中心证据,且只覆盖一类叙述

作者明确指出,相对纯结构化模型的全队列 AUROC 提升很小且不显著,并称这是预期之内而非令人失望:44.6% 的患者没有文本,而可用文本是影像报告,本身就是间接信号。按他们的说法,文本提供的是有文本人群上显著的 AUPRC 提升,以及通过门控在其余人群上的稳健性。

三项限制界定了这些主张。影像报告只是临床叙述的一部分,整合护理记录或主诉被列为自然的下一步。评估仅限于单中心 MIMIC-IV 队列,缺少外部验证。研究没有测试对错误或被操纵文本的稳健性,作者指出语言模型已知对此类输入较为脆弱。作者补充说,这些限制都不影响在固定队列和协议内所做的受控比较。

真正与决策相关的划分是文本有无

论文最有用的结论是一个情景划分,而不是单一的头条数字。对于有早期影像报告的住院记录,通过门控交叉注意力融合文本,能改善阳性类预测的精确率-召回率视角,案例研究也追踪了 DeliMF 相对纯结构化模型找回的谵妄病例。对于没有文本的记录,门控关闭,模型精确等于纯结构化形式,因此加入文本分支不会带来损失。

这种不对称是应当带走的优先级:在该框架中,临床文本的价值取决于文本是否存在,以及指标是否为重度不平衡下的 AUPRC,而不是全队列 AUROC 的普遍提升。作者自己的表述也指向同一方向:对于旨在筛出高风险患者以便干预的部署,阳性类的精确率-召回率最重要,而这正是 DeliMF 相对纯结构化模型改善之处。

本文引用的文献

1

DeliMF: Gated Cross-Attention Fusion of Structured Time Series and Clinical Text for Early Intensive Care Delirium Prediction

在包含 23,431 条住院记录、阳性率 10.7% 的仅新发事件 MIMIC-IV 队列上,DeliMF 在 AUROC 上与纯结构化模型持平,但提升了 AUPRC,增益集中在携带影像报告的 55.4% 测试记录中,且对没有文本的记录没有损失。