大语言模型能重建慢性肝病的纵向临床轨迹吗?

开源Llama-3.3-70B结合约束解码,从22,493份报告中提取37,125个数据点,但事件级时间线仍易出错。

直接答案

能,但并不均衡。一套基于开源Llama-3.3-70B的流程无需人工标注,就把835名肝移植患者的22,493份自由文本报告转成37,125个结构化数据点,并复现了已知的肝癌风险因素。但用同一批模型在单个病灶和治疗事件层面评分时,它们会多报和漏报事件,因此总体准确率会高估其精确重建时间线的成熟度。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

把报告转成变量的提取流程

这篇论文要回答两个问题:开源大语言模型(LLM)能否在队列规模上把日常临床自由文本转成结构化数据;由此得到的记录是否足以重建患者随时间变化的疾病史。慢性肝病监测会产生大量放射科、病理科和移植评估报告,但这些信息以叙述文字存在,难以大规模研究。作者搭建了一套框架,对每份报告提出一组固定问题,并把答案记录为变量。

评估分阶段进行。他们先人工标注30名患者的507份报告(414份放射科、65份病理科、28份肝移植评估报告),建立校准集作为标准答案。随后在73项任务上比较四个开源模型与正则表达式基线:Llama-3.1-8B、Llama-3.3-70B、OpenBioLLM-70B和DeepSeek-R1-8B。最后把表现最好的配置应用到该中心过去十年接受移植的全部835名患者。

约束解码保证格式,不保证正确

一项关键技术选择是如何迫使模型返回可用输出。无约束提示只是要求模型给出答案;约束解码则把生成限制在允许的结构内。在5,590组提示—输出对中,约束解码的格式符合率达到99.9%,无约束提示为87.4%。使用Guidance包时没有无效输出;使用Ollama时,5,614个输出中有4个无效(0.07%)。无约束提示在5,614个输出中有708个失败(12.61%),且数值型问题的失败率(15.38%)高于分类型问题(11.60%)。

可靠性是有代价的。在单块NVIDIA A100-SXM4 80 GB GPU上,无约束模板提示完成校准集提取用了73分钟,而基于Guidance的约束解码用了126.8分钟,约为前者的1.7倍。Ollama实现因机构集群部署限制,单独在Apple M3 Pro芯片上运行,耗时183.4分钟。格式符合率与答案正确率是两种不同的指标:格式完全正确的输出仍可能包含错误数值,因此论文把准确率单独评测。

更大的通用模型胜过医学微调模型

Llama-3.3-70B配合Guidance表现最好,在31项放射科问题中有26项准确率超过90%,其余各项保持在80%及以上;在完整的73项基准上,摘要报告它在59项任务上超过90%。与OpenBioLLM-70B的比较更出人意料:后者是基于较早Llama-3.1架构的医学微调模型,而Llama-3.3-70B在31项问题中有5项(16.1%)显著更好,其余26项至少不差,OpenBioLLM则从未胜出。

模型规模的影响小于预期。Llama-3.1-8B在31项问题中有8项(25.8%)不如70B模型,但其余23项(74.2%)表现相当。正则表达式在分类型问题上也很有竞争力,在31项中有13项(41.9%)持平或超过最好的LLM,在18项(58.1%)上落后;而在数值提取上,LLM明显更强。作者推测,医学微调在这里帮助有限,可能是因为医学基准常用选择题,而非从真实临床文本中提取信息,也可能因为OpenBioLLM基于较旧的基础模型。

队列级提取复现了已知风险因素

应用到全队列后,该流程分析了22,493份报告,生成37,125个数据点,覆盖835名患者的45个变量,全程没有人工标注。设计上采用条件式提问,例如报告中没有肝脏病灶时,就不会触发关于病灶大小的问题。随后按患者汇总报告:肝硬化等二值变量只要任一报告提示存在即记为阳性;病灶分级等序数变量则取所有报告中最严重的等级。

对提取数据的分析确认了文献中已建立的关联:男性、病毒性肝炎、吸烟和糖尿病与肝癌发生相关,讨论部分还提到较高的BMI和较大年龄。作者还比较了移植评估时给出的主要慢性肝病诊断与切除肝脏病理检查的诊断,发现多数重新分类是从酒精相关肝病转向其他病因。这些是移植队列内的关联,不是因果结论;作者也指出该队列富集了癌症病例,并受移植筛选标准影响。

事件级时间线暴露真正弱点

重建时间线比填表更难。在病灶时间线中,每个时间点对应一次扫描日期(相对于移植日),并标注该次报告提取出的各LI-RADS分级病灶数量。在治疗时间线中,切除、消融和栓塞的日期被换算成距移植日的天数偏移。此时模型按单个事件评分,而不是汇总所有报告,结果就不同了。

对于从放射科报告识别的栓塞,Llama-3.3-70B的敏感度为0.77,Llama-3.1-8B为0.67,两者精确率均为0.77。两者都找出了全部消融事件,但各多报一例(敏感度1.00,精确率0.86)。切除是失败点:Llama-3.3-70B在8名患者中多报了8例切除,尽管敏感度为1.00,精确率却降到0.20;Llama-3.1-8B多报2例,精确率为0.50。在格式更标准化的肝移植评估报告上,两个模型表现更好:Llama-3.3-70B对栓塞和消融的精确率与敏感度均为1.00,只多报1例切除(精确率0.67)。

作者直接解释了总体评分与事件级评分的差距:总体指标包含大量真阴性,例如无病灶的扫描;而时间线评估只针对真阳性事件计算错误。这解释了为什么高基准准确率与不可靠的时间线可以并存,也解释了论文为何主张在临床使用前进行任务特定的事件级评估。

错误集中在时间、句法和推断

定性错误复核把失败分为三类。时间维度上,模型处理不好相对变化、已停止的治疗,以及“此前为LR-4”这类历史表述,有时会把旧分级和当前分级当成两个独立病灶提取。句法维度上,模型会把治疗日期错配给邻近操作,或把一份记录中跨多次扫描总结的病灶重复计数。临床维度上,模型无法推断隐含的正常状态,例如报告写“腹部实质脏器正常”时,它把脾脏记为未报告,而不是正常。

错误方向对下游使用很重要。虚构病灶会不当抬高疾病严重程度,而遗漏可能掩盖次要发现;论文认为多报事件是更严重的失败。由此得出的实际优先级并不是简单选择最大的模型。约束解码以约1.7倍的延迟换取可靠结构;70B通用模型胜过医学微调模型;在硬件或数据泄露限制排除大型部署时,较小的8B模型加正则表达式仍然可行。具体到时间线任务,论文自身的证据表明,应在事件层面验证,并更信任标准化的移植评估报告,而非自由格式的放射科记录。

本文引用的文献

1

LLM-based reconstruction of longitudinal clinical trajectories in chronic liver disease

Llama-3.3-70B结合约束解码,从835名患者的22,493份报告中提取37,125个数据点,并复现了已知肝癌风险因素;但事件级时间线重建出现多报和漏报的病灶与治疗,切除精确率降至0.20。