本地部署的大模型能准确回答芬兰电子病历中的临床问题吗？

这是信息检索任务，不是医学考试

这篇论文针对的任务比通用医学问答更窄。临床医生常常需要从跨越数年的病历记录中找出一个具体事实：肿瘤在左侧还是右侧、记录了哪种受体状态、某项治疗是否在手术前进行。作者把这种任务称为临床情境问答：模型拿到一份患者记录和一个自然语言问题，必须返回该记录中记载的取值。

测试集来自芬兰皮尔坎马福祉服务县的183份假名化记录，覆盖当前或既往乳腺癌患者、疑似乳腺癌患者，以及筛查未发现恶性病变的就诊者。每份记录按最多21个预设问题标注，只保留临床上适用的患者-问题组合，最终得到1,664个问答对。答案被限定为分类标签或数值，当信息缺失或无法确定时使用“Unknown”选项。

数据有两个特点会影响对全部结果的解读。文本以芬兰语为主，夹杂少量英语和拉丁语医学术语，未做翻译或语言规范化。输入是经过数据最小化处理的摘录，以26列表格存储，并非完整的原始电子病历：数据提供方已事先将其筛选为与乳腺癌相关的内容。记录长度为408至5,508词，中位数1,792词。

十四个模型，无检索步骤，无网络

研究评测了来自五个模型家族的14个可本地部署的指令微调开源模型，参数量大致从4B到70B。全部推理都在封闭的离线计算环境中完成，不向外部传输数据，这也是论文的核心隐私主张：患者文本始终不离开机构管控的硬件。

这一设计有意跳过了检索增强生成，即常见的先检索记录中的相关片段、再只把这些片段交给模型的做法。相反，每个模型都接收整份可用摘录，因此评测检验的是长上下文模型能否整合分散在时间上相隔较远的临床事件中的信息。这一选择也解释了上下文长度为何成为硬性约束：两个Llama-Poro模型只能在955个问答对的缩减子集上评分，因为更长的记录超出了它们的输入窗口。

这里的准确率指与一位肿瘤内科医生标注结果的一致程度，而非与专家组的一致程度。该标注者在两个月后盲法重标，1,740个临床相关实例中有96.8%一致；不一致的问答对被排除而非另行裁定，因此参考标准置信度高，但来自单一标注者。

表现最好的模型答对了大多数问题

Llama-3.1-70B在自由文本生成中准确率最高，为95.3%。参数量约30B的Qwen3-30B-A3B-2507达到95.1%，差距小到作者将两者视为相当。这一点很重要，因为较小模型的运行成本也低得多：在标准化的Transformers配置下，它在所评测记录上均能在10秒内给出回答，而DeepSeek-R1-Distill-Llama-70B等推理型模型每次查询最长需要153秒。

一致性是与准确率分开测量的。对Llama-3.1-70B而言，97.3%的语义等价问题变体得到完全相同的回答，无论这些回答是否正确。这是一个独立属性：模型可能在原始措辞上答对，却在同一问题换一种说法时改变答案，而这正是临床医生在使用现场难以察觉的失效方式。

领域专门化并未系统性地带来优势。医学领域模型和芬兰语专门化模型相对通用模型没有一致优势，参数量本身也不能决定表现——中等规模的Qwen模型在占用更少内存的同时，达到了与最大模型相当的水平。

时间推理和数值问题更难

21个临床问题的准确率并不均匀。肿瘤侧别或侵袭性、组织学亚型、受体状态等治疗摘要类问题通常准确率较高。需要跨治疗时间线做时间推理、或需要解读电子病历中定量数值的任务，表现则下降。

作者给出的最清晰例子是判断患者是否接受过新辅助治疗，即在手术前给予的治疗。回答这一问题需要整合时间上相隔较远的事件信息，而不是读取单个字段。与此一致，数值输出问题的平均单题准确率低于分类输出问题，不过各题之间的准确率差异很大。

解释这些差距时有一个限制：参考标注没有记录每个答案依据哪个源字段，也没有提供支持性证据片段，因此作者无法检验表现是否取决于相关信息在序列化记录中的位置。逐题模式只是描述性的，并非已证实的机制。

量化节省内存，但准确率代价不均

离线运行大模型既是准确率问题，也是硬件问题。在标准化配置下，大模型需要超过130 GB的峰值内存，而较小模型保持在约25 GB以下。有两个模型直接失败：Llama-4-Scout-17B-16E未能完成电子病历推理，GPT-OSS-20B能处理较短记录，但在较长输入上失败。

低精度量化——用更少的比特存储模型权重——被作为解决方案进行测试。4比特精度大体保住了准确率，同时大幅削减内存。Llama-3.1-70B从bf16的95.3%降至4比特的92.1%，峰值内存从148.2 GB降至53.6 GB；Qwen3-30B-A3B-2507从95.1%降至94.1%，内存从61.8 GB降至20.5 GB。

8比特的结果不稳定，不应被解读为8比特量化的普遍特性。Llama-3.1-70B降至65.1%，R1-Distill-Llama-70B从bf16的94.8%跌至11.2%。作者将这些异常归因于特定模型与量化实现之间的相互作用，他们得出的实际结论是：在这一场景下，4比特是更可靠的内存节省方案。

高准确率不等于可信的置信度

在另一项受限的多项选择评测中，每个预设选项按其条件似然打分，得分最高的选项被选为答案，作者因此能读出模型的置信度。准确率与自由文本结果接近，但校准——即模型给出的置信度与实际正确率吻合的程度——在不同架构间差异很大。

Llama-3.1-70B在该设置下准确率最高，为95.7%，但期望校准误差为中等水平的0.123。Llama-3.3-70B准确率略低，为95.0%，期望校准误差最低，为0.039。Gemma-3-27B-it兼具94.1%的准确率和良好校准（期望校准误差0.045），而MedGemma-27B-text-it准确率相当，最大校准误差却高达0.707。较小模型通常校准误差更大。因此，高准确率模型给出的自信回答并不自动意味着校准良好。

安全性分析是论文影响最大的结果。一位肿瘤内科医生在不知道参考标签的情况下，复核了Llama-3.1-70B全部78个被自动评分器判为错误的自由文本回答。其中15个被重新判为正确，15个为临床不显著错误，48个为临床显著错误——即可能影响诊断推理、治疗决策或患者管理的错误。这占全部1,664个回答的2.9%。

换个问法可能把正确答案变成有害答案

第二项安全性分析揭示了一个仅看准确率会掩盖的风险。作者收集了两个语义等价问题版本给出不一致回答、且一个正确另一个不正确的案例。38对这样的案例中，专家复核将3对重新判为正确，剩下35对。

在这35对中，16对——占全部1,664个原始问题的0.96%——包含一个正确答案和一个临床显著错误。另有19对（1.14%）包含一个正确答案和一个临床不显著错误。换言之，临床医生用合理的另一种说法提出同一问题，可能得到实质不同、甚至可能有害的答案，而输出中没有任何信号提示发生了变化。

这就是论文把一致性和校准与准确率并列为采用标准、而非次要指标的原因。一个在某种措辞下95%正确的模型，如果其错误集中在特定措辞上，并且以不应得的自信给出，仍然可能不安全。

支持本地部署，不支持无人监督使用

证据支持一个具体主张：本地托管的开源模型可以从纵向芬兰电子病历摘录中检索预设的患者特异性乳腺癌变量，而无需把数据送出机构；一个30B模型能以与70B模型相当的准确率完成这一任务，且实测内存占用和延迟更低。作者还指出，其准确率数值落在相关英语评测报告的范围内，但同时提醒，临床范围、源数据、问题设计和评分方式的差异使直接比较受限。

边界同样具体。评测覆盖的是预设的乳腺癌变量，而非不受限的电子病历问答或开放式指令遵循。它使用的是数据最小化摘录而非完整记录，也没有测试模型能否识别无效的问题前提或不适用查询——这是作者明确留待未来评估的真实部署需求。测量结果描述的是标准化Transformers配置，不应被当作生产环境的延迟。

由此得出的实际优先级是在模型选择与人工监督之间做区分。基于这些证据，在70B和30B模型之间做选择时，应把准确率与内存、延迟和量化行为一起权衡，因为准确率差距很小，而效率差距不小。但研究中没有任何配置达到可无人监督使用的程度：2.9%的回答含临床显著错误，0.96%的问题在一种措辞下得到正确答案、在等价措辞下出现显著错误，因此来源归因、前瞻性工作流验证和人工复核仍是部署的前提条件，而非可选的改进项。

本文引用的文献