临床答案让两种标准奖励设计都失效
强化学习后训练通常选择两种奖励设计之一：RLHF和DPO所采用的人类偏好，或RLVR所采用的二元验证器。论文认为临床问答两者都不适用。接近正确与正确的临床回答可能只差一个被替换的实体，因此随机负例偏好对无法捕捉真正重要的对比。同时，没有任何可执行检查能判定“头孢曲松”是否是脑膜炎经验性抗生素的正确选择，二元验证器无从运行。
论文的动机例子是药物类别答案与具体化合物之别：说对类别却说错化合物属于临床错误，但当参考答案是“肝素”时，交叉熵损失对“考虑一种抗凝药”和“华法林”给出相同惩罚。论文提出的修正方案是从一个受维护的受控词表实例化软验证器，而不是依赖人工标签或可执行检查。
UMLS CUI把实体重叠变成分级奖励
统一医学语言系统分配的概念唯一标识符会把“心脏病发作”“心肌梗死”“MI”等同义字符串归并到同一标识符，同时把“肝素”和“华法林”等临床上有区别的实体区分开。论文通过scispaCy以集合级F1计算生成回答与参考答案之间的CUI重叠，从而得到一个分级、外部指定、无需模型参与循环即可计算的奖励。
这正是它与通过遍历UMLS知识图谱路径来评分诊断推理的本体感知工作的关键区别。概念重叠不需要遍历：它只检查正确的概念是否出现，不关心概念之间的路径。论文直接说明了取舍——该方法失去了推理链信号，但在早期训练策略产生的噪声生成上更稳健，因为此时图谱路径往往不可达。
三项奖励覆盖不同失效模式
复合奖励为R = α·R_judge + β·R_CUI + γ·R_cons，其中α = 0.6、β = 0.3、γ = 0.1。本体项提供分级实体级信号；熵归一化LLM评判器覆盖重叠看不到的安全与证据维度；对填充和重复的小幅一致性惩罚让早期训练样本仍可评分。评判器和参考模型在整个训练过程中保持冻结，策略对每个问题用核采样生成G = 4个回答。
这种分工很重要，因为概念重叠只统计实体，不统计它们出现的顺序或连接它们的推理结构。一个把所有正确实体以无意义顺序列出的回答仍会得高分。论文给出的通用模式是把本体信号（结构化、外部指定）与模型信号（推理、安全、证据）配对，让各自捕捉对方漏掉的东西。
主要指标是Token-F1而非精确匹配
评估在500道留出的MedQA测试题和500道PubMedQA题上使用贪心解码，指标为精确匹配、Token-F1和序列匹配。论文把Token-F1作为主要指标，因为除非回答逐字复现标准答案，EM都会给零分，从而丢弃在较长回答中说出正确实体的答案。由于n = 500并不大，作者还报告了基于10,000次重采样的配对自助法95%置信区间，以及对关键EM差值进行的McNemar检验，并同时给出跨种子标准差。
在MedQA上，复合奖励在Phi-3-mini（3.8B）上3个种子平均达到EM 0.700 ± 0.005、Token-F1 0.202 ± 0.004、SeqM 0.238 ± 0.005，三项均超过SFT。EM增益绝对值很小——0.700对0.680，+2.9%，自助法95%置信区间[−0.03, 0.07]，McNemar p = 0.41，不显著。Token-F1增益很大：0.145到0.202，+39%，置信区间[0.03, 0.09]。在Llama-3.2-3B上该模式重现，Token-F1 +35%、EM +14%。每个单元格的跨种子σ都低于0.005。
本体项贡献三个EM点
在Phi-3-mini上的奖励消融在固定一致性权重γ = 0.1的同时改变两个学习到的奖励项，使用与主表相同的3个种子。仅评判器（α = 0.9，β = 0）稳定在EM 0.667、Token-F1 0.162。仅UMLS（α = 0，β = 0.9）早期更嘈杂，因为对不连贯生成做CUI抽取会返回空集、没有梯度，最终收敛到EM 0.592、Token-F1 0.143。完整混合在所有指标上最高，EM 0.700、Token-F1 0.202。
评判器与复合奖励之间相差3个EM点，论文将其归因于本体项捕捉到评判器无法发现的实体替换。作者并不单独依赖这3个点：在n = 500时配对检验未达显著，McNemar p = 0.18。另一项在训练集留出的500个零样本输出上做的校准发现，评判器奖励的Spearman ρ为0.31，CUI奖励为0.38，所选配比下的复合奖励为0.44，且该排序在Qwen2.5-7B和Llama-3.2-3B上同样成立。
迁移到PubMedQA无需重新调参
在PubMedQA训练集上使用相同的复合奖励、相同权重（α = 0.6，β = 0.3，γ = 0.1）和与MedQA相同的提示模板进行训练，再在500道留出的PubMedQA测试题上评估，Token-F1相对SFT在Phi-3-mini上提升22%（0.183对0.150），在Llama-3.2-3B上提升17%（0.142对0.121），且未重新调整奖励配比或评判器提示。
迁移增益小于MedQA域内的39%和35%，但始终为正。论文将此解读为复合奖励能泛化到MedQA之外，不是LLM评判器提示或CUI重叠统计的产物。该迁移测试保持语言和本体不变；跨本体迁移，例如从UMLS到MeSH或ChEBI，被列为自然的下一步测试，尚未开展。
三项负面发现界定了方法边界
在随机负例下，DPO对强先验模型不如SFT，但对最弱先验模型有帮助。被拒回答从MedQA的三个错误选项中均匀采样，论文称其为弱对比：被拒回答是任意错误答案，而非接近的易混项。在Phi-3-mini上DPO达到EM 0.600，SFT为0.680；在Qwen2.5-7B上为0.630对0.775；而在Llama-3.2-3B上为0.640，SFT为0.570。
在稀疏神经奖励下PPO发散，而带KL-in-loss的GRPO在7B上所有配置都崩溃。Qwen2.5-7B的SFT达到EM 0.775，高于此处报告的任何GRPO结果，因为监督微调直接放大了其强大的医学先验。因此论文把贡献范围限定在GRPO稳定的3B–3.8B规模，并指出在7B上，对更强基座做普通SFT在EM上是更好的选择，本体奖励无法带来它能兑现的收益。
这些结果旁也列出了局限：两个模型家族各三个种子只是初步信号，而非确定的方差估计；奖励消融仅在Phi-3-mini上完成，跨模型复现被推迟；单GPU限制使研究保持在8B参数以下，7B崩溃不能预测更大规模的行为。scispaCy的EntityLinker在标注临床样本上精确率0.78、召回率0.67，上述校准已反映模型生成上的链接器噪声，这限制了奖励的有效性。
重叠奖励值得用在哪些场景
论文的贡献是奖励信号的形式，而非特定本体：形如“从生成文本和参考文本中抽取的规范标识符、针对受维护词表的集合级重叠”的奖励，在任何存在此类词表的地方都适用。通过法条和判例引用标识符做法律问答、通过MeSH或ChEBI术语做科学写作，被列为可能的近期目标，但作者声明尚未测试其中任何一项，并把跨领域主张视为未经验证的假设。
证据支持的实用判断阈值是规模划分，而非普遍升级。在3B–3.8B，复合奖励在Token-F1上是更好的选择，而Token-F1正是能给部分正确的临床内容记分的指标；在7B，对更强基座做SFT已在EM上胜出，该方法没有优势。在复合奖励内部，本体项值得保留，因为它能捕捉评判器无法发现的实体替换，但它在Phi-3-mini上的3个EM点在n = 500时未达显著，因此支持它的依据是Token-F1和消融模式，而不是单独的EM差值。
本文引用的文献
Ontology Concept Overlap as a Training Signal: Knowledge-Grounded Reinforcement Learning for Clinical Question Answering
一种三项GRPO复合奖励结合UMLS CUI重叠、熵归一化LLM评判器和一致性惩罚，在MedQA上使Phi-3-mini的Token-F1比SFT提升39%、Llama-3.2-3B提升35%，而Phi-3-mini的EM增益很小且不显著，7B规模则崩溃。