语言模型对其关系知识的置信度校准得如何？

校准考察置信度是否与准确率相符

知识探测通常只问模型知道多少：它用填空式事实陈述（如“Balach Marri died in [MASK]。”）上的准确率和精确率打分。这篇论文认为，这类分数描述的是知识掌握程度，而不是可靠性。一个模型答对的时间占 60%，却声称有 90% 的置信度，它虽然准确，但校准很差，而且在即将出错时给不出可用信号。

校准把模型给出的置信度分数与它实际答对的概率相比较。在完美校准的系统中，0.8 的置信度意味着答案有 80% 的概率正确。论文用 ACE 衡量校准误差，即置信度与准确率之间的平均差距；还用 Brier 分数，它对过度自信和信心不足都予以惩罚。作者把 ACE 低于 0.1 视为校准良好，即置信度与准确率最多相差 10 个百分点；Brier 分数 0.25 对应一个总是预测 0.5 的随机基线。

读取模型置信度的三种方式

研究在封闭答案集设定下评估置信度，即每条陈述都附带一份固定的候选答案列表。它比较三种方式。内在置信度来自模型在这些答案上的原始对数概率。复述一致性考察模型对同一陈述的多个语义等价改写是否给出相同答案。语言置信度则向陈述中注入明确的不确定性标记，可以是“possibly”“certainly”这类词语标记，也可以是“I'm 0% confident that...”这类数值标记。

内在估计基于单一模板构建。基础分数 CBase 使用模型对答案的概率。边际分数 CMargin 使用最高答案与次高候选之间的差距，作者期望它能更清晰地区分有把握和不确定的预测。复述估计在每个关系的五个模板上汇总预测，熵变体则把答案在模板间的分散程度转换为置信度分数。

复述一致性给出校准最好的分数

在受测模型中，复述一致性的平均估计 CAverage 在 ACE 和 Brier 分数上都优于其他所有方法。对 opt-6.7b，它的 ACE 达到 0.024；对 Qwen3.5-9B(IT)，ACE 为 0.034，两者都接近完美校准。这些估计的校准曲线与置信度等于准确率的对角线只有轻微偏离。

边际估计是单模板方案中最强的。使用 CMargin 时，gemma-7b、Llama-3.1-8B(IT) 和 Qwen3.5-9B(IT) 的 ACE 都低于 0.05。相比之下，CBase 明显过度自信，且产生的低置信度分数不足以覆盖整个置信度区间。作者指出，CMargin 可能把低置信度区间的曲线推到对角线上方，使模型在那里信心不足，而他们认为实践中信心不足通常比过度自信更可取。另外两种复述估计，即简单答案一致性和熵，校准很差、区分能力弱，作者据此认为仅靠答案一致不足以反映置信度。

掩码模型比因果模型更过度自信

分析覆盖 21 个因果语言模型和 8 个掩码语言模型。为了把架构与准确率分开，作者把准确率相近的因果模型和掩码模型配对，比较它们的校准。在全部五组配对中，因果模型的校准明显更好，CMargin 和 CAverage 的 Brier 分数差距常常在 0.1 到 0.2 左右。对这两种估计，每个因果模型的 Brier 分数都达到 0.2 或更低，而没有任何掩码模型做到。

作者把这一差距归因于训练目标。掩码模型在预训练中并不显式建模句子级对数似然，因此研究依赖伪对数似然。作者认为这种缺失是校准差距较大的主要原因，同时指出这种打分仍足以在探测中区分正确与错误答案。规模也有影响：对多数模型家族，模型越大，ACE 和 Brier 分数越低；所有超过 1B 参数的模型用其最佳估计都能达到 ACE 0.1 或更低。较新的 gemma-3 模型比原 gemma 家族准确率更低、校准更差；xlm-roberta-large 是掩码模型中的异常值，作者将其与多语言训练数据联系起来。

更多答案选项改善校准

论文还改变答案选项数量，从 BEAR 数据集 1:1 关系所用的 60 个选项中抽取子集。对小于 1B 参数的因果模型，增加干扰项显著降低校准误差。随着选项增加，平均置信度和准确率都下降，但置信度下降更快，从而缩小了 ACE 衡量的差距。在更大的因果模型和掩码模型中，这一效应较弱但仍然存在。

在选项较少时，规律并不一致。对 Qwen3.5-4B 和 bert-base-cased，选项很少时准确率下降得比置信度快，从而抬高 ACE。大约到 15 至 20 个选项后，ACE 趋于稳定，更大的模型不再获得进一步的校准收益。作者由此认为，稳健的置信度估计需要相当多的干扰项，代价是更高的计算成本。他们还用这一点解释为什么 Wiki-FACTOR 数据集显示出大得多的校准误差：它只提供四个选项。当 BEAR 被抽样到五个选项时，准确率与 ACE 的关系几乎与 FACTOR 一致，例如 gpt2-large 在 BEAR 上准确率 48.97%、ACE 为 0.33，而 opt-6.7b 在 FACTOR 上准确率 49.33%、ACE 为 0.323。

注入不确定性标记的效果并不一致

向陈述中加入词语和数值置信表达，结果好坏参半。“possibly”这类弱化词比“I'm 0% confident...”这类数值弱化词更稳定地改善校准，后者在各模型上的效果更小、波动更大。作者推测，数值表达在训练数据中较少见，因此不太会被可靠地理解为不确定信号。

指令微调并没有系统性地让对数似然朝注入内容的本意方向移动。对 gemma-3-4b-it 和 gemma-3-12b-it，强化词“certainly”实际上降低了过度自信，从而降低 ACE。对基础版 gemma-3 模型，“possibly”把校准曲线推向对角线，而“certainly”把它推得更远。作者把这些视为不一致的效应，而不是可靠的校准手段。

这套校准探测的适用范围止于何处

该探测是面向封闭答案集场景的诊断工具，作者指出其校准误差数值不太可能直接迁移到更实际的环境。真实使用往往没有预定义的答案选项，而复述一致性尤其需要同一陈述的多种表述才能计算。该设定也只捕捉输出不确定性；不可靠的回答也可能来自含糊的提示，而这一框架并不测量。

另一个边界是关系类型。BEAR 不含 N:M 关系，因此这里针对最高答案量化校准已经足够。完整的可靠性评估需要考虑这类关系，并在所有答案选项上评估校准，例如使用基于独热真实标签的 Brier 分数或静态校准误差。在这些限制之内，论文的实践优先级很明确：当存在封闭答案集时，优先采用基于复述一致性的置信度，并预期掩码模型的置信度会比因果模型的置信度更严重地高估正确性。

本文引用的文献