开源大模型能否在没有标注数据的情况下完成法律文档审查？

法律自然语言推理要求模型做什么

论文将文档审查描述为一项需要人类专家投入大量时间阅读法律文档的任务，这对包括政府监察机构在内的组织构成沉重负担，其行政检查重点在于发现违反监管规定的行为。自然语言推理（NLI）被提出为一种计算机辅助路径：模型对照法规或假设审查文档，并判断两者之间的关系。

评估使用 ContractNLI——论文将其描述为英语法律自然语言推理数据集——以及法律遗嘱领域的两个 NLI4Wills 数据集。论文给出的开源模型动机有三点：它们可以在本地运行，因此可以放心处理敏感文档；它们可以通过零样本和少样本学习在无需大量微调的情况下使用；它们内部机制可访问，从而能够传达预测不确定性。检查工作的保密性被列为基于 API 的专有模型会带来安全风险的原因，而检查工作的领域特定性被列为监督方法需要为每个新领域进行大量标注的原因。

为什么零样本比分数更重要

这篇论文中相关的比较并不只是哪个模型得分最高，而是在完全没有标注训练数据的情况下能做到什么。作者在 ContractNLI 上评估了多个最先进的开源权重量化大模型，并报告它们未达到监督结果，但在没有任何微调的情况下达到了合理准确率，最高约 81%。

这一区分很重要，因为监督基线 Span NLI BERT 是为该任务训练过的。论文报告作者成功复现了该基线，以验证原始结果并确认其作为可靠基线。因此，零样本生成式模型是在与一个拥有生成式模型所缺乏的标注数据的模型进行比较。

论文自己的贡献列表将这些主张分开：复现 Span NLI BERT、在 ContractNLI 上评估开源权重量化大模型、通过 NLI4Wills 评估对不同法律领域的泛化能力，以及进行温度和基于 logit 的稳定性分析。

Gemma-4 26B 领先但仍低于监督模型

在测试的生成式模型中，Gemma-4 26B 表现最好，准确率达到 81.2%。论文指出它甚至在一个指标上超过了监督模型，而在准确率上，零样本方法无法超越监督模型。讨论部分量化了这一差距：Gemma-4 26B 比监督模型低 5.7%。

这两句话必须放在一起读。单指标上的胜出并不能推翻准确率排名，论文也没有声称零样本模型在准确率上能与监督性能匹敌。生成式模型方面的头条数字是 ContractNLI 上 81.2% 的准确率，而监督基线在该指标上仍然领先。

论文还报告 Qwen-3.6 35B 在 ContractNLI 和法律遗嘱领域的额外数据集上都表现良好，这是论文关于跨领域行为的证据，而不是第二个准确率头条数字。

十个模型、三个系列、一个任务

该研究在 ContractNLI 自然语言推理任务上考察了三个模型系列中的十个零样本大模型。所有模型都通过 Ollama 量化，限制部分直接指出了这一细节：由于测试集以这种方式量化，作者表示其结果可能无法代表所有量化模型在该任务上的表现。

论文所述开源大模型在此用例中的优势是：本地执行以处理敏感文档、无需大量微调即可使用，以及内部机制可访问以传达预测不确定性。评估设计源于这些优势，而非一般的模型排名目标。

限制部分还指出，研究对推理模式、结构和提示等变量大多使用固定配置，因此结果被描述为非穷尽的，作者也不对其设置与同一模型的其他配置相比的表现作出主张。

温度稳定性与不可靠的 logit 不确定性

论文进行了温度和基于 logit 的稳定性分析，并报告了两个不同的发现。第一，模型对温度变化具有鲁棒性。第二，大多数模型的 logit 不能可靠地反映不确定性。这是关于不同属性的两个独立主张，不应合并为关于模型可靠性的单一陈述。

不确定性分析通过 Mann-Whitney U 检验报告，包含跨标签、随机种子以及三种指标计算方式的效应量：整个响应的 logit、仅标签 logit，以及预测标签的首个 token。结果因模型和指标定义不同而差异很大。例如，在 Gemma-4 26B 的表格中，若干比较不显著，而对于 Gemma-4 E2B，标签 logit 和首 token 表格显示跨标签和随机种子 p < 0.01。

实际解读是：模型在温度设置上稳定，并不意味着其 logit 可以用作置信度信号。论文将这两者视为不同属性，限制部分补充说，这些模型的随机性意味着即使输入和解释保持不变，不同随机种子和温度仍可能产生小的分类变化。

这些结果适用于哪里、不适用于哪里

论文的泛化性证据来自在 NLI4Wills 数据集上验证，以评估向不同法律领域的迁移，并报告 Qwen-3.6 35B 在 ContractNLI 和法律遗嘱领域的额外数据集上都表现良好。这就是此处支持的跨领域主张的范围：一个基准加两个遗嘱数据集，全部为英语。

限制部分进一步界定了结果。测试的模型集通过 Ollama 量化，可能无法代表所有量化模型。推理模式、结构和提示的配置大多固定，因此结果是非穷尽的，也未对替代配置作出主张。作者还指出，虽然其流程和温度设置防止标签预测与生成的解释不一致，但模型的随机性意味着这仍存在很小的可能性。

论文所述下一步是将模型带入监察机构的工作实践，评估其在其他语言和子领域中的表现，并试验不确定性量化方法，包括使用推理能力为生成的标签提供解释。这些是计划，不是结果。

这篇论文真正引出的判断

论文自己的结论是有条件的，而非绝对的：在没有监督数据可用时，零样本开源生成式大模型是真实法律自然语言推理的可行替代方案。这个条件才是关键。在存在标注数据且可以训练监督模型的地方，论文的准确率结果表明监督模型仍然领先，Gemma-4 26B 比它低 5.7%。

因此，实际的分界在于有标注数据和无标注数据的场景之间，而不是一般意义上的开源与专有模型之间。在无标注数据的场景中，论文的排名是 Gemma-4 26B 在生成式模型中以 81.2% 准确率居首，Qwen-3.6 35B 则因在 ContractNLI 和法律遗嘱数据集上都保持良好表现而值得注意。

读者能从这篇论文中得到的最有用信息是：81.2% 这一数字是在 ContractNLI 上测得的无训练数据结果，论文自己的框架将其视为无监督情况下的后备方案，而非监督式法律自然语言推理的替代品。温度鲁棒性发现不应被解读为置信度校准发现，因为同一篇论文报告大多数模型的 logit 不能可靠地反映不确定性。

本文引用的文献