检索质量为何比推理能力更重要
引用核查AI的核心任务是判断被引用的来源是否真实存在，并能否支撑其主张。这需要两个步骤：首先，查找并获取来源（检索）；其次，分析来源是否与主张匹配（推理）。多项研究的证据表明，检索——而非推理——才是薄弱环节。例如，引用验证协议（CVP）明确要求AI系统具备持续、实时的网络浏览权限；仅依赖训练数据或缓存结果的系统无法可靠执行该协议[1]。这意味着，即使是最优秀的推理模型，若无法获取实际来源，也将毫无用处。
RICO引文验证报告应用CVP技术对一份技术报告中的12条引文进行了验证，实现了100%的验证率——但这仅仅是因为AI系统启用了实时网页浏览功能[2]。这一完美得分表明，当检索有效时，推理便能成功。相比之下，SemanticCite研究发现，经过微调的轻量级语言模型在引文验证方面能达到与大型商业系统相当的性能，但前提是必须配合有效的全文检索方法[3]。结论显而易见：推理模型已经足够出色，真正的限制因素在于它们能否获取到正确的源文本。
CiteScreener是一个用于引文验证的流程，通过整合多种检索方法——包括引文上下文提取、被引文献检索以及文本重叠技术——再结合语言模型进行评估，进一步强化了这一观点[4]。该流程的设计优先确保将正确的源文本传递给模型，认识到检索质量决定了后续的准确性。在这些研究中，一致的信息是：检索失败——而非推理失败——才是引文验证错误的主要原因。
推理在哪些地方起作用——哪些地方不起作用
尽管检索是主要瓶颈，但推理并非无关紧要。SemanticCite系统采用四分类体系（支持、部分支持、不支持、不确定），需要对声明与来源的匹配关系进行细致判断[3]。这属于推理任务，研究表明微调模型能够妥善处理——但前提是检索步骤已提供相关文本片段。同样地，涵盖12个科学领域、包含12,723条句子级引用实例的REASONS数据集显示，在覆盖稀疏的专业领域中，模型有时会自信地错误归因引用[5]。这表明当模型缺乏领域特定知识时推理可能失效，但即便在此情况下，根本原因往往在于检索系统难以在细分领域找到相关来源。
CiteGuard（一种检索增强验证系统）发现，在引文验证准确率方面，“搜索文本片段”这一检索步骤带来的个体增益，甚至超过了改进推理模型本身的效果[6]。这直接量化了相对重要性：优化检索比优化推理更有价值。对于任何构建或使用此类系统的人来说，关键在于优先投资检索基础设施——包括实时网络访问、全文提取以及多方法搜索——然后再考虑升级推理模型。
关于这些来源
该答案基于6项研究（2篇经同行评审，4篇为预印本）——发表于2025年，其中6项来自2024年或之后——这些研究是从通过质量筛选的6项研究中选出的最具相关性的内容，而后者又源自从超过5亿篇论文的数据库中检索到的42篇文献。
本文引用的文献
引用验证协议（CVP）
引用验证协议（CVP）定义了一套结构化的工作流程，用于验证引文的存在性及其对论点的支撑作用，并明确要求人工智能系统具备持久、实时的网络浏览能力——依赖训练数据或缓存结果的系统无法可靠执行该协议。
RICO 引用验证报告（v1.0.1）
RICO引文验证报告应用CVP技术对一份技术报告中的全部12条引文进行了验证，通过确认所有来源均真实存在、可获取且实质性支持所提出的主张，实现了100%的验证率。
SemanticCite：基于AI全文分析与循证推理的引文验证
SemanticCite的研究表明，经过微调的轻量级语言模型在引文验证任务上能够达到与大型商业系统相当的性能，但这仅在与高效的全文本检索方法配合使用时才成立，从而证明检索质量——而非推理能力——才是关键驱动因素。
CiteScreener：面向数字图书馆中引文验证的流水线系统及其数据集
CiteScreener整合了引文上下文提取、被引文献检索以及多方法引文评估（包括文本重叠与语言模型），用于检测不相关引文，并以检索质量作为精准验证的基础。
原因：科学句子的检索与自动引用
REASONS数据集包含12个领域的12,723个句子级引用实例，揭示了模型在覆盖稀疏的专业领域中有时会自信地错误归因引用，这表明小众领域的检索困难是导致错误的原因之一。
CiteGuard：通过检索增强验证实现大语言模型的忠实引用归因
CiteGuard发现，“search_text_snippet”检索操作在引文验证准确性上的个体增益，大于对推理模型进行改进所带来的提升，这直接量化了检索质量才是更具影响力的因素。