在真实部署中，引文核查型AI系统应如何衡量事实准确性？

为何单一准确率评分可能完全误导你

单一指标——例如让一个AI模型评判另一个——可能得出与现实完全相反的排名。在一项2026年针对六个医疗AI研究系统的评估中，单模型评价将表现最佳的系统排在最末（得分55.5），而结合了程序化引文验证、基于规则的合规性检查以及多模型评判的三层框架则将其排在首位（得分81.8）[2]。这种彻底的逆转表明，主观的单评判者评估在衡量事实准确性方面并不可靠。

同一研究发现，引用完整性是决定质量的关键维度：各系统的幻觉率介于2.9%至36.8%之间，而基于每项任务引用分数的硬性阈值规则，导致六个系统中有四个的总分被锁定在惩罚上限[2]。引入多智能体引用验证与修复流程后，某系统的引用完整性评分从40.0提升至90.9，加权总分从68.9升至81.8[2]。这意味着自动化验证流程能显著提升准确性，但前提是必须从一开始就将其嵌入评估框架中。

最佳准确率与典型准确率之间存在巨大差距

在这些研究中，即便是最优秀的人工智能模型，每四次引用中仍会出现约一次错误。在一项2026年针对四种AI模型生成眼病研究PubMed格式参考文献的试点评估中，DeepSeek以78.6%的准确率（35条引用中正确22条）位居首位，ChatGPT和Copilot各为51.4%，而Gemini仅为12.9%[1]。另一项2025年关于神经眼科引用的研究也得出了类似结果：DeepSeek准确率为75.0%，Copilot为60.5%，ChatGPT为31.4%，Gemini仅为3.0%[5]。最常见的错误包括DOI不匹配，以及生成无关或无法验证的参考文献——研究人员称之为“幻觉”。

这些数据来源于使用标准化段落的受控任务，因此实际应用中的表现可能更差。2026年的研究指出，专家验证确认了DeepSeek的相对优势，其参考文献中有42.9%被归类为完整引用，而Copilot为20.0%，ChatGPT和Gemini均为11.4%[1]。这意味着，即使是最优模型，在人类专家评判下，其完全正确的引用比例也未能过半。综合所有五项研究，一致的结论是：没有一个人工智能系统能在无需人工验证的情况下，达到学术工作所需的95%以上的准确率。

人类监督并非可有可无——它是唯一的安全网

五项研究均指向同一结论：人工智能引文工具需要严格的人工核查。一项针对2026年骨科手术文献的研究发现，229篇参考文献中有27.5%存在错误，其中9.2%为重大错误，如结论矛盾或事实缺失[3]。当研究人员测试两个AI平台以自动核查引文准确性时，两者均未能完成全面审查，原因在于它们无法获取全文来源或应用分类系统[3]。这意味着AI工具甚至无法可靠地核查自身工作，更遑论修正现有文献中的错误。

2026年的一项研究显示，学生对ChatGPT和Jenni AI的评价表明，尽管他们认可人工智能在提升写作效率方面的潜力，但强调仍需人工验证以确保事实准确性和伦理合规性[4]。与ChatGPT相比，Jenni AI在一致性和引文验证方面表现更优，而ChatGPT则更频繁地出现编造和不准确的情况[4]。实际启示是，任何引文核查型AI的应用都必须包含人工介入环节，由能够查阅全文文献、运用结构化错误分类系统并最终判定准确性的专业人员把关。

关于这些来源

该回答基于5篇经同行评审的研究构建而成——发表于2025年至2026年，其中5篇来自2024年或之后——这些研究是从5项通过质量筛选的研究中选出的最具相关性的成果，而它们又源自从超过5亿篇论文的数据库中检索到的55篇文献。

本文引用的文献

相关研究问题