DEFAME 如何用动态证据完成多模态事实核查？

核查图片为何需要图像证据

论文从一个现实缺口出发：自动事实核查系统大多只处理文本，只有少数能处理视觉主张。即便这些少数系统，也很少同时处理多模态主张和多模态证据，而多数多模态系统无法检索到核查主张所需的证据。作者引用的一项数据是，专业事实核查员核查的主张中约 80% 是多模态的，因此这个缺口影响实质，而非细枝末节。

DEFAME 的做法是把主张中的图片当作上下文的一部分，而不是先把它转成文字描述。论文将其与 RAGAR 对比：RAGAR 也处理文本和视觉主张，但只检索文本证据，并把主张图片转成描述，从而丢弃了视觉信息。DEFAME 则同时检索和评估文本与视觉证据，并返回人类可读的报告，而不是只给一个标签。

六个阶段与动态工具选择

DEFAME 由一个多模态大语言模型、一套多模态工具和一份结构化事实核查报告组成，作为动态的多步检索增强系统运行，其设计参考了既有的事实核查工作流程。整个流程被拆成六个可管理的阶段。每次调用多模态大模型时，输入都包含报告的当前状态作为上下文，以及针对该阶段任务的说明；作者把这种设计称为一种上下文感知，用来引导模型关注当前阶段的相关信息，并支持多跳推理和证据检索。

这些工具并非摆设。在论文给出的报告示例中，系统调用了反向图片搜索、网页搜索、图片搜索和地理位置定位。对于一条关于 1960 年代伊斯坦布尔“篮子人”的主张，地理位置工具返回了国家概率列表，土耳其以 0.26 居首，图片搜索则返回了关于这一习俗的背景讨论。所谓动态，是指系统针对每条主张自行选择工具和检索深度，而不是遵循固定的检索配方。

三个基准各自测什么

评估覆盖三个要求不同的基准。作者选用 AVerITeC，是因为它缓解了早期基准的一些弱点，包括依赖人工构造的主张和证据不足。MOCHEG 基于真实世界主张，要求检索多模态证据，并增加了生成理由的任务。选用 VERITE 则是因为相比早期的图文不符检测基准，它减少了单模态偏差并纳入了真实样本。

这三者不能互相替代。MOCHEG 侧重检索加解释，VERITE 侧重在真实样本上检测图片被脱离语境使用，AVerITeC 侧重更接近现实的主张与证据条件。论文所称的最优性能覆盖这些基准上的单模态和多模态事实核查，因此应把这一结果理解为跨任务类型的广度，而不是某一个数据集上的单一分数。

一个无数据泄漏的时效性测试

论文提出了 ClaimReview2024+，这是一个多模态基准，收录在 GPT-4o 知识截止日期之后发布的主张，目的是避免数据泄漏。主张来自 Google Fact Check Tools API 和 ClaimReview，标签分两步分配：简单情形由基于大模型的脚本自动映射，模糊情形由一位博士级自动事实核查研究者人工标注，再由第二位标注者对照原始事实核查文章进行验证。

最终标签分布为：129 条 Refuted、89 条 Supported、61 条 Misleading、21 条 NEI。作者人工改写了含有明确事实核查措辞的主张，以防泄漏真实性判断；由于该 API 常返回带叠加文字或拼接的预览图，所有图片都经过人工筛选，以反映主张所指的原始画面。作者也提示一个限制：所有主张都在截止日期之后发布，但其中一些可能描述的是事实核查机构重新评估的更早事件。

DEFAME 在哪里最明显胜过 GPT-4o

在 ClaimReview2024+ 上，论文报告 DEFAME 大幅优于 GPT-4o 基线。作者将此解释为时间泛化能力的证据，也说明它具备实时事实核查的潜力。他们指出的机制是：DEFAME 主要把内部知识用于常识推理，并通过外部工具动态检索证据；而依赖参数化知识的系统知识是静态的，面对近期主张会失效。

这一对比是论文最具实践意义的区分。凭记忆作答的模型看不到在其截止日期之后发布的主张，而基于检索的流水线可以去搜索它。论文还指出，仅依赖参数化知识的预测缺少可验证来源的链接，并增加幻觉风险。因此，ClaimReview2024+ 上的结果检验的是检索设计，而不只是模型的原始能力。

报告能解释，但检索可能失败

DEFAME 的输出是一份结构化报告，包含结论、理由、证据和所执行的操作。论文附录同时展示了成功与失败案例。在一个错误预测中，系统找到关于某场活动的证据后，把一条关于空军军官配偶俱乐部照片的主张判为支持，作者将错误归因于过早下判断。在另一个案例中，多次搜索都返回“未找到新证据”，系统把一条关于电线上的渔网的主张标为脱离语境，作者将这一错误归因于证据检索失败。

这些例子之所以重要，是因为它们把失败模式定位在流水线中，而不是结论措辞上。局限性一节还列出相关风险：依赖搜索引擎可能引入不可靠或有偏见的内容；网页抓取容易因访问受限和文档过大而不稳定；LLaVA-1V 等开源模型对格式敏感，提示词的细微变化会影响回答质量。幻觉仍是 LLM 的固有风险，不过作者表示定性分析和人工评估未显示大量幻觉。

结果尚不支持哪些应用

论文明确指出，这些结果尚不足以支持在现实世界中应用。它把 DEFAME 定位为迈向可解释、可验证 AI 的一步，是辅助人类事实核查员的工具，而不是黑箱权威。作者还警告，自动事实核查可能通过优先采用某些来源，或放大检索机制与参数化知识中的制度性偏见，从而塑造叙事；政府或平台也可能滥用这类系统，以内容审核为名过度干预。

与骨干模型无关的设计被作者视为部分答案：DEFAME 会自动受益于降低 LLM 偏见的研究。但作者也承认，可靠性本质上取决于骨干模型的质量，而这一点很难严格分析。对评估这一结果的读者来说，相关边界在于：ClaimReview2024+ 上的强劲表现检验的是时效性和检索能力，而来源可信度、抓取稳定性和人工监督仍是部署前需要满足的开放条件。

本文引用的文献