证据相关不等于证据充分
这里的多模态谣言检测指图文真实性评估:判断一条配文关于事件发生时间、地点或原因的主张是否为假。论文的出发点是,检索到的证据可能主题相关,却仍不足以裁定该主张。网页可能重复正在被核查的说法、遗漏关键细节,或对事件给出相互矛盾的说法;当多个网页转载同一来源时,匹配网页的数量尤其具有误导性。
因此 SAFE-MR 把证据充分性当作一个独立目标。除了二值真实性标签 y,框架还定义目标 a*(x, E) ∈ {0,1},表示所提供的、可采纳的证据是否允许作出有依据的判断。动作空间为 {0,1, 弃权},弃权明确不是第三种真实性类别。标注者依据所提供的证据包判断充分性,而不是依据不受限制的网络访问或记忆中的事实;未解决的冲突被单独记录:来自明显派生或不可靠来源的分歧不必强制弃权。
原子主张与来源感知聚合支撑方法
视觉语言骨干网络抽取扎根于帖子的原子命题,每个命题记录谓词、实体、时间与空间限定词、它是由文本断言还是由视觉内容推断,以及一个重要性标记,表示反驳它是否会改变帖子的语境解读。不可见的日期和地点不被当作直接观察到的图像事实,OCR 则作为带来源的噪声观察保留。
这些主张与检索到的证据构成关系感知图。一个学习到的关系预测器在候选主张—证据对上给出支持、反驳或无关,而可靠性门控综合来源、独立性、时间兼容性和缺失性特征。一致性按来源分组计算,因此转载或联合发布的报道不会成为独立佐证。随后聚合按关系和可靠性对证据贡献加权,在没有检索到任何证据时使用显式的空证据嵌入,并保留残差主张表示。
两个预测头把充分性变成弃权决策
重要性感知池化产生帖子级表示,并与主张覆盖度、决定性反驳、冲突和来源独立性摘要拼接。随后两个头分别预测真实性和充分性:s 估计所提供证据允许作出有依据判断的概率,论文指出它并非定义为检索网页数量或最大类别概率。
推理时,一个正的校准温度产生校准后的真实性概率和归一化不确定性。只有当充分性达到某一阈值且校准不确定性不高于另一阈值时,模型才给出真实性判断;否则弃权。温度在留出的校准划分上拟合,决策阈值则在单独的调参划分上依据温度校准后的不确定性选取。论文指出,域内学到的校准不保证分布偏移后仍然校准。
干预训练分别奖励稳定与敏感
训练目标把真实性、立场和充分性监督与一个干预项和一个 Brier 恰当评分损失结合;缺失的辅助标签被掩码,而不是按负类填补。干预在训练证据上构造,类似的扰动则在留出样本上单独评估。
当标注确认未引入重要信息时,无关添加保持标签和充分性不变,并用 Jensen-Shannon 散度和充分性平方差惩罚预测漂移。关键删除只有在所有冗余的决定性证据都被移除、剩余证据包变得不充分时才降低充分性目标,其排序损失使用 0.2 的排序间隔。冲突添加获得按证据包定制的充分性标签,污染则向局部受控的证据包加入一组含误导性证据的内容。关键在于,这些干预不要求真实性预测翻向虚假证据:真实性标签保持固定,而当论证依据丧失时接受度应当下降。
三个基准上都出现 Macro-F1 提升
SAFE-MR 在 NewsCLIPpings、VERITE-full 和 XFacta 上评估,macro-F1 分别达到 91.2%、75.8% 和 85.2%。相比带证据的匹配骨干网络,提升分别为 2.2、4.9 和 4.8 个百分点。
这些评估总体在影响数字解读的方面存在差异。NewsCLIPpings 提供合成的断章取义配对,本研究使用 100,000 条训练、5,000 条验证和 5,000 条测试样本,无样本排除,每个划分在真实匹配与断章取义错配之间各占 50%;论文指出这些数量描述的是本研究使用的划分,而非通用的官方划分。VERITE-full 使用全部 1,000 条样本,采用二值标签,338 条真实、662 条误导,两类误导都映射为假。XFacta 包含 2,400 条样本,官方开发集 240 条(120 真、120 假),官方测试集 2,160 条(1,080 真、1,080 假),覆盖图像篡改、图文不匹配和误导性文本,而不只是断章取义情形。
弃权最关键处选择错误下降最多
诊断套件评估 600 条基础帖子,每个基准各 200 条,覆盖九种条件:干净证据;证据删除 25%、50% 和 75%;移除全部外部证据;无关证据添加;困难干扰项;冲突证据;以及证据污染。由此产生的全部 5,400 个证据包都被评估,并人工标注充分性、立场、关键证据和冲突。
在这个诊断选择集上,SAFE-MR 把 AURC 从最大概率拒绝的 0.105 降到 0.075,并把 80% 覆盖率下的错误率从 13.8% 降到 8.5%。论文把覆盖率匹配比较视为要点:仅比强制分类器更好,并不能证明显式充分性学习有用,而覆盖率匹配可避免奖励仅仅拒绝更多样本的模型。消融实验把充分性学习主要与更好的选择关联,把干预训练与更强的扰动鲁棒性关联。
充分性标签与适用范围未覆盖什么
充分性目标来自 GPT-5.6-Sol 的初始标签,随后由人工逐条复核。两名标注者进行首轮复核,每条证据包最初由一名标注者复核;随机 600 个证据包(占 3,000 个模型开发集证据包的 20%)由另一名标注者在看不到第一位人工答案的情况下二次复核;二值充分性的裁决前一致率为 82%,在 108 处分歧中,36 处通过后续标注者复核解决,72 处由首席研究员裁决。因此充分性目标依赖对主张重要性和证据可采纳性的判断,模型与人工标注的结合可能保留系统性歧义或偏差,在相互矛盾的说法上尤其如此。
两个范围条件限定了结果。VERITE 帖子不进入模型训练、超参数搜索或温度校准,但来自全部 1,000 条帖子的 1,200 个证据包在协议冻结前被用于制定标注规则,因此 VERITE 虽在模型拟合上留出,却在标注协议开发期间并非未被触及。论文还指出,预训练模型可能已经见过基准主张或事实核查页面,下游测试划分并不能排除这种可能,且当前结果不能确立时间泛化性或不存在预训练污染。评估针对静态图文验证;视频篡改、传播建模和多语言多图推理不在其主要范围内。仅有点估计不足以刻画逐次运行的不确定性,合成的证据扰动也只近似部署中遇到的部分缺失与分歧。
用覆盖率匹配错误而非弃权率评判选择器
这篇论文中与决策相关的比较不是头条 macro-F1,而是覆盖率匹配的比较。弃权更多的检测器可能看起来更安全,却并不更好;这正是论文在匹配覆盖率下把 SAFE-MR 与最大概率拒绝和一个学习到的选择器比较的原因,也是 AURC 从 0.105 降到 0.075、80% 覆盖率下错误率从 13.8% 降到 8.5% 这组数字真正说明选择性验证的原因。
论文自身对何时重要的界定,是无关添加与决定性删除之间的区分。干预训练的设计目标是:添加无关证据时预测和充分性大致不变,而移除全部冗余的决定性证据时充分性下降,却不迫使真实性标签翻转。对评估选择性谣言检测器的读者而言,这种不对称就是实用检验:看系统在无害证据增加时是否保持稳定,并在论证依据真正丧失时是否变得更不愿下判断,而不是看它是否只是更频繁地弃权。
本文引用的文献
SAFE-MR: Evidence Sufficiency Learning for Selective Multimodal Rumor Detection
SAFE-MR 将主张真实性与证据充分性分开,在一个 600 条帖子的诊断选择集上,相比最大概率拒绝把 AURC 从 0.105 降到 0.075、把 80% 覆盖率下的错误率从 13.8% 降到 8.5%,同时在 NewsCLIPpings、VERITE 和 XFacta 上分别达到 91.2%、75.8% 和 85.2% 的 macro-F1。
