把观看者当作攻击目标来检验
多数深度伪造研究问的是机器检测器能否标记出被篡改的视频。这篇论文问的是另一个问题:当深度伪造针对一个人时,这个人的意识判断,或者判断之下的知觉加工,能否察觉到异常?作者把深度伪造视为对抗性载荷,即把候选篡改内容拿去测试真人观察者,能通过测试的就保留下来。
这一框架给出两条成功标准。行为攻陷指观看者把篡改片段当作真实内容接受。潜意识规避指观看者的脑电和注视测量对伪造与真实素材没有显示出可区分的反应。同时满足两条的载荷,被视为对无辅助观看者有效。作者也明确指出,实际中一次攻击是否奏效只由行为攻陷决定;神经测量回答的是另一个问题,即是否还残留某种可被防御手段提取出来的潜在信号。
真实、伪造与替身视频同场比较
实验让受试者观看真实视频、深度伪造视频和长相相似的替身视频,同时记录行为判断、脑电和眼动。刺激素材来自 Celeb-DF 和一个精选名人集合。替身条件由真实、未经篡改的相似人物影像构成,因此能把身份不匹配与合成篡改区分开。
熟悉度是被操纵的变量,而非固定条件:有些身份是熟悉的,有些是短暂熟悉的,还有些是长相相似的替身。脑电采集自五个通道,按一秒一个时段汇总为认知状态指标,并在 theta、alpha、beta 和 gamma 频段上考察功率谱密度。眼动记录注视、注视时长和扫视,并在演员的眼睛、嘴和头部定义兴趣区。
四名受试者因信号噪声被排除后,最终脑电分析纳入20人;眼动和行为数据保留24人。受试者事先未被告知研究聚焦深度伪造,97.4%的片段对他们来说是新的,这限制了先前接触带来的影响。
没有神经或注视信号区分伪造与真实
核心结果是一个零结果:真实视频与深度伪造视频之间没有出现统计显著的神经生理差异。这与作者的预期相反,他们的预期来自预测编码研究,以及此前发现绘画和钓鱼网站即使被人误判也能引发内隐神经反应的证据。
替身条件让这个零结果可以被解读。脑电测量把替身条件与熟悉、短暂熟悉条件区分开,p 值分别为 0.017、0.04 和 0.025,也把视频试次与休息区分开。注视测量在视频内各兴趣区之间分辨出显著差异,p < 0.001。换言之,仪器在有差异的地方检测到了差异,因此真实与伪造之间没有效应,不太可能是测量失败。
作者对时间尺度保持谨慎。他们的认知状态指标按一秒一个时段汇总,无法分辨瞬时的、与时间锁定的成分。另一项研究报告的那种约1.3秒处的短暂错误相关负波,在这种分析中不会显现。因此这个零结果针对的是持续性的差异投入,而不是所有可能的神经反应。
熟悉面孔带来更高的错误接受
在行为层面,受试者把26.68%的篡改片段当作真实内容接受,面对熟悉身份时这一比例升至31.94%。作者在讨论中报告,熟悉身份的深度伪造产生32%的假阳性率和仅23.15%的准确率,而受试者对替身条件中的人类冒充者识别准确率为95.24%。
熟悉度比较需要谨慎解读。受试者对不熟悉面孔也把判断标准推向拒绝:真实的短暂熟悉片段被拒绝的比例为28.24%,而熟悉片段为9.61%。短暂熟悉条件的总体准确率实际上更低,为75.69%,熟悉条件为79.22%。因此作者把熟悉度效应描述为错误方向的偏移,而不是敏感度的整体下降。
他们还考虑了一种替代解释:生成器可能接触过更多知名人物的素材,使这些深度伪造在技术上更好,而不是其观看者更易受骗。Celeb-DF 部分大致固定了生成器接触量,因为所有身份都来自同一素材池、由同一合成流程生成,而假阳性率仍然差异明显,为31.94%对20.37%。作者并不认为这一替代解释已被排除,因为精选名人素材来自外部来源,把知名度和生成质量混在一起,而且他们没有测量每个片段的技术保真度。
信号缺失为何限制依赖观看者的防御
两层设计之所以重要,是因为它改变了哪些防御仍然可行。如果深度伪造在行为上被接受,但仍引发可区分的神经或眼部反应,那么这个信号存在于观察者体内,原则上可以被提取出来,办法是给观看者加装仪器,或把注意力引向已经产生反应的那些区域。如果根本没有这种反应,就没有潜在信号可提取,依赖读取人类知觉的防御无论传感器质量多高都无法成功。
作者把这一点与消费级脑电和眼动硬件已便宜到可以大规模部署联系起来,也与那些假设人类知觉能提供可用信号的注视感知或神经自适应防护界面提案联系起来。对于本文考察的内容,他们得出结论:这种信号并不存在。他们给出的推论是,缓解必须来自自动检测、来源认证与水印标准以及平台层面的控制,而不是来自观看者。
该框架明确具有两用性。拥有同等测量手段的攻击者可以反复迭代候选篡改,保留那些能规避人类检测的版本,这正是作者主张开展公开防御性评估的理由。测量哪些深度伪造能击败人类知觉,为攻击者能力设定了一个现实上限,检测工具、来源机制和面向用户的防护都可以据此评估。
结论的适用边界
刺激素材是无声的,因此这些发现只涉及视觉欺骗,可能低估了把篡改视频与合成语音结合的多模态深度伪造带来的易感性。实验室环境可能无法反映现实中的遭遇,样本也缺乏广泛的人口多样性,无法按年龄、性别、认知能力或技术熟悉度进行分析。
与一项表面上相似的脑电和眼动研究的比较,也被定位为范围条件而非矛盾。作者列出可能解释结果分歧的方法差异:约1.3秒处的瞬时成分,他们的汇总指标无法分辨;依赖更宽广场景的注视效应,而头肩镜头素材提供不了这种场景;以及明确的真伪二选一强制判断,而非他们的身份判断,后者可能没有启动同样的错误监控过程。
信心没有替代辨别力:24名受试者中有22人知道深度伪造这个词,并对识别它们有信心,却没有出现一致的神经生理区分。作者将此解读为自我评估不能作为客观检测的可靠替代。
论文确立的判断重点
这篇论文最具决策意义的区分不是泛泛的真实与伪造,而是在判断标准偏移下的熟悉与不熟悉身份。熟悉身份的深度伪造带来最高的错误接受率31.94%,而不熟悉面孔带来更多对真实片段的拒绝,为28.24%,总体准确率也更低,为75.69%。因此,假设观看者面对不认识的人会更谨慎的防御思路,并不被这些数字支持;错误只是转移了位置,并没有减少。
第二个重点是替身基准。人类冒充者被以95.24%的准确率识破,而熟悉身份的合成篡改产生31.94%的假阳性率,这把脆弱性定位在合成环节,而不是身份不匹配。结合神经和眼部信号的缺失,这一比较是论文最有力的论据:防护必须落在检测工具、来源认证和平台控制上,而任何声称能提取内隐线索的观看者端界面,都必须先证明这种线索确实存在。
本文引用的文献
You Can't Spot a Deepfake?And Neither Can Your Brain Nor Eyes: A Neurophysiological Framework for Deepfake Exploitation of Cognitive Engagement and Implicit Visual Evaluation
真实视频与深度伪造视频之间没有统计显著的脑电或眼动差异,而长相相似的替身视频被清楚区分;受试者把26.68%的篡改片段当作真实内容接受,面对熟悉身份时升至31.94%。
