DDL 数据集为何有助于深度伪造检测与定位?

DDL 含 140 万+伪造样本、118 万+空间掩码和 23 万+时间片段,覆盖 80 种深度伪造方法。

直接答案

DDL 是一个大规模深度伪造基准,目的是让检测器不仅被判断样本真假,还要被判断伪造出现在哪里、何时出现。它包含 80 种深度伪造方法生成的 140 万+伪造样本,以及 118 万+精确空间掩码和 23 万+精确时间片段。其影响最大的设计选择是分布外测试集:测试样本与训练来源的重叠率仅为 21.05%,而 DF40 为 98.98%,AV-Deepfake1M 和 ForgeryNet 均为 100%。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

二值标签无法支撑定位

多数深度伪造数据集只给出图像级或视频级的 0-1 标签,说明样本是真是假。这个标签足以训练分类器,却无法说明哪个区域被篡改、视频的哪一段被改动。论文认为,这正是尝试输出空间篡改掩码或时间伪造片段的方法仍达不到可解释检测要求的原因:这些方法需要学习的标注在很大程度上并不存在。

论文的对比表把这一缺口具体化。被描述为最新同类数据集的 DF40 覆盖 40 种伪造类型、含 110 万+伪造样本,但只提供图像级二值标签。更早的定位导向数据集则走向另一面:Dolos 在单脸场景中标注局部篡改掩码,OpenForensics 和 FFIW 把掩码标注扩展到多脸场景,但三者的伪造类型都有限,且不覆盖音视频伪造。LAV-DF 是首个音视频时间定位数据集,却只有 1 万样本;AV-Deepfake1M 扩展到百万级样本,但只包含一种视频伪造方法和两种音频伪造类型。

掩码与片段回答不同问题

DDL 分成两部分,支持不同任务。DDL-I 存放单模态图像,面向空间伪造定位,模型必须标出被篡改的区域。DDL-AV 存放多模态音视频内容,面向时间伪造定位,模型必须找出被伪造的时间片段。因此,两类标注数量不能当作一个数字来读:118 万+空间掩码和 23 万+时间片段描述的是不同的样本群体和不同的输出。

论文强调,其掩码来自伪造生成过程,而不是事后人工标注。它与此前对现有 FF++ 数据集进行人工标注以获得较精确掩码的工作形成对照,认为后处理无法替代由实际伪造过程产生的标注。这对比较数据集的读者很重要:单看掩码数量,并不能确定掩码的生成方式相同。

80 种方法横跨七类生成架构

方法覆盖是论文列出的四项设计创新之首。DDL 使用 80 种深度伪造技术,横跨七类生成架构:GAN、扩散模型、VAE、Normalizing Flows、NeRF、自回归模型和商业软件。论文给出的细分包括 11 款商业软件工具以及各类研究架构,并称这一广度同时覆盖视觉和音频模态。

篡改模式覆盖是第二项创新。在空间域,DDL 包括换脸、面部重现、全脸合成和面部编辑;在时间域,它包括伪造内容的删除、替换和插入。论文还引入三种它称为新的模式:混合人脸伪造、音视频异步篡改和音视频全合成。第三项创新是场景与模态多样性,包含三种场景(单脸、多脸、音视频)和三种模态(图像、视频、音频)。

测试集上定位分数大幅下降

基准表把验证集与测试集分开,两者之间的差距是论文证明其测试集更难的最清晰证据。在 DDL-I 上,MSCCNet 在验证集达到 99.83 准确率、99.95 AUC、98.14 F1 和 96.79 IoU;在测试集上,同一模型记录为 78.17 准确率、88.88 AUC、66.39 F1 和 49.69 IoU。SparseViT 从验证集的 99.70 准确率和 95.94 IoU,变为测试集的 85.47 准确率和 53.13 IoU。

这一模式在各模型家族中都成立。IML-ViT 从验证集的 90.39 准确率和 69.28 IoU,降到测试集的 80.35 准确率和 41.93 IoU;Mesorch 的 IoU 从 96.56 降到 35.52。仅做检测的基线也下降,但幅度较小:UnivFD 的准确率从 83.64 降到 76.12,DualNet 从 80.97 降到 74.65,SPSL 从 81.34 降到 72.79。由于 IoU 衡量区域重叠而非分类正确性,IoU 的陡降说明在这个测试集上,定位被篡改区域是任务中更难的部分。

音视频时间定位仍接近随机水平

在 DDL-AV 上,报告的指标是准确率、AUC、AP 和 AR,它们描述时间片段预测,而不是空间重叠。UMMAFormer 是三个基线中验证集表现最强的,达到 78.87 准确率、93.35 AUC、72.28 AP 和 58.68 AR。在测试集上,它记录为 54.39 准确率、60.07 AUC、55.75 AP 和 56.14 AR。

另外两个基线下降更多。BA-TFD 从验证集的 67.68 准确率和 95.23 AUC,降到测试集的 42.71 准确率和 68.60 AUC,AP 从 47.20 降到 26.35,AR 从 36.17 降到 23.53。BA-TFD+ 从 70.71 准确率和 94.90 AUC,降到 42.74 准确率和 54.40 AUC。在这个划分上,验证集到测试集的准确率几乎减半,这是论文最强烈的信号:分布偏移下的音视频时间定位尚未被现有基线解决。

测试集仅共享 21.05% 的来源

论文指出,多数现有数据集用同一分布构建训练集和测试集,这可能让模型过拟合,进而在未见条件下失败。DDL 沿两条轴线刻意分离两个分布:真实数据的来源,以及所用的生成模型类型。测得的结果是,DDL 中测试样本与训练来源的重叠率仅为 21.05%,而 DF40 为 98.98%,AV-Deepfake1M 和 ForgeryNet 均为 100%。

这个数字是读懂基准表的关键。验证集到测试集的下降并不证明模型训练得差,而是证明测试集被构造成与模型所见不同。读者若把 DDL 分数与同分布基准上的分数相比,比较的其实是不同的东西,因为分母和来源重叠率都不同。

这是定位基准,不是部署保证

论文把 DDL 定位为支持下一代检测、定位和可解释性方法的基础,并提到它可能在法律诉讼等严谨领域有潜在用途。这些是陈述的目标,而不是已证明的结果:证据包报告的是数据集构建和基线基准数字,不是实地部署或法律验证。基准结果显示,现有基线在分布外划分上性能下降;它们并不显示任何基线足以用于真实世界的取证。

两项范围条件直接来自设计。第一,头条数字混合了不同任务:140 万+伪造样本是总体总量,而 118 万+掩码适用于空间定位,23 万+片段适用于时间定位,因此标注密度因任务而异。第二,基准覆盖两个子集上的十个具名基线,所以关于哪类方法最好的结论受限于这份基线名单。论文还说明,所有源数据均已获准复用且符合隐私要求,使用协议将访问限制在研究用途。

优先看来源重叠率而非原始规模

对决定是否使用 DDL 的读者来说,最具决策相关性的数字不是 140 万+样本量,而是 21.05% 的来源重叠率。单看规模,别处已有类似资源:DF40 提供 110 万+伪造样本,MFFI 为 70 万,ForgeryNet 以 140 万+与 DDL 处于同一量级。让 DDL 与众不同的是细粒度空间与时间标注,加上刻意构造成与训练不同的测试集。

因此,实际选择应按任务划分。如果目标是图像上的空间定位,DDL-I 提供 118 万+掩码,其测试集上报告的最佳 IoU 为 53.13,仍有明显提升空间。如果目标是音视频内容上的时间定位,DDL-AV 提供 23 万+片段,其测试集上报告的最佳准确率为 54.39。两种情况下,值得关注的数字都是验证集到测试集的差距,因为这一差距正是该数据集被设计来暴露的。

本文引用的文献

1

DDL: A Large-Scale Datasets for Deepfake Detection and Localization in Diversified Real-World Scenarios

DDL 提供 80 种深度伪造方法生成的 140 万+伪造样本,含 118 万+空间掩码和 23 万+时间片段;其分布外测试集把来源重叠率降至 21.05%,基线定位分数在该测试集上大幅下降。