多模态语义与时间过规则性如何检测AI生成视频？

MTOR为视觉检测加入字幕语义

多数AI生成视频检测器主要基于视觉表示作出预测，字幕导出的文本语义在很大程度上仍未被探索。论文的第一项实证主张是：字幕导出的文本表示为全局视觉表示提供了互补的判别线索，且两者结合始终优于任一表示单独使用。

这一点之所以重要，是因为字幕由输入视频本身生成：字幕模型产生文本描述时不需要外部提供的文本提示，视频仍是唯一输入。因此多模态分支为同一视频增加了一个语义视角，而不是引入视频之外的新信息。

AI生成视频在时间上过度规则

论文的第二项发现是：AI生成视频比真实视频表现出更强的时间持久性和更低的时间变异性，作者将这一模式称为时间过规则性（TOR）。这是细粒度视觉表示在时间上的属性，而不是视频语义内容的属性。

TOR组件用六个时间描述符量化这一模式，这些描述符由冻结的视频编码器token计算，组织在三个层级：粗粒度帧间连续性、细粒度token对应关系，以及帧到视频稳定性。粗粒度连续性对每帧内的token取平均，归一化帧质心，并计算相邻帧质心之间的余弦相似度。细粒度对应关系使用对称的双向最大相似度度量，在相邻帧之间匹配归一化token。帧到视频稳定性把每一帧的token与其余所有帧拼接后的token进行比较。

在每个层级上，描述符都同时捕捉强度和变化：连续性分数的均值和标准差、对应关系分数的均值和标准差、帧到视频相似度的标准差，以及相邻帧之间的平均绝对变化。论文的主张是：AI生成视频在这些度量上处于异常高的持久性和异常低的变异性。

两个分支互补而非冗余

论文通过比较三个变体在五个基准上的平均表现，检验多模态语义与时间过规则性是否携带各自独立的信息。这五个基准是GenVideo、EvalCrafter、VideoPhy、VidProM和GenVidBench。仅多模态分支达到97.26% AP、97.17% AUC和89.51% ACC。仅TOR变体达到93.22% AP、94.59% AUC和84.19% ACC。

将两个预测结合后，性能提升到97.76% AP、97.92% AUC和90.24% ACC。作者将这些增益解读为证据，说明时间过规则性提供了超出全局多模态表示的判别线索，并以分数级融合实现这一组合。

融合仅基于源训练统计量进行校准：每个分支的分数用源训练集上估计的均值和标准差进行标准化，然后对两个标准化分数取平均。校准统计量在训练后固定，推理时不使用任何目标域样本。

五个基准与46个生成器变体

训练使用GenVideo的官方训练划分作为源数据集，并进一步划分为源训练和源验证子集。真实视频采样自Youku-mPLUG，合成视频由Pika生成。源数据的20%被保留为分层验证集，用于学习率调度、早停和超参数选择。

测试收集了五个基准中46个生成器变体的合成视频，真实视频按GenVideo的标准设置从MSR-VTT均匀采样。证据包中提到的生成器家族包括GenVideo中的Gen2、Sora、ModelScope、MoonValley、MorphStudio、Show-1、HotShot、LaVie、Crafter和WildScrape，以及EvalCrafter中的VideoCrafter V0.9、Gen2-December、MixSR、HotShot-XL和LaVie-Interpolation等额外变体。

论文报告称，在这些基准上相对16个代表性基线取得了最先进的总体性能。由于核心数字是五个基准上的均值，它们描述的是在该基准集合上的平均表现，而不是在任一单个生成器上的表现。

十二种真实扰动下检测依然稳定

鲁棒性评估在GenVideo上，将MTOR与四个代表性基线在12种扰动设置下进行比较，覆盖QP为23、30和38的H.264压缩；QP为28、34和40的H.265压缩；分辨率缩放；帧率转换；色彩空间变换；社交媒体模拟；TikTok风格化渲染；以及TikTok重度后处理。这些既包括单项变换，也包括复合处理流程。

MTOR在全部12种设置下都取得最高AP，平均AP为98.79%，范围为98.60%至98.94%，变化仅0.34个百分点。最强基线D3平均为90.54% AP，低8.25个百分点。DeCoF、ReStraV和FID的平均AP分别为90.39%、87.91%和70.98%。

稳定性差距与平均差距同样值得注意。AP范围为：D3为2.30个百分点，DeCoF为15.77，ReStraV为16.38，FID为26.94，而MTOR为0.34个百分点。DeCoF在分辨率缩放下达到96.28% AP，但在帧率转换下降到80.51%，在TikTok重度后处理下降到81.01%；FID在色彩空间变换下下降到56.04% AP。MTOR在每一种评估扰动下都保持在98.6% AP以上。

不同生成器子集的分离清晰度不同

在10个GenVideo生成器子集上的t-SNE可视化，将多模态分支最后一层隐藏表示与标准化后的TOR描述符拼接，并把结果投影到二维空间。论文指出，这种拼接仅用于可视化，最终MTOR预测来自分数级融合。

真实与AI生成样本总体上形成可区分的分布，但重叠程度因生成器而异。Gen2、Crafter、HotShot、ModelScope、MoonValley、MorphStudio和Sora上出现清晰的类别分离，而LaVie、Show-1和WildScrape在类别边界附近表现出相对更多的重叠。作者指出，这些分离模式与这些子集上取得的高AP和AUC一致。

关注单生成器表现而非只看均值

对这篇论文最具决策相关性的读法，是比较两类证据。均值数字——五个基准上的97.76% AP、97.92% AUC和90.24% ACC，以及12种扰动下98.79%的平均AP——描述的是MTOR的典型表现。单生成器的图景则更不均衡：LaVie、Show-1和WildScrape是真实与合成样本在类别边界附近重叠最多的子集。

对于正在判断这一检测范式能否迁移到具体部署场景的读者，论文自身的变量指向了真正重要的问题。相关视频由哪个生成器产生，它属于分离清晰的家族还是重叠的家族？这些视频是否会经历压缩、分辨率或帧率变化、色彩空间变换，或社交媒体与TikTok风格处理——考虑到MTOR在这些设置下的AP范围为0.34个百分点，而基线范围为2.30至26.94个百分点？

论文自身的框架也设定了一条值得留意的边界：报告的增益来自基于源训练统计量校准的分数级融合，推理时没有目标域样本，且核心结果是覆盖46个生成器变体的五个基准上的均值。因此，单生成器部署是一个比这些均值所回答的问题更窄的问题。

本文引用的文献