OTAD：纠正 FAD 的两大“原罪”，音频生成评估迈入最优传输时代

TL;DR

在音频生成领域，Fréchet Audio Distance (FAD) 长期占据统治地位，但它对极端伪影（Artifacts）的盲目性一直为人诟病。来自西江大学的研究者提出了 Optimal Transport Audio Distance (OTAD)。它通过学习一个黎曼地面度量适配器来修正编码器的几何偏差，并引入 Sinkhorn 最优传输 来提升对异常样本的敏感度。OTAD 不仅在与人类评估的一致性上超越了 SOTA，还首次赋予了音频指标“单样本诊断”的能力。

1. 痛点：为什么 FAD 经常“听不出”烂音频？

作者通过“双原语（Two Primitives）”视角揭示了 FAD 的局限性：

• 成本原语 (Cost Primitive) 的缺失：FAD 使用冻结编码器的欧氏距离。然而，编码器（如 VGGish, PANNs）在预训练时会产生“不变集（Invariance Set）”。这意味着某些严重的音频伪影在特征空间中可能被映射到极近的距离，导致指标“视而不见”。
• 耦合原语 (Coupling Primitive) 的稀释：FAD 假设音频分布服从单一高斯分布。这种假设会导致“秩-1 污染”（Rank-1 Contamination，如模型反复生成同一个错误片段）的能量被平摊到高维空间的 trace 中，大幅削弱了指标对崩溃模态的检测能力。

2. 核心方法：OTAD 的双重修正

OTAD 对上述两个原语进行了精准外科手术式的改进：

2.1 修正成本：引入黎曼适配器

作者没有更换编码器，而是学习了一个残余适配器 $g_{h}eta(z)=z+f_{h}eta(z)$。

• 物理直觉：这相当于在原始嵌入空间上叠加了一个局部的几何形变。
• 数学本质：它诱导了一个局部黎曼度量 $M_{h}eta(z)=J_{h}eta(z{)}^{o}p{J}_{h}eta(z)$。通过在 FSD50K 数据集上进行对比学习，这个适配器能主动“拉伸”那些编码器原本无法区分的样本距离。

2.2 修正耦合：Sinkhorn 最优传输

不再将分布强行拟合为高斯，而是直接计算离散样本点之间的最优传输计划。

• 灵敏度提升：理论分析（Theorem 1）证明，FAD 对秩-1 干扰的灵敏度受限于特征谱的有效秩，而 Sinkhorn 能够保持与样本量无关的探测尺度。

(注：此处应包含论文中展示适配器架构与 Sinkhorn 耦合流程的原理图)

3. 实验战绩：全方位降维打击

3.1 秩-1 灵敏度测试

在模拟“模态崩溃”的实验中，当 ε=0.05 的样本发生秩-1 偏移时，FAD 的响应强度几乎衰减到零，而 OTAD 及其使用的 Sinkhorn 耦合保持了极高的探测率，领先倍数最高达 3.6 倍。

3.2 人类主观评分一致性

在针对 DCASE 2023 Foley 任务的测试中，OTAD 与人类 MOS 的 Spearman 相关系数显著优于 FAD 和 KAD。特别是在细粒度（Per-category）评估下，KAD 表现由于缺乏成本修正而发生崩溃，而 OTAD 表现极其稳健。

(注：此处应包含论文中图 4 的相关性对比折线图，展示 OTAD 在不同粒度下的优势)

4. 深度洞察：不仅能打分，还能诊断

OTAD 最具工业价值的特性是它的单样本诊断能力。 以往的指标只能给出一个分布之间的标量距离，而 OTAD 通过传输计划（Transport Plan），可以反向定位出到底是 eval 集里的哪几个样本贡献了最多的“距离”。实验显示，在跨类别污染检测中，其诊断 AUROC 高达 0.86-1.00。这对于生成模型开发者来说，是定位模型 Bug 的神兵利器。

5. 总结与启示

OTAD 的成功告诉我们：

1. 高斯假设太老了：在处理现代深度神经网络生成的稀疏异常时，最优传输是更本质的工具。
2. 适配器是性价比之选：不需要重训昂贵的巨型编码器，一个轻量级的残余 MLP 就能解决特征空间的不变性问题。
3. 指标也需要“可解释性”：能够指出具体哪个样本有问题的指标，比单纯的跑分更具工程价值。

目前作者已经开源了 otadtk 工具包，作为现有 FAD 流程的平替，非常值得尝试。