用刻意冲突的音频构建基准
DEAF 要回答的是：音频模型究竟在听信号，还是从文字里推断答案。为此，作者构建了 2,756 条冲突刺激，让说出的内容与声音特征相互矛盾，覆盖三个声学维度：情感韵律（ESC）、背景声音（BSC）和说话人身份（SIC）。
这一设计的关键在于，普通语音基准只奖励正确答案，却不揭示答案来自哪里。如果一段音频的文字与声学特征一致，模型只靠转写文本就能得高分。DEAF 堵住了这条捷径：它让声学证据成为通往正确答案的唯一路径，并为每条冲突配上文本会答错的问题。
三级干扰区分内容偏差与提示压力
每种冲突类型都在三个逐级增强文本影响的条件下评估。第 1 级只有音频内部存在语义与声学的冲突，没有误导性提示，因此错误回答可归因于说出的内容。第 2 级的音频在声学上与内容一致，唯一的压力是描述错误声学特征的误导性提示，从而单独分离出提示引发的迎合。第 3 级重新引入语义冲突，并用提示强化它，于是两条文本通道都指向错误答案。
这套阶梯是论文的关键方法设计。由于各级之间只有某一条文本通道在起作用，作者可以把失败归因于内容、提示或两者的叠加，而不是把所有文本影响当作同一种现象。第 2 级和第 3 级复用预先生成的音频片段，因此比较不需要重新生成音频。
声学稳健性分数统计跟随信号的回答
核心指标是声学稳健性分数（ARS），以百分比报告。它衡量当文本指向别处时，模型的回答有多大比例跟随声学证据；数值越高，说明在文本干扰下声学依据越强。论文还报告了不匹配样本上的原始准确率，这是另一个量，不能与 ARS 混为一谈。
这一区别在数字中可见。在 ESC 上，没有任何模型在第 1 级超过 14.6% 的准确率，第 3 级不超过 3.4%，远低于在四个情感类别中均匀猜测的 25%。回答是开放式的，由 DeepSeek-R1 作为 LLM 评判者打分，每个样本在零样本设置下评估并重复三次。
说话人身份比韵律更能抵抗文本压力
在第 1 级，只有说出的内容构成冲突时，出现了清晰的层级。说话人身份的 ARS 最高，除 GPT-4o-Audio 外每个模型都在 39.6% 至 47.1% 之间；其次是情感韵律（0.9%–24.8%）和背景声音（1.3%–24.5%）。作者将此解读为性别、年龄等声音特征在感知上更易获取，而韵律和环境线索更容易被冲突的文字覆盖。
模型之间的差异很大。Qwen3-Omni 和 Audio Flamingo 3 在第 1 级表现最强，而 GPT-4o-Audio 在三个维度上都接近零，作者推测这可能反映其音频流程实际上退化为语音识别加推理。
误导性提示有时反而提高稳健性
第 2 级出现了一个反直觉的结果：在情感韵律和背景声音上，多个模型的分数高于第 1 级。Qwen2-Audio 在 ESC 上从 14.7 升到 34.0，Qwen3-Omni 在 BSC 上从 24.5 升到 41.6。原因在于结构而非听力变好：第 2 级使用内容中性的音频，移除了音频内部的语义冲突，因此提示是唯一的文本压力，音频本身没有歧义。
说话人身份则朝相反方向变化。多个模型的 ARS 大幅下降，Audio Flamingo 3 从 44.6 降到 15.0，SALMONN 从 39.6 降到 13.6。作者据此认为，误导性的身份提示，例如断言说话人是一位老年女性，特别容易压过基于声音的判断。
两条文本通道同时施压时声学依据崩塌
第 3 级是最难的条件，也是文本主导模式最明显的地方。ESC 上每个模型都低于 7%，BSC 低于 15%。只有说话人身份保持中等稳健性，除 GPT-4o-Audio 外在 32.6% 至 44.1% 之间，这与声音的性别和年龄线索比韵律或环境线索更突出相一致。
即使最强的模型也屈服了。Qwen3-Omni 在第 1、2 级名列前茅，到第 3 级却在 ESC 上降到 0.2%，在 BSC 上降到 14.5%。作者还报告，显式与隐式语义线索总体上差别有限，说明驱动文本主导的是干扰级别，而非词汇的具体程度。人工评估确认，这些刺激中的关键声学线索在感知上仍然可辨识。
该基准覆盖与未覆盖的范围
研究范围刻意收窄。DEAF 覆盖情感、背景声音和说话人身份，未涉及时间推理、多人交互和复杂声学场景。多数刺激通过文本转语音和受控合成流程生成，这能精确操控声学因素，但可能无法反映真实语音的变化和噪声。评分依赖 LLM 评判者，这使评估可扩展，但在模糊案例中可能引入偏差，且缺少大规模人工核验；实验也只在零样本设置下覆盖七个模型。
这些边界限定了结论的适用范围。该发现针对的是模型在受控声学与语义冲突中的行为，并不等于断言这些模型完全无法处理音频。论文自身的表述是：标准语音基准上的高分与真正的声学理解之间存在差距，而冲突设计让这一差距变得可测量。
用冲突案例而非基准均值评判音频模型
DEAF 确立的实际优先级是一种比较，而非单一分数。模型在标准语音基准上的排名，几乎不能说明当文字与声音矛盾时它是否会跟随声学信号；三级结构说明了原因：同一个模型可能在第 2 级看起来相当有依据，到第 3 级却接近零。
在七个模型中，真正重要的排序是按维度和干扰级别展开的。说话人身份是最可能经受文本压力的线索，情感韵律和背景声音最弱，双重干扰则是几乎所有模型都失败的条件下。因此，评估音频模型的读者应追问：所报告的结果究竟测试了哪个声学维度、哪条文本通道，因为把它们平均起来会掩盖 DEAF 专门要暴露的那种崩塌。
本文引用的文献
DEAF: A Benchmark for Diagnostic Evaluation of Acoustic Faithfulness in Audio Language Models
在七个音频多模态大语言模型上，DEAF 的 2,756 条冲突刺激揭示出一致的文本主导：模型对声学变化有反应，但其预测主要由文本内容和提示驱动，在语义与提示双重干扰下声学稳健性崩塌。