语音驱动的金融语音助手对英国地区口音有多稳健？

口音错误会传到工具调用，而不止于转写

语音驱动的金融助手是一条级联链路：流式 ASR 把音频转成文本，LLM 读取该文本推断意图并发出工具调用，再由文本转语音返回口语答复。ASR 转写是 LLM 能看到的、客户意图的唯一文本表示，因此这里的错误不只是转写瑕疵。

论文认为这些错误的代价并不均等。词错误率对每个词一视同仁，但商户名、金额、日期、时长或时间表达中的一处替换，可能悄悄改变工具调用的指向，而信息量较低的词出错则可能不影响任务完成。这正是该研究在 WER 之外同时测量工具调用 Exact Match，而不是把转写准确率当作终点的原因。

CavaBench 将四个口音组与金融查询配对

CavaBench 被描述为首个内部采集、人工标注的口语金融查询音频基准，在四个英国口音类别之间保持平衡。它由 90 名参与者（50 名男性、40 名女性）通过内部录音界面在干净声学环境中录制，刻意把口音作为主要变量单独隔离。

每位说话者至少录制一轮 20 条查询，查询从 200 条真实金融查询中抽取，涵盖支出汇总、预算跟踪、商户查询、趋势分析和数值查询。最终得到 3,079 条话语，经质量检查后保留 2,919 条，参考转写直接取自提示文本。话语平均时长 4.73 秒（范围 2.16–20.82 秒；总计 3.94 小时）。

自报口音以 76 个原始自由文本值收集，被归为苏格兰（约 685 条话语、约 23 名说话者）、英格兰南部（约 710、约 23）、其他英国（约 747、约 20，合并北爱尔兰、曼彻斯特、约克郡、威尔士和中部地区）、非英国（约 784、约 26）。这种分组支持平衡的组级比较，但也意味着“其他英国”类别把若干不同地区口音混入同一个标签。

微调对口音差距的收窄大于对均值的影响

在干净条件下，微调帮助了较小的流式模型，且没有扩大口音差距。Nemotron Streaming 的整体 WER 从 18.2% 降到 16.1%，并把最大最小口音差距从 2.3% 收窄到 1.5%，即论文的公平性指标。对 Parakeet 施加同样流程后，口音差距从 2.7% 收窄到 1.7%，而整体 WER 仅从 16.6% 微降到 16.5%，Exact Match 没有改善。

口音敏感度取决于模型。Qwen3-ASR-1.7B Chunking 的差距在所有模型中最大，达 9.4%，主要由苏格兰语音上 22.2% WER 的崩塌造成。Cohere Offline 取得第三低的整体 WER，为 15.3%，且差距最紧之一，为 1.6%。在仅干净条件下，整体 Exact Match 从 75.1%（Nemotron Base-LA6）到 80.7%（Qwen3-ASR-1.7B Offline），微调把 Nemotron Streaming 的 Exact Match 从 75.5% 提升到 78.2%。

这一区分很重要，因为更低的平均 WER 和更窄的口音差距是两种不同的成就。Parakeet 的微调是最清楚的例子：差距改善了，平均值几乎没动，任务级准确率也没有跟上。

声学条件对模型的削弱并不均匀

稳健性在模拟条件下单调下降：干净 6.0% WER，随后混响 9.8%、噪声 11.8%、电话 12.9%、重叠 20.0%、环境 28.6%。环境条件叠加了多种退化，明显比任何单一条件更难。

模型退化速度并不相同。Whisper Turbo 与其蒸馏版本仅解码器规模不同，却在环境条件下出现最陡的单一条件崩塌，WER 达 29%。Qwen3-ASR-1.7B Offline 全程最稳健，除混响外保持最高 Exact Match，Cohere Offline 仅落后于两个 Qwen3-ASR-1.7B 变体。Nemotron Streaming 基线规模与 Parakeet 相当，但比 Whisper 和 Qwen3-ASR-1.7B 模型小两到四倍，稳健性较差，作者将其归因于预训练数据的声学多样性较低以及模型规模。微调模型在电话条件下缩小了差距，与该语料自身的领域相符。

WER 能预测工具调用准确率，苏格兰语音除外

在声学条件上取平均后，各模型的整体 WER 与 Exact Match 呈强负相关，r = -0.93。这支持把 WER 用作模型选择的通用信号。然而这一关系在口音组之间并不稳定：四个组中有三个的相关系数在 -0.87 到 -0.98 之间，但苏格兰语音明显减弱，为 r = -0.29，主要因为 Qwen3-ASR-1.7B Chunking 在苏格兰语音上不成比例的 WER 尖峰。

四个 Nemotron Streaming 变体都表现出较强的模型内相关，从 -0.74 到 -0.96，并呈现相同的排序模式：英格兰南部尽管 WER 略高，Exact Match 却略高于苏格兰。作者认为这表明该模式在微调和前瞻设置下都成立。

论文的解释是，不同口音暴露出不同挑战。单个模型的 WER 尖峰打破了苏格兰语音的相关性，而对“其他英国”而言，困难似乎来自口音多样性本身，而非某一种口音。整体 WER 还掩盖了错误代价的不均等，因为保住任务关键 token 比减少总词错误更重要。

前瞻以更高延迟换取有限增益

把上下文更短、延迟更低的 LA6 与上下文更长、延迟更高的 LA13 相比，可以分离出前瞻效应。基线配置从 LA6 的 20.0% WER 和 64.6% Exact Match 改善到 LA13 的 18.2% 和 66.5%。微调配置从 17.6% 和 66.4% 改善到 16.1% 和 67.9%。

这对应 WER 上 1.5–1.8 个百分点、Exact Match 上 1.5–1.9 个百分点的稳定但有限改善。论文把口音稳健性和流式效率视为必须联合优化的竞争性需求，因为口音差距会随所选延迟工作点扩大或收窄，而不是固定不变。

稳健性差距源于训练数据而非架构

作者把稳健性差距归因于训练数据而非架构。其支持性观察是，定向微调为较小的流式模型缩小了大部分差距，这指向用更多样数据训练的高效流式模型，作为追平离线对手的一条路径。

这是论文自身的解释，同时有一个值得留意的测量边界。CavaBench 在干净声学环境中录制，并把口音作为主要变量单独隔离，声学稳健性则在模拟条件下另行评估。该基准也是内部采集的，其“其他英国”类别聚合了若干不同地区口音，因此该类别的组级结果反映的是混合多样性，而非单一一种口音。

证据支持的实践重点并不是简单挑选平均 WER 最低的模型，而是检查候选模型的口音差距和任务级 Exact Match，在实际部署会遇到的具体口音组和声学条件下是否仍然成立，因为一个模型可能在整体 WER 上看起来尚可，却在某一组上不成比例地失败。

本文引用的文献