为何仅凭词错误率不足以衡量语音识别质量
词错误率（WER）几十年来一直是标准指标，但它对每个词一视同仁，忽略了语义。一篇2026年的论文指出，WER往往无法在句子层面反映话语的语义正确性[1]。例如，一份转录若替换了某个关键词，其WER可能很低，但含义却完全改变，而WER无法捕捉到这一点。
要捕捉主观质量，你需要一个能评估转录是否传达出预期含义的指标。同一项研究提出使用“大语言模型作为裁判”的方法，即让大型语言模型对输出的语义保真度进行评分[1]。这种方法与人类感知质量的方式一致——通过理解来判断，而不仅仅是统计词语匹配的数量。
如何结合多种指标以更好地优化基准测试
在基准优化方面，你不应放弃WER，而应辅以语义指标。2026年的研究在标准基准上进行了实验，发现使用其交互式框架后，客观评估（WER）和主观评估（LLM作为评判者）均显示出改进[1]。这表明双指标方法能更全面地反映模型质量。
此外，还需考虑不同输入下的稳健性。2023年一项针对语音转文字服务的基准测试研究发现，其性能会因音频类型（如访谈、讲座、演讲）的不同而存在显著差异[4]。因此，你的基准测试应涵盖多种音频条件，以确保针对某一指标的优化不会导致其他指标的性能下降。
实施主观评估的实用步骤
首先，明确“主观质量”在您的应用场景中的定义——是语义准确性、用户满意度，还是对噪声的鲁棒性。然后，按照[1]中提出的方法，将LLM-as-a-Judge指标集成到您的评估流程中。这涉及将参考转录和假设转录输入给LLM，并要求其评估语义连贯性。
此外，请按照[4]的建议，在多样化的输入上测试你的模型。使用包含不同说话风格、噪声水平和人口群体的数据集。2024年的一项鲁棒性基准测试（Speech Robust Bench）提供了114种输入扰动来模拟真实世界中的失真情况，并揭示了不同人口子群体之间的差异[5]。纳入此类测试有助于确保你的优化不会为了平均质量而牺牲鲁棒性。
关于这些来源
本回答基于5项同行评审研究——发表于2023年至2026年间，其中4项为2024年或之后发表，1项发表于Q1期刊，合计被引用74次——这些研究是从5项通过质量筛选的研究中选出的最相关成果，而这些研究又源自从超过5亿篇论文数据库中检索到的58篇文献。
本文引用的文献
交互式ASR：面向类人交互与智能语音识别的语义连贯性评估
提出将LLM-as-a-Judge作为语义感知的评估指标，并构建交互式智能体框架；在GigaSpeech、WenetSpeech和ASRU 2019上的实验表明，客观与主观评估均有所提升。
IWSLT 2011评测活动概述
IWSLT 2011评测活动的报告，涵盖了语音翻译和语音识别的主观评估，并提供了详细的人工评估方法。
Faetar语音识别基准
介绍了面向低资源自动语音识别的Faetar基准，该基准仅包含5小时带转录的嘈杂实地录音，且转录存在不一致性，利用多语言基础模型实现了30.5%的最佳音素错误率。
开源与付费语音转文字服务的基准测试：质量与输入多样性分析
在六个数据集上对开源和付费语音转文字服务进行了基准测试，发现其性能因输入类型而存在显著差异，其中付费服务通常准确度更高，但仍受音频特征影响。
Speech Robust Bench：语音识别鲁棒性基准
提出了Speech Robust Bench基准，包含114种输入扰动，并发现模型规模、离散表示和自训练能提升鲁棒性，但也揭示了不同人口统计子群体之间的差异。