为什么主观评价是黄金标准——以及它为何难以实现
主观质量最终关乎人类听者的感知，因此评估音频学习器下一补丁预测效果最直接的方式，是开展听音测试并收集平均意见得分（MOS）。例如，2023年一项针对用户生成内容的研究构建了包含520个音视频序列的数据库，并收集了人类评分者的主观MOS作为基准真值[2]。类似地，2021年一项关于用户生成音频的研究创建了包含1,150个片段的数据集，并标注了主观评分，用于训练和测试质量模型[5]。这些人类评判是任何自动化指标都必须与之对比的基准。
但听力测试既耗时又昂贵，因此研究人员常常依赖能够预测MOS的客观指标。挑战在于，这些指标并非普遍可靠——2021年的一项综述测试了12种客观指标，涵盖两个领域（音频编码和源分离），结果发现只有2f模型表现始终良好，而PESQ和PEAQ等其他指标则显示出依赖领域的准确性[3]。这意味着，对于下一补丁预测，你需要了解你的模型引入了哪些失真（例如，编码伪影与分离误差），并选择在该领域经过验证的指标。
客观指标虽便捷，但依赖具体领域——需谨慎选择
如果无法进行人工测试，客观指标便是切实可行的替代方案，但二者并不能相互替代。在2021年的一项研究中，研究人员将12种客观指标（包括PESQ、PEAQ、POLQA和ViSQOLAudio）与来自14项听力测试的人工评分进行了对比——其中7项针对音频编码，7项针对源分离。2f模型在这两个领域均显著优于其他所有指标，而许多在编码任务中表现良好的指标在分离任务中却失效了[3]。这说明，指标的训练数据及其底层听觉模型比其知名度更为重要。
对于用户生成内容，深度学习方法正成为一种强有力的选择。2021年的一项研究提出了一种非侵入式模型，采用堆叠门控循环单元（GRUs），在包含1,150个UGC音频片段的数据集上，与人类MOS的皮尔逊相关系数达到0.834——优于侵入式和非侵入式基线方法[5]。这表明，对于真实世界音频的下一片段预测，学习型指标可能比传统基于信号的指标更具鲁棒性，尤其是在没有参考信号可用的情况下。
评估下一补丁预测质量的实际步骤
首先明确你的下一帧预测所引入的失真类型——是类似压缩的伪影、时间不连续，还是频谱误差。然后，选择一种在该领域已被验证的客观指标。例如，如果你的模型类似于音频编码，PEAQ或POLQA可能较为合理；但如果更接近源分离，2f模型则更为稳妥[3]。如果你的音频是用户生成内容（UGC），可以考虑基于深度学习的指标，如GRU模型，该模型专门针对UGC训练，并与人类评分达到了高度相关性[5]。
在条件允许的情况下，尽量用一小批人工听测来验证你选定的指标。即便是规模不大的主观研究，也能告诉你客观指标是否与人类感知保持一致。2023年的HDR视频研究虽然聚焦于视频领域，却充分体现了构建带有人工评分的领域专属数据库的价值——他们收集了超过20,000条评判意见，从而建立了一个可靠的基准[1]。对于音频，你可以采用类似的方法：为你的一部分输出收集MOS评分，计算其与客观指标的相关性，并据此调整你的评估流程。
关于这些来源
本回答基于5项同行评审研究——发表于2021年至2023年间，其中5项发表于Q1期刊，合计被引142次——这些研究是从5项通过质量筛选的研究中选出的最具相关性的成果，而后者又源自从超过5亿篇论文数据库中检索到的31篇文献。
本文引用的文献
HDR视频主观与客观质量评估研究
创建了首个包含310个视频和超过20,000个人类评判的HDR视频质量数据库，并通过HDRMAX特性改进了VMAF，表明特定领域的主观数据对于开发准确的质量模型至关重要。
面向用户生成内容的主观与客观音视频质量评估
构建了包含520个用户生成音视频序列及其主观MOS评分的SJTU-UAV数据库，并提出了一种优于基准方法的联合音视频质量模型，凸显了UGC中多模态评估的必要性。
感知音频质量的客观度量方法综述：其应用领域依赖性的评估
通过14项听力测试，比较了音频编码和源分离中的12种客观音频质量度量，发现2f模型在这两个领域均显著优于其他模型，而大多数度量指标具有领域依赖性。
移动云游戏视频的主观与客观质量评估研究
构建了包含600个移动云游戏视频的LIVE-Meta-MCG数据库，并收集了14,400个主观评分，同时对多种VQA算法进行了基准测试，证明了领域特定的主观数据库在质量评估中的重要性。
基于深度学习的用户生成内容非侵入式感知音频质量评估
开发了包含1,150个用户生成片段及其主观评分的IIT-JMU-UGM音频数据集，并提出了一种基于堆叠门控循环单元（GRU）的非侵入式质量评估指标，该指标与人工评分的皮尔逊相关系数达到0.834，优于基线方法。