如何评估智能体视频理解中的主观质量？

为什么主观质量不是一个数字——以及如何捕捉它

主观质量是观看者所感知到的内容，但它很少只是一个单一的分数。在2024年一项关于结肠镜视频的研究中，研究人员要求人类观察者从五个不同的失真属性——时空可见性、亮度、镜面反射、稳定性和实用性——以及一个总体质量评分来对视频进行评级[1]。这表明，单一的“质量”评分可能掩盖重要的差异：一段视频可能很亮但不稳定，或者清晰但带有分散注意力的反射。对于智能体视频理解而言，你需要评估对智能体任务至关重要的每一个维度，而不仅仅是取一个平均值。

同一项研究构建了一个名为DARNet的模型，该模型能够自动预测这些属性评分，且其预测结果与人类评分高度相关，优于现有的九种方法[1]。这表明，设计良好的自动化模型可以接近人类的主观判断，但前提是它必须基于捕捉质量多属性特征的人工标注数据进行训练。

制胜公式：人工评分 + AI裁判 + 任务表现

对于智能体视频理解，你不能仅依赖人工评分——既昂贵又缓慢——但也不能只信任单一的自动化指标。2026年一个用于生成罕见事件合成图像的框架采用了多管齐下的评估方式：客观无参考图像质量指标、一组大型多模态模型（LMM）评估器、人工评分，以及下游零样本目标检测[2]。研究发现，不同模型在不同标准上各有优势——Gemini 3 Pro Image在感知质量上领先，而OpenAI生成的图像在目标检测中取得了更强的召回率和mAP（平均精度均值）[2]。这是一个关键教训：一段视频可能在人类看来不错，但在智能体的实际任务中却失败，反之亦然。因此，你既需要感知指标，也需要任务感知指标。

这种多指标评估方法在其他领域也得到了应用。针对高动态范围（HDR）视频，研究人员在两种光照条件下收集了超过20,000个人类质量评判，随后构建了一个模型（HDRMAX），该模型在广泛使用的VMAF（视频多方法评估融合）指标上有所改进[3]。类似地，一项关于自由视点视频（FVVs）的研究创建了一个包含人类QoE（体验质量）评分的大型数据库，并训练了一个无参考预测模型[4]。还有一项关于时空子采样视频的研究收集了约15,000个主观评判，以了解分辨率和帧率降低如何影响感知质量[5]。在这些研究中，模式是一致的：人类主观数据是黄金标准，但你需要能够预测这些数据的自动化模型，并且需要在特定任务的结果上验证这些模型。

如何实际操作：一份实用清单

首先明确“质量”对智能体任务的含义。如果智能体在分析医学视频，可采用可见性和实用性等属性，如结肠镜检查研究[1]所示。如果它在生成合成训练数据，则应将可检测性纳入质量标准，如罕见事件框架[2]所述。随后，在具有代表性的视频样本上收集人工评分——即使只有几百个样本也可能足够，因为本研究所用的数据库包括1,000个结肠镜检查视频[1]、310个HDR视频[3]和437个二次采样视频[5]。

接下来，训练或选择一个能够预测这些人类评分的自动化模型。研究表明，像DARNet [1]和HDRMAX [3]这样的模型可以与人类判断实现高度相关性。但不要止步于此——还要评估智能体在任务中的实际表现，使用诸如检测召回率或mAP [2]之类的指标。最后，使用一组多模态大语言模型（LMM）评估器作为人类判断的可扩展替代方案，但在此之前，需要先根据人类评分对其进行验证 [2]。这种多层次的方法能为你提供对智能体视频理解中主观质量的稳健且可辩护的评估。

关于这些来源

本回答基于5项同行评审研究——发表于2021年至2026年，其中2项为2024年或之后发表，5项均发表于Q1期刊，合计被引用95次——这些研究是从5项通过质量筛选的研究中选出的最相关成果，而这些研究又源自从超过5亿篇论文的数据库中检索到的46篇文献。

本文引用的文献

相关研究问题