人类图像质量判断背后的感知空间有多低维?

一个受神经表征约束的观察者模型显示,人类图像质量判断所需的感知维度远少于图像空间。

直接答案

人类图像质量判断可以用极低维的感知空间来解释,即使考虑自然图像的稀疏性,其维度也远低于图像空间。论文发现,性能饱和所需的维度取决于任务:低层失真判断在约 10 维内饱和,而语义层面的判断需要高出一个数量级的维度。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

预测型指标未触及感知空间结构

从 PSNR、SSIM 到 LPIPS、DreamSim、PieAPP 和 DISTS 等深度特征方法,图像质量指标主要针对预测准确率进行优化。论文认为,这留下了几个基本问题:什么样的感知空间组织起多样的图像,质量判断如何在这个空间内形成,需要多少个维度,以及这种结构在低层判断和高层判断之间是否不同。

论文给出的答案是一个多维观察者模型。每张图像被映射为潜在感知空间中的一个分布,判断则被建模为比较从这些分布中抽取的带噪样本。由于潜在空间被约束为与灵长类视网膜和腹侧流的神经表征只相差一个简单的仿射变换,学到的维度可以用已知的视觉加工特性来解释,而不必当作任意嵌入。

带噪观察者选择更接近参考的样本

在主要数据集使用的三元组二选一强制选择(2AFC)试验中,观察者看到参考图像 r 和两个备选图像 x0、x1。模型把每张图像 x 表示为 N 维高斯变量 Z(x),其均值为 µ(x)、协方差为 Σ(x);协方差随图像变化,因此不同图像可以带有不同程度的感知模糊性。在一次试验中,观察者从三个分布中各抽取一个样本,并选择样本更接近参考样本的那个备选图像。

距离用加权 Minkowski 范数度量:每个维度的权重 αm 补偿感知通道自然量级的差异,指数 p 从 p = 1 的可分离维度过渡到 p = 2 的整体维度。由于样本带噪,同一观察者在不同试验中可能给出不同答案,不同观察者也可能不一致;模型预测的是 x0 胜过 x1 的概率,而不是某个确定答案。

均值场由图像编码 B(x) 经线性投影到 N 维得到,这使模型可以灵活改变内在维度而不固定为某个值。协方差场通过 Cholesky 分解生成,其中使用一个小型 MLP,并对对角元素施加 softplus,从而在构造上保证 Σ(x) 半正定。模型通过最大似然拟合标准三元组 2AFC 实验的行为数据。

模型在三个 2AFC 数据集上接近人类一致性

评估覆盖 BAPPS 和 PieAPP,其中三元组之间的差异来自模糊、噪声和压缩等低层失真;以及 NIGHTS,其中差异来自文本到图像生成的随机性,而不是显式失真。在 BAPPS 上,CORnet-S-Multi 模型达到 .688 的一致性,天花板为 .797 ± .183;在 PieAPP 上达到 .710,天花板为 .766 ± .105;在 NIGHTS 上达到 .859 的准确率,天花板为 1.000 ± 0。

这些数字使观察者模型与所比较的感知指标持平或更好,但比较在不同指标类型之间并不统一。只有观察者模型、CVVDP 和 PieAPP 能在 2AFC 任务中输出选择概率,因此 KL 散度只对它们报告;DISTS、TOPIQ-FR 和 MILO 以 DMOS/MOS 形式预测质量分数,LPIPS、DreamSim、OpenCLIP、DINOv3 和 CLIP 预测学习嵌入空间中的距离,SSIM 和 PSNR 是无参数的经典指标。一致性、准确率和 KL 散度回答的是不同问题,不应被当作同一尺度来读。

低层质量判断约在十维内饱和

核心结果来自改变 N,即潜在感知空间的维度,并找出模型性能停止提升的位置。对于低层任务,质量由模糊和压缩伪影等失真决定,性能一般在 10 维内饱和。这远低于图像空间的维度,即使考虑自然图像中的稀疏性也是如此。

论文还报告了跨域拟合,呈现出相同模式。在 BAPPS 上训练、在 PieAPP 上测试时,CORnet-S-Multi 编码器达到 .707 的一致性,饱和点 n* 为 14 维;在 BAPPS 上训练、在 NIGHTS 上测试时,准确率为 .825,n* 为 48;在 NIGHTS 上训练、在 BAPPS 上测试时,一致性为 .670,n* 为 24。论文指出,目标数据集上的 n* 往往高于其同域对应值,因此饱和维度并非模型自身的固定属性。

语义层面判断需要高一个数量级的维度

对于需要语义层面相似性处理的高层任务,例如 NIGHTS,模型饱和所需的维度比低层失真任务约 10 维的规模高出一个数量级。因此,空间的确切结构,包括维度和每个维度编码的信息,在低层与高层质量判断之间有所不同。

学到的空间在皮层上的分布也反映了这一差异。对于低层任务,加入从 V1、V2 到 V4 的更高阶皮层区域信息只带来轻微的性能提升,而纳入 IT 区的信号实际上会降低模型性能。对于高层任务,IT 区的活动明显超过 V1,说明高层判断明显受益于来自高阶皮层区域的信息。论文将此解读为证据:尽管起点共享视网膜编码,人类在视觉决策中会有选择地构建依赖任务的感知空间。

学到的维度分为纹理、颜色和物体内容

为了解释这些维度,论文使用 BRODEN 概念标注来描述每个 CORnet-S 通道检测什么,再通过学到的投影矩阵汇总这些含义。V1 通道主要选择颜色和低层纹理,V2 以纹理为主,V4 开始产生部件和物体片段,例如轮子、头部和耳朵,IT 则以完整物体为主。

在 N = 2 时,恢复出的轴是可读的。在 PieAPP 上,一个轴从建筑走廊等大尺度重复结构延伸到细碎杂乱的纹理,另一个轴从温暖多彩的户外场景延伸到色调柔和的室内物体。在 NIGHTS 上,一个轴追踪场景的多重性,从单一前景主体到多个重复元素,另一个轴追踪颜色,从色彩较多的图像到接近单色的图像。在更高的 N 下,维度变得更混杂:BAPPS 和 PieAPP 的权重集中在 V1、V2 和 V4,仍以颜色和纹理为主,而 NIGHTS 对 IT 产生显著依赖,并达到部件和物体层面的语义。论文把更高维度描述为同一层级被更细地划分为专门子空间,而不是冗余重复。

潜在空间的尺度限制跨图像比较

由于均值场和协方差场是联合学习的,如果按比例缩放每张图像的均值和协方差,三元组的选择概率保持不变。这使得比较不在同一三元组中的图像分布变得困难。论文提出,需要更直接地观测均值场,例如在图像质量评估任务中采集神经记录,或整合跨内容判断,才能解决这一问题。

论文还把模型与 Bradley-Terry 模型联系起来。后者是一种经典的心理测量缩放方法,假设感知质量服从 Gumbel 分布。两者给出相似的预测能力,论文将其观察者模型描述为对该现象学模型的低层解释。因此,实际解读不是用单一维度数描述人类质量感知,而是相关维度数取决于任务:失真驱动的判断约需 10 维,涉及语义相似性时高出一个数量级,同时有用信息的皮层来源会随任务变得更语义化而从早期区域转向 IT。

本文引用的文献

1

Multidimensional Observer Model and Perceptual Dimensions of Human Image Quality Assessment

人类图像质量判断可以用极低维的感知空间来解释:低层失真任务在约 10 维内饱和,语义层面任务则需要高出一个数量级的维度。