生成模型的先验与人类对图像自然度的判断一致吗？

原始损失为何失效，配对差值为何有效

这篇论文要问的是：生成模型内部的概率景观——即它对自然图像的先验——是否接近塑造人类自然度判断的那些规律。最直接的探针是模型自身的预测误差：如果一张图在人看来不自然，模型是否也给它更高的损失？直接检验会失败。把单张图像的损失与单张图像的不自然度评分做相关，25 个模型的中位 Pearson 相关系数在 Thatcher 人脸上为 .236 和 −.090（分别对应原图与修改图），在光照场景上为 −.145 和 −.203。原始损失主要由场景内容和视觉复杂度决定，因此很难说明某条具体的关系规则是否被破坏。

研究的核心做法是做减法。对每个刺激对，作者计算同一场景原图与修改图之间的损失变化 u = L(修改图) − L(原图)，再与人类的配对不自然度效应 h 比较，后者是同一修改造成的评分下降。由于两张图共享内容，这个配对差值隔离出模型对目标违规的敏感度。在这一设计下，25 个模型在两个任务上都与人类的配对判断正相关，Thatcher 人脸的中位相关为 .747，光照场景为 .334。

保内容编辑隔离出关系性违规

这些操作被设计成改变关系、同时尽量保持低层统计量不变。Thatcher 任务使用 140 个公有领域人脸场景，借助面部关键点将眼睛和嘴部区域原地垂直翻转，再以正立和倒立两种方向呈现，得到 280 个原图–修改图配对。光照任务使用 96 个渲染场景，每个场景施加三种干预——投影交换、反射交换和光照方向交换——共 288 个配对。阴影和反射通过镜像地面区域来交换，物体保持不动；在光照方向条件下，中央物体被水平镜像，而两侧物体和地面阴影保持不变。

这一点很关键，因为更简单的对照会给出不同结果。当把投影完全删除时，场景在物理上变得不可能，但同时也变得更简单，结果所有模型的损失变化一致为负：被破坏的场景反而显得更可能。交换设计保留了低层统计量，消除了这一伪影，使能力更强的架构能够对物理不一致给出正的损失惩罚。因此，配对且保内容的设计不是装饰性选择，而是让与人类判断的比较变得可解释的前提。

人类评分构成比较基准

人类数据来自在线心理物理实验，使用 1（非常不自然）到 5（自然）的 5 点自然度量表，滑块初始位置随机，以避免锚定效应。参与者事先接受了针对具体操作类型的说明——Thatcher、阴影交换、反射交换、光照方向——使评分反映结构合理性而非摄影美感。经过作答一致性筛选后，Thatcher 任务保留 143 名观察者，光照任务保留 105 名，每个项目平均分别获得 35.8 和 26.2 条评分。

由项目平均评分 R(x) 得到两个人类指标：单图不自然度 a(x) = 5 − R(x)，以及配对效应 h = R(原图) − R(修改图)。只有项目层面的聚合值进入模型分析。这两个指标之间的区别，正是失败的原始损失分析与成功的配对分析之间的区别，因此模型侧与人类侧是在相互对应的量上比较，而不是在松散相关的分数上比较。

模型复现人类的选择性敏感

模型并不只是标记任何变化。它们复现了 Thatcher 效应：对眼睛和嘴部翻转的敏感度在正立人脸上很明显，而当整张脸倒立时则下降，与人类面孔知觉中经典的朝向依赖性一致。在物理场景上，模型的反应遵循与物体几何形状相关的人类容忍模式——对于带有明显方向性标志的物体（例如茶壶），观察者很容易察觉阴影和反射的不一致，而对于缺乏显著空间不对称的形状，则容忍这些错误。生成损失在阴影和反射旋转以及光照方向上追踪了这种几何选择性。

作者将此解读为：模型依赖的是类似人类知觉启发式的统计对应线索，而不是充当物理违规的客观检测器。这一解读出自作者，但它锚定在一个具体的分歧上：模型对反射色调偏移的反应远弱于人类。人类把不可能的反射颜色视为决定性的违规，而生成损失只把它当作相对于几何错位而言较小的颜色差异来惩罚。

一致性在编码器与质量指标控制后仍存在

一个自然的质疑是：任何对图像变化敏感的表示都会与人类评分相关。论文用两类基线检验了这一点：一是来自冻结视觉编码器的特征距离，参数规模从 24M 到 8.1B，包括 ResNet-50、CLIP、DINOv2/v3、SigLIP 2、PE-Core、Qwen3-VL-Embedding 和 Jina CLIP v2，并在事后选择表现最好的层，这一选择对编码器有利；二是两套各含五项指标的图像质量指标组，全参考组（PSNR、SSIM、VIF、LPIPS、DISTS）和无参考组（NIQE、BRISQUE、HyperIQA、MUSIQ、LIQE）。

双向偏相关显示，在控制这些基线后，生成模型的分数仍保留与人类一致的信号，而基线在控制生成分数后保留的信号更少。优势在正立人脸、投影和光照方向上最大。在人脸倒立条件下，生成模型和基线的残差相关都减弱，与整体知觉敏感度下降一致。对于表面反射，双方都保留正的残差关联，说明生成表示和编码器表示捕捉了反射自然度的部分不同侧面。作者指出，固定特征距离衡量的是变化幅度而非退化方向，因此这些基线是诊断性参照，而不是上限。

敏感度与一致性在不同时刻达到峰值

跨模型来看，对违规的整体敏感度与人类一致性大体同向变化，但这一关系取决于条件。正相关在倒立人脸（r = .723，95% CI [.118, .923]）和投影（r = .810，[.424, .960]）上稳健；正立人脸的估计为正但不确定（r = .667，[−.215, .904]），而光照方向（r = .051）和表面反射（r = −.371）上关联缺失或为负。

更能说明问题的是，这两个属性在单个模型的去噪调度内部就分开了。随着调度位置从 0 移到 1，人类一致性和违规敏感度在不同位置达到峰值，在 25 个模型上一致性都早于敏感度达到峰值。论文将此视为人类式自然度判断与通用违规检测相分离的证据：模型可以变得更敏感于扰动，却不变得更接近人类。探索性的规模比较指向同一方向——整体任务的一致性与模型规模正相关，但在表面反射上，更大的模型敏感度稳步上升，人类一致性却没有改善。

结论成立的范围与止步之处

证据支持的是一项具体主张：当前生成模型的原生损失景观捕捉了人类自然度知觉的不同侧面，而不是模型概率与人类判断之间的普遍等价。最强的一致性出现在人脸上，顶尖生成模型明显优于即使经过层优化的编码器；最弱的是反射颜色，人类与模型的权重在此分歧。作者还报告，朝向惩罚出现在未经专门人脸训练的 ImageNet 训练 JiT 模型上，并随容量扩展；生成损失也能追踪仅正立人脸内部的自然度变化（中位 r = .493）。

适用范围受设计限制。关系性干预框架最小化了低层混淆，代价是场景多样性，因此将其扩展到无约束的自然图像而不引入伪影仍是未解问题。由于比较的是现成模型，分析无法完全区分核心生成目标与规模、架构或后训练带来的差异。由此得出的实际优先级不是把更低的生成损失当作通用的自然度分数，而是把配对、保内容的损失差值用作诊断工具，并把一致性与敏感度当作两个独立轴来读——调度分析表明，即使整体敏感度看起来是不错的代理，两者也可能分开。

本文引用的文献