多模态奖励模型能否不依赖人类偏好标签训练？

冻结主干上的几千个参数

这里的奖励模型不是微调过的视觉语言模型。它是一个无偏置线性头，接在冻结 Qwen3-VL 主干第 N−k 层、对回答 token 状态做均值池化后的表示上，因此 2B 版本只训练 2,048 个参数，主干一个参数也不训练。给定图像、提示和回答，这个头把池化后的隐藏状态变成一个标量分数。

训练使用批内 Bradley–Terry：一个包含八条样本的微批次里，每条被选中的回答都要与所有被拒绝的回答比较，因此每个正例在每一步会面对八个负例，而不是一个。监督信号只通过负例的生成方式进入，这也是论文把负例采样器而非优化器视为定义奖励的关键。

成本优势来自冻结主干：整套方案的计算量约为完整微调主干的千分之一。论文还报告，用挖掘出的负例训练的头，在同样的 15k 挖掘对上能追平完整微调；而在 15k 精选 RLAIF-V 对上解冻主干，整体只回升 11 分到 .613——真实偏好对需要解冻模型，扰动负例不需要。

负例只改一个事实，不改风格

被拒绝的回答由正例本身扰动生成。对标题而言，算子会替换颜色、数字、大小或空间词等可编辑片段，拼接另一条标题的尾部，打乱从句顺序，或直接返回另一张图的标题；方案给跨图算子 0.15 的权重，并只改一个片段。一条写着“two brown horses beside a red fence”的标题会变成“two brown horses beside a blue fence”：一个颜色词变了，token 数不变，两条只在关于图像的一个事实上不同。

论文认为这一点很关键：常见的无标签替代做法是让模型写出被拒绝的回答，但这样作者、长度和风格都会随事实一起改变，奖励就会把这些差异一并学进去。在作者自己的测试中，用人类标题对策略标题训练出的头，在 Multimodal RewardBench 上只得 .36，低于随机水平，并且在每个 Best-of-N 单元里都选中幻觉更严重的标题。

这些负例很便宜：标题算子是不经过任何模型的字符串编辑，22k 对的负例库在单个 CPU 核上 10 秒就能建好。图像分支则扰动提示，并用固定种子重新渲染两侧，1,212 对需要 5 个 GPU 小时。

探测层本身值 5.8 分

最佳探测层从不在网络顶层：2B 是 N−4，4B 是 N−6，8B 和 32B 都是 N−12，40 层的 GLM-4.1V-9B 也是 N−12。在层扫描中，它比最后一层高 3 到 7 分；在真实的 4B 运行中高 5.8 个可训练分。深度由主干决定，而不是由层数决定，每个峰值都是宽达数层的平台。

这也是标签唯一进入的地方。层是在 Multimodal RewardBench 的可训练准确率上选出的，因此论文把该基准当作开发数据，从不作为迁移证据；迁移结论由 VL-RewardBench 和 MMRB2 承担，方案中的任何选择都没见过这两个基准。

相比之下，作者尝试的每一种训练侧改动都让基准变化不超过 .014：改变损失形式或负例组成，用四倍的对数或两倍的步数训练，或按从易到难、从难到易排列负例。在头学习率、β 和权重衰减上做的 540 组配置网格，全部在分布内达到 .995 以上，而在分布外从中挑选只让基准变化 .0003。

同等对数预算下扰动胜过精选对

在 15k 对时，挖掘负例训练的头在 Multimodal RewardBench 上比精选 RLAIF-V 对高 3 到 4 个可训练分，在 VL-RewardBench 上高 2 到 5 分，包括 RLAIF-V 专门构建的幻觉分项。摘要把这一结果概括为同等对数预算下高 3 到 5 分。

这一比较在不同负例类型间并不一致。只用跨图负例时，训练准确率可达 99%，但在基准上却低于未训练基线，因为它们放大了长度和风格捷径；这个头在长度敏感的安全/偏见列上只得 .224，而对照为 .451。对图像而言，跨图复制对 MMRB2 文生图没有任何迁移（52.7，标签先验为 53.2），而同种子植入编辑贡献了全部增益（56.0）。

一套未调参方案在 32B 达到 GPT-4o

32B 探测头在三个基准上都达到或超过 GPT-4o，并在其中一个上可分辨地领先。在 VL-RewardBench 上它总体得 .724，而 GPT-4o 已发表成绩为 .658，6.6 分的差距相当于差异的 3.6 个标准误。在 Multimodal RewardBench 和 MMRB2 推理上，基准无法分辨这一差距：要在两个标准误下区分其中任何一个，分别需要已发布对数的 13 倍和 3.5 倍。

更强的参照是主干本身作为生成式评判者。在作者唯一运行过它的 MMRB2 上，该评判者比探测头高 4.7 分（四项任务平均 64.6 对 59.9）。探测头的补偿在于它不做任何解码：每个回答只需一次前向传播，而评判者要在两种呈现顺序下各生成一次判断。

这套方案并非 Qwen3-VL 专属。在 40 层的 GLM-4.1V-9B 上，同一方案在 N−12 处同时胜过它的最后一层和未训练评判者。训练数据与基准没有任何提示重合，与 Multimodal RewardBench 的图像重合 0.1%。

两个头基准打平，幻觉判断差 6.4 分

由于主干冻结，在固定二次惩罚下目标函数是凸的，具有唯一极小值，可刻画为采样器差异向量的加权平均，权重是头仍然把该对排错的概率。实际后果是：决定奖励方向的是配对分布，而不是基准。

演示如下：两个探测头分别用同一批挖掘负例数据的两个极端四分位训练，按真实标题到扰动标题的 CLIP 图文余弦下降幅度排序，各 15k 对，规模 2B。它们在 Multimodal RewardBench 上准确率相近，.597 对 .603 可训练分，随后在 VL-RewardBench 幻觉（72.0 对 78.4）和推理（63.4 对 56.8）上分开。作为 Best-of-N 打分器，CLIP 可见的头在 CHAIRs 上比 probe-8B 好 3.8 分，但在 QA 上低 2.9 分。

论文还报告，基准排名在两个方向上都不能预测 Best-of-N 排名；而在探测头确实比多数投票好 7 到 11 分的地方，一个无需训练的对数似然评判者也能达到同样水平。按这些证据，基准分数并不能确定一个头学到了哪种奖励。

验证器标签帮了部署，伤了基准

分析留下一种尚未尝试的采样器：策略自身的错误。作者用廉价验证器给策略的 Best-of-N 候选打标签——QA 用精确匹配，标题用 CHAIR——再用这些对重新训练同一个头。这个循环用的是验证器标签，不是标注者。

得到的头把标题幻觉比基础 Qwen3-VL-2B 和 8B 生成器降低 5.1 个 CHAIR 点，并把图像生成通过率提高 5.4，但在每个奖励基准上都低于它所替代的探测头。在策略自身对上做一轮 DPO，也能在不损失 QA 的情况下把幻觉降低 3 到 6 个 CHAIR 点。

这是论文最尖锐的张力：推动部署表现的监督来自策略自身经过验证的错误，而这恰恰是按基准排名挑选的流程会拒绝的监督。

用你自己策略的样本测试奖励模型

论文收尾时的优先项不是基准排名，而是奖励模型在它实际要打分的样本上的 Best-of-N 表现。两个 Multimodal RewardBench 准确率几乎相同的头，在幻觉判断上差 6.4 分，在 CHAIRs 与 QA 上方向相反，因此单靠一个偏好准确率数字，无法告诉部署者自己买到的是哪种专长。

证据支持的检查很具体。第一，问清这个头是用哪些对训练的，因为采样器规定了奖励，而基准无法识别它。第二，在目标策略自己的候选上评估，而不只在已发布的偏好对上评估，因为验证器标签训练的头改善了 CHAIRs 和图像生成通过率，却在每个基准上退步。第三，把层选择当作真正的超参数：它比最后一层值 5.8 分，超过作者尝试的任何训练侧改动。

适用范围同样具体。层是在 Multimodal RewardBench 上选出的，因此该基准在这里是开发数据，不是迁移证据。32B 对 GPT-4o 的优势只在 VL-RewardBench 上可分辨；在另外两个基准上，这一比较在已发布对数内是平局。而且主干自身的生成式评判者在 MMRB2 上仍领先探测头 4.7 分，所以探测头的理由在于成本和不解码，而不在于它是最强的可用评判者。

本文引用的文献