先考推理、再考像素的基准
推理驱动的视觉编辑(RISE)要求模型先推断出目标状态,再据此修改图像:物理反应之后场景应该是什么样,规则变换之后图形应该是什么样,视角改变之后画面应该是什么样。论文认为,现有编辑模型在目标被明确说出时往往能画出合理的改动,但当目标状态需要从视觉证据、外部知识或多步推理中推导出来时就力不从心。RISEBench++ 衡量的正是这一差距,而不是一般意义上的图像质量。
该基准把 RISE 划分为六个推理维度:时间、因果、空间、逻辑、反事实和混合推理,其中混合推理覆盖多轮编辑中同时涉及多种推理类型的情形。六个维度再拆成 12 个子类和 65 种细粒度任务类型,因此模型的短板可以落到单项能力上读取,而不必只看粗略的类别平均分。测试集包含 1000 个人工标注用例,提供中英双语版本,支持单图、多图和多次编辑输入。各维度的用例数量有意不平均:时间、因果、空间、逻辑各 200 个,反事实和混合各 100 个。
一个用例为何要三项满分
每个输出从三个维度评判。指令推理考察模型是否理解并执行了指令中的显式要求和隐含要求。外观一致性考察与指令无关的视觉元素是否在编辑后保留下来,这一项区分了在给定图像上做局部编辑的模型和重新生成整个场景的模型。视觉合理性考察被修改区域是否连贯、是否没有伪影;对时间、因果和空间任务,还要看修改后的内容是否保持物理上的连贯。
三个维度的评分规则并不统一。外观一致性在时间、因果和空间任务上采用 1 至 5 分制,因为这些任务的输入是视觉复杂的自然图像;在布局风格化或合成的逻辑任务上则采用 5 分或 1 分的二值方案。反事实用例不因违反物理规律而被扣分,因为不合物理的结果可能正是任务要求。各维度分数先归一化到 1 至 5 区间,再换算成百分制;但准确率的判定更严格:只有三项指标都达到 5 分,该样本才算被解出。这一定义很关键,因为模型可能在平均维度分上表现不错,却过不了产生头条准确率数字的“三项全满分”门槛。
最强模型仍失败近一半
核心结果是一个远未饱和的上限。58 种被评估方法中最好的 GPT-Image-2.5 Sunburst 达到 56.6% 的准确率。评估池包括 34 个开源模型、19 个闭源模型和 5 种智能体方法,因此这一缺口并非只测了弱系统所致。按论文“三项维度均为 5 分”的规则,这意味着约 43% 的用例至少在指令推理、外观一致性或视觉合理性中的一项上失败。
作者把这一模式解读为瓶颈在生成之前的推理,而不在图像合成本身。其理由是:当期望的改动被明确写出时,模型往往能给出视觉合理、外观一致的结果;而当目标状态需要先被推断出来时就会失败。这是作者对总体模式的解释,并非单独隔离出来的因果检验;真正让这一解释站得住脚的,是基准给出的各维度分数。
会规划、执行与检查的智能体
RISE-Agent 是论文提出的免训练解法,由三个角色组成。规划器推断期望的目标状态,在需要领域知识时调用网络搜索,并可调用七个基于代码的工具,覆盖算术、日期计算、网格与图的最短路径搜索、数独求解、坐标几何和矩阵变换。执行器随后用生成式编辑器或一套包含 12 种确定性操作的工具箱来实现计划,这些操作包括画线、区域重新着色和内容搬移,未触及的像素保持不变。验证器给候选结果打分,并在固定的修正与重规划预算内选择通过、修正或重规划。
组件对比显示这个闭环确实起作用。加入验证器引导的修正后,总体分数提升到 48.0%,并在六个推理类别中的五个上取得最佳表现。空间任务上的提升最小,作者将其归因于验证器的空间理解能力有限。RISE-Agent 在显式规则推演上还达到 47.2%,高于该子类下所有被评估的闭源模型;在报告对比表中,其 65.9% 的总体准确率也高于表中列出的其他智能体方法。这些结果只对应一种智能体配置,并不能证明智能体方法普遍能补上这一差距。
多轮编辑会累积视觉退化
混合用例暴露出单轮分数掩盖的失效模式。在一个连续编辑的例子中,时钟先被拨快一小时,再整体旋转 180 度,随后分针顺时针旋转 3600 度;每一步的中间结果都必须既语义正确、又在视觉上稳定,才能支撑下一步编辑。有些模型在多轮之间较好地保持了场景,但 Qwen-Image-Edit-2509 和 HunyuanImage-3.0 出现累积性视觉退化,越往后的输出越明显地丢失结构完整性和视觉保真度。
论文的解读是,多轮推理驱动编辑中的误差在两个层面累积:推理本身,以及反复的视觉再生成。这使得长程一致性与“把单次编辑做对”成为两个独立挑战。由于这一观察来自定性示例而非专门的多轮准确率拆分,它应被视为一种有记录的失效模式,而不是对模型多轮鲁棒性的量化排名。
56.6% 上限适用于哪里
实际判断的优先级来自子类拆分,而不是总体分数。如果任务要求发现一条隐含的视觉规律,那么相关参照点是隐式模式归纳上 31.2% 的最佳闭源结果和模式预测上 25.6% 的任务级上限,而不是 56.6% 的总体数字。如果任务要求把一条显式规则应用到结构化布局上,RISE-Agent 在显式规则推演上的 47.2% 是更有信息量的比较,且它在该项上胜过闭源模型。对于依赖熟悉世界知识的任务,例如反事实想象和异常纠正,领先模型已经超过 70%。
有两条边界限定这些数字。准确率是“三项维度均为 5 分”的度量,不能与论文其他位置报告的百分制维度分数互换。此外,基准自身的评判依赖一套经人工评估校验的 LMM 作为评判者的流程,而评判模型与人工的一致性因维度而异;论文报告的评判模型对比显示,例如 GPT-5 在总体分数上的 Spearman 相关系数为 0.81。最站得住脚的结论是:RISE 的进展应按推理子类分别追踪,因为显式规则应用与隐式规律发现之间的差距,大于最强模型与其他模型之间的差距。
本文引用的文献
Reasoning-Informed Visual Editing
提出 RISEBench++,一个覆盖六个推理维度、12 个子类和 65 种任务类型的 1000 用例双语基准,并提出 RISE-Agent;在评估的 58 种方法中,最强的 GPT-Image-2.5 Sunburst 仅达到 56.6% 的准确率。
