[ICLR 2025] RAISE：无需微调，让扩散模型通过“自我演化”完美对齐复杂需求

TL;DR

文本生成图像（T2I）虽然在逼真度上已臻化境，但在处理如“麦当劳风格的教堂”这种复杂逻辑提示词时依然经常“翻车”。来自阿尔伯塔大学与华为的研究团队提出了 RAISE (Requirement-Adaptive Self-Improving Evolution)。该方法无需任何训练，通过代理（Agent）系统自动分析需求、执行多方向策略演变、并调用视觉工具进行闭环验证，实现了推理侧的自适应性能扩展。在 GenEval 榜单上以极低的算力成本刷新了 SOTA 记录。

痛点深挖：为什么提示词总是“词不达意”？

在目前的 Diffusion Models (DMs) 中，要实现完美的语义对齐面临两个技术死角：

1. 反馈缺失的盲目搜索：现有的噪声重采样或提示词重写方法多是“单次博弈”，缺乏针对未达标需求的精准打击。
2. 过拟合的训练代价：为了增强对齐，一些工作采用 Reflection Tuning（反射微调），但这需要海量的标注数据，且微调后的模型往往固化在特定路径上，难以迁移。

RAISE 的核心直觉是：将对齐看作一个“分析-尝试-验证-修正”的动态演化过程。 既然模型本身无法一次性理解复杂长难句，那就通过多代理协作，让模型在推理阶段“多思考、多校对”。

核心机制：RAISE 的“三位一体”演化框架

RAISE 的架构由三个协同工作的 Agent 组成，底层共享一个 VLM（如 Mistral 或 GPT）：

1. 需求分析器 (Analyzer)：将模糊的提示词转化为结构化的二进制清单（如：“是否有两个球？”、“背景是否是绿色？”）。
2. 多重动作变异器 (Rewriter)：不再拘泥于一种修改方式，而是并行尝试三种变异路径：
   • Resampling：通过改变随机噪声探索空间布局。
   • Prompt Rewriting：修改词句以增强语义强调。
   • Instructional Editing：基于当前最优图进行局部指令微调。
3. 工具落地验证器 (Verifier)：这是 RAISE 保持理性的关键。它不仅靠 VLM 生看，还调用了 Grounded SAM 2、Florence-2 和 MiDaS 等视觉工具，提取目标边界框、深度等硬核证据。

Figure 2: RAISE 框架总览，展示了需求分析、多动作变异和工具落地验证的闭环。

实验结果：以少胜多的艺术

在 GenEval 榜单上，RAISE 展现了惊人的效率和上限：

• 性能飞跃：在属性绑定（Attribute Binding）和计数（Counting）等难点任务上提升显著，总分达到 0.94。
• 算力自适应：简单任务早早停机，复杂任务自动增加迭代。平均 VLM 调用次数比 ReflectionFlow 降低了 80%。

Figure 4: Pareto 前沿面分析显示，RAISE 在获得最高对齐得分的同时，生成的样本数显著少于基线模型。

视觉对比：处理“反直觉”需求

以“McDonald’s Church”为例，普通的扩展方法（如 T2I-Copilot 或 ReflectionFlow）往往只能生成普通的教堂或快餐店，而 RAISE 能够识别出“要把教堂特征与麦当劳标志完美融合”这一深层需求，并通过多轮演化不断精细化标志和建筑细节。

Figure 1: 复杂提示词下的多轮精炼对比。

深度总结：Inference-time Scaling 的未来

RAISE 的成功为我们提供了一个深刻的启示：模型的上限不仅取决于参数量，更取决于如何管理推理过程中的“计算思维流（Computational Effort）”。

• 优势：完全 Model-agnostic（模型无关），无论是 FLUX 还是 SD3 都能即插即用；通过工具调用克服了 VLM 的视觉幻觉。
• 局限性：尽管减少了采样成本，但引入了视觉工具链，增加了推理管线的工程复杂度。

RAISE 证明了：与其拼命微调参数，不如教模型学会“看图说话”和“知错就改”。