[ICLR 2025] PhysicEdit：从静态映射到动态演变，突破图像编辑的“物理幻觉”

TL;DR

传统的图像编辑模型往往能听懂“把吸管放进水里”，却画不对“水里的吸管会折射”。PhysicEdit 通过将图像编辑从“A到B的黑盒映射”重构为“受物理定律约束的状态演变（State Transition）”，利用 3.8 万条物理视频轨迹进行训练，成功解决了 AI 绘图中的物理违和感。

1. 痛点：为什么 AI 总是“违反物理定律”？

目前主流的指令驱动图像编辑（Instruction-based Image Editing）将任务简化为：输入原图+文本指令 → 输出目标图。

这种离散映射（Discrete Mapping）存在一个致命缺陷：它只提供了起点和终点，却没有告诉模型“变化是如何发生的”。比如，当吸管插入水中时，光学路径的改变（折射）是一个连续的物理过程。缺乏这种演变先验（Transition Prior），模型往往只能生硬地把吸管拼接到杯子里，导致看起来极其不自然。

图 1：左侧现有模型虽然语义对齐，但物理上不可信（如吸管未折射）；右侧 PhysicEdit 遵循物理轨迹演变。

2. 核心架构：文图双重思考机制 (Dual-Thinking)

为了让模型既能“理解”物理规则，又能“画出”物理细节，作者设计了 PhysicEdit 框架，其核心包含两个并行分支：

2.1 显性物理推理（Textual branch）

利用冻结的 Qwen2.5-VL-7B 作为“物理大脑”。在生成图像前，模型先进行推演：

• 思考步骤：涉及哪些物理定律？（如重力、流体动力学）
• 因果关系：外力如何作用于材质？
• 逻辑约束：物体应该如何变形？ 这些推理结果作为 Context 引导后续的扩散过程。

2.2 隐性视觉思考（Visual branch）

推导文字是不够的，模型还需要视觉上的先验。作者引入了 Transition Queries（演变查询）：

• 从 38K 条视频中提取动态特征。
• 双路径对齐：使用 DINOv2 提取宏观结构特征（Structure），使用 VAE 提取微观纹理细节（Texture）。
• 时间步感知调制（Timestep-Aware Modulation）：在扩散模型的去噪初期（高噪声阶段）侧重结构引导，后期（低噪声阶段）侧重纹理优化，完美拟合了生成模型从粗到精的特性。

图 2：PhysicEdit 框架概览，展示了训练阶段如何通过视频监督蒸馏物理演变先验。

3. PhysicTran38K：首个大规模物理演变数据集

巧妇难为无米之炊。为了训练这个新架构，作者构建了 PhysicTran38K。

• 覆盖广：包含力学（Mechanical）、热力学（Thermal）、材质（Material）、光学（Optical）和生物（Biological）5 大领域。
• 精度高：利用 GPT-5-mini 进行原则验证，过滤掉不符合物理规律的生成视频。
• 细粒度：涵盖 46 种具体的物理转变（如：熔化、升华、折射、萌发）。

4. 实验战绩：开源界的领跑者

PhysicEdit 在多个维度上展现了卓越的性能：

• 物理真实性 (PICA)：在折射、变形、因果逻辑等领域大幅超越原基线，总体得分 64.86，刷新开源模型纪录。
• 知识推理 (KRIS)：不仅是改图，模型还表现出极强的自然科学常识，能够理解复杂的物理指令。

表 1：PhysicEdit 与主流方案的量化对比，可以看到其在物理真实性指标上显著领先。

5. 深度洞察：为何“隐性”比“显性”更好？

与同时期的 ChronoEdit（通过显式生成中间帧来辅助编辑）相比，PhysicEdit 更加优雅。显层生成视频帧不仅计算开销巨大，而且容易产生误差累积（Error Accumulation）。

PhysicEdit 的成功在于其潜在空间模拟（Latent Simulation）：它不需要真的渲染一整段短视频，而是通过 Latent Queries 将视频中的“物理法则”蒸馏进权重中。这种“化骨绵掌”式的改进，既保留了单图编辑的高效率，又获得了视频级别的物理深度。

6. 总结与局限

PhysicEdit 迈出了从“像素搬运”到“物理模拟”的关键一步。虽然目前在处理极端大幅度的非刚性变形时仍存在挑战（为了保持结构稳定性有时会牺牲变形幅度），但它为 AIGC 进入工业设计、虚拟装配等对物理精度有要求的领域打开了大门。

结论：未来的图像编辑，比拼的不再是谁画得更唯美，而是谁更懂这个物理世界。