Fisher Decorator：突破各向同性陷阱，用信息几何点亮流策略微调

TL;DR

在离线强化学习中，如何让生成式策略在提升奖励的同时不偏离行为分布的历史轨迹？本文提出了 Fisher Decorator (FiDec)。其核心洞见是：传统的 L2 正则化（W2 距离的替代品）是各向同性的，它忽略了数据分布的“形状”；而本文通过 Fisher 信息矩阵 引入了各向异性约束，将策略更新限制在数据的真实流形内，有效解决了多峰分布下的众数平均与分布偏移问题。

1. 痛点：被忽视的几何不匹配

目前的离线 RL（Flow-based 或 Diffusion-based）在处理复杂数据时，通常面临一个三难选择：表达能力（Expressiveness）、最优性（Optimality）和效率（Efficiency）。

现有代表作（如 Flow Q-learning）为了计算简便，往往使用 L2 距离来约束学习策略与行为策略的差异。作者指出，这在数学上等同于最小化 2-Wasserstein (W2) 距离的上界。但这隐藏了一个致命缺陷：各向同性（Isotropic）陷阱。

• KL 散度：天然是各向异性且密度敏感的，它像一个“清道夫”，严禁策略漂移到数据支持集之外。
• L2 / W2 约束：是各向同性的。它对所有方向一视同仁。在多峰分布中，这种性质会产生巨大的“向心力”，将策略拉向各个众数的几何平均中心（即众数平均），导致最终学到的动作既不符合历史数据，也无法获得高奖励。

2. 核心机理：局部传输映射与 Fisher 度量

为了填补这一理论鸿沟，FiDec 放弃了重新学习一个单步生成器的做法，转而采用 局部传输映射（Local Transport Map）。

2.1 剩余位移参数化

FiDec 保持原始的流策略 ${\mu }_{\beta }$ 不变，通过一个轻量级的残差网络 $\delta$ 来微调动作： $T_s(a)=a+\delta (s,a)$ 这种设计确保了策略更新是“微调”而非重构，天然有利于保持分布的支撑集。

2.2 Fisher 信息矩阵的引入

通过对 KL 散度进行二阶泰勒展开，作者推导出一个极其优雅的结论：小位移下的 KL 约束等价于由 Fisher 信息矩阵 $I(s,a)$ 加权的二次型约束： $D_{KL}\approx \frac{1}{2}\mathbb{E}[{\delta }^{o}pI(s,a)\delta ]$

如图 1 所示（左图），Fisher 矩阵定义了统计流形上的各向异性结构，确保微调方向沿着密度的“脊线”进行，而非盲目发散。

3. 算法实现：如何高效估算 Fisher？

计算 Fisher 矩阵通常涉及二阶导，计算量巨大。FiDec 的妙处在于它利用了流匹配的 速度场 (Velocity Field)。

通过公式 $abl{a}_a\log {\pi }_{\beta }\approx \frac{t_{ϵ}{v}_{\beta }-a}{1-t_{ϵ}}$，FiDec 仅需一次前向传播即可实时估算出分数函数（Score Function），进而得到 Fisher 矩阵。这种“ boundary perturbation”方案在 FP32 精度下具有极佳的数值稳定性。

4. 实验战绩：全方位占领 SOTA

在 OGBench 五大类任务和 D4RL 标准库中，FiDec 表现惊艳。

图 3 揭示了 FiDec 的本质优势：在多峰环境中（a），FQL 崩塌向中间区域，DeFlow 电荷分散；而 FiDec 成功保留了多峰性，并精准地将概率质量推向高价值区域。在流形支撑上（b），FiDec 严丝合缝地沿着有效路径演进。

关键量化指标：

• 离线任务：在 Humanoid 和 Puzzle 等复杂多峰任务上，FiDec 显著超越了此前的 Flow 策略基线（提升幅度达 10% - 20%）。
• 效率：训练推理速度与现有最快的 Flow Q-learning 持平（约 2.7ms/step），没有因为引入复杂的几何约束而导致性能受损。
• 在线细调：在“离线预训练-在线细调”场景中，FiDec 因其强大的先验保持能力，收敛速度明显快于 RLPD、Cal-QL 等竞争对手。

5. 总结与展望

FiDec 的意义不仅在于刷新了榜单，更在于它为离线 RL 提供了一个 “几何修正镜”。它告诉我们：策略的表达能力（Expressiveness）固然重要，但优化过程中的 度量选择（Metric Choice） 才是决定模型能否走出“幻想”、扎根“现实数据”的关键。

局限性：目前 Fisher 阵的估算依赖于预训练流模型的质量。如果基础流模型学得太差，Fisher 信息的指导作用会大打折扣。 未来方向：正如附录 B.4 所暗示的，最优位移存在闭式解。未来或许可以实现 真正零迭代的策略微调，实时在推理端完成最优策略的修正。

主编点评：FiDec 是一篇难得的将信息几何直觉转化为工程生产力的佳作。它用最少的计算代价解决了离线 RL 中最核心的“分布偏移”隐患，是 Flow Matching 领域值得细读的进阶文献。