[ICLR 2025] Flow Matching 为 TD 学习带来了什么？揭秘迭代计算与特征可塑性的深度关联

TL;DR

最近的研究显示，基于 Flow Matching (FM) 的评论者网络（Critics）在强化学习中表现惊人，但其背后的物理直觉一直模糊不清。本文通过严谨的实验和理论分析证明：FM 的成功并非因为它建模了回报分布，而是因为它引入了一种测试时恢复 (Test-Time Recovery) 机制，并通过密集轨迹监督诱导出了更具“可塑性”的特征。这使得模型在面对波动的 TD 目标时，无需重写权重即可通过积分过程自我修正。

背景定位：单体式架构的局限

在标准的强化学习算法（如 SAC, TD3）中，Critic 通常是一个“单体式 (Monolithic)”映射，即：输入 (s, a)，通过几层神经网络直接输出标量 Q。这种架构在处理非平稳的 TD 目标（Non-stationary TD targets）时非常脆弱，容易出现 Plasticity Loss，即模型在学习新目标时会迅速忘记旧的有用特征，导致策略在训练后期停滞甚至崩溃。

核心直觉：为什么 Flow Matching 能救命？

作者提出了 floq。与以往认为 FM 必须配合 Distributional RL 的观点不同，floq 证明了即便只针对期望价值进行回归，FM 依然能通过以下两个机制完爆传统方法：

1. 测试时恢复 (Test-Time Recovery, TTR)

在 floq 中，Q 值是通过对速度场 $v_{h}eta$ 进行数值积分得到的。如果在积分的早期步骤中出现了误差，后续的积分步骤可以通过密集监督学习到的“漏斗状”速度场将轨迹拉回正确路径。

• 理论支撑：作者定义了 c-conic 条件。只要速度场在积分路径上满足指向内部的收敛特性，早期扰动就会随着积分步数 $K$ 的增加而呈多项式衰减。这是单体式网络完全不具备的容错能力。

图 1：迭代积分过程中的密集监督。

2. 特征可塑性的保留

这是本文最深刻的洞察。在单体式网络中，为了拟合新的 TD 目标，网络必须修改其每一层的权重。而在 floq 中，由于输出是累积积分的结果，模型可以通过调整每步积分的增益系数 (Gain) 来实现对已有特征的“重加权”，而无需强行修改底层特征方向。

实验证据：硬核数据说话

实验一：分布建模是必需的吗？

作者对比了执行期望备份（Expected Backup）的 floq 和显式建模分布的流匹配。结果显示（见下表），分布式的变体在多项任务上反而更差。这实锤了：FM 的红利来自于架构和训练动力学，而非统计建模。

实验二：冻结层的“生存考验”

为了验证可塑性，作者在训练中途冻结了 Critic 的前几层。

• 单体式网络 (FQL)：由于无法修改底层特征以适应新的 TD 目标，性能直接断崖式下跌至零。
• Flow Matching (floq)：几乎不受影响，继续稳定提升。这证明了其学习到的特征具有极强的通用性和表达未来价值函数的能力。

图 2：冻结特征层后的性能表现。floq（虚线）展示了惊人的韧性。

实验三：对抗高 UTD（Update-to-Data）的挑战

在高 UTD 设置（即模型更新频率远高于数据采集频率）下，floq 展现了 5 倍的样本效率提升。在高压力的更新节奏下，传统 Critic 迅速崩溃，而 floq 稳如泰山。

架构解析：迭代计算的魔法

作者通过线性模型推导证明，FM 实际上将学习分解为了两条路径：

1. 特征方向学习：更新 $u_i$（慢速更新）。
2. 特征重加权：更新增益参数 $v_k$（快速自适应）。 这种结构类似于一种“内循环”自适应机制，使得模型能以更优雅的方式跟踪移动的 TD 目标。

深度洞察与总结

本文的价值不仅仅在于提出了一个更好的 RL 算法，更在于它在 Test-time Compute (测试时计算) 和 Representational Plasticity (表征可塑性) 之间架起了一座桥梁。

• 局限性：虽然 floq 在小规模和中等规模任务中表现优异，但在超大规模状态空间（如纯视觉输入）下的积分计算成本仍需进一步优化。
• 未来展望：这种“通过迭代修正来替代参数搬运”的思想与当前 LLM 中的 Chain-of-Thought (CoT) 推理 有异曲同工之妙。未来的 Critic 或许不再是一个简单的回归器，而是一个可以在思考中不断精进价值判断的动态推理引擎。

关键词：Flow Matching, TD Learning, Plasticity, Test-Time Recovery, RLPD.