QF3 如何用过滤后的 Q 梯度训练机器人流策略？

QF3 绕开采样器梯度瓶颈

流策略已成为从演示中学习机器人行为的常用策略类型，但仅靠模仿往往不够：有些任务缺少专家轨迹，预训练策略也可能需要通过交互继续改进。因此，针对这类策略的强化学习很重要，但 TD3 式的自然做法——沿评论家的动作梯度 ∇aQ 更新——对流量演员并不方便。把这个梯度穿过采样器的每一步回传，代价高且可能不稳定。

已有的离策略流强化学习方法各有绕行方式：仍然穿过采样器求导；冻结流，在其上训练残差策略或噪声策略；或者只通过价值使用评论家，或把评论家当作回归目标。QF3 走第四条路。它仍把流策略作为训练对象，并在回放样本上评估 Q 最大化目标，既不对流 ODE 积分，也不对其求导。演员损失把这一 Q 项与标准流匹配结合，因此更新可以直接嵌入 TD3 式训练循环。

一步预测加速度裁剪

QF3 把演员表示为一个速度场 v(s, x_tau, tau)。评估时它抽取噪声并用欧拉步积分流；训练时则不执行这一积分。它从回放动作和策略预测的速度构造最终动作的一步预测，并在该处评估评论家。

稳定机制是逐坐标裁剪。设策略与回放之间的差距为预测速度与回放条件流目标之差。QF3 把这一差距裁剪到 [−alpha, alpha] 区间，再用裁剪后的速度构造一步动作，因此评论家只会在每个坐标上距回放动作有限距离内被查询。流匹配损失仍会惩罚完整的、未裁剪的差距。论文把这称为回放局部信赖域：Q 最大化停留在评论家受过训练、一步预测也准确的动作附近。

裁剪变成逐维梯度过滤器

对裁剪后重建的一步动作求 Q 项的梯度，可以看出裁剪对学习实际做了什么。每个速度分量只有在策略与回放差距落在信赖域边界内时才会收到 Q 梯度；当某个分量触及裁剪边界，它的 Q 梯度被屏蔽，而流匹配项仍然生效，把原始速度预测拉回回放条件目标。若差距重新进入裁剪范围，Q 梯度恢复。

作者把这视为一种策略一致性过滤器，并类比 PPO 的比率裁剪——后者同样通过不传递策略改进梯度来维持信赖域。这一类比是解释性的，并非实测等价：论文在附录中借助流匹配与 ELBO 的对应关系给出一种解读。可直接检验的是屏蔽行为——评论家梯度在允许的速度范围内推动局部改进，流匹配则处理范围之外的预测。

从零训练人形策略，速度接近 FastTD3

核心检验是 QF3 能否在大规模并行离策略配方中从零训练流策略。作者使用 Holosoma——一个提供 29 自由度 Unitree G1 速度跟踪和单动作跟踪任务的人形全身强化学习框架——以及调好的 FastTD3 基线。由于 QF3 保留 TD3 的回放缓冲区、评论家和目标更新结构，只改变演员，FastTD3 配方可以原样接入：确定性演员换成 QF3 流量演员，分类评论家的均值作为标量 Q，其余超参数全部共享。

结果按 3 个随机种子报告均值±标准差，每次运行使用单块 GPU。在速度跟踪上，相同 10 小时预算下，QF3 的最终跟踪奖励与 FastTD3 相差约 4% 以内。在动作跟踪上，QF3 约半小时实际耗时达到全长 500 步回合，接近 FastTD3，而 FPO++ 在实际耗时和环境步数上都约慢 10 倍。FlowRL 是另一种在同一配方上运行的离策略流方法，跟踪性能相当但一致性较差：其种子间波动在速度跟踪上约为 QF3 的 3 倍，在动作跟踪上约为 9 倍；作者推测这可能源于它额外训练了一个 expectile 价值函数。

论文还报告了零样本部署：用 QF3 训练的 G1 策略能跟随速度指令并跟踪长时间、动态的动作，包括约 3 分钟的 LAFAN 舞蹈动作；部署时没有真实世界微调，关节目标动作空间和 PD 增益与仿真相同。据作者所知，这是首个从零训练人形运动策略并零样本迁移到硬件的离策略流强化学习方法。

微调预训练策略需要锚定项

第二种场景检验同一更新能否改进预训练生成策略，而不是从零训练。在两个操作设置中，作者都在 QF3 演员损失中加入一个指向冻结基座策略的流匹配损失，并报告这一锚定项对稳定微调很重要。

在 ABC-Sim 中，QF3 在两个双臂任务上微调视觉条件 ABC-VLA 策略：在流动作头的注意力和 MLP 投影上训练秩为 4 的 LoRA 适配器，初始化为零，使训练恰好从基座策略开始。在把瓶子收进箱子的任务中，成功回合快了 22%（781 步降至 606 步），成功率从 91% 升到 95%；在最后 10 万步中，这比残差强化学习快 12%、成功率高 5 个百分点。在把盘子装进架子的任务中，QF3 相对基座策略同时提升成功率和成功回合长度，表现与残差强化学习相当；增益主要来自避免失败：它固定采用一次从右到左的换手，并把盘子放得更直立（中位倾斜 9° 对 14°），因此只有 8% 的已放置盘子从架子中掉回，而基座策略为 21%。未裁剪的变体 Direct Q 在两个任务上都出现明显的短暂崩溃，之后才恢复。

在三个 Robomimic 任务——Square、Tool Hang 和 Transport——上，QF3 微调完整策略，QF3+ 则加入 OGPO 的成功缓冲区正则项。所有方法都从同一个行为克隆流策略开始，该策略在 Square 和 Tool Hang 上成功率不超过 50%，在线训练不使用演示。QF3+ 在三个任务的最终成功率上达到或超过 OGPO+CA。作者还报告 QF3 不需要 OGPO 依赖的成功缓冲区正则项：不加它时，QF3 在 Tool Hang 和 Transport 上达到 96% 成功率，而 OGPO 不加该正则项时在作者自己的实验中分别饱和在约 80% 和 40%。由于 QF3 的演员直接跟随评论家梯度，它对未训练的评论家更敏感，因此在第一次演员更新前，先用基座策略的 rollout 单独训练评论家——Square 和 Tool Hang 上 2 万步，Transport 上 10 万步。

这些比较能说明什么，不能说明什么

证据支持一个具体主张：带速度裁剪的单次基于回放的流量演员更新，既能从零学习机器人行为，也能改进从演示获得的流策略。人形机器人结果是特定预算和硬件下对 FastTD3 与 FPO++ 的实际耗时和奖励比较，并不主张 QF3 优于所有离策略流方法。FlowRL 的比较受硬件差异限制——FlowRL 的速度跟踪运行使用了不同 GPU，因此速度实际耗时面板中省略了 FlowRL——也受作者对其种子波动的推测性解释限制。

操作结果仅在仿真中，覆盖两个 ABC-Sim 双臂任务和三个 Robomimic 任务，使用 3 个随机种子，ABC-Sim 中为 50 回合评估。Robomimic 比较遵循 OGPO 的仅在线协议及其公开代码库；文中引用的 OGPO 无正则项时在 Tool Hang 和 Transport 上的数字来自 OGPO 作者的实验，而非本文的运行。与 PPO 的信赖域类比被呈现为一种解释，而非实测等价。

需要回放复用和速度时优先考虑 QF3

论文自身的优先级很清楚。QF3 最有价值之处在于离策略回放复用和高吞吐并行仿真本身就是目标：它保留 TD3 的评论家、回放缓冲区和目标更新，只改变演员，不需要采样器反向传播或对数似然。这正是人形运动上相对 FPO++ 约 10 倍实际耗时差距的来源，也让同一更新能直接接入现有 FastTD3 配方而无需重新调整其余部分。

第二优先级是微调，而不是替换预训练策略。QF3 直接训练流头——在 ABC-Sim 中通过 LoRA 适配器，在 Robomimic 中完整微调——而不是冻结基座并学习残差或噪声策略。报告增益具体但有边界：ABC-Sim 中成功收瓶回合快 22%、成功率从 91% 到 95%；不加 OGPO 成功缓冲区正则项时，Tool Hang 和 Transport 上达到 96% 成功率。这种直接性的代价是对未训练评论家敏感，因此论文在第一次演员更新前先预热评论家。读者若在 QF3 与残差或噪声引导方法之间权衡，应把速度裁剪和评论家预热视为报告结果所依赖的两个条件。

本文引用的文献