RFPO 能让流策略在单步执行下依然可靠吗？

差距出在训练与部署之间

基于流的策略通过数值积分，把噪声沿学习到的速度场逐步变换成动作。训练和评估通常使用 64 个 Euler 步的完整预算，但部署时可能只负担得起一步。论文把由此产生的错配称为少步离散化差距：在完整步数下优化出来的策略，并没有被显式约束为在粗糙积分下仍然可靠，因此减少步数会明显改变生成的动作，使控制性能下降。

这一点重要，是因为问题并不只是步数变少带来了数值噪声。论文的表述是：训练目标只在训练所用的积分预算下优化回报，并没有为粗糙积分塑造速度场。因此，一个回报很高的流策略在单步下仍可能很脆弱，而这正是本研究要修复的失效。

两种训练信号共同塑造学生策略

RFPO 建立在 FPO++ 之上，保留其原有的同策略 actor–critic 目标，并在训练中增加两种互补信号。第一种是奖励感知的在线 Reflow。对每个观测，当前学生策略抽取四个辅助初始化，其中 25% 的概率为零起点，其余为高斯噪声，然后生成一个停止梯度的完整预算终点。该初始化与学生自身终点之间的直线路径成为回归目标，于是粗糙求解器将要遇到的传输几何被反复拉直。优势为正的样本获得更高权重，使矫正集中在对控制有用的行为上。

第二种信号是多预算动作蒸馏。一个冻结的高斯 PPO 控制器提供动作目标，同一个流学生策略被训练在 64、8 和 4 个 Euler 步的预算下匹配这些目标。值得注意的是，一步被排除在这个集合之外，因此单步行为从未被教师直接监督。第三个较轻的正则项通过一个学习到的预算预测器，让学生策略接触 1、4、8、16 和 64 步的预算，鼓励其与完整预算动作保持一致，同时惩罚期望求解成本。

部署时这些都被剥离。PPO 教师和预算预测器被移除，观测与零噪声配对，学生策略只运行一个 Euler 步。因此部署的控制器只是学到的流策略，效率提升来自求解器预算，而不是来自更小的网络。

单步回报接近完整步数回报

跨机器人形态的表格是论文的核心证据。在零初始化下，从 64 个 Euler 步降到一步，平均回合回报的变化为：Go2 上 −1.5%，Spot 上 +0.4%，H1 上 −0.9%，G1 上 +1.7%。在随机初始化下，四种形态从 64 步到一步的变化都保持在 2.4% 以内。作者据此认为，学到的单步行为既不绑定于单一机器人形态，也不依赖确定性的零初始化。

基线结果显示了这种平稳有多不寻常。FPO++ 在每个任务上都严重退化：在 Go2 上，其零初始化回报从 64 步的 21.29 降到一步的 −187.70；在 Spot 上从 9.29 降到 −404.05。仅靠蒸馏也无法解决问题。KD-only 在某些形态上改善了完整预算控制，但在一步下仍然崩溃，在 Go2 上降到 −4919.70，在 Spot 上约为 −1.5×10⁵。由于各任务的奖励尺度不同，论文提醒比较应在同一形态内进行，而不是跨行比较。

传输矫正承担了主要作用

Go2 上的消融实验把两种机制分开。FPO++ 从 64 步的 21.29 降到一步的 −187.70，KD-only 降到 −4919.70。不带奖励加权的均匀 Reflow 则保持近乎平坦的曲线，从 64 步的 33.57 到一步的 32.84，奖励感知 Reflow 表现出类似的数值稳健性。把 Reflow 与动作空间监督结合，进一步提高了完整预算控制器，同时保持少步性能。作者由此得出结论：传输矫正是实现稳健粗糙积分的主要机制，蒸馏提供的是互补的控制监督。

高回报不等于能跟踪指令

论文谨慎地区分回合回报与底层控制质量。在 Go2 上，FPO++ 和 KD-only 的单步前向速度跟踪误差很大，分别为 0.883 和 0.810，摔倒比例分别为 0.680 和 0.334。均匀 Reflow 把跟踪误差降到 0.070，且未观察到摔倒。

更有启发的是单独使用奖励感知 Reflow 的情形：它保持了较高的单步回合回报，但跟踪误差达到 0.805。因此，单步执行下的高回报本身并不能证明机器人很好地跟随指令。论文报告的是完整的 RFPO 组合维持了稳定的指令跟踪，这也是为什么回报表和跟踪表需要一起读，而不能互相替代。

板载 CPU 上的延迟收益

效率结论只针对 Go2 的板载设定。推理在 Go2 板载 CPU 上用单线程 ONNX Runtime 测量，先做 30 次预热迭代，再进行 100 次计时评估，报告平均和 p99 延迟。在该协议下，单步执行保留了 64 步奖励的 98.5%，平均延迟从 4.39 ms 降到 0.08 ms，加速 54.9 倍。

这个数字不应被理解为对所有形态或所有部署栈的普遍加速，因为测量绑定于一台机器人的板载 CPU 和一种运行时配置。它确实说明的是：在这一设定下，求解器预算而不只是网络，是推理成本中相当可观的一部分。

证据覆盖到哪里为止

仿真覆盖两种四足和两种人形机器人，但真机验证集中在 Unitree Go2 的运动任务上，且只覆盖有限的一组运动指令。匹配指令的硬件分析报告关节位置相关性和平均绝对误差，衡量的是关节位置一致性，而不是完整状态层面的仿真到现实等价性。在人形平台和更多接触丰富任务上的更广泛真机测试仍待开展。

效率也有训练侧的代价。在线 Reflow 需要完整预算的学生 rollout 来构造学生诱导的终点，蒸馏则依赖一个单独训练的冻结 PPO 控制器。部署使用固定的一步 Euler 求解器；自适应计算正则项只在训练中使用，作者提出，根据当前控制状态在线选择积分预算，可能为高动态或接触丰富的任务带来更好的精度–效率权衡。

从这组比较中该记住什么

论文最具决策价值的结果不是单步执行很快，而是在同策略奖励优化过程中塑造传输路径，可以弥合 64 步与一步回报之间的差距。消融支持一个明确的优先级：Reflow 式矫正是求解器预算缩小时回报保持平稳的原因，而动作蒸馏主要改善完整预算控制器。因此，权衡这一方法的读者应分别检查两件事：单步回报是否保持，以及指令跟踪和摔倒比例是否保持，因为单独使用奖励感知 Reflow 表明前者可以成立而后者不能。

最改变答案的范围条件是部署情形。RFPO 的证据支持在四种测试形态上使用固定的一步 Euler 学生策略，硬件确认仅限于 Go2 的运动任务。对于接触丰富或高动态的任务，论文自己提出的在线预算选择建议，指向了固定单步策略可能需要重新审视的地方。

本文引用的文献