REACT 滚动去噪如何让基于流的 VLA 机器人控制更灵敏?

REACT 用错位去噪的滚动动作缓冲区,让 VLA 控制既保持长程连贯,又更快响应新观测。

直接答案

REACT 让基于流的视觉-语言-动作(VLA)策略更灵敏,同时不放弃长动作块。它不再从头重新生成整个动作块,而是维护一个持续存在的动作缓冲区,其中各块处于错位的去噪阶段,因此每个被执行的动作块在部署前已经过多条近期观测的细化。在论文的 RoboTwin 2.0 仿真和真实机器人测试中,这一设计相比频繁重规划和异步基线提高了任务成功率、降低了反应延迟,并产生了更平滑的轨迹。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

REACT 要打破的连贯性与新鲜度权衡

分块 VLA 控制迫使人们做出选择。由扩散或流匹配生成的长动作块能保持运动平滑和模式一致,但一旦该动作块正在生成或执行,新观测就无法改变其中尚未执行的动作。频繁重规划能更快刷新观测,却会在动作块边界引入不连续,并可能把接触密集的技能反复拉回同一种接近行为。

论文把这一现象称为连贯性-新鲜度权衡,并用两个系统级指标来度量:输入吞吐率,即新观测进入策略的速率;输出吞吐率,即可执行动作离开策略的速率。其论点是,仅凭延迟无法描述动态机器人控制,因为控制器既要高频吸收新观测,又要持续输出动作。

REACT 的做法是不再把动作块当作一次性消耗品。它维护一个带错位流时间步的持续动作缓冲区,在每个控制步用最新观测对整个动作时域去噪,执行最干净的前端块,把部分细化的未来块前移,并在尾部追加新噪声。因此每个被执行的动作块在部署前都经过多条近期观测的处理。

滚动缓冲区如何逐块细化动作

缓冲区把同一个 H=50 的动作时域划分为 K 个大小为 S 的连续块,因此 H=K·S。主要实验采用 K=5、S=10 的调度,未按任务单独调参。一个块以纯噪声进入尾部,在每个控制迭代中接受一次以观测为条件的欧拉去噪更新,经过 K 个阶梯阶段后从前端退出。

这与标准 π0.5 推理不同:后者每生成一个动作块要运行 N=10 次流匹配去噪迭代。而 REACT 的一次更新只对 H 步缓冲区执行一步欧拉更新。被输出的块之所以干净,是因为它在多次连续更新中持续存在,而不是因为某一次更新运行了多步去噪循环。论文指出,REACT 改变的是动作专家的训练时间步布局和推理调度,而非模型架构。

训练端与这一调度相匹配。阶梯训练在每个演示动作块内监督所有中间阶段 {1/K, 2/K, …, 1},因此滚动推理中查询的每个时间-位置组合都有对应的、被监督的块级噪声水平。论文认为,部署时的调度器不会查询未见过的时间-位置组合。在每个回合开始时,缓冲区由机器人复位状态而非纯噪声初始化,前 K−1 次预热更新用于填充流水线,此时控制器保持复位姿态或任务特定的安全姿态。

双解耦在算力约束下保持观测新鲜

仅靠滚动去噪仍会受限于一次完整 VLM 前向传播的开销。双解耦在不改变模型权重的前提下,把感知、VLM 编码、DiT 去噪和动作执行分开。VLM 工作进程异步运行,把完成的视觉-语言嵌入发布到最新可用缓存,从而将 VLM 前向传播移出 DiT 的关键路径。

评估部署使用一块 NVIDIA RTX 4090 GPU(24 GB 显存),将动作专家与 M=2 个异步 VLM 工作进程共置,与非解耦基线保持相同的单 GPU 预算。调度器只要求有效 VLM 池服务速率满足 R_VLM ≥ f_cam/S。在 S=10、f_cam=30 Hz 的主要设置下,被选观测速率为 3 Hz,远低于附录中报告的单工作进程参考吞吐约 1/T_VLM = 27 Hz。

基础模型是 π0.5,由 PaliGemma-3B 视觉-语言模型和 3 亿参数的动作专家组成。论文在基线、无双解耦的 REACT 和完整 REACT 之间保持骨干网络、分词器、图像预处理和动作参数化不变,因此这一比较检验的是调度而非模型容量。

短动作块与异步拼接为何不够

论文对基线的分析最能说明 REACT 为何采用这种结构。H=50、执行时域为 50 的完整动作块 π0.5 基线取得最低的平均仿真抖动 658.9,并在许多标准任务上保持竞争力,但它会坚持执行基于较早观测生成的计划。在 Pour Rice 中,米量超过目标刻度后它仍继续倾倒,成功率仅 3%;在 Reaction Game 中,其缓慢的观测刷新产生 1505 ms 延迟,比人类遥操作平均值慢 800 ms。

把执行时域缩短到 10 个动作(H50E10)后,成功率在 RoboTwin Clean/Randomized 上从 37.43%/11.43% 降至 33.71%/8.71%,在真实机器人上从 58.7% 降至 35.9%,同时平均仿真抖动从 658.9 升至 1463.7。论文将其归因于两个机制:接触密集技能需要足够长的动作前缀来改变物理状态,下一次观测才有信息量;而更多重规划边界会放大多模态短时域歧义。Bottle Cap Unscrewing 在 ARX X5 和 Franka 上均降至 0%,因为策略反复回到抓盖行为,无法持续完成抓取-旋转-释放序列。

缩短训练时域更糟。H10E10 在 RoboTwin Clean/Randomized 上跌至 10.86%/2.43%,在真实机器人上为 21.0%,并在 Franka 的全部三个通用任务上均为 0%。Async+RTC 把名义吞吐提高到输入 3.0 Hz、输出 30.0 Hz,但它仍基于可能已与执行时场景不符的观测预测动作块,并必须把预测拼接到正在演化的轨迹上。它在主要方法中平均仿真抖动最高,为 2022.2,在真实世界通用任务上的平均成功率仅 17.7%。

REACT 相对各基线的具体收益

无双解耦的 REACT 在真实世界通用任务上平均成功率达到 65.7%,而 H50E10 为 35.9%、H10E10 为 21.0%、Async+RTC 为 17.7%。完整 REACT 为 64.8%。论文把这一模式解读为支持将新鲜观测与持续的长时域缓冲区结合,而不是单独优化新鲜度或吞吐。

平滑性把完整 REACT 与异步基线区分开来。完整 REACT 的平均仿真抖动为 1219.0,Async+RTC 为 2022.2;在 ARX X5 上平均抖动分别为 90.1 和 284.1。ARX 的分任务结果呈现同样模式:Async+RTC 在 Bowl Stacking by Size 和 Cable Hanging 上的抖动分别为 189.3 和 378.8,而 REACT 为 80.3 和 102.7,同时 Async+RTC 在这两个任务上的成功率降至 36% 和 3%。在 Pour Rice 中,Async+RTC 成功率为 0%,因为拼接产生的抖动倾斜会在达到目标米量前洒出米粒。

论文还报告,在 RoboTwin 2.0 以及涵盖双臂操作和动态控制、跨多个机器人平台的真实任务中,REACT 相比频繁重规划和异步基线提高了任务成功率并降低了反应延迟。真实机器人平台为 Acone/ARX X5 双臂系统和双臂 Franka Research 3 装置,两者均由三个 RGB 相机以 30 Hz 监控,并以 30 Hz 控制。

证据的适用边界

所有报告结果都以 π0.5 作为基于流的 VLA 骨干,因此跨模型兼容性尚未测试。论文指出,REACT 只假设存在用于感知-语言条件动作生成的双系统接口,并不绑定模型规模或特定骨干,并提到 GR00T N1 和 X-VLA 作为未来验证的候选双系统 VLA,但本文未报告此类结果。

滚动调度也是每个策略固定一套。每个策略只针对一种 (K, S) 配置训练,论文既未评估也不声称可在调度之间零样本切换。论文给出的指导是:S 可根据所需反应时间尺度和算力预算选择,K 取满足 K·S ≤ 50(π0.5 的预训练时域)的最大整数。所有主要实验均使用 (K, S) = (5, 10),未按任务调参。

最后,论文没有训练独立的策略随机种子,因此其统计比较反映的是评估 rollout 的采样噪声,而非训练种子稳健性。这在解读方法之间的小差距时很重要,不过论文报告的成功率和抖动上的最大差距,远非采样噪声所能轻易解释。

REACT 为实时 VLA 控制确立的优先级

论文的核心主张是一种优先级排序,而不是某个单一速度数字。当成功取决于对动作时域内状态变化的反应时,决定性变量是新鲜观测能否被融入连贯的长时域动作上下文。长开环动作块失败是因为它陈旧;短动作块失败是因为它失去了支撑接触密集技能穿越状态变化阶段的动作分布支持;异步拼接失败是因为它提高了吞吐,却让预测状态与执行状态不匹配。

REACT 的具体押注是:一个持续的 H=50 缓冲区,每次控制更新只做一步欧拉细化,再结合双解耦和阶梯训练,是同时保持这两种性质的组合。最值得关注的差距是真实世界通用任务平均值:无双解耦的 REACT 为 65.7%,三个基线分别为 35.9%、21.0% 和 17.7%,完整 REACT 为 64.8%,且抖动明显低于 Async+RTC。

对于判断该方法是否适用于自身场景的读者,论文自身的变量给出了检验方式。如果任务需要在短于所执行动作块的时域内做出反应,且算力预算允许 VLM 池满足 f_cam/S 的被选观测速率,那么滚动缓冲区设计正针对这一缺口。如果骨干不是双系统、基于流的 VLA,或者调度必须在部署时无需重新训练即可切换,论文没有提供任何方向的证据。

本文引用的文献

1

REACT: Rolling Denoising and Dual Decoupling for Reactive Robot Control with VLA Models

REACT 维护一个带错位流时间步的持续 H=50 动作缓冲区,在执行前通过多条近期观测细化每个块;无双解耦时在真实世界通用任务上平均成功率达 65.7%(含双解耦为 64.8%),而短执行、短训练和 Async+RTC 基线分别为 35.9%、21.0% 和 17.7%,且抖动低于 Async+RTC。