Reflex 如何实现视觉驱动的反应式人形全身控制？

三个阶段由一个物体动力学潜在表示串联

这项研究的核心设计选择，是不把全身控制与视觉感知放在一起训练。第一阶段用强化学习，从仿真器的特权状态出发，并借助人类运动先验，学会全身接箱。第二阶段保留这个控制器，但让它学会依据延迟 20–60 ms、且不完整的观测来工作，这些观测包括箱子的位置、速度、朝向、尺寸和观测时延，并由此产生一个紧凑的潜在表示来调节控制器。第三阶段训练一个第一视角 RGB-D 编码器，在全身控制器保持冻结的前提下，从视觉历史和相机自身运动还原同一个潜在表示。

这种拆分之所以重要，是因为每项能力都获得了直接的训练信号。视觉学习与强化学习被隔离开，渲染因此不必进入 PPO 循环：论文报告，不渲染时第二阶段 PPO 约为每秒 28k 环境步，而在循环中渲染 192×144 RGB-D 时约为每秒 1.5k 步，于是 59M 步的第二阶段训练从约 11 小时缩短到约 35 分钟，而第三阶段只渲染约 1.6M 步。

潜在表示是让这一切成立的接口。由于第三阶段被训练去复现第二阶段已经在使用的表示，视觉编码器继承的是一个从未被要求从像素中学习的控制器。代价是视觉系统的上限取决于它所模仿的潜在表示，这也解释了论文后面的距离结果为何如此关键。

仿真中视觉几乎追平特权箱子输入

仿真中的核心比较固定解码器，只替换输入。把特权箱子观测送入潜在表示时，控制器接住 87.9% 的抛掷；换成完整的第三阶段视觉系统时，它接住 3840 次抛掷中的 3290 次，即 85.7%。约两个百分点的差距，是论文用来证明第一视角 RGB-D 可以替代机器人在真实世界中拿不到的状态信息的主要证据。

评测协议是明确的：每个环境贡献一次从 3.0–3.5 m 抛出、尺寸为 34×26×22 cm 的箱子，从第一步开始计分，接住要求箱子由胸部区域支撑、手腕位于箱子两侧、避开头部和肩部支撑，并且箱子低速保持 0.6 s。抛掷姿态、旋转、瞄准散布、物理属性和重置状态噪声都保持随机化。因此这些数字描述的是一个定义明确的接箱判据，而不是泛泛的接触概念。

特权输入的数字是视觉替代的参照，而不是可部署的系统；论文也指出，特权观测掩码采用硬件相机的视场（±53° × ±40°），而渲染图像垂直方向覆盖 ±45°。这一比较很接近，但它仍是仿真内部的比较。

时间历史承担了大部分视觉差距

去掉时间视觉历史是论文报告的最具破坏性的消融。在居中抛掷和横向偏移抛掷上，成功率分别下降 35.6 和 39.8 个百分点。单帧无法揭示箱子将飞向何处，论文的论述解释了原因：抛出的箱子在释放后约一秒到达机器人，而仅相机到控制的延迟在基于检测器的流程中中位数就有 69 ms，因此机器人必须在接触前就确定拦截动作，而不能只对最新观测作出反应。

自身运动是另一个主要贡献因素，因为相机随机器人移动，观测到的图像运动混合了物体运动与自身运动，而机器人自己的手臂在接近接触时会越来越多地遮挡箱子。视觉模型通过一个两层、128 单元的 GRU 融合八个几何特征和九个自身运动特征，这就是历史与自身运动进入潜在表示的具体机制。

还有两项训练选择塑造了视觉阶段。行为克隆初始化平均将视觉接箱提升 5.2 个百分点；在单种子比较中，延迟随机化在各类仿真延迟下带来 5–11 个百分点的提升。两者都是同一架构上的训练期干预，而不是对任务的改变。

颜色增强与学习型滤波器的比较

在解码器固定的情况下，颜色增强把蓝色和黑色箱子的成功率从 60.2% 和 61.2% 提升到 88.0% 和 88.8%，而纸板箱只从 87.0% 变为 87.8%。在该次评测中，七种测试颜色的成功率落在 87.0–88.9%。论文将此解读为外观敏感性降低，而蓝黑箱子的提升幅度说明未增强的编码器此前有多依赖颜色。

更有意义的比较是与检测加滤波的对比。两个基线使用论文自己的颜色增强热力图 CNN，训练数据、相机和分辨率相同，并把每帧的三维箱子点送入一个带重力和阻力的卡尔曼滤波器，其速度边界、噪声、门限和输出延迟都在留出抛掷上选定；两者都获得真值手臂触发信号，比 Reflex 更早抬起手臂。排除超出第三阶段数据的 5 m 和 7 m 抛掷后，视觉潜在表示在条件基准的全部 13 个条件中优于基于状态的流程，领先 5.0–15.6 个百分点；在 18 个条件中的 14 个优于潜在解码器流程，平均领先 1.5 个百分点。

论文自己的解读是，优势来自第二阶段的潜在接口，而学习到的时间模型与调好的卡尔曼滤波器相当。对于要在学习型动力学模型和经典滤波器之间做选择的人，这一区分很重要：在视觉训练范围内，接口与滤波器差距不大，潜在表示的优势有限且依赖具体条件。

真实机器人成功率随抛掷距离明显下降

在真实的 Unitree G1 上，论文报告每个条件 20 次试验。常规箱子在 2.5 m、5 m 和 7 m 处的接箱成功率分别为 65%、40% 和 15%，在测试的负载范围内为 30% 到 60%。20 次试验下，95% Wilson 区间最宽约 ±20 个百分点，因此这些是粗略估计而非精确测量。

人类参照是三个人，每人每个距离接 20 次常规箱子抛掷，释放前双臂自然下垂站立。合并后的人类成功率在 2.5 m、5 m 和 7 m 处分别为 85.0%、68.3% 和 28.3%。因此 G1 在 2.5 m 和 5 m 处达到人类成功率的 76% 和 59%，95% 区间分别为 54–107% 和 33–103%；在 7 m 处机器人和人类都较低，论文称这已接近人类抛接的实际距离范围。

距离趋势是论文最清晰的边界。5 m 抛掷比任何训练抛掷都快，也超出第三阶段 3.0–3.5 m 的数据范围，此时仿真视觉成功率降到 43.0%，而特权输入达到 79.7%，尽管编码器在每次 5 m 和 7 m 抛掷中仍能检测到箱子。失败不在检测，而在远距离下对动力学的视觉落地。

拆分在何处成立，在何处止步

论文自述的局限是远距离视觉落地，而其解决办法是数据覆盖而非架构：把 2.5–7 m 抛掷加入第三阶段数据后，仿真 5 m 成功率升到 75.8%，7 m 升到 36.7%，参考距离处为 88.8%，不过这一结果尚未在硬件上测试。该结果把失败定位在视觉阶段的训练分布上，而不是潜在接口本身。

其他边界都写在相关结果旁边。控制器实际上对尺寸不敏感，超出参考尺寸的箱子常常被拦截但未被接住；尺寸列使用不同的判据，要求箱子在骨盆 0.65 m 内、低于 1.2 m/s 保持 0.6 s，保持在 0.35 m 以上，并在 12.8 s 时静止。最高 2 kg 的负载仍可接住。在潜在 PPO 期间，保持接箱技能需要任务奖励，主要是保持塑形，以及至少一项运动先验。

该研究只覆盖单一任务，采用人类抛掷，每个条件 20 次真实试验；硬件延迟只在基于检测器的流程上测量，且超出随机化范围；渲染省略了运动模糊和曝光动态。这些限制了真实机器人百分比能被推到多远，但不改变核心比较。

可复用的是潜在接口，而非滤波器

论文最可迁移的主张，是关于难点所在。全身控制、快速物体动力学预测和第一视角视觉落地通常纠缠在一起，而 Reflex 把它们分开，让每项能力获得直接训练信号，同时用一个紧凑的潜在表示在阶段之间传递信息。支持这一点的证据是：参考距离处视觉与特权输入几乎持平，去掉时间历史带来大幅惩罚，以及在视觉训练范围内相对检测加滤波的有限但一致的领先。

由此得出的实际优先级在于视觉阶段的数据覆盖，而不在控制器。同一架构在 3.0–3.5 m 处达到 85.7%，在 5 m 处降到 43.0%，而在远距离抛掷进入第三阶段训练后恢复到 75.8%。对于判断这种拆分能否迁移的读者，决定变量是视觉阶段的训练抛掷是否覆盖机器人实际会面对的距离和速度——而论文把这一硬件测试留作未完成。

区分两类结论的距离阈值

合起来看，结果分成两个置信度不同的区间。在 3.0–3.5 m 的第三阶段训练范围内，视觉潜在表示在仿真中接近特权输入（85.7% 对 87.9%），并在全部 13 个评测条件中优于基于状态的检测器流程，这支持第一视角 RGB-D 能承载动力学表示的主张。超出该范围后，同一系统在仿真 5 m 处降到 43.0%，在硬件上为 40%，而恢复到 75.8% 来自把远距离抛掷加入第三阶段数据，而不是控制器学到了什么。

论文自己的论述把可复用贡献放在三阶段拆分和物体动力学潜在表示上，其自述局限则把未解决的问题放在远距离视觉落地上。同时把握两者的最有用方式，是把 3.0–3.5 m 训练范围视为已证明主张的边界，把远距离数据结果视为关于如何扩展该边界的证据——而这种证据在真实机器人上仍然缺失。

人类对照设定的是基准而非上限

人类数字不是装饰。三名接箱者在 7 m 处成功率只有 28.3%，合并成功率在 2.5 m 和 5 m 处为 85.0% 和 68.3%。对照这一基准，G1 在 2.5 m 和 5 m 处的 65% 和 40% 相当于人类表现的 76% 和 59%，区间宽到（54–107% 和 33–103%）2.5 m 的比较无法排除持平。

这一框架改变了真实机器人数字的读法。5 m 处 40% 的接箱率单独看显得弱，但同一距离上人类接箱者也降到 68.3%，论文还指出 7 m 已接近人类抛接的实际范围。机器人的差距恰好在视觉阶段训练数据结束的地方最大，这与仿真发现一致：远距离抛掷是数据问题，而不是控制问题。

因此论文的最终优先级很具体：在就远距离反应式控制下结论之前，先扩展视觉阶段的抛掷分布，并用同距离的人类接箱者而非绝对成功率阈值来评判系统。2.5 m 的结果已经显示拆分在接近持平处有效；5 m 和 7 m 的结果显示还缺什么。

本文引用的文献