重定向位于指令通路上并带来延迟
多数人形全身遥操作系统先把操作者的运动转换成机器人关节参考轨迹,再交给跟踪策略执行。这种拆分的好处是把“匹配两种不同形态的身体”和“控制机器人”分开处理。论文指出了代价:重定向直接位于指令通路上,通常需要逐步的 kinematic 优化或迭代逆运动学,因此它的延迟会叠加在已有的感知、通信和执行延迟之上。在动态遥操作中,累积的延迟会降低响应性。
论文也指出,免重定向的替代方案存在,但往往只使用头部和手部信号,对下半身的控制有限。因此作者瞄准的空白很窄也很具体:保留全身控制,把在线运动学适配从部署路径中移除,同时不退回到仅上半身输入。
单次前向替代在线运动学适配
所提出的策略接收一次人体运动观测和一小段机器人本体感知历史,在单次因果前向中输出归一化的关节动作。部署时,该动作经底层 PD 控制器转换为关节位置指令。推理阶段不运行任何重定向步骤。
训练流程分两阶段。第一阶段在重定向后的动捕参考上用 PPO 训练一个特权教师;教师是稀疏混合专家 actor,把每个输入路由到 top-k 细粒度专家并加上一个共享专家,同时使用负载均衡损失防止专家坍缩,并使用自适应采样器提高近期 rollout 失败率高的片段的采样概率。第二阶段把这个冻结的教师蒸馏为可部署的学生。重定向以及根线速度、足部接触等特权信号只在训练教师时使用;部署路径只包含估计器、码本、解码器和策略。
这对正确理解延迟结果很重要:比较的是部署路径不含重定向的方法与仍在线重定向的基线,而不是两个训练期信息完全相同的系统。
离散码本强制给出一个合理的全身答案
部署观测常常是部分的、含噪的,或与训练所用的干净动捕参考不同。作者认为,直接连续回归此时可能从不可靠输入外推,或对多个合理的全身补全取平均。他们的替代方案是因子化离散运动先验:设 C 个通道、每通道 D 个条目,码本为每个通道选择一个条目,从而仅用 C·D 个类别输出就得到 D^C 个组合码。分组直通 Gumbel-Softmax 量化器为每个通道选一个码,前向使用硬 one-hot 输出,反向传播使用松弛概率。
该先验作用于一个只含人体坐标系量的人体运动描述子:13 维根项(6-D 根旋转、根高度、3-D 根线速度与角速度)、J 个人体关键点的 3-D 位置堆叠,以及两个 6-D 手腕朝向。人体与机器人根旋转差等机器人相对项被排除在该描述子之外,稍后在把恢复出的描述子表达到机器人基座坐标系时再应用。
两个耦合分支学习码本。仅训练时使用的编码器看到干净的全身描述子;可部署的估计器看到被破坏的版本——用逐关键点伯努利可见性掩码遮蔽关键点、加入均匀噪声,并附加掩码本身,使缺失关键点能与恰好位于原点附近的有效关键点区分。同一掩码和噪声在每个训练时域内保持不变,以模拟时间相关的观测误差。估计器被训练去匹配编码器的 stop-gradient 码目标,从而学会从部分输入恢复干净原型。只有估计器、量化器和解码器保留到部署。
核心比较是成功率对响应延迟
论文的框架图把成功率对延迟作图,其中延迟是通过对齐操作者与机器人光流轨迹估计的真实机器人响应延迟。码本方法被报告为在对比方法中取得最高成功率和最低延迟。这是关于两个不同量的联合结论,也应这样理解:一个方法可能在一个轴上强、另一个轴弱,而论文的要点是它没有以牺牲一个为代价换取另一个。
评估覆盖 Unitree G1 的仿真与硬件,输入来自虚拟现实、光学动捕、文本到运动生成和单目视频。作者把跨仿真器测试总结为在对比系统中取得最佳任务完成率以及七项跟踪指标中的六项,同时保留低延迟部署路径。跟踪精度与端到端延迟被列为第一个问题,对分布外人体运动的鲁棒性为第二个,向真实机器人跨多种运动源的迁移为第三个。
鲁棒性来自向原型的投影而非平均
鲁棒性结论依赖一个具体机制,而不是更多训练数据。由于量化器做硬离散选择,策略必须承诺单一运动原型,而不是对多个合理补全取平均。估计器分支被训练为从被掩码、含噪的输入复现干净编码器的码,这也是系统从部分观测恢复全身运动的方式。
论文报告该方法在多种分布外条件下优于连续回归。论文还消融了教师、码本容量和输入关键点数量,并说明关键点稀疏性的影响在该消融中考察。这些消融是码本与蒸馏设置确实起作用的证据,而不是部署策略因无关原因成功。
这里有一条适用范围条件:码本是逐帧的,不显式建模长期运动结构。作者把时间基元、不确定性感知恢复和接触感知遥操作列为未来工作。因此鲁棒性证据针对的是瞬时姿态恢复和逐步动作选择,而不是长运动序列的连贯性。
迁移成立的范围限于输入源
模态无关设计是一个具体主张:部署时教师、编码器和辅助头被丢弃,剩下的估计器—解码器—策略路径接受任何提供人体运动观测的上游来源,包括光学动捕、单目视频、VR 和生成运动,无需按模态重新训练。论文报告了从多种人体运动输入源向真实机器人控制的迁移,且无需微调。
证据没有确立的内容同样具体。报告的比较针对论文选定的基线,在 Unitree G1 上、在仿真和该硬件上进行;总结指标是跨仿真器测试中的任务完成率和七项跟踪指标中的六项,而不是普适排名。延迟数字是通过对齐操作者与机器人光流轨迹估计得到的,因此它衡量的是该估计流程下的响应延迟。并且由于码本是逐帧的,这些证据不支持关于长时程运动质量的结论。
权衡偏向延迟与稳定性而非运动学精确
论文的独特优先级不是原始跟踪保真度,而是低响应延迟与不完美输入下稳定行为的组合。把重定向从指令通路移除换来延迟;离散码本在观测部分、含噪或分布外时换来稳定性。这是两个独立的设计决策,报告的结果是联合支持它们,而不是分别支持。
对判断该方法是否适合某一遥操作场景的读者,论文自身的场景划分最有用。如果瓶颈是指令通路上的逐步运动学优化,且输入流不可靠或来自多种来源,那么免重定向加码本的设计正针对这种情况,报告的成功率对延迟比较就是相关证据。如果需求是显式的长期运动结构或接触感知行为,作者自己把这一点放在当前逐帧码本之外,列为未来工作。
本文引用的文献
Beyond Retargeting: Low-Latency and Robust Humanoid Whole-Body Teleoperation with Learned Atomic Motion Primitives
一种免重定向策略在单次前向中把原始人体运动与本体感知历史映射为 Unitree G1 关节指令,并使用学习到的因子化全身运动基元码本把部分、含噪和分布外观测投影到合理原型上;作者报告在对比方法中取得最高成功率和最低实测响应延迟,且鲁棒性优于连续回归。
