接口需要弥合的三处不匹配
仅让相机布置对应还不够。腕部相机提供局部的手–物视角,接近近距离灵巧控制所用的眼在手上视角,但论文指出人类数据与机器人数据之间仍有三处差距:手的外观与关节结构不同;人类运动本身不是目标手的可执行指令;还需要表达任务物体相对正在闭合的手处于什么位置。
每处差距对应一条转换分支。观测对齐调整人类手部外观,并叠加共享的 21 点手部结构;动作监督把融合后的人类手部运动重定向到每只手的原生指令空间;抓握口袋交互表示(GPIR)则把被跟踪物体描述为相对于以手为中心的功能抓握口袋的位置。共享的 21 点表示定义的是数据语义,而不是一个通用的机器人动作空间。
人类运动如何变成可执行监督
两路三维手部估计——一路来自 PICO 追踪,一路来自腕部 RGB 手部模型——按每个关键点用置信度加权插值合并,再用自适应卡尔曼滤波平滑,以减少抖动并衔接短暂的追踪中断。融合后的 21 点结构就是两只手共同继承的运动信号。
重定向是在几何手部关系上求解非线性运动学优化,而不是把人类关节角直接映射为机器人关节角。对 Linker O6,DexPilot 风格的目标函数使用 15 个几何向量,求解 6 个主动关节,其余关节遵循机械耦合;对 Wuji,目标函数额外加入掌到 PIP、掌到 DIP、掌到指尖的向量、指尖方向和拇指–手指捏合距离,其权重会随人类抓握状态调整:远离捏合时强调整指形状,接近捏合时强调指尖位置和方向。优化后的手部状态随后被转换为原生指令增量,O6 得到 6 个指令维度,Wuji 得到 20 个。
两只手上的成功率
在六项真实世界任务中,Human2Dex 在 Linker O6 上取得 109/120 次成功(90.8%,Wilson 95% 置信区间 84.3–94.8%),在 Wuji 上取得 97/120 次成功(80.8%,72.9–86.9%)。两只手合并计算,四个分别训练的配置成功率为:Human-Raw 26.3%、Human-Visual 60.0%、Human-Structured 67.9%、完整 Human2Dex 85.8%,即 206/240 次试验。
论文明确指出,这些逐级配置比较是对整套转换框架的系统级证据,并不能单独分离出任一组件的作用。因此,Human-Raw 与 Human2Dex 之间的差距支持的是组合接口,而不是其中某一条分支。
匹配实验中腕部视角的优势
一项在 O6–Croissant 上单独进行的匹配诊断实验,固定了动作监督、架构、优化和物理评估,只改变演示相机。腕部视角演示取得 6/20 次最终成功和 4/20 次首次抓握成功;头部视角演示两项指标均为 0/20,每种条件各 20 次试验。
这是单手、单任务的比较,论文也说明其绝对成功率不应与主表直接比较,因为它是诊断实验而非完整的系统级条件。它支持的是:在所评估的眼在手上设定中,以手腕为中心的观测是一个有用的设计选择,仅此而已。
抓握相对定位何时更有价值
参考系比较区分了两个容易混淆的设计选择:物体在哪里被定位,以及交互如何被参照。在受控比较中,以图像为中心的条件在 Croissant 上具有竞争力,而以口袋为参照的条件在 Cup 上明显更好,因为该任务对抓握对齐和插入更精确。
论文据此认为,当任务成功强烈依赖抓握对齐时,整物体层面的抓握相对定位帮助最大;而局部交互可能需要更细粒度的表示。因此 GPIR 被描述为面向序列腕部视角策略控制的低维抓握相对交互线索,而不是通用物体重建、通用抓握表示或完整接触模型。
复用结论未覆盖的范围
复用主张成立的范围是两只经过标定的灵巧手——Linker O6 和 Wuji,在六项真实世界任务上评估,且每只手都有各自的重定向和训练。论文没有证明未经标定或结构不同的手能在没有自身重定向器、动作转换和归一化的情况下迁移,也没有声称存在共享的机器人动作空间。
由此得到的实际优先级是按情景区分,而不是一概而论。当抓握对齐主导任务成功时,论文证据指向以口袋为参照的交互线索;当交互更偏局部时,以图像为中心的条件的在所测的那一项任务上仍具竞争力。可复用的资产是人类演示语料及其观测和运动语义,而每只手的执行栈仍是必须重建的部分。
本文引用的文献
Human2Dex: Dexterous Robot Learning from Wrist-Centric Human Demonstrations
一份共享的、以手腕为中心的人类演示语料,经观测对齐、按手重定向和抓握相对交互表示转换后,支撑了各自独立的策略,在 Linker O6 上取得 109/120 次成功,在 Wuji 上取得 97/120 次成功;原始人类数据基线在两只手上合并为 63/240 次成功。
