如何用接触感知重定向从第三人称视频学习人形机器人交互技能?

VICAR 通过保留全局接触位姿、速度和间隙,把第三人称视频重定向到人形机器人,并支持运行时适配。

直接答案

VICAR 从单段第三人称视频学习人形机器人交互技能:它把人类动作重定向到机器人,同时把定义任务的世界坐标系接触位姿、运动速度和碰撞间隙作为高优先级目标,再训练一个以可移动接触点为条件的动作生成器,使同一技能在运行时能对准新的物体或球的位置。作者展示了十项视频技能,包括六种乒乓球发球、三项物体拾取任务和爬梯,除爬梯外均在硬件上部署。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

只匹配身体姿态为何不够

一条轨迹可以看起来很像人类示范,却仍然无法完成任务。论文把接触密集的技能组织在稀疏的接触事件上:手必须到达物体,脚必须落在横档上,或者球拍必须在特定位姿和时刻碰到球。动作转移到机器人之后,如果这些事件在世界坐标系中发生漂移,即使关节角跟踪得很紧,模仿也不可用。

形态差异让问题变得具体。站立的成年人可能觉得桌子接近腰部高度,而 Unitree G1 这类较矮的人形机器人会觉得同一张桌子接近胸部。只匹配人类关节或关键点运动的重新定向动作会错过物体。仅靠避碰也无法消除歧义:可能存在多个无碰撞位姿,但只有一小部分能保留示范中的接触和接近速度。

这里的接触指什么

VICAR 把接触定义为指定的机器人连杆或末端执行器在指定时间步到达世界坐标系下的 SE(3) 位姿。标注集合记录帧、身体部位以及期望的全局位置和朝向。这只是一个位姿目标:它不建模力、接触模式或滑动。

这个定义对理解结果很重要。系统学的不是以特定力曲线去按压、抓握或滑动,而是让选定的身体部位在选定的时刻到达选定的世界位姿,同时让其余动作保持平滑且无碰撞。例如在乒乓球中,作者为抛球标注一个位姿,为球拍击球标注一个位姿,而击球位姿可以随估计的球状态在线移动。

两阶段重定向保留接触与速度

重定向分两遍进行。第一遍沿用 OmniRetarget 式的交互网格公式,但关闭障碍物惩罚,生成一条满足关节限制的初始机器人轨迹,提供合理的动作先验,而不会过早迫使机器人绕开可能不匹配的场景几何。

第二遍优化整条轨迹,并给接触项和碰撞项很高优先级。目标函数保留关键连杆的平移和角速度、平滑轨迹、惩罚进入重建障碍物的穿透,并把指定连杆锚定到标注的全局接触位姿。由于这些是拉格朗日惩罚项而非硬约束,梯度下降不保证精确相等;如果标注与可行几何冲突,优化器返回最近的可行位姿,作者会明确报告残差。

障碍物来自视频本身。逐帧单目深度用 UniDepth 估计,语义区域用 Semantic-SAM 分割,再由 GPT-4o mini 选出可能与人类接触的区域,例如桌面、桌边、地面块或支撑面。选中的像素被反投影,按人体高度对齐缩放,并体素化为边长 0.05 m 的长方体障碍物,当至少五个点落入其中时视为占据。

可移动接触点让同一技能换位置

优化后的轨迹用于训练动作生成器。生成器接收动作风格向量、可移动接触条件和时间上下文,预测参考的机器人动作和物体动作。风格向量是源视频或动作族的一热标识;对六种乒乓球发球,它在正手简单、反手简单、正手削球和反手变体等风格之间选择。

接触条件是在运行时变化的部分。由于生成器以接触点为条件,而不是固定在一个录制位置,同一学到的技能可以在跟踪策略执行之前重新对准新的物体或球的位置。论文报告了一项增强研究,考察在留出的同分布接触点上的成功率与增强轨迹数量之间的关系,这是判断这种条件化能否在示范接触分布内泛化的证据。

比较如何隔离重定向质量

评估回答四个问题:接触感知重定向是否在保持平滑的同时降低接触误差和碰撞;在全局接触位姿重要的任务上,它是否优于 OmniRetarget 式重定向;接触条件生成能否适配新的接触点;生成的参考能否迁移到真实的 Unitree G1。

基线包括 OmniRetarget、GMR、PHC、VideoMimic,以及去掉速度保持的消融版本。为隔离重定向质量,所有基线都事后加入相同的接触位姿惩罚项,所有方法使用相同的锚点位姿增强,下游跟踪策略共享 PPO 超参数、训练步数、域随机化和奖励。因此比较检验的是重定向公式本身,而不是接触公式、增强或策略算力的差异。

各项指标保持区分。穿透与残差包括平均有符号穿透深度、标注锚点处的平均位置残差,以及不可行率,即穿透大于 1 cm 的帧所占比例。平滑性包括以 rad/step³ 计的平均关节加加速度和最大关节速度。速度保持是手腕和脚等末端执行器在源动作与重定向动作之间位移幅值的误差。下游成功率在仿真中通过 1000 次试验测量。

硬件部署在哪里成立与失败

十项技能中除爬梯外全部在硬件上部署。爬梯是有信息量的失败案例:重定向轨迹是平滑的,但同一个盲跟踪策略在硬件上绊倒了。这把重定向质量与策略鲁棒性区分开来,也说明平滑的参考不足以证明可部署性。

部署还依赖测试时的动作捕捉来提供全局骨盆、物体和梯子位姿;训练不使用真实机器人数据,因此在这个意义上 sim-to-real 迁移是零样本的。作者还指出,接触不可达、平衡状态无支撑,或超出手部模型的灵巧操作等动作可能失败。

标注成本划出当前边界

接触帧、接触身体部位和 SE(3) 位姿均为人工标注,每项技能约需 20–30 分钟,新的任务族仍需逐任务标注和场景重建。对单目深度误差以及 Semantic-SAM 或 GPT-4o mini 幻觉的鲁棒性不在当前贡献范围内。

这些不是附带说明,而是界定了十项技能结果覆盖的范围。已展示的价值在于一个保留接触的重定向步骤,使稀疏的、定义任务的世界接触在形态转移后仍然有效,以及一个能在示范分布内重新对准这些接触的生成器。自动化接触标注、集成机载感知,以及在重建的仿真孪生中训练视觉条件策略,留作未来工作。

优先级是保留接触而非姿态保真

论文的独特主张是一种优先级排序,而不是模仿能力的普遍提升。当人类示范被转移到形状不同的机器人时,值得保护的量是全局接触位姿、末端执行器的接近速度和碰撞间隙;身体姿态相似性是次要的,因为姿态忠实的动作仍可能错过物体或横档。

这种排序也解释了失败模式。爬梯在硬件上失败,尽管重定向轨迹平滑,因此那里的约束瓶颈是盲跟踪下的策略鲁棒性,而不是接触保持。对于乒乓球发球和物体拾取,任务由可移动的世界坐标系接触定义,接触条件生成器就是把示范技能带到新接触位置的组件。

本文引用的文献

1

VICAR: Video Imitation with Contact-Aware Retargeting for Humanoid Interactive Skills

接触感知重定向保留全局接触位姿、末端执行器速度和碰撞间隙,随后用带可移动接触点的接触条件动作生成器,产出了十项视频衍生的人形机器人技能;除爬梯外均在硬件上部署。