PanTact 如何用可穿戴接触数据教人形机器人全身灵巧操作?

PanTact 从无机器人的人类演示中迁移接触目标而非身体姿态,让人形机器人学会全身操作。

直接答案

PanTact 让人形机器人用手臂、躯干和腿完成操作:它从人类演示中学习接触发生的位置和时机,而不是复制人类的关节姿态。可穿戴贴片接口记录演示者身上的身体接触,视觉运动策略预测接触目标,全身控制器再在 29 自由度 Unitree G1 上实现这些目标,且不额外加装身体接触传感器。在抓取并环抱任务上成功率为 85%,清扫并收纳任务的端到端成功率为 90.63%,搬运并推动任务为 90%。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

迁移的是接触,不是姿态

论文的核心主张是:接触位置和时机描述的是任务层面的物理交互,而产生这些接触的身体表面和关节构型则取决于具体机器人。正是这一区分,让人类演示能用于肢体长度和比例都不同的机器。PanTact 不重定向全身关节(那会移动接触点),而是测量人体在何处、何时接触世界,再要求机器人用合适的身体表面复现这些接触。

这一点重要,是因为论文对比的替代流程只携带末端执行器轨迹或关节姿态。Humanoid UMI 预测末端执行器动作,并且只跟踪末端执行器轨迹;Humanoid UMI++ 额外预测并持续跟踪绑定到固定机器人身体部位的膝部姿态。两者都不带明确的身体接触目标,因此支撑物体所需的手臂或腿部姿态没有被指定。

可穿戴贴片记录接触的位置与时机

数据采集接口在自我中心视觉和双手 UMI 夹爪之外,增加了佩戴在演示者前臂和膝盖上的模块化接触贴片。每个模块是 44×44 mm 的单元,携带一个力敏电阻;一块定制的 50×50 mm PCB 以 1 kHz 同时采集最多 16 个通道。模块通过磁吸拼接成不同形状和范围的贴片,因此同一套传感设计可以覆盖不同演示者和身体部位。

接触状态按每个通道的自适应基线做二值化,而不是用绝对阈值,因为力敏电阻的阻值会随温度和安装压力漂移。每块贴片都配有一个跟踪器,把传感器中心映射到世界坐标系,每个时间步生成一个 N×4 的接触数组:每个传感器对应一个二值接触状态和一个三维位置。这些序列用于监督策略的接触目标预测,二值状态则告诉控制器何时跟踪某个接触位置。

遮掉身体区域以缩小视角差异

全身接触常发生在夹爪后方、腕部相机视野之外,因此策略需要视野更广的自我中心视角。但这个视角也会拍到演示者的身体,造成与机器人之间的外观不匹配,而人和机器人的身高差异又会改变视角。PanTact 使用三维自我中心点图,并用几何方式遮掉身体区域:每个夹爪坐标系和接触贴片定义一个朝向身体的半空间,这些半空间的交集近似身体区域,再在视觉编码器的注意力层中遮掉对应点。

策略是一个以 10 Hz 运行的扩散策略,预测 16 步的动作块。每一步包含头部注视点、目标末端执行器姿态和夹爪开度,以及接触目标。一个接触目标由二值状态和位置组成;只有激活的目标才要求机器人在该点接触,未激活的目标不要求复现该传感器在自由空间中的轨迹。正是这一区分,使机器人不会被那些不携带任务相关接触的身体运动过度约束。

任意表面目标让机器人自选身体部位

控制器把末端执行器轨迹和接触目标转换为全身运动,只在预测状态为激活时跟踪接触位置。接触目标不会被分配给某个特定机器人连杆。控制器用一个平滑的邻近距离目标,衡量指令接触点到最近候选机器人表面的距离,并驱动该距离趋近于零。由于目标不绑定连杆,控制器可以在保持平衡的同时,选择最适合机器人的身体表面。

论文测试了三种方案:上半身接触感知逆运动学、由稠密跟踪器执行的全身逆运动学,以及直接稀疏接触跟踪。在仿真中回放演示轨迹时,加入接触目标降低了每个控制器的接触表面距离,而末端执行器跟踪精度的损失很小。启用接触目标后,上半身逆运动学取得最低的上半身末端执行器误差,稀疏接触跟踪器取得最小的接触距离,并在上半身评估的两项指标上都优于全身逆运动学加稠密跟踪器。

三项接触密集任务的实机结果

所有硬件实验都使用 29 自由度 Unitree G1,其夹爪和相机与数据采集接口相对应;每种方法都用相同的演示训练,并在匹配的测试配置下评估。在抓取并环抱任务中,机器人先抓起一个小物体,再用双臂环抱一个大物体,成功需要同时移动两者。PanTact 配上半身逆运动学在 20 次试验中达到 85%,稀疏接触跟踪器为 80%;Humanoid UMI 始终无法支撑大物体,因为它的控制器只跟踪末端执行器指令,手臂姿态没有被指定。

在清扫并收纳任务中,机器人先用手臂把高物体扫入箱子,再用下半身表面把柜门推上。端到端得分是清扫得分与关柜得分的乘积,PanTact 配全身逆运动学加稠密跟踪器在 16 次试验中达到 90.63%,这些试验平均分配到已见和未见物体条件。值得注意的是,机器人用腕部、前臂或夹爪侧面清扫,用膝盖或脚关柜,超出了演示中的前臂和左膝接触。Humanoid UMI++ 经常漏掉物体或把物体打出箱外,也更常接近关节极限;作者认为,这可能源于同时跟踪手部和膝部姿态时,人和机器人的比例差异。

在搬运并推动任务中,机器人用双臂抱着一个箱子,走向地上一个更大的箱子,并把它推动超过 20 cm。PanTact 配全身逆运动学加稠密跟踪器在 10 次试验中达到 90%,失败发生在机器人掉落所抱箱子时,稀疏跟踪器和 Humanoid UMI++ 更常出现这种情况。基线持续跟踪膝部姿态,并出现明显的膝部姿态误差;PanTact 只在接触激活阶段施加腿部接触目标,并在这些阶段更准确地跟随指令的腿部接触位置。

两种跟踪器的取舍出现在哪里

控制器比较并不是一个单一排名。对于上半身任务,稀疏接触跟踪器取得最小的接触表面距离,也在末端执行器误差上优于全身逆运动学加稠密跟踪器;报告的是 10 条抓取并环抱轨迹上每条轨迹中位误差的中位数。对于全身任务,评估使用 20 条轨迹,平均分配到清扫并收纳和搬运并推动,两种跟踪器各有取舍:稀疏跟踪器的接触距离更低,但末端执行器误差高于全身逆运动学加稠密跟踪器。

这一分化就是论文的实用读法。如果任务依赖精确的手部放置,稠密跟踪器方案更合适;如果优先让身体表面到达接触目标,稀疏跟踪器更受青睐。论文自己的任务结果也遵循这一模式:抓取并环抱使用上半身逆运动学,两个全身任务使用全身逆运动学加稠密跟踪器。

演示数据与仿真训练划定的边界

控制器在 4096 个并行仿真环境中用 PPO 训练,使用事后标注的回放数据,并对质量、摩擦和接触目标扰动做域随机化。论文指出,这能直接学到全身接触的实现,代价是需要仿真训练并依赖训练分布。演示本身的范围也有限:抓取并环抱 100 条、清扫并收纳 150 条、搬运并推动 110 条,硬件评估则分别为 20、16 和 10 次试验。

报告中的失败也标出了边界。抓取并环抱的偶发失败发生在夹爪没抓中小物体时,作者指出夹爪会继续向前伸,直到接近手臂关节极限,这可能反映累积的跟踪误差把观测带出了策略的训练分布。偶发的柜门只关上一部分,发生在控制器优先保持平衡而非到达接触目标时。这些是接触实现和分布上的限制,并不能证明该方法可扩展到任意任务或任意机器人形态。

为什么激活的接触目标才是重点

这篇论文中最影响判断的区分,是激活与未激活的接触目标。只有激活的目标才要求在预测位置发生接触;未激活的目标不要求复现演示者在自由空间中的身体运动。因此机器人可以用膝盖或脚关柜,而不是演示中的左膝;也可以用腕部或夹爪侧面清扫,而不是演示中的前臂。控制器可以自由选择一种既能满足任务关键接触、又能保持平衡的身体构型。

因此,对于比较全身操作方法的读者,这篇论文的优先级不是最大化的姿态保真度,而是在机器人自身约束下的接触保真度。支持这一优先级的证据有两部分:控制器比较中,加入接触目标降低了每个控制器的接触表面距离,而末端执行器精度损失很小;任务结果中,仅姿态的基线恰恰在它们未指定的接触上失败——抓取并环抱中的手臂支撑、清扫并收纳中的手臂正则化,以及搬运并推动中行走时持续的手臂支撑。

本文引用的文献

1

PanTact: Teaching Whole-Body Dexterity with a Wearable Contact Interface

PanTact 从无机器人的人类演示中学习人形机器人全身操作,迁移的是接触目标而非身体姿态;在 29 自由度 Unitree G1 上、不额外加装身体接触传感器的情况下,抓取并环抱成功率为 85%,清扫并收纳端到端成功率为 90.63%,搬运并推动为 90%。