物理信息重定向能否从人类视频复现灵巧操作?

DexForge 将人类视频重定向为机器人手轨迹,成功率比采样基线高 35-53 个百分点。

直接答案

可以,但前提是把人类接触适配到目标机器人,而不是直接复制。DexForge 从视频中重建球面高斯物体模型与手-物运动,构建结合高斯碰撞检测与可微动力学的可微模拟器 ComFree-GS,然后依次执行接触感知的运动学重定向和力感知的动力学重定向。在 130 个 DexYCB 和 HOT3D 演示、七种灵巧手上,论文报告成功率比基线提升约 35-53 个百分点,成功轨迹上的物体位置和朝向跟踪误差分别降低约 34-67% 和 71-78%。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

DexForge 适配人类接触而非直接复制

论文的核心主张是:人类演示中的接触不应直接迁移到形状不同的机器人手上。DexForge 先把这些接触适配到目标机器人,再用适配后的接触同时引导运动学重定向和动力学控制优化。论文给出的动机是:人类演示中的接触对机器人手可能不可达或不稳定,而一条无穿透、几何上接触合理的机器人轨迹,在接触动力学和驱动约束下仍可能无法执行。

这重新定义了重定向问题。DexForge 不把视频当作要匹配的位姿目标,而是把它当作交互结构的来源,这种结构必须在动力学优化开始之前先在机器人上重新建立。论文把流程描述为逐步建立机器人执行所需的物理结构:重建几何与运动,适配接触并构建受碰撞约束的运动学参考,再通过可微模拟器优化控制来实现该参考。

球面高斯同时承载外观与碰撞几何

DexForge 从多视角 RGB-D 视频中把物体资产重建为球面高斯模型,因此单一表示既提供用于位姿估计的视觉外观,也提供用于碰撞检测的几何。论文将其与 ContactGaussian-WM 对比:后者同样用球面高斯统一外观与碰撞几何,但分别优化几何和外观。DexForge 提出的担忧是,基于图像的初始化不会直接约束内部距离,可能产生不可靠的穿透深度估计,而后续颜色拟合阶段固定住可能有偏的几何,也会限制外观重建精度。

它的解决办法是深度导出的距离监督。查询点处的高斯碰撞距离场定义为各基元中“点到中心距离减去该基元碰撞半径”的最小值,碰撞半径取高斯尺度的三倍。由多视角深度图构建的参考符号距离场监督该距离场,距离匹配损失与标准 3DGS 目标结合,使几何和颜色联合优化。随后重建模型与 GS-Pose 配合恢复物体位姿轨迹,同时通过 HaMeR 预测和相机标定恢复 MANO 手部运动,把两条轨迹放在同一坐标系中。

运动学与动力学重定向依次解决不同问题

论文把重定向表述为两个依次求解、角色互补的约束优化问题。运动学重定向通过关键点拟合寻找匹配演示运动的机器人参考轨迹,使用对应集把正运动学得到的机器人关键点位置拟合到对应的 MANO 关键点,并受构型与碰撞约束。动力学重定向则从参考初始状态出发,优化机器人控制以跟踪参考状态轨迹,并受模拟动力学以及允许的状态和控制约束。

这一区分很重要,因为两个阶段回答的是不同问题。运动学重定向问的是:是否存在一条几何有效、无穿透、且保留演示接触结构的机器人位姿序列。动力学重定向问的是:该序列在接触动力学和驱动限制下是否真的可执行。论文指出基于物理的优化存在权衡:采样方法能处理复杂接触变化,但要得到非常精确的轨迹可能需要大量采样;梯度优化能更直接地细化轨迹,却对初始化和局部极小值敏感。DexForge 的应对是用机器人适配后的接触作为良好的运动学参考,并在基于梯度的动力学优化中持续提供引导。

接触感知重定向消除穿透并跟踪细化锚点

在运动学重定向中,论文在全部选定的 DexYCB 和 HOT3D 序列、七种手上与 SPIDER 的 IK 阶段比较。基线拟合 MANO 导出的指尖位置和手腕朝向,不考虑手-物交互或稳定接触。两种方法都用数据集提供的真值轨迹评估,DexForge 还额外用自身重建轨迹评估。

报告的运动学误差单位为毫米。在 DexYCB 上使用真值输入时,IK 基线的自碰撞误差为 4.73、手-物穿透为 6.37,而接触感知重定向两项均为 0.00。原始锚点跟踪误差从 23.30 降到 9.20,细化锚点跟踪误差从 24.93 降到 3.92。在 HOT3D 上使用真值输入时,IK 的自碰撞为 5.37、手-物穿透为 8.80,接触感知重定向分别为 0.00 和 0.01;原始锚点误差从 23.72 降到 12.87,细化锚点误差从 24.01 降到 5.59。论文指出,使用其重建轨迹时结果相当,说明对运动学重定向性能影响有限,并称该方法在降低穿透的同时把接触适配到机器人并保留了演示的接触结构。

基于梯度的力感知细化带来最大提升

在动力学重定向中,论文在 ComFree-GS 内、七种手上把 DexForge 与基于采样的 SPIDER 比较。为分离动力学阶段的贡献,论文加入一个受控对比 Contact-aware+SPIDER,它把 SPIDER 的 IK 阶段替换为 DexForge 的接触感知运动学阶段,并把 DexForge 的接触引导提供给 SPIDER 的优化器。所有方法都使用数据集提供的真值轨迹,DexForge 还额外用其重建轨迹评估。位置和旋转误差只在成功轨迹上计算,并在五个随机种子上取平均。

在 DexYCB 上,IK+SPIDER 报告位置误差 8.21 mm、旋转误差 4.22 度、成功率 24.9%;Contact-aware+SPIDER 为 7.57 mm、3.37 度、50.6%;DexForge 为 2.73 mm、0.93 度、77.4%。在 HOT3D 上,IK+SPIDER 为 7.55 mm、4.70 度、成功率 0.4%;Contact-aware+SPIDER 为 7.07 mm、3.29 度、0.6%;DexForge 为 5.01 mm、1.34 度、34.9%。论文把剩余差距归因于基于梯度的力感知细化,因为在 Contact-aware+SPIDER 对比中运动学阶段和接触引导保持不变。论文指出 HOT3D 上差距最大,那里物体通常从第一帧起就在手中,SPIDER 大多因物体掉落而失败,说明模拟梯度有助于维持精确的手内接触。使用重建输入的 DexForge 在 DexYCB 上报告 74.1% 成功率,在 HOT3D 上为 31.2%。

系统辨识决定轨迹能否通过迁移

论文在与消融研究相同的子集上评估从 ComFree-GS 到 MuJoCo-CPU 的开环迁移,所有方法都使用重建轨迹。目标端使用基于网格的碰撞检测和物体特定的物理参数,而 ComFree-GS 使用高斯碰撞和共享的初始参数。逐序列的系统辨识标定物理参数和碰撞距离偏移,以减小动力学失配并补偿残余几何误差;随后在标定后的模拟器中重新优化控制,并以开环方式重放。当平均跟踪误差满足位置阈值 0.02 m 和旋转阈值 0.2 rad 时,迁移算作成功。

被标定的参数是物体质量、惯性张量、接触摩擦系数和碰撞距离偏移。由于参数耦合可能产生多峰的辨识地形,论文使用 TSMC 把基于粒子的探索与梯度引导的细化结合,并与仅梯度、仅采样两种辨识比较。在 DexYCB 上,DexForge 的迁移成功率从辨识前的 25.7% 升到仅梯度的 36.6%、仅采样的 53.1%、TSMC 的 58.9%。在 HOT3D 上,DexForge 从 9.1% 分别升到 13.1%、26.9% 和 33.1%。两个基线也保持同样排序,因此辨识方法的选择会让迁移结果相差数十个百分点。

真机重放衡量的是可执行性而非跟踪保真度

在仿真到真机的开环迁移中,论文缺少准确的物体位姿测量,因此在不做系统辨识的情况下评估迁移。对五个 YCB 物体,论文在已知物理参数下用其重建轨迹运行完整重定向流程,然后把得到的控制从与仿真匹配的初始位置开环重放到配备 LEAP Hand v1 的 Unitree G1 上。每个物体 10 次试验,执行达到 80% 的稳定抓取保持成功率。

论文明确指出,这衡量的是可执行性而非跟踪保真度。这一区分是真机结果的关键边界:80% 的稳定抓取保持成功率并不能证明演示的物体运动和朝向在硬件上被复现,也不带有仿真中报告的位置和旋转误差数字。真机评估还省略了系统辨识,而仿真到仿真的结果表明系统辨识会显著影响迁移成功率。

最强证据来自受控的动力学对比

最具决策价值的结果是那个保持运动学阶段和接触引导不变的受控对比:Contact-aware+SPIDER 对 DexForge。该对比分离出基于梯度的力感知动力学细化,也是成功率与跟踪误差差异最大的地方,尤其在采样基线几乎完全失败的 HOT3D 上。相比之下,运动学结果表明接触感知重定向已经消除了穿透并改善了锚点跟踪,但它们本身并不能确立可执行性。

论文自身对权衡的表述是值得带走的实用阈值:基于采样的优化能处理复杂接触变化,但要达到精度可能需要大量采样;基于梯度的优化能直接细化,却对初始化和局部极小值敏感。DexForge 的答案是让机器人适配后的接触同时充当初始化和持续引导。迁移结果又加上第二个阈值:轨迹能否在更换模拟器后存活,很大程度上取决于物理参数如何辨识,而 TSMC 在两个数据集上都优于仅梯度和仅采样辨识。因此读者在权衡这项工作时,应区分论文始终分开的三类主张:无穿透的运动学参考、在可微模拟器中的高成功率和低跟踪误差,以及硬件上仅以稳定抓取保持衡量的开环可执行性。

本文引用的文献

1

DexForge:高保真物理信息灵巧重定向

DexForge 通过把人类接触适配到目标机器人,并同时引导运动学重定向和基于梯度的动力学重定向,将人类视频演示转换为机器人手轨迹;在 130 个 DexYCB 和 HOT3D 演示、七种灵巧手上,报告成功率比基线提升约 35-53 个百分点。