如何从单目人类视频重建灵巧手物交互？

单视角为何会破坏接触

一段人操作物体的单目视频看起来像是现成的机器人演示，但论文指出三种失败模式，它们把视觉上合理的重建与可执行动作区分开来。单目深度歧义会把遮挡误判为接触，于是被把手挡住的手指可能被读成正在触碰把手。微小的几何误差会把接触变成穿透或分离。而人类手部可行的动作，在形态和动力学不同的机器人手上可能不可行。

论文的框架是这些误差会累积。重建中轻微的手指与物体穿透，在重定向后可能变成机器人连杆穿过物体，使最终优化器面对无效的接触状态。先前流程的主要差别在于在哪一步吸收这种损害：VideoManip 及相关方法训练任务专用策略来补偿重建误差，而 ManipTrans 和 SPIDER 假设输入是干净的动作捕捉数据，不处理带噪视频。OmniHOI 的前提是，每个误差都应在它自身证据能暴露它的阶段被纠正，而不是任其向下游传播。

关键帧跟随手部运动而非时钟

细化每一帧代价高昂，而在帧级别上，粗糙的手部姿态主要被抖动而非真实运动主导。因此 OmniHOI 只细化 N 帧中的一部分 r，其余帧通过插值恢复。选择规则是论文第一个具体设计：它累积每只手的二阶运动量，综合手腕平移、手腕朝向和关节角，并在该累积量的等增量处放置关键帧。

效果是关键帧在手部快速运动或反向处密集，在平稳段稀疏，这与同等预算下的均匀采样不同。论文报告了在 XHand、100 个任务上的直接比较：当 r = 0.1 时，自适应采样以 1.9K 次 rollout 达到 84% 成功率，均匀采样以 1.7K 次 rollout 达到 82%。当 r = 0.05 时差距扩大到 57% 对 50%。论文还指出 rollout 次数并不随 r 成比例下降，因为每个关键帧比 r = 1 时需要多 30–50% 的 rollout；关键帧密集时热启动搜索很快收敛，关键帧越稀疏每次搜索越难。

重建交替使用图像与接触证据

每个关键帧都在由数据本身确定的度量单位下重建。手、物体和桌面被分割，相机内参和每帧深度被估计为点图，每张点图都在桌面像素上对齐到第一帧，拟合出的桌面平面随后定义仿真世界坐标系。由于手部网格与点图逐像素对齐，每个手部掩码像素把网格顶点与场景点配对，相似变换拟合恢复手部位置。最终拟合按每个配对到物体的距离加权，因为单目深度在物体附近最可靠。

仍有两类误差，论文用不同证据和不同变量交替纠正。图像对齐调整手部关节角和形状：在手与物体重叠的像素上，它惩罚违反预期遮挡顺序的情况，按手指分别评估，并用停止梯度防止手通过缩小重叠而非修正顺序来降低损失。接触-穿透优化随后同时调整关节角与手部平移旋转，把每根手指的掌面采样点吸引到物体表面，同时把其全表面采样点从物体内部推开。另有一项修复处理完全穿过薄物体的手指：此时符号距离饱和，无法给出指向出口的梯度；论文沿每根手指的关键点折线用奇偶性检测表面穿越，并求解消除穿越残差的最小姿态变化。

重定向保留接触而非手部外观

运动学重定向从人类关键点初始化机器人构型，这保留了整体手指布局，但形态差异会导致接触丢失和穿透。论文的区分在于，先前保留交互的重定向保持的是手看起来怎样，而不是它是否握住物体。OmniHOI 改为按邻近度检测手物接触，为每根接触手指在物体上指定接触区域和一组表面锚点，要求这些锚点落在该区域附近的窄带内，同时防止穿透。

论文用梯度论证说明为何重要：在一根手指连杆上，来自物体符号距离的梯度可能方向相反并相互抵消，而修复实际上沿骨骼链把手指推出物体。论文报告的定性比较显示，即使带噪的真值手部标注已经穿透物体，机器人手指仍保持无穿透。这一步的裁决依据是接触几何，而不是图像证据。

物理细化修正几何无法解决的问题

重定向后的关键帧按原始时间戳插值为 60 Hz 轨迹，并在仿真中回放。由于接触仿真不提供可用梯度，论文用 CMA-ES 优化每个关键帧的偏移量；这是一种进化策略优化器，它在偏移量上维护一个高斯分布，采样候选、用 rollout 打分，并把分布移向和收缩到成本更低的样本。搜索在滚动时域中进行：在每个关键帧，仿真器从保存的状态恢复，向前滚动到下一个关键帧或一秒之后，取较晚者。

打分函数是论文编码“好抓取”含义的地方：仿真物体姿态与重建轨迹的误差、手指与物体穿透、重定向结果标记为接触处的间隙、最佳对抗接触对低于目标力的缺口、偏移量大小的先验，以及在窗口末端重新施加姿态和接触惩罚的终端项。终端项针对的是窗口中途看似合格、到末端已开始失败的抓取，这很重要，因为偏移量一旦冻结，后续关键帧无法撤销。

论文还报告了一个警示性消融：接触细化的开环损失大多是假成功。在手指完全穿过物体的任务中，互锁的物体会像真实抓取那样跟随手部，即使没有被握住也能通过物体跟踪判据。经过物理在环细化后，接触细化把手物接触帧占比从 41.4% 降到 35.1%，同时两只手上的物体误差下降，其余三只手上的变化不超过 0.1 cm 和 1°。因此它移除的接触主要是穿透造成的互锁，而不是抓取或支撑物体的接触。

成功率在五只手与60段视频上成立

主要迁移结果来自 150 条动作捕捉轨迹，分别迁移到五只 6 至 22 自由度的灵巧手上，OmniHOI 达到 39–89% 成功率，而先前迁移方法最多 31%。这是使用干净参考输入的运动迁移基准，因此它隔离出的是重定向和细化阶段，而不是视频流程。

端到端视频结果是另一项、规模更小的评估：在 60 段单目视频片段上，OmniHOI 达到 53% 成功率，VideoManip 为 28%，Do as I Do 为 25%。论文还报告其手部姿态误差低于先前重建方法，同时保持较低的手物相交，并说明所得轨迹可在真实双臂机器人上执行多种任务。这三项评估回答不同问题——重建质量、从干净参考迁移、从视频迁移——论文没有把它们合并成一个数字。

流程的边界在哪里

论文自述的限制与其证据链具体相关。单目感知精度，尤其是度量尺度估计，约束着整个流程；物理在环细化受视频导出的物体几何和估计物理属性误差的影响。真实世界执行是开环的，因此反馈控制被列为自然方向，而不是已展示的能力。

在这些边界下，论文最具决策相关性的比较不是总体成功率，而是干净参考迁移与视频迁移之间的差距：动作捕捉输入下五只手为 39–89%，60 段视频片段上为 53%。读者在权衡是否采用该流程时，应把视频导出的几何与尺度视为约束瓶颈，并把动作捕捉数字视为输入干净时重定向与细化阶段能达到的上限参考。

本文引用的文献