[2026] DexHiL：首个灵巧手 VLA 人机协作框架，通过“在线纠偏”突破精细操作瓶颈

TL;DR

虽然跨领域的 Vision-Language-Action (VLA) 模型在通用机器人任务上表现强劲，但在面对高自由度（High-DOF）、高精度的灵巧手操作时，纯离线微调往往难以应对轨迹漂移和频繁的物理接触失败。DexHiL 创新地引入了人机协作（Human-in-the-Loop）机制，通过轻量级遥操作设备实时捕捉人类的纠偏动作，并结合一种“干预感知加权”策略进行模型在线更新。实验表明，该方法在纸巾抽取和复杂物体抓取任务中，成功率较最强离线基线提升了 25% 以上。

1. 痛点：为什么灵巧手 VLA 这么难？

在目前机器人领域，VLA 模型（如 OpenVLA, Pi0 等）主要针对平行夹持器。一旦切换到模拟人类的灵巧手，挑战呈指数级增长：

• 动作空间灾难：灵巧手通常有 20+ 个自由度，且存在复杂的关节耦合，模型极难学习到有效的流形（Manifold）。
• “成功者偏差”：离线数据集多记录成功的操作，当模型在现实中出现 1mm 的位移误差（Covariate Shift）时，它不知道如何寻找重试或补救的路径。
• 运动失配：传统的遥操作往往导致手部姿态在 Retargeting 到机器人时出现“捏拉（Pinch）”退化，无法形成有力的包络抓取。

2. DexHiL 核心架构：系统级优化

DexHiL 的核心思想是将人类专家作为“在线监控器”，在机器人即将失败的关键时刻介入，提供最高质量的梯度信息。

2.1 智能手部重映射（Retargeting）

为了解决五指映射时的“姿态崩坏”问题，作者提出了两阶段训练架构：

1. 四指基础流形：先优化食指到小指的几何约束，确保手指能完整伸展与弯曲。
2. 拇指残差学习：基于 GeoRT 改进，专门为拇指引入运动学保序损失。 这种设计确保了生成的动作既有流畅性，又能实现精细的指尖对位。

图1：DexHiL 框架图。包含数据采集系统、异步干预机制、基于 Being-H0.5 的模型架构以及迭代训练流程。

2.2 干预感知加权（Intervention-aware Weighting）

纠偏数据虽然珍贵但数量稀少。DexHiL 在损失函数中引入了权重项 $w(o,a,c)$。

• 策略：人为将纠偏样本的采样目标分布 $P^{\ast }(c)$ 设为 0.5。这意味着即使离线数据多、纠偏数据少，模型在更新梯度时也会给予纠偏动作极高的关注度。
• 数据过滤：仅保留“最后一次纠偏到任务成功”的片段。作者认为，纠偏前的错误路径是负面教材，应被剔除，以避免模型产生多峰分布冲突（Multimodal Conflict）。

3. 实验表现：从“无法完成”到“得心应手”

作者在 Being-H0.5（基于 Flow Matching 的前沿 VLA）的基础上进行了实机测试。

3.1 SOTA 性能对比

在最具挑战性的“抽取纸巾”任务中（需要极高的手指协调性），DexHiL 在短短三轮迭代内实现了性能飞跃：

• 纸巾抽取：成功率 10% → 95%（远超 DAgger* 的 80%）。
• 玩具抓取：成功率 0% → 65%（基线仅为 35%）。

图2：成功率随训练轮次的变化。可以看到 DexHiL（粉色线）在两项任务中均表现出极强的增长潜力。

3.2 训练动态分析

有趣的是，在引入纠偏数据后的前几个 Step，Loss 会出现明显的“峰值”（Loss Spikes）。这反映了人类干预引入了模型以前从未见过的 Out-of-Distribution 状态，而 DexHiL 的重要性采样确保了模型能快速“吃透”这些高价值信号，从而实现成功率的阶跃。

图3：真实场景展示。上图为精细的纸巾抽取，下图为需要协调四指的绒毛玩具包裹抓取。

4. 资深主编点评 (Editor's Insights)

DexHiL 的成功在于它深刻理解了灵巧手任务中**“接触动力学（Contact Dynamics）”的非连续性**。在平行夹持器任务中，简单的 SFT 往往够用，但在灵巧手操作中，每一个手指的微调都可能导致接触力的剧变。

核心技术洞察：

1. 以质代量：与其收集几千条低质量的随机轨迹，不如通过 HiL 收集几百条精准的恢复（Recovery）轨迹。这可能是目前 VLA 走向工业级部署的最短路径。
2. 异步控制的艺术：该系统支持 90Hz 的手部遥操作和 20Hz 的策略推理，这种频率隔离对于保持操作流畅度至关重要。

局限性预测： 由于依然依赖人类实时干预，这种方法在面临极大规模（100+）任务扩展时仍有一定的交互成本。未来结合多模态自监督（如触觉引导的自我纠偏）将是该领域的下一个爆点。

总结 (Takeaway): DexHiL 为高维具身智能提供了一套可落地的“后训练”流程。它不仅证明了 VLA 模型能够驾驭灵巧手，更揭示了人类在反馈环路中对于提升机器人模型泛化边界的不可替代性。