[arXiv 2024] Pixel2Catch：丢掉 3D 深度，单目 RGB 也能教多指机器人玩敏捷接球

TL;DR

接球是一项极具挑战性的任务，要求机器人在毫秒级时间内感知物体轨迹并做出反应。Dongguk University 的研究团队提出 Pixel2Catch，突破了以往依赖高精度 3D 动捕或深度相机的限制，仅凭借单目 RGB 摄像头提取的像素级特征（位置与缩放），配合异构多智能体强化学习 (MARL)，成功让高自由度机械臂和多指手在现实中实现了稳健的接球动作。

核心定位：该工作是 Sim-to-Real 领域的优秀实践，强调了利用“物理直觉特征”替代“精确几何测量”的感知策略。

痛点深挖：为什么接球这么难？

传统的动态操控方案通常遵循 感知(3D位姿) -> 轨迹预测 -> 关节规划 的链条。这存在两个致命伤：

1. 传感器依赖成本过高：Depth 传感器在远距离或强光下精度断崖式下降，Motion Capture 则需要昂贵的标记物，难以在非实验室环境下部署。
2. 高自由度维度爆炸：一个 6-DoF 机械臂加上 13-DoF 的多指手，其动作空间复杂度极高。单智能体强化学习（Single-Agent RL）在训练时往往难以兼顾“手臂接近”与“手指锁定”这两个截然不同的任务目标。

核心方法论：像人一样观察，像团队一样合作

1. 像素级特征：放弃 3D，拥抱变化

作者受到人类视觉感知的启发：我们接球时并不计算 3D 坐标，而是观察物体在视野中是变大了（靠近）还是移动了。

• SAM 2 增强感知：利用跨帧稳健的 SAM 2 提取目标物体掩码。
• 特征向量设计：仅提取 6 维特征 —— 图像中心点坐标 $(c_x,c_y)$ 及其时序变化，以及物体框的宽高变化 $(\Delta w,\Delta h)$。
• 物理直觉：$\Delta w,\Delta h$ 实际上隐式编码了物体到相机的距离变化（深度感），这种表征在仿真和现实之间具有极高的泛化性。

图注：系统感知流程。通过追踪 Bounding Box 的几何变化，模型可以推断物体的相对速度和距离。

2. 异构多智能体 (Heterogeneous MARL)

为了降低训练难度，Pixel2Catch 将机器人拆解为两个智能体：

• Arm Agent (臂)：奖励函数侧重于让手掌重心（Palm）靠近物体。
• Hand Agent (手)：奖励函数侧重于多指末端与物体的接触和稳定抓取。 采用 MAPPO 算法进行集中式训练，分布式决策 (CTDE)。这种设计消除了 Reaching（接近）和 Grasping（抓取）目标之间的冲突，使训练收敛更稳定。

图注：Pixel2Catch 架构图。机械臂和多指手作为两个独立的 Agent，接收经过时间堆叠的观测序列。

实验与结果：Sim-to-Real 的跨越

1. 仿真表现：多指标领先

在包含多种几何形状（方块、三角、L型）的仿真环境中，Pixel2Catch 的 Success Rate (S.R.) 达到了 84.8%，远超单智能体（65.4%）和缺乏尺度变化的消融实验方案。

2. 真机挑战：零样本迁移

在没有进行任何真机微调（Fine-tuning）的情况下，作者将策略直接部署到 UR5e + Allegro Hand 平台上。

• 追踪率 (T.R.)：70% 以上，证明了单目 RGB 提取的 6 维特征非常鲁棒。
• 接球成功率：面对人类抛出的不规则物体，成功率达到 43% - 63%。

图注：不同形状物体在真实场景下的接球时序图。即便物体轨迹偏离仿真分布，像素级反馈依然能修正手臂位置。

关键数据对比（部分）：

深度洞察：为什么这能 Work？

1. 特征的高信噪比：相比直接输入原始图像像素（高维噪声多），或者使用 ResNet 提取的 Latent Code，这种基于几何属性的像素级特征规避了光照、纹理的 Sim-to-Real 鸿沟，保留了最核心的动力学信息。
2. 解耦的力量：机械臂和灵巧手的动作模态完全不同，异构多智能体实际上提供了一种自然的分层控制诱导偏置，通过局部奖励函数让每个部件“各行其职”。

总结与展望

Pixel2Catch 证明了对于敏捷操控任务，我们不一定需要昂贵的深度相机或复杂的 3D 转换。通过设计符合物理直觉的视觉特征和合理的分层学习架构，入门级的单目摄像头也能驱动复杂的 19 自由度灵巧系统。

局限性：目前系统仍基于单臂，面对超大物体或极高运动动量的目标，未来的双臂协作（Bimanual）将是进化的必经之路。

本文基于 [arXiv:24xx.xxxxx] 论文分析。