[CVPR 2026 预研] RoboPocket：手机里的“机器人教练”，让策略迭代不再依赖实机

TL;DR

长期以来，训练一个鲁棒的机器人策略需要昂贵的实机测试来发现“哪里行不通”。RoboPocket 改变了游戏规则：它利用 iPhone 的 AR 能力，将 AI 的“内心想法”（预测轨迹）直接画在现实世界中。采集者无需机器人，只需拿着手机像玩益智游戏一样跟随 AR 路径，就能发现并当场修复算法的弱点。实验显示，这种方式将数据利用效率直接翻倍。

1. 痛点：被物理硬件锁死的“反馈环”

在机器人模仿学习（Imitation Learning）领域，存在一个“部署悖论”：

• 开环采集（如 UMI）：虽然快，但采集者是盲目的，不知道模型在那一类场景下会失控。
• 闭环交互（如 DAgger）：虽然能针对性补数，但必须让机器人现场跑一遍，摔坏了硬件谁负责？

这种现状导致只有 PhD 级别的专家才能凭经验判断去哪里“补数”。为了规模化（Scaling），我们需要把专家的直觉变成普通用户手里易用的工具。

2. 核心直觉：AR 视觉预判 (AR Visual Foresight)

RoboPocket 的核心创新在于把算法“透明化”。

架构解析：将手机变为智能副驾

系统不仅利用 iPhone 采集图像，还利用其端侧算力进行：

1. 实时运动学验证：通过逆运动学（IK）求解器，实时判断人手的动作是否超出了物理机器人的关节极限。
2. 视觉预判 Rendering：手机将 Observation 传给服务器，服务器返回预测的 Action 序列，手机再利用 ARKit 将这些动作渲染成一串“路径金币”。

用户就像玩赛车游戏一样，如果发现 AR 路径偏离了目标（例如抓取位置歪了），这就是一个 OOD（分布外）状态。用户可以立即按下机身按钮，进行“主动干预”并录制正确的路径。

3. 硬件同构：弥补“手-机”鸿沟

为了保证手机采集的数据能直接喂给机器人，团队设计了一套极低成本（BOM $70）的仿生同构夹持器：

• 机械同构：模仿 Robotiq 2F-85 的欠驱动特性，甚至加入了扭簧来模拟工业夹爪的物理形变。
• 感知完备：通过 ESP32 蓝牙模块实时传输夹爪开合度，精度达 0.088°。
• 视野扩展：外接鱼眼镜头，解决手机原生视角太窄无法看到机器人全貌的问题。

4. 实验验证：打破数据扩展律的天花板

传统的 Behavior Cloning 在数据量达到一定规模后会遭遇瓶颈（性能平台期）。RoboPocket 通过“即时迭代”成功突破了这一天花板。

关键战绩：

• 数据效率：在“布料折叠”和“分拣方块”任务中，RoboPocket 仅用 200 段数据就达到了传统方法 400 段甚至更多数据的效果。
• 分布式优势：在 4 个完全不同的室内场景中，4 名普通用户仅通过每人 12 次 AR 交互纠偏，就让模型在陌生场景的胜率从 42% 飙升至 82%。

5. 深度洞察：为什么这很重要？

RoboPocket 的价值不仅在于省钱，而在于它解耦了**“策略测试”与“物理运行”**。

以往我们需要 100 台机器人才能在 100 个场景里做测试；现在，我们只需要 100 个拿着手机的志愿者。这种“去机器人化”的策略迭代方式，极大地降低了 Embodied AI（具身智能）的入场门槛。

局限性与未来

目前的手持装置虽然轻便，但长时间采集仍会疲劳。作者提到，未来将探索 AR 眼镜等更符合人体工程学的交互方式，进一步实现“第一人称”的无感采集。

总结：RoboPocket 证明了，要让机器人学会复杂的动作，未必需要更好的马达，可能只需要给人类采集者一个更好的“滤镜”去观察算法的不足。