[ICRA 2025] EgoAVFlow：打破视点模仿迷思，让机器人学会“为了看清而动”

TL;DR

机器人直接学习人类录制的第一视角（Egocentric）视频往往会面临“视角盲区”：由于人机身体结构不同，模仿人的视角经常会导致目标被遮挡或出镜。EgoAVFlow 提出了一种全新的思路：不再死板模仿人的视线，而是利用 3D Flow 预测未来物体的运动轨迹，并通过一套基于扩散模型加几何奖励引导的机制，让机器人在执行任务时自主调整相机位置。该方法实现了在完全没有机器人实机训练数据的情况下，比传统模仿方法提升了 2 倍以上的成功率。

1. 痛点深挖：为什么模仿人的视角是“误入歧途”？

在机器人模仿学习领域，第一视角视频被视为高质量的数据矿山。然而，现有的工作（如通过 VR 头显采集数据）往往强迫机器人执行器的相机去精准复刻人类观察者的头部动作。

作者发现这存在严重的 具身偏好错位 (Embodiment Bias)：

• 生理特性不同：人类有前庭眼反射（VOR）和快速扫视，头部转动与眼球注视点并不完全同步，这种信号对机器人控制是“噪点”。
• 可见性需求不同：机器人的机械臂在运动时极易阻挡自身相机的视线。人眼能通过微调头部姿态观察到的角度，机器人末端执行器可能由于运动学限制无法完全复现。

Insight：机器人不应该“看人看的地方”，而应该“看任务需要看的地方”。

2. 核心机制：以 3D Flow 为桥梁的统一表征

为了实现视点的自主优化，系统需要预知“如果我这样动，物体会出现在哪？会被遮挡吗？”。EgoAVFlow 引入了 3D Flow（3D 流场景描述）作为统一接口：

1. 3D 轨迹预测：通过 CoTracker3 追踪像素并投影至 3D 空间，捕捉物体的 3D 运动特征，剥离了与视点无关的表观颜色。
2. 模块化设计：
   • 操纵策略 (${\pi }_r$)：根据历史流信息预测机器人动作。
   • 流生成模型 ($f$)：预测在给定动作下，物体未来 N 帧的 3D 轨迹。
   • 视点策略 (${\pi }_v$)：提供人类视线运动的统计先验分布。

EgoAVFlow 架构图：通过 3D Flow 建立机器人动作、物体运动与视点选择的闭环。

3. 技术突破：可见性感知的引导去噪 (Reward-Maximizing Denoising)

这是本文最精妙的部分。作者没有直接训练一个新的视点控制器，而是利用扩散模型生成视点候选，然后在推理阶段（Inference-time）注入一个不可微的几何奖励函数。

• 几何推理：利用重建的环境网格 ($M^e$) 和预测的机器人模型轨迹 ($M^r$)。
• 可见性得分 ($R_{vis}$)：通过射线投射（Raycasting）检查预测的物体 3D Flow 点是否在相机视野内且未被阻挡。
• 算法选择：采用软价值引导（Soft Value-based Denoising），通过重要性重采样（Importance Resampling）在去噪的每一步中偏向高奖励样本。这允许机器人在保留人类动作自然度的同时，灵巧地避开遮挡。

表 1 显示在所有任务中，引入主动可见性优化的 EgoAVFlow 显著优于单纯的视点模仿（HVI）。

4. 实验验证与深度分析

研究团队在多种复杂遮挡场景（如从抽屉取物、喷雾器操作）下进行了测试。结果表明：

• 视角鲁棒性：即使相机位置在任务过程中被人为干扰或剧烈移动，基于 3D Flow 的策略依然能保持对物体的精准捕捉。
• 失败模式分析：传统 2D 方法（如 AMPLIFY）在未见过的视角下表现极差，而本文利用 3D Flow 的几何不变性，在多视角泛化上具有显著优势。

Task 展示：这些任务均需要在过程中不断调整視角，否则目标会被环境或机械臂阻隔。

5. 总结与启示

EgoAVFlow 的成功向我们展示了：主动感知（Active Perception）不应该是一个独立的感知任务，而应该作为策略学习的一部分被显式优化。

局限性：目前系统仍依赖初始时刻目标点的可见性来初始化追踪。未来如果能结合主动搜索（Active Search）和对“感兴趣区域”（ROI）的自主推理，机器人将能像人类一样在完全未知的环境中通过观察和移动来探索复杂任务。

这项工作为利用海量人类第一视角视频进行“低成本、高性能”的机器人技能迁移指明了极具潜力的方向。