[CoRL 2024] QoQ：以质胜量，利用影响函数重塑机器人数据筛选范式

TL;DR

在机器人学习领域，我们常常陷入“数据量越大模型越强”的迷思。然而，来自 KAIST 和 NVIDIA 的研究团队通过论文 《Quality over Quantity (QoQ)》 告诉我们：乱投喂数据只会害了模型。通过引入一种基于“影响函数”的自动化筛选机制，QoQ 能够精准剔除人类操作中的“废动作”，在数据量更少的情况下，让机器人的操作成功率反升 30%。

痛点深挖：为什么大数据不等于大智慧？

目前的端到端机器人控制（如行为克隆 BC）极度依赖人类的远程演示。但问题在于：

1. 人类会犯错：手抖、误操作、路径绕路是常有的事。
2. 启发式指标失效：传统的筛选方法喜欢找“长得像”的数据（特征相似度），但“长得像”不见得“对模型有用”。有些看起来漂亮的演示，可能对模型的权重更新毫无助益。

核心直觉：什么是真正的高质量数据？

作者提出了一个极其朴素但硬核的定义：高质量数据 = 那些能让模型在验证集上表现更好的数据。

为了量化这个定义，QoQ 借用了统计学中的影响函数 (Influence Functions)。

• 物理直觉：如果我微调某个训练样本的权重，验证集的损失（Loss）下降了多少？
• 数学实现：通过计算训练样本梯度与验证集梯度的相似度（点积）来快速估算，而不需要真正重新训练模型。

图 1：QoQ 通过梯度相似度识别对降低验证 Loss 贡献最大的绿色样本点。

方法论详解：从理论到机器人的“暴力”改造

直接套用影响函数在机器人领域会失效，因为机器人数据是序列化的。QoQ 提出了两个关键策略：

1. 最大影响因子 (Maximum Influence)

传统的做法是计算一个训练样本对整个验证集的平均影响。但在机器人任务中（比如先抓后放），“抓”的验证数据对“放”的训练数据没有指导意义。 QoQ 改为：只看这个训练样本对验证集中“最匹配”的那个动作的贡献（即取 max 而非 mean）。这极大地过滤了不相关的噪声。

2. 轨迹级聚合 (Trajectory-wise)

如果你只选分数最高的动作点，你会发现模型最后学到的全是“抓取成功瞬间”的冗余动作，而丢掉了“如何靠近物体”的动作。QoQ 将整条轨迹内的所有点得分求平均，确保选出的数据是连贯的、具有状态覆盖度的完整行为。

(此处建议参考原文中的算法流程，展示从梯度计算到轨迹筛选的闭环)

实验与结果：实战出真知

研究团队在 Robomimic 仿真和真实 Franka 机器人上进行了严苛测试。

核心战绩：

• 仿真环境：在 Coke Can 任务中，QoQ 训练的策略成功率达到 99.2%，远超最强基线（76.0%）。
• 真实世界：在“香蕉抓取”和“开柜门”任务中，成功率比传统筛选方法高出 30%。
• 野外数据鲁棒性：在 heterogeneous（异构）的 DROID 数据集上，QoQ 依然能准确识别出哪些是成功执行，哪些是失败尝试。

图 2：不同任务下的成功率对比，QoQ（绿色）在所有任务中均独占鳌头。

深度洞察：为什么我们要关注 QoQ？

QoQ 的出现标志着机器人学习正在从“大力出奇迹”迭代到“精雕细琢”。

• 计算效率：通过只计算 Action Head 的梯度以及使用 OPORP 压缩技术，它证明了即使是数十亿参数的 VLA 模型（如 GR00T-N1）也能玩转影响函数。
• 自我进化潜力：论文中提到的一个实验非常迷人——即使没有标注好的验证集，利用模型自己的 Rollout（闭环运行结果）也能作为筛选标准，这为机器人的自主学习（Self-Correction）打开了大门。

总结与局限

Takeaway：未来的机器人专家不需要再手动洗数据了，梯度会告诉我们谁才是“最有营养”的演示。

局限性：尽管做了压缩，计算 Hessian 矩阵的逆或大规模梯度点积依然有一点性能开销。此外，如何跨实体（Cross-embodiment）筛选数据（比如用人的手演示来筛选机器人的动作）仍是未来的星辰大海。

作者简介：Haeone Lee 等人来自 KAIST AI 与 NVIDIA。这项工作展示了数据中心（Data-Centric）AI 思想在具身智能领域的强大威力。