为什么行为克隆在模型对数据集过拟合时仍持续变好？

真实机器人数据反复出现的四个谜题

行为克隆（BC）训练策略去复制演示数据集中的动作。它是大规模机器人控制的主力方法，但实践者不断报告与标准机器学习直觉相矛盾的结果。论文收集了其中四个：模型过拟合越多性能往往越高，且更小的数据集有时能胜过更大的数据集；带动作分块的部分开环控制即使没有推理延迟，也能明显优于完全闭环控制；人类数据上的行为克隆往往比合成数据上的行为克隆需要大得多的网络，即使在基于状态的任务上也是如此；即使数据充足，输入特征仍会强烈影响性能。

难点在于这些观察来自真实人类演示，而真实实验成本高、无法完全复现，也难以把不同因素分开。现有的脚本策略或强化学习训练策略的仿真基准提供了控制，但往往无法复现这些现象。作者把这一差距归因于结构差异：以往的脚本策略通常时间相关性更弱、多模态性更差，主要靠高斯噪声制造多样性，其动作统计往往堆积在动作边界（−1 或 +1）或显得过于均匀，与人类演示不同。

按人类演示特征设计的脚本策略

OCBench 的核心设计是用脚本策略生成数据，模仿作者认为人类演示具有的三个特征：轨迹分布非常窄，而非经高斯噪声增广；高度非马尔可夫且时间相关；在抓取和操作物体的方式上具有语义多样性。数据生成的基础是随机化的分段 C1 连续 Hermite 样条，并采用 Catmull-Rom 切线匹配。对每个任务，脚本先为抓取、抬起、搬运等语义阶段采样控制点，再在它们之间平滑插值。

多样性来自对路点、抓取角度与方向、接触点、运动速度、夹爪滚转与俯仰、轨迹曲率以及高层任务求解策略的随机化。脚本策略还被允许犯错并从错误中恢复。论文报告称，OCBench 的动作统计比以往的脚本策略或强化学习训练策略更接近真实人类演示，后者往往使动作范围饱和或产生过于均匀的分布。

该基准覆盖五类环境——block、chamber、switch、hanoi 和 bowling——共 28 个任务，在 MuJoCo 中实现，并提供 CPU 版和 GPU 加速的 MJWarp 版。GPU 版让这项研究变得可行：在单块 H100 GPU 上，OCBench 以最高每秒 20 万个环境步的速度采集合成轨迹，快到足以支持流式数据训练，即智能体从持续新生成的数据流中学习。这一设置让作者能在实际上无限的数据下考察算法和设计选择的表现，而不是在固定的几百条人类演示下考察。

过拟合可能有益，更小的数据集也可能胜出

第一个谜题正是标题所指：模型对数据集过拟合越多，行为克隆的性能往往持续提升。OCBench 在受控环境中复现了这一点，论文用该基准检验解释，而不是预设某一种解释。一个自然的候选解释是训练或验证动作误差直接反映性能，但论文报告的不同数据集规模下成功率与训练、验证流损失及动作 MSE 的对比图显示，MSE 指标并不能完全解释数据集规模反转现象——即更小数据集表现优于更大数据集的情形。

这一区分影响读者如何理解结果。论文并未声称过拟合普遍可取；它表明在这些受控模仿设置中，常用的代理指标无法可靠预测任务成功，因此按损失看更差的策略在环境中可能表现更好。证据是不同数据集规模下成功率与多种损失、误差指标的比较，而不是声称损失在任何场景都无关。

闭环控制在动作分块奏效处失败

第二个谜题涉及控制结构。完全闭环策略每一步都根据当前观测重新规划；带动作分块的部分开环策略先执行一小段动作再重新规划。论文报告，即使没有推理延迟，后者也能明显优于前者，而且给闭环策略加入历史条件并不一定能解决问题。OCBench 在其受控任务中复现了这一差距，基于像素的初步结果在一个视觉任务上也显示同样模式。

实际解读是，这一失败与延迟或信息缺失无关。历史条件给闭环策略严格更多的输入，但论文报告它仍可能有害。这指向策略一旦偏离演示分布后的行为，也是论文在后续测试时行为分析中追踪的线索。

大网络与特征缩放都会改变结果

第三个谜题是，人类数据上的行为克隆往往比合成数据上的行为克隆需要大得多的网络，即使在基于状态的任务上也是如此。论文考察了仅靠流匹配能否解释这种对大容量网络的需求，并报告它不能完全解释。基准的默认模型是宽 4096、8 层的残差 MLP，较轻任务为宽 1024、8 层，训练时动作分块长度为 25（lite 任务为 3）。

第四个谜题是特征敏感性。作者在流式数据下，于 block-double-task1 和 hanoi-single-task1 上比较了四种输入配置：手工设定各状态维度尺度、标准化各维度，以及标准化后将 xyz 坐标缩放 10 倍或 0.1 倍。四者包含相同信息，只在相对尺度上不同，其训练和验证指标——流损失与 MSE——几乎无法区分。但任务性能差异明显。

作者提出的假设是，不同特征导致不同的测试时泛化。为支持这一点，他们在 hanoi-single-task1 的测试时状态上测量策略动作与 oracle 动作之间的 MSE，并在每个这样的状态上重新生成一份 oracle 规划。输入特征不同的策略尽管训练指标几乎相同，在测试时行为却不同，而且这种测试时 MSE 与性能的相关性优于训练或验证 MSE。作者指出，测试时 MSE 仍不完美，因为它忽略了多模态性。

证据覆盖到哪里，又止于哪里

主要分析基于状态，这是出于计算考虑，视觉结果则作为初步结果呈现。论文自己的定位是，被复现的现象最初是在视觉数据上观察到的，因此 visual-block-single-task1 和 visual-hanoi-single-task1 上的像素结果只是检验该基准能扩展到状态输入之外，而不是完整的视觉研究。BC、flow BC 和 FSQ BC 的基准表同样只是两个随机种子平均后的参考，而非排行榜，因为论文的重点是分析而非算法比较。

最重要的范围限制由作者自己给出：OCBench 的脚本策略被设计为具有类似人类演示的性质，但它们仍是脚本化的，不能完美模仿人类行为。该基准被定位为快速、方便的试验场，补充而非取代真实世界研究。这一边界限定了每一项复现结论：现象出现在人类数据的受控替代物中，这正是它们可被研究的原因，但替代物并不等于真实事物。

论文确立的优先判断

论文最有用的启示是改变该测量什么。贯穿这些谜题，看起来最自然的指标——训练损失、验证损失，甚至留出数据上的动作 MSE——都无法解释观察到的成功率差异，而策略在测试时状态上的行为解释得更好。特征缩放比较让这一点具体化：四种包含相同信息、训练和验证指标几乎相同的配置，产生了明显不同的任务性能，而测试时 MSE 更好地跟踪了这一差异。

因此，对判断该信任什么的读者，论文给出的优先顺序是：优先采用关于策略在其实际遇到的状态上如何行为的证据，并把过拟合、数据集规模、控制结构和特征缩放视为改变该行为的变量，而不是质量的代理。该基准的贡献在于让这种比较能在实际上无限的数据下以最高每秒 20 万个环境步运行，从而让关于行为克隆谜题的下一个假设可以被检验，而不是被争论。

本文引用的文献