经验更多不等于经验更好
真实世界机器人强化学习通常把部署期间收集到的一切都加入训练：人类纠正、自主 rollout，以及最初的演示。论文认为，这些积累经验对策略改进的价值并不相同，即使成功的轨迹也可能包含犹豫、反复尝试或其他低效行为。因此，仅凭回合级的成功标签来决定训练什么，信号过于粗糙。
Evo-RL 的做法是在更细的层级上给经验打分，只复用其中一部分。价值模型估计每个片段有多好，这些估计决定哪些片段进入策略训练、哪些片段被赋予更高的采样权重。人类纠正则单独处理：只保留成功干预轨迹中由人类控制的片段，因为同一轨迹中由策略控制的动作，可能正是引发接管的行为。
两个更新阶段各司其职
方法从一个用遥操作演示微调过的策略出发，该策略以 PaliGemma 视觉语言骨干为基础，配合流匹配动作专家输出动作块。随后交替进行两个阶段。第一阶段，策略被部署，当它进入演示覆盖不足的状态时由操作员介入；当前策略在演示与保留的人类控制纠正片段的混合数据上微调。第二阶段，价值模型在演示、干预数据和自主 rollout 上训练，其优势估计用于挑选经验，再进行一轮微调。更新后的策略重新部署，进入下一次迭代。
与 RECAP 的区别在于优势信号用在哪里。RECAP 把二值优势标签作为额外输入送入策略训练。Evo-RL 则用估计出的优势来选择训练哪些经验，并提高被选中片段的采样权重。论文给出的动机是：仅有纠正动作标签，并不能说明哪些状态会导致失败，也不能说明哪些轨迹质量更高。
奖励惩罚耗时与人类接管
价值模型需要一个能反映机器人该学什么的奖励。Evo-RL 用逐帧成本构造奖励：每个非终止帧带一个 −1 的单位成本，促使任务更快完成；一次人类接管则额外加上 C_int 的惩罚。当控制权从策略切换到人类时判定为接管，惩罚记在接管之前那个由策略产生的转移上，而不是记在其后的人类纠正上。论文的理由是，接管说明策略的行为需要被纠正。
这一设计意味着价值估计同时编码了执行时间和对人类协助的依赖，而不只是任务是否成功。由于选择依赖这些估计，奖励的定义直接决定了下一轮复用哪些片段。
比 RECAP 高出的 30.46%
核心结果来自一个需要高精度对齐的真实世界操作任务。在论文的评测协议下，首轮 Evo-RL 的尝试成功率比 RECAP 高 30.46%。尝试成功率是按每次尝试衡量的指标，因此这个数字比较的是两种方法各自尝试成功的频率，而不是整体完成了多少任务。
论文还报告，在 PiperX 本体上，Evo-RL 优于 RECAP，也优于单独使用任一更新阶段，并在第二轮迭代中进一步提升。这一比较之所以重要，是因为它把干预阶段的贡献与优势引导阶段的贡献区分开来：完整循环胜过只用其中任一阶段。讨论部分补充说，在相同人类控制预算下，干预优于增加演示；并且 Evo-RL 在高精度任务和可变形物体操作任务上提升了尝试成功率和吞吐量。
数据集在方法之外补充了什么
为支持从这些不同经验来源中学习，论文提出 RW-RL-Dataset，覆盖四种机器人本体、总时长超过 1,000 小时。它涵盖九个场景领域，包括商店货架、工业生产、商业厨房、家庭空间、护理环境、实验室、仓库、酒店以及教育或培训场所，并实例化 30 多个任务模板，例如物体分拣、货架补货、扫描装袋、精密插入、衣物折叠和箱子堆叠。
该数据集的组织特征是动作来源元数据。每个回合被标注为遥操作演示、自主策略 rollout 或人类干预回合，帧级控制器标签标明哪些帧由人类控制。标注是分层的，覆盖数据集、回合和帧三个层级，包含任务、本体、难度、指令、场景、结果、执行质量、错误以及子任务区间。正是这种结构让论文的选择性复用可以被核查：读者能看出哪些帧是人类动作，哪些是策略动作。
结论适用的范围
定量比较的范围很窄。30.46% 是首轮在一个真实世界高精度操作任务上的尝试成功率，对照的是论文评测协议下的 RECAP。它并不表示 Evo-RL 在每个任务上都能提升这么多；论文关于可变形物体任务和吞吐量的更宽泛表述，也没有给出可比的单一核心数字。
方法还依赖论文描述但未穷尽检验的条件：部署期间必须有操作员可以介入，价值模型必须先经过演示、干预数据和自主 rollout 的训练，选择才能发生。保留的纠正数据仅限于成功的干预轨迹，因此失败的干预不会为微调集贡献纠正片段。
选择优于累积
论文最具决策意义的结论是一种优先级排序，而不是单一分数。在相同人类控制预算下，当选择是增加更多演示还是增加有针对性的人类纠正时，论文报告干预胜出。当选择是在全部积累经验上训练还是在优势选出的片段上训练时，完整的 Evo-RL 循环在 PiperX 上胜过单独使用任一更新阶段。实际含义是：稀缺资源不是经验的数量，而是判断哪些片段值得复用的能力。
这种判断依赖价值模型，而其奖励包含执行时间和接管惩罚，因此选择的好坏取决于这些估计。对于比较真实世界机器人强化学习方法的读者，关键问题因此不是某方法收集了多少部署数据，而是它是否有机制丢弃成功轨迹中那些会教策略犹豫或依赖人类救援的部分。
本文引用的文献
Evo-RL: Iterative Robot Reinforcement Learning from Selective Experience
Evo-RL 将人类纠正与优势引导的经验选择结合，在一个真实世界高精度操作任务上，首轮尝试成功率比 RECAP 高 30.46%。