仅靠二元任务奖励，机器人能学会组装 NIST 任务板零件吗？

组装策略需要被规定到什么程度

组装任务板 #1 包含 20 个组装对，每个组装对由一个可移动零件和它在板上的固定配合结构组成。任务包括插销插入、齿轮啮合、电气连接器插入和螺母旋拧。零件直径最小只有 4 mm，配合面之间的间隙最小可以为零；螺母在螺栓上可能倾斜、错扣或卡住，而不是顺利前进。

此前的学习类方法通常缩小了这个问题：固定组装顺序、限制零件初始位姿、假设能获得准确的位姿估计、为每个任务单独训练一个专家策略，或者只覆盖任务板的一部分。示教、任务分解和稠密进度奖励都在提供“如何组装”的指导。这篇论文要问的是：这些指导中究竟有多少是必需的。

参照点是 AlphaGo 到 AlphaGo Zero 的演进：只依靠终局的胜负目标学习，也能在没有人对局数据、没有中间奖励塑形的情况下支持策略发现。AlphaNIST 在连续、接触密集的操作中检验类似命题：一个二元成功信号加上任务多样性，能否让单个策略自行发现组装策略？

只在完整组装时触发的奖励

每个任务被建模为有限时域的马尔可夫决策过程，一个共享策略根据部分观测行动。任务身份不以离散标签给出；20 种组装之间的差异通过可移动零件、配合结构和机器人的表面点云，连同本体感知和上一动作一起传给策略。

任务奖励是二元的。一个组装相对坐标把零件放到配合坐标系中，当零件当前相对位姿与完全组装位姿之间的距离小于 0.001 m 时，判定为成功。该奖励只发放一次，随后回合终止。中间进度不获得任何任务奖励。

每一步还会减去一项控制代价，用来惩罚过大的动作、过快的关节运动和过大的力矩，其系数在所有任务中固定为同一个值。论文指出，这一项并不衡量组装进度，只是让学习偏向更平滑、更省力的行为。在多组装对回合中，成功奖励一直为零，直到所有激活的组装对都完成；既不规定顺序，也不为部分完成给奖励。

多样的重置状态决定策略能练到什么

训练从缓存的重置状态库中抽取初始状态，该库改编自 OmniReset。每个条目同时存有一个组装身份和一个仿真器状态，因此抽到一个条目就同时选定了任务和它的起始配置。这个库覆盖未抓取的工作空间、拾取、搬运、接近配合和部分组装等配置，并支持 GPU 并行初始化。这些重置类别定义的是训练分布中的区域，而不是规定好的流程；策略不会收到阶段标识。

抽到哪个条目由 beta 分布的成功引导采样决定。每个条目维护最近若干回合的滚动经验成功率，其采样概率正比于该成功率乘以（1 减该成功率）的平方根，再加上一个小常数，使每个条目都保持可被采样。因此这个采样核偏向成功率居中的条目，既不是已经解决，也不是毫无希望。

三个组件各司其职：重置状态库决定有哪些状态可用，beta 采样决定抽哪些状态，二元奖励决定什么算成功。均匀采样消融实验保持状态库、策略、奖励和优化器不变，只把采样概率拉平。

共享策略在难零件上胜过二十个专家

异质性比较训练一个覆盖全部 20 项任务的策略，并与 20 个分别训练的策略对比，每次运行的交互预算相同，其余设置一致，规模为 64K 个环境。共享策略达到 98.2% 的训练成功率，每一项任务都高于 98%。分别训练的稀疏奖励策略平均为 81.4%。

差距集中在小型精密组装上。分别训练的策略在 M4 螺母旋拧、4 mm 插销插入和杆件插入上成功率至多 0.3%，论文把障碍归因于难以从桌面上可靠抓取小零件。共享策略在同样这些任务上产生了成功的抓取与组装回合，且没有做任务特定改动。论文的解释是，共享经验有助于那些单独学习很困难的组装。

成本也不同。在 64K 个并行环境、25K 次迭代下，共享稀疏奖励策略用 410 GPU 小时达到 98.2%，而 20 个独立策略共消耗 16.1K GPU 小时，是前者的 39.3 倍设备时长。联合稀疏配置的收敛速度也快于独立策略的平均水平。

稠密进度塑形没有表现出同样的优势

奖励消融在二元奖励加控制代价之外，再加入两个稠密项：一项奖励末端执行器靠近零件质心，另一项奖励与目标组装朝向对齐，系数均为 0.01，与 OmniReset 一致。这些是操作与组装强化学习中常见的塑形项。

在各自的最终检查点，20 个分别训练的稠密奖励策略平均成功率为 78.3%，从 M4 旋拧的 45.0% 到中型齿轮的 93.6% 不等。联合稠密训练在 25K 次迭代时总体成功率只有 17.8%，各项任务完成度都低。论文给出的是一种可能解释而非已证实的因果：稠密塑形项在不同几何上可能偏向不同的部分解，而二元奖励给每项任务同一个完整组装目标。

这一比较是在所测试的具体稠密项与二元目标之间进行的，而不是在稀疏奖励与所有可能的塑形之间。论文报告称，在所有测试规模上，二元任务目标都优于所评估的稠密塑形。

稀疏奖励依赖并行经验和 beta 采样

使用稀疏二元奖励和 beta 采样时，评估成功率从 1K 个环境的 38.6% 升到 4K 的 78.9% 和 8K 的 86.9%。使用稠密奖励塑形时，成功率在 1K 到 4K 个环境之间停留在 11.8% 至 12.0%。这些评估使用随机动作和一个冻结的混合重置状态库，在每个任务内均匀采样，并要求在 15 秒内完成完整组装且不出现同时发生的安全失败。

重置采样随规模增大而愈发重要。在 256K 个环境下，稀疏二元奖励配合 beta 采样达到 97.4%，配合均匀采样为 84.3%；对应的稠密奖励结果分别是 77.4% 和 34.3%。稀疏目标的优势在中等规模就已显现，而 beta 采样随并行经验增加带来进一步增益。

扩展设置同时增加 GPU、环境数和 rollout 批量大小，同时保持任务分布、奖励、策略和环境不变。因此论文的主张针对的是这一整套联合扩展方案，而不是单独的环境数量。

抓取调整与类规划行为在无监督下涌现

学到的策略表现出没有任何奖励项规定的行为。对 8 mm 插销，中心抓取可能成功拾起，但露出的杆身太短，无法插入；策略会把插销放下，改在靠近一端处重新抓取。对 M12 螺母，它先把螺母从边缘滚到平面上再放置。对 M4 螺母，它反复从一侧轻敲，推动螺母沿螺纹前进。它还会借助板面接触调整防水连接器的朝向，并利用周围几何把中型齿轮翻转成水平姿态，放到其安装柱上方。

更长时程的协调出现在多组装对设置中。随着激活组装对增加，成功率逐渐下降，从 1 个激活对的 99% 降到 10 个的 84%，而奖励只在所有激活组装对都进入指定板槽时才发放。在一个例子中，策略把 USB-A 连接器从远处角落移到附近的工作位置，把它留在那里，组装 8 mm 杆件，然后回来插入连接器。在另一个例子中，它在旋拧 M12 螺母时做小幅转动，以避免碰到相邻的 RJ45 连接器。

论文把这些称为类规划行为：动作的效用要到之后才实现，一个组装会随另一个组装的状态而调整，而且没有显式规划器、策略切换或规定顺序。这是作者对仿真中观察到的行为的描述，并不表示策略维护了一个显式计划。

仿真成功是当前需要关注的边界

所有报告的结果都在仿真中。设置使用一个仿真的 7 自由度 Franka Emika Panda，带有辨识出的惯量和传动参数，使用厂商刚度与阻尼曲线的隐式阻抗控制器，以及匹配硬件的关节速度和力矩限制。这些限制把动作保持在硬件可实现的范围内，但论文指出，它们并不能确立对感知误差、延迟或接触模型失配的鲁棒性。在实体任务板上的迁移与可重复性仍有待评估。

多组装对结果也没有覆盖整块任务板。把 10 组装对策略依次用于各组零件被提出作为一种可能路径，但把框架扩展到全部 20 个零件、在单一终局奖励下完成，仍是研究目标。

这篇论文的独特重点在于组合而非任何单一成分：一个共享策略、一个二元完整组装奖励、一个多样的重置状态库、beta 成功引导采样，以及大规模并行训练。在这一方案内，最具决策相关性的比较是共享稀疏奖励策略的 98.2% 与 20 个独立稀疏奖励策略的 81.4%，差距最大的是专家策略很少解决的小型精密组装。这里测试的稠密塑形没有重现这一模式，在 25K 次迭代的联合训练下只有 17.8%。

本文引用的文献