均匀采样让扩大环境规模浪费经验
论文从一个实际的仿真到现实强化学习瓶颈出发。多样的模拟器重置让策略可以从有用的中间状态开始回合，而不必从零探索；大规模并行仿真则让许多这样的回合同时运行。但当任务配置被均匀采样时，每批数据中越来越大的比例落在策略已经掌握或还无法尝试的配置上。这些回合产生的有效学习信号很少，因此增加并行环境带来的是收益递减，而不是预期的加速。
SGS针对的正是这个分配问题。每个任务配置由初始状态、目标和环境配置三部分组成：对运动任务来说，是地形类型与几何形状加上起始和目标位姿；对操作任务来说，是装配任务、机器人和物体的初始状态以及容器位姿。训练前，方法固定一组配置（操作任务32,768个，运动任务104,000个），并在每次回合重置时，根据策略当前在该配置上的表现从中选择一个。
中等成功率配置获得最多采样
对每个配置，SGS保留最近100次布尔型回合结果，并用其均值作为在线成功率估计。随后它用一个Beta形核函数给配置打分，该核函数由目标成功率和集中度参数决定，并从这些分数的softmax分布中以温度2采样下一个配置。实际效果是：接近目标成功率的配置被采样得最频繁，而很容易和很困难的配置仍保留很小但非零的概率。
这个非零下限很重要。一个小的epsilon项防止成功率恰好为0或1时出现奇点，并让每个配置都保持可采样，从而即使机器人还无法解决的配置也能刷新估计。目标成功率可以调整：论文在运动任务中用0.66，在操作任务中用0.5。作者明确表示，课程原则本身并不新；Sampling for Learnability已经按p(1−p)优先选择关卡。SGS的贡献是一个简单的滚动、Beta形变体，并与多样重置和超大规模训练结合。
每个领域一个奖励替代逐任务奖励工程
SGS与两个有意的训练选择配合。第一，一个奖励函数覆盖所有运动任务，另一个覆盖所有操作任务，每个都由回合结束时的布尔任务成功奖励和相对较小的逐步机器人特定正则项组成。这消除了为每种地形或装配任务设计单独塑形奖励的需要。第二，并行环境数量被大幅扩展；作者认为，只有当采样把回合集中在策略正在学习的配置上时，这种扩展才有回报。
实验直接检验了这一论点。扩展研究将SGS与均匀采样、手工设计的线性地形课程以及优先级别回放进行比较，后者用可学习性度量加陈旧度奖励给配置打分。评估重置从训练分布中重新采样，而不是复用训练中的配置；结果是每个规模下三个训练种子的均值。PPO小批量数量保持不变，因此批量大小随环境数量增长。
运动任务收益随并行环境数增长
在Anymal-D机器人的多地形四足运动任务中，单个策略从零开始跨13种地形训练，包括斜坡、坑洞、台阶、平衡木、踏脚石、迷宫，以及由窄石或跳跃箱连接的浮岛。在100万个并行环境下，SGS达到73%的平均成功率，而PLR为54%。论文报告SGS随规模单调提升，而对比方法要么难以受益，要么崩溃。
优势并不限于最大规模。在4,096个并行环境下，SGS在许多地形上取得非零成功率，而均匀采样和其他基线完全学不会。与Sampling for Learnability相比，SGS在小规模也领先：4K环境下为0.456对SFL最佳0.289，32K环境下为0.494对0.421。论文同时报告SFL的最终表现和最佳表现，以显示其训练后期下降，因此比较使用两个数字而不是单一终点。
装配任务最能拉开采样器差距
操作任务的结果最能体现采样选择的重要性。在Franka螺母-螺栓装配任务中，机器人需要把M16螺母拧到直立螺栓上约6.5圈；在100万个并行环境下，SGS达到70%成功率，而均匀采样为6%、PLR为5%。作者指出，均匀采样此前被证明足以应对较简单的操作任务，但无法延续到这个更精确、接触更丰富的问题上。
规模与任务难度的交互改变了比较结果。在较简单的UR5e杆-孔插入任务中，SGS在32K环境下成功，而均匀采样和PLR成功率为零；但到256K环境时，所有方法都达到约98%。因此，采样器的价值在任务于所用规模下仍然困难时最大，而不是一种普遍恒定的优势。论文还报告，主操作实验中使用的重力课程后来被发现并不必要。
蒸馏后的RGB策略零样本迁移到真实硬件
为部署，作者用SGS训练额外的UR5e装配策略，用DAgger把基于状态的教师策略蒸馏为RGB策略，并零样本迁移到UR5e硬件。蒸馏在四块L40S GPU上、每块480个环境下耗时约两天。在仿真中，教师和RGB学生的成功率接近：螺母-螺栓为90.04%和89.05%，杆-孔为95.70%和93.36%，齿轮啮合为96.09%和96.42%。
真实硬件成功率更低，且因任务而异：螺母-螺栓为37.5%（48次试验中18次），杆-孔为61%（49次中30次），齿轮啮合为94%（50次中47次）。首次尝试成功率更低，分别为12.5%、28.57%和76.0%；吞吐量从每分钟0.23到3.08次成功不等，包含重置时间。仿真与硬件成功率之间的差距是论文明确指出的限制，缩小这一差距留待未来工作。论文确实展示了翻转螺母、把齿轮推向轴以重新定向等行为，作者将其描述为稳健的重试和灵巧的非抓取操作。
SGS在哪些情况下不再适用
SGS在一组离散配置上维护成功率估计。论文指出，32,768个单元在这里足够，但连续或大得多的任务空间需要学习型或分层评分表示。SGS也只是从给定分布中采样，而不是构造分布：广泛覆盖仍依赖OmniReset等重置多样性方法，决定哪些配置可用仍是开放问题。
最具决策参考价值的解读是一个阈值，而不是全面背书。当任务在所用训练规模下仍然困难，且均匀采样会把每批数据的大部分花在已掌握或仍不可能的配置上时，SGS才有回报。在较简单的杆-孔插入任务中，这一条件到256K环境时消失，所有方法都收敛到约98%。因此，论文自身的优先事项是经验在配置间的分配，而不是原始环境数量：规模会放大SGS在困难运动和螺母-螺栓装配上的优势，但本身并不能挽救均匀采样。
本文引用的文献
A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control
SGS把训练集中在成功率中等的任务配置上；在100万个并行环境下，运动任务成功率为73%，PLR为54%；Franka螺母-螺栓装配为70%，均匀采样为6%。