没有奖励时，智能体必须自己找到目标
论文研究的是无监督目标条件设定。智能体既没有示范，也没有奖励函数；它必须从零开始探索，并学习最大化到达指定目标的概率。性能以智能体在1000个时间步中停留在目标附近的时间步数衡量，单个报告分数取训练最后五个轮次的平均值。
这一设定决定了如何理解下文每个数字。这里的提升意味着在模拟中停留在指定目标附近的时间更长，而不是奖励驱动的分数；而且智能体必须通过自身探索发现行为，而不是模仿示范者。
深度指联合扩展的Dense层数量
论文把网络深度定义为所有残差块中Dense层的总数。每个残差块重复四个单元，每个单元由Dense层、Layer Normalization和Swish激活组成，残差连接加在残差块最后一次激活之后。在全部主要实验中，深度指actor网络和两个critic编码器网络，三者一起扩展；只有后面一项消融实验把它们分开。
基线是4层MLP，这也是JaxGCRL基准和相关先前工作使用的深度。研究随后测试8、16、32和64层，并在最难的人形迷宫任务上扩展到256层和1024层。要稳定训练这么深的网络，需要残差连接、层归一化和Swish激活；消融实验报告，去掉层归一化后性能明显变差，用ReLU扩展也会妨碍可扩展性。
不同任务的提升从2倍到50倍
与4层模型相比，更深的网络在机器人操作任务上带来2至5倍提升，在Ant U4-Maze和Ant U5-Maze等长时程迷宫任务上带来超过20倍提升，在人形任务上带来超过50倍提升。论文的表格给出了具体差距：Arm Push Easy从308个到达目标时间步升到762（2.5倍），Ant U4-Maze从11.4升到286（25倍），Humanoid从12.6升到649（52倍），Humanoid Big Maze从0.06升到59（1051倍）。
作者指出，观测维度最大的任务受益最多。与外部基线相比，扩展后的对比式强化学习在10个环境中的8个优于SAC、SAC+HER、TD3+HER、GCBC和GCSL。例外是人形迷宫环境中的SAC，它早期样本效率更高，不过扩展后的对比式强化学习最终达到相当的性能。
性能在随环境而异的关键深度处跃升
提升并不平滑。性能不是逐渐改善，而是在达到某个关键深度阈值后出现明显跃升，这个阈值随环境变化，从Ant Big Maze的8层到Humanoid U-Maze的64层。在人形迷宫上，256层和1024层还出现进一步跃升。
作者把这些跃升与质上不同的学习行为联系起来。4层的人形智能体会倒下或朝目标扑过去；到16层，它能直立走进目标；在Humanoid U-Maze中，64层时它挣扎并摔倒；到256层，它向前折叠成有杠杆作用的姿势把自己推过墙，并转为坐姿越过障碍物。论文称，据其所知，这是首个在humanoid环境中记录到这类行为的目标条件方法。
深度对对比式强化学习的帮助大于宽度或其他算法
论文比较了扩展宽度与扩展深度。先前工作提示宽度可以提升性能，但在这里深度带来更有力的提升；在Humanoid环境中，报告的比较在参数量相当时更支持深度。
深度扩展也与算法绑定。SAC、SAC+HER和TD3+HER在超过四层后没有收益，这与先前发现一致；GCSL和GCBC在Humanoid和Ant Big Maze上无法取得有意义的性能。一个例外是Arm Push Easy上的GCBC，它随深度提升。作者由此认为，自监督对比式强化学习算法对这一效应至关重要。另一项使用准度量CMD-1架构的测试发现，扩展收益并不限于单一网络参数化，但它在Ant U5-Maze上的糟糕表现说明，要实现一致的扩展还需要更多工作。
actor与critic扩展在不同任务中作用不同
一项消融实验分别扩展actor和critic。在Arm Push Easy中，扩展critic更有效；在Ant Big Maze中，actor更重要；在Humanoid中，两者都需要扩展。作者将此解读为actor和critic的扩展在对比式强化学习中相互补充。
对想复现这些提升的人来说，这是一个实际区别：把所有部分一起扩展的总方案并非在每个环境中都同等重要，论文自己的网格显示，只加深actor或只加深critic都可能留下可观的性能空间。
离线目标条件强化学习收益很小
正面结果来自在线训练。在OGBench上的初步离线实验中，论文几乎没有发现证据表明加深对比式强化学习网络能提升性能。在把actor保持在4层或8层、只扩展critic深度，以及对critic编码器最后几层做冷初始化的消融中，基线4层网络仍常常取得最高成功率。
另一项在三个OGBench环境上的离线测试报告，深度从4扩展到64时，三个环境中有两个性能大幅下降，antmaze-medium-stitch-v0略有改善。离线GCBC在antmaze-medium-stitch上确实随深度扩展，而行为克隆和QRL结果为负。作者把让方法适配离线目标条件强化学习列为未来工作。
计算成本决定采用深度的优先级
论文自述的主要限制是扩展深度会带来计算成本。这把结果重新定位为一种权衡而非免费收益：报告的最大提升，例如Humanoid上的52倍和Humanoid Big Maze上的1051倍，来自最深的网络；而1024层的运行需要把actor保持在512层，因为actor损失在训练开始时爆炸。
因此最有用的解读取决于任务和设定。如果任务是观测维度较大的在线无监督目标条件问题，且算法是对比式强化学习，那么深度就是论文指出的杠杆，需要关注关键阈值，而不是期待平滑回报。如果设定是离线，或者算法是基于TD或基于模仿的基线，论文的证据不支持期待同样的跃升。
本文引用的文献
1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
把对比式强化学习网络深度从4层增加到64层、并在人形迷宫上增加到1024层，可使模拟的移动与操作任务的目标达成性能提升2至50倍，提升表现为在随环境而异的关键深度处跃升。