语言瓶颈下的策略学习如何提升 AI 泛化能力？

规则插在经验与更新之间

标准强化学习在两步之间交替：用当前策略收集数据，再用这些数据更新策略。PLLB 在中间加了一步。智能体积累了一些有奖励的经验后，语言模型会看到对比经验，也就是结果较好和较差的例子，并被要求描述区分两者的策略。由此得到的一句话，例如“看到红色就向南走”，成为下一次策略更新要靠近的规则。

这种靠近是软约束，不是替换。系统把规则交给语言模型，得到它在可用动作上的概率分布，再用这个分布约束正在与环境交互的学习智能体的策略。在迷宫实验中，每交互 5 个回合就重新生成一次规则，而在两次生成之间，智能体仍从自身经验中学习。正因如此，即使一条规则不足以描述整个复杂策略，这个框架也能工作：语言塑造更新方向，底层策略仍由奖励学出来。

瓶颈为何必须是语言

一个自然的质疑是：任何狭窄的信息通道都可能带来同样的收益，所以论文设置了对抗性对照。在这一条件下，规则被破坏，或由奖励随机化的回合样本生成，或来自故意错配的映射，而瓶颈结构保持不变。与有效规则相比，被破坏的规则会拖慢学习；在信号博弈中，对抗性智能体比完全没有规则的智能体适应得更慢。作者据此认为，推动改进的是规则内容，而不只是瓶颈的存在。

论文还提出，语言带来了学习到的潜在编码不具备的东西：预训练语言模型提供了现成的抽象，可直接用于单个任务；而潜在瓶颈需要跨大量任务变体训练后才有意义。这是作者的解释，不是实测比较，因为论文明确说与非语言瓶颈对比很困难，并未开展该实验。

迷宫规则可迁移到结构相似的新迷宫

迷宫任务把机制具体化。迷宫是 7x7 网格，有四个方向动作，部分格子被着色以提示最优动作：红色格子表示最优动作是向南，蓝色格子表示先向北再向东，每种着色以 50% 的概率出现。能读取颜色的智能体可以把策略带到新迷宫，即使新迷宫的最优动作序列不同，只要颜色语义保留。

在单个迷宫上，学到有效规则并没有比表格型 Q 学习更快，而被破坏的规则或带颜色特征的线性 Q 函数反而拖慢了学习。差异出现在迁移时：换到一个颜色语义相同但最优路径不同的新迷宫后，PLLB 智能体的泛化优于感知不到颜色的表格型 Q 学习，收敛也快于能感知颜色但学得更慢的线性智能体。学到的规则还随试验变得更准确：最终规则中 100% 提到红色对应向南，60% 发现了更复杂的蓝色对应先向北再向东。

适应是与泛化不同的另一项结果。在一个底层结构不同的迷宫中，红色现在表示向西，蓝色表示先向东再向南，旧规则不再适用，但 PLLB 智能体仍比基线适应得更快，所有试验最终都得到捕捉新映射的规则（100% 红色对应向西，50% 蓝色对应先向东再向南）。线性智能体则过拟合了第一个迷宫。

语言承载部分策略而非全部

论文最清晰的边界来自迷宫领域的一个对照：完全由语言模型实现、不做 Q 值更新的策略，在同一时间限制内成功率为 0%，即使给它 PLLB 生成的最终规则也是如此。规则点明了可迁移的结构，却不包含行动所需的低层控制。这正是“PLLB 不要求策略能完全用文本表达”这一说法的具体依据，也把它与纯文本推理智能体区分开来。

信号博弈的结果从另一个角度指向同一结论。当说话方被固定为反直觉策略时，符合人类直觉的规则会错配，把听者引向错误方向；PLLB 智能体是唯一既能适应这个固定说话方、又能在说话方学习时收敛到类人策略的方法，且无需人工监督。可解释性与性能并非自动等同的目标，论文报告了一个两者兼得的设定。

人类使用规则优于使用视觉提示

50 名大学生以尽可能少的步数解一个 7x7 迷宫，只能看到已访问的格子和已撞到的墙。他们被分成三组：无辅助的对照组；观看一个相似但不同迷宫最优策略可视化的一组，该迷宫共享相同的颜色语义；以及获得 PLLB 学到的随机抽取规则的一组。拿到规则的参与者解新迷宫的步数少于另外两组，并且认为语言辅助显著比视觉辅助更有用；显著性水平为 0.05，采用双侧 Mann-Whitney 检验并做 Bonferroni 校正。

作者的解释与可迁移内容有关：视觉辅助携带了大量不可迁移的信息，即所有非着色格子的最优动作，参与者必须自行过滤；而规则聚焦于有用且可迁移的结构。这是对人类数据的解释，不是单独测量的量，但它与迷宫结果一致：规则的价值来自在换迷宫后仍然保留的结构。

抓取任务在具身场景重现同一模式

机器人抓取任务检验这个循环能否在更困难的动作空间中成立。抓取预测策略在图像中选择一个二维关键点，预训练的关键点条件路径规划器再把该关键点转成 7 自由度末端执行器轨迹。成功抓取奖励为 0，完全没抓到袋子为 -100，未成功抓取则以肩关节归一化向下力矩作为密集惩罚。在一次成功抓取后，视觉语言模型会看到成功与失败关键点的对比图像，并被要求生成规则，例如“抓袋子的左侧”。

在 20 个随机种子上取平均，PLLB 智能体收敛到比对抗版本、始终提供模型先验规则的零样本视觉语言 oracle，以及仅使用图像观测的普通强化学习基线更高的奖励。oracle 需要更多回合才能摆脱“把手是好抓点”的先验，生成的规则则收敛到更不常见的位置，例如物体底部。换到新袋子、新位置和一组新的视觉干扰后，学到的规则也比其他方法泛化得更好。

循环在哪些情况下失效

规则生成有两种已记录的失败方式。语言模型可能抽象过度：在图像重建任务中，论文报告了一条规则，内容为“使用传达情绪的描述性语言，例如雪日的宁静或飞行的自由”，它没有携带任何可用策略。更严重的是，听起来合理的规则可能在安全关键场景中制造虚假信任。作者建议在高风险使用中对规则做人在回路验证，并期待更好的多模态模型减少第一种失败。

适用范围也受动作空间限制。实验覆盖的是可处理的动作空间，包括离散选择、文本描述、抓取关键点；论文指出，数学推理或代码合成这类开放式生成需要额外改造，例如把规则用作验证器或奖励加成，把动作离散成语义上有意义的类别，或用规则对候选动作重新排序。把回合转换成语言模型可读的文本或图像，也可能限制其在长时程感觉运动轨迹上的使用。

重点是可迁移结构而非原始速度

理解这些结果最有用的方式，是看论文明确提出的权衡：PLLB 追求表格型 Q 学习的效率、基于特征的学习器的泛化能力，同时比两者都更易适应。在单个迷宫上，它并不比表格型 Q 学习学得更快；它的优势出现在环境改变而底层结构未变时，以及人类必须依据知识行动时。

因此，何时采用这个框架的判断规则相当具体。如果任务具有可复用结构，语言模型能从少量对比经验中说出它，并且需要与智能体协作的人要的是一份可携带的描述而非完整策略，那么瓶颈在做原始奖励做不到的事。如果策略主要是低层控制，或者规则会在高风险场景中被未经核实地信任，那么语言策略成功率 0% 的迷宫对照就是相关警示。

本文引用的文献