代码定义的可交互世界配合神经渲染，能加速智能体学习吗？

AgentGarten 拆开的环境取舍

智能体能学到什么，受限于它练习的环境。论文认为，这样的环境必须同时具备两个性质：一是忠实，即在长时间交互中保持状态、规则和动力学一致；二是真实，即产生的观测符合真实世界的视觉分布。现有方案往往只能满足其中一个。模拟器和游戏引擎提供显式状态和可编程规则，但要扩大视觉多样性，就得为每个场景制作 3D 资产和渲染管线。视频世界模型能从数据中合成丰富的观测，但任务相关的状态和物理转移规则隐含在生成的历史和学到的表示里，无法直接检查、编辑或测试。

AgentGarten 的解法是分工。每个场景程序运行在模拟器或游戏引擎中，由它维持持久状态并执行显式的交互规则。随后，一个共享的神经渲染器根据引擎通过统一接口导出的结构化条件，合成智能体看到的画面。状态和规则留在代码里，因此可检查、可编辑；外观来自同一个渲染器，因此兼容的引擎不必各自制作专属视觉资产。新的世界可以写成代码，并通过同一接口渲染出来。

视频模型为何要变成渲染器

要把预训练视频模型当作交互式渲染器来用，论文明确提出三项要求：它必须严格遵循更新后的引擎条件；在长时间推演中保持视觉一致；以细粒度的短块合成观测，让智能体在短暂动作后立即得到反馈。作者把一个预训练的双向视频模型适配到结构化几何条件上，将其转换为块因果生成，再蒸馏成可在单张 GPU 上实时运行的渲染器。

蒸馏方法名为 Adversarial Forcing，它让渲染器在自己的推演轨迹上通过分布匹配来训练，并加入两个具体机制。精确重放让历史预填充变得可微：逐块执行的调度消除了采样与重算之间的数值偏差，因此后续预测上的损失可以更新渲染器对先前观测的编码方式，而不必承担完全可微推演的内存代价。真实数据上的对抗目标则用来抑制仅靠分数蒸馏在长推演中出现的视觉退化。论文给出的对比很直接：使用 Self Forcing 时，30 秒推演会随着时间推移出现重复的表面纹理并丢失场景细节；而 Adversarial Forcing 全程保留了自然纹理和细节。

精确重放换来的是正确性

重放的结论来自实测，而非断言。在只改变注意力执行方式的情况下，全序列 FlexAttention 重放与缓存推演之间存在 3.99% 的相对 L2 误差，而逐块 SDPA 重放则逐位一致。前向时间下降 5.4%（从 2.95 秒降到 2.79 秒），峰值分配内存变化 0.2%（从 50.83 GiB 到 50.92 GiB）。这些数字来自单张 H100、36 层、480 × 832 分辨率、61 个潜帧和 BF16 计算；时间取三次预热后重放前向的中位数，不含反向传播和优化器更新。

吞吐量是另一项测量，不能与重放开销混为一谈。稳态下，一个 16 帧的服务块平均实际耗时 438.8 毫秒，其中 414.4 毫秒用于四次去噪步骤和缓存发布，10.6 毫秒用于条件编码，8.8 毫秒用于小型解码器和主机传输。由此得到每秒 36.5 帧，即在 480 × 832 分辨率下、包含条件编码、解码和主机传输时超过每秒 35 帧。该块在缓存已满时测量，取一个 48 块、769 帧推演中的第 17 至 48 块，并在两次推演上取平均。

智能体靠写手册而非改权重进步

在捉迷藏实验中，每个智能体只通过神经渲染器生成的第一人称画面感知世界。它拿不到物体坐标、隐藏的世界状态，也看不到对手的私有观测。动作以简短的 Python 程序提交，用于移动和操作物体，之后智能体观察渲染出的结果。每个角色维护自己的手册：一个由简短技能文件组成的库，这些文件是可能包含代码的 Markdown 笔记，每个文件记录一条经验。

练习按轮进行，每轮五局，布局和随机种子从采样中产生，起始手册为空。每轮结束后，每个角色回顾自己的动作程序和它被允许看到的视觉证据，找出失败之处，并添加技能文件。下一轮中，智能体拿到累积的技能，判断哪些过往经验适用于当前场景。成功和失败的尝试都会进入后续修订。这正是标题中效率提升背后的机制：进步以写下来的、可继承的经验形式保存，而不是以策略网络的梯度更新形式保存。

四轮练习与数百万回合

在记录的运行中出现了三种行为：藏方移动一块挡板封住入口；寻方把斜坡搬到内墙并翻越过去；还有一次寻方起跳未及，于是把斜坡挪近再试。论文报告，藏方在第 4 轮用挡板搭出掩体，寻方在第 10 轮用斜坡翻墙。

比较对象是 2019 年的捉迷藏研究，该研究报告在约 2500 万回合后出现掩体搭建，再经过约 7500 万回合后出现寻方使用斜坡。作者明确提醒，不能把这些数字读成样本效率之比。2019 年的智能体从随机权重开始，从零学习物理动力学和竞争协作，直接基于真实坐标状态行动。这里的智能体是预训练基础模型，已经从网络规模预训练中获得了关于物体、工具和几何的抽象知识；它们的挑战在于把这种知识落地为闭环的感觉运动动作，并在无法访问状态的情况下，仅凭合成观测诊断空间执行上的失败。摘要中“仅 4 轮即可学习，而传统强化学习对应方案需要数百万轮”的说法，应当放在这一范式差异之下来理解。

结论适用到哪里为止

效率结果在一个详细的捉迷藏变体中得到验证，论文称同一流程在另外四个世界中也改善了结果，但没有报告这四个世界各自的轮数或效应量。渲染器的条件接口也决定了哪些世界能被呈现。仅靠几何会遗漏部分状态：一个旋转对称的物体可以在深度和法线不变的情况下旋转，而材质、颜色和物体身份并不由几何决定。视觉历史可以保留这些属性，但在长时间遮挡或超出记忆窗口的重访之后可能丢失。作者指出，依赖接口无法表达的状态的任务，目前还无法覆盖。

另外两项限制与方法本身相关。对条件做空间下采样能降低成本，但可能抹掉精确控制所需的细薄结构、狭窄缝隙和细微接触变化。此外，本报告中的世界是作者逐个搭建的；让编码智能体自行编写和修订世界，并自动检查生成的世界是否值得智能体花时间练习，被列为未来工作，而非已经展示的能力。

真正值得关注的是学习存在哪里

论文中最有决策价值的区分不是轮数，而是学习成果存在哪里。由于状态和规则都在代码里，世界可以被精确重置和重放，因此一条经验在传递之前可以先被检验；作者认为，在多个世界中都成立的经验，例如如何确认抓取是否稳住、哪些视觉线索会误导，会成为关于在物理场景中行动的一般知识。这样一来，决定哪些任务可学的变量是渲染器的条件接口，而不是智能体的架构。

因此，对评估这一路线的读者来说，实际的分界在于：任务相关状态能否完全用导出的几何表达。能表达的世界可以写成代码、通过共享接口渲染，并在少数几轮回顾中练习；状态藏在旋转、材质或身份里的世界，则需要更丰富的条件接口，论文指出了这一方向，但尚未构建。作者预期真正起作用的循环是：智能体的失败指出下一个该写哪个世界，而每个新世界又检验此前写下的经验。

本文引用的文献