世界模型能否持续引导通用机器人策略而不遗忘？

遗忘只是转移而非消失

用模仿学习训练的通用机器人策略受限于它见过的演示。强化学习可以从两条路继续推进：更新策略权重，或训练一个小模块来引导冻结生成式策略的输入噪声。论文认为，当任务一个接一个到来时，这两种做法都会失效。权重更新会改变策略在先前任务上的行为；引导也逃不掉这个问题，因为共享的引导模块本身会在每个新任务上被训练，于是为旧任务采样的噪声发生偏移。

这是论文对问题的界定，也决定了设计目标。策略保持冻结，它学到的演示仍是值得保留的先验。真正需要保护的是引导模块，它是唯一发生变化的部分。问题于是变成：如何在模块学习新任务的同时，让它保持接近早先的行为，既不重新在机器人上运行旧任务，也不存储旧任务的轨迹。

排练来自想象推演

Dream to Remember（D2R）用排练来回答。引导模块学习当前任务时，一个冻结的预训练世界模型重新生成保留任务的推演，并用一个惩罚项把模块在这些想象状态上拉回先前的行为。世界模型是一个学习得到的预测器，预测场景在动作作用下如何演变；在这里它充当记忆，而不是新任务的训练场。

存储开销被刻意压得很小。D2R 只保留每条演示的第一个观测来启动这些推演：CALVIN 上每个任务 150 帧，LIBERO 上 50 帧。八个任务的序列结束后，CALVIN 上是 1,200 帧，LIBERO 上约 400 帧；而完整保存同样这些回合的回放缓冲区分别约为 72,000 帧和 59,000 帧。差距来自回合长度这一维度，因此任务越长，差距越大。

世界模型能记住的比能教的更多

论文按世界模型的保真度分成两种情形。当它足够准确时，新任务完全在想象中学习：在 CALVIN 上，每个任务在世界模型内用同策略 PPO 改进，由潜在成功分类器给出奖励，每次适应时排练其余七个任务。当它不够准确时，任务在环境中学习，世界模型只用于排练。

LIBERO 实验用现成组件检验第二种情形：公开的 π0 策略和 A2World 世界模型，两者都未接触过 LIBERO-90。一项直接检验说明了这种划分为何重要。从真实演示克隆的策略在 LIBERO-90 任务上达到 74.9%，而从同样演示的 A2World 想象回放克隆的策略只有 19.6%；在四个套件上，两者相差仅几个百分点。在这样的模型内部优化引导策略，会利用它的预测误差，因此每个 LIBERO-90 任务都通过真实交互用 SAC 学习，A2World 只充当记忆。

作者的解释是，排练对保真度的要求低于优化。这些想象轨迹不够准确，无法用来学习，但其状态足以锚定模块；在论文报告的对比中，用它们排练与用存储的真实轨迹排练效果相当。

引导提升新任务并保住旧任务

在 CALVIN 上，D2R 完全在想象中依次学习八个任务，把平均成功率从 63.7% 提升到 74.8%。在同一序列上做 LoRA 微调则跌到 11.7%。这一比较是在同一序列下不同适应空间之间的比较，并不主张引导普遍优于权重更新。

单任务表格在另一种设定下展示了这种权衡。那里每个方法只在一个 CALVIN 任务上训练，然后在全部八个任务上评估；保留率是相对基础策略在所有任务上的成功率平均变化，单位为百分点。DP-TTC 在被适应任务上达到 79.2% 的平均成功率，但损失 43.9 个百分点的保留率；DiWA 达到 78.0%，损失 12.7；DSRL 达到 81.8%，损失 5.3。D2R 达到 79.8%，只损失 1.6，是该表中唯一既提升被适应任务、又在总体上高于基础策略的方法。

这些数字回答的是不同问题，不应合并。单任务保留率包含被适应任务本身，因此增益和损失都带符号计入。序列遗忘则以每个任务被学会时的阶段为基准，并排除最后一个任务，因为之后没有再学任何东西。一个方法可能在一项上表现强，在另一项上表现弱。

惩罚项施加在哪些状态上决定成败

消融实验分离出了机制。没有排练的 DSRL 遗忘严重。把同样的惩罚项施加在当前任务观测与保留任务指令的配对上，在 CALVIN 上能减轻遗忘，因为所有任务共享同一场景；但在 LIBERO 上不行，因为场景会变化，当前任务的观测覆盖不到保留任务的状态。只在存储的首帧上施加惩罚，看到的只是保留任务尚未开始的状态。把惩罚施加到每个阶段收集一次并存储的推演上有效，但需要保留这些轨迹。

D2R 改为从存储的初始帧出发，在世界模型中重新生成保留任务的推演。论文报告这与用存储的真实轨迹排练效果相当，正是这一点让小存储成为可能。关键区别不在于有无排练，而在于锚定是在哪些状态上计算的。

现成策略保住其微调过的套件

在 LIBERO 上，D2R 在环境中依次学习八个未见过的 LIBERO-90 任务，同时保持 π0 在它微调过的 Spatial、Object、Goal 和 Long 四个套件上的表现。这里的保留率是相对 π0 的留出成功率变化，在这四个从未出现在序列中的套件上测量。这与 CALVIN 的平均成功率数字以及单任务保留率列是不同的分母。

这个结果重要，是因为两个组件都不是为此训练的：策略和世界模型都是公开检查点，A2World 在四个套件上微调过，但从未见过 LIBERO-90。因此论文的主张比一次基准胜出更窄也更有用：一个无法在目标任务上支撑策略优化的世界模型，仍可作为这些任务的记忆，且无需在被学习的任务上微调。

三个真实任务在想象中保住增益

在一台真实的 Franka Emika Panda 上，三个任务完全在想象中依次适应，机器人只用于评估：打开抽屉、向左移动滑块、打开 LED。世界模型是在六小时遥操作游玩数据上训练的 RSSM，基础策略是在七个任务各 100 条演示上训练的语言条件扩散策略。

报告的结果是，D2R 在整个序列中保住了先前的增益，而没有排练的 DSRL 损失了约一半。评估对每个被适应任务运行 20 个回合，每回合最多 72 步，从 20 个由人工重置的固定初始配置出发。这是单一平台上的小序列，检验的是对改进的保留，而不是向无关任务的迁移。

按世界模型的任务选择排练保真度

论文的实践优先级是按角色划分，而不是给出单一准确度阈值。如果世界模型足够保真，可以在其中优化策略，D2R 就能像在 CALVIN 上那样完全在想象中学习新任务。如果不够，就在环境中学习任务，只用模型重新生成保留任务的状态来做锚定，如 LIBERO 上那样。LIBERO 的克隆检验——真实演示得到 74.9%，想象回放只有 19.6%——正是判断一个模型落在哪一侧的那类证据。

剩余成本是明确的：D2R 仍需为每个任务存储少量初始帧来提示世界模型，作者把按需生成这些帧列为未来工作。在现有证据范围内，D2R 最有说服力的场景是：冻结的通用策略需要在不更新权重、不存储轨迹、不在机器人上重访旧任务的前提下积累技能，且世界模型的状态足以锚定行为，即使其动态不足以用来学习。

本文引用的文献