仅有预测无法闭合改进回路
递归自我改进(RSI)指的是把交互经验转化为能够保留下来、并影响下一轮行动与学习的改变。论文的出发点是:世界模型可以预测候选动作的后果,但预测本身不会带来任何改进。预测结果必须用来决定哪些候选值得花费昂贵的外部反馈,而这些反馈还必须产生被保留下来的更新。
难点在于两个组件会相互牵动。策略更新会改变世界模型看到的动作和经验分布,因此它的预测可能变得不可靠;世界模型更新又会改变候选排序和想象轨迹,从而改变策略的学习信号。所以单独改进任一组件并不能保证整体表现更好,这也是该框架把策略-模型组合、而不是各自单独的部分,作为接受或拒绝的对象的原因。
预测决定哪些候选接受测试
RSI-Anything 建立在 JEPA-Anything 之上,后者是一个共享的世界模型构建框架,从观测到的上下文预测目标表示。在实例化系统中,当前策略提出一组候选,世界模型为每个候选给出结果预测或有界推演。随后选择规则按预测效用对可行候选排序,并可选地对不确定性施加惩罚,最后返回一个或一批评估成本不超过剩余反馈预算的候选。
代码修复实验单独检验了这一步。编码器保持固定,因此任何变化都来自修订方案的选择方式,而不是来自更好的策略。策略提出 20 个修订,实例化规则汇总预测的执行类别概率,对四个候选修订排序,然后执行其中一个。这就是此处预测性选择的具体含义:世界模型不替代测试,而是决定有限的测试预算花在哪里。
选择与自适应在代码修复中各自带来增益
在编码器固定的条件下,成功率从静态验证器的 26.3% 升至预测性选择的 29.2%,再经世界模型自适应升至 31.2%,测试用量相当。顺序很重要:第一次提升来自决定执行哪个修订,第二次提升来自让预测器适应观测到的结果。由于编码器始终不变,这两个数字都不应被理解为策略本身得到了改进。
自适应是有条件的,而不是自动触发的。框架用当前模型版本对照反馈历史评估预测可靠性,只有当评估结果为不可靠、自适应数据充足、且剩余预算足以覆盖估计成本时,才会尝试自适应。覆盖不足会得到“证据不足”的评估,而不是可靠性的证据,也不会触发自适应。这一设计避免预测器依据并未真正覆盖当前候选的反馈被重新训练。
GUI 任务完成更多且动作更少
在图形用户界面(GUI)评估中,RSI-Anything 同时更新了策略和世界模型,任务完成率更高,同时平均动作数减少 39.4%。讨论部分补充说,在复选框任务上,系统重复点击和错误提交的次数更少。这些指标与代码修复成功率不同:任务完成率和动作数描述的是交互环境中的行为,而不是修复程序的比例。
GUI 设定也是两个组件都发生变化的设定,因此它是已报告评估中最接近完整回路的。即便如此,所报告的比较仍是更新后的系统与这些任务上的其他方案之间的比较,而不是证明策略和世界模型在单个任务中经过多轮持续相互改进。
保留的策略版本使实验室规划得分翻倍以上
实验室规划跟踪五个连续的策略版本,得分从 21.80% 升至 46.01%。这是论文中支持“保留”这一论点最清晰的证据:改进之所以累积,是因为被接受的策略版本会延续下来并影响后续决策,而不是因为某一次更新幅度很大。
适用范围由作者自己说明。实验室结果评估的是符合协议的规划,可靠的物理执行需要在相关设备和流程上评估。因此,翻倍描述的是论文协议下的规划得分,而不是系统实际完成实验室工作的表现。
固定实验预算下预测性搜索更占优
在反应优化中,RSI-Anything 达到 96.15% 的平均最佳观测产率,而贝叶斯优化在同样的 40 次实验预算下为 82.16%。相同的预算使这一比较具有信息量:两种方法都以相同实验次数后找到的最佳产率来评判,因此差异反映的是搜索如何利用这些实验,而不是做了多少次实验。
这一结果属于反馈引导的条件搜索,与代码修复和 GUI 控制是不同的任务。它支持“当测量昂贵时预测可以决定先做哪些实验”这一说法,但本身并不能说明在该化学设定中策略和世界模型在多轮之间相互改进。
联合回路仍有部分未被检验
各项评估分别实例化了协议的不同部分,而不是一次性检验整个协议。代码修复固定编码器,检验预测性选择和预测器自适应;实验室规划跟踪连续策略版本;GUI 评估同时更新两个组件;化学检验反馈引导的条件搜索;免疫科学应用则把工作流演化和模型构建与固定预测器的下游分析分开。
作者因此指出,需要联合多轮评估才能确认策略和世界模型在单个任务中持续相互改进。这是对标题问题的主要边界:论文表明预测引导的选择、有条件的模型自适应和保留的策略版本各自在其设定中产生了可测量的增益,而不是表明单一系统在多轮中同时累积了这两类改进。
反馈稀缺时应优先做好选择
论文中最具决策相关性的比较是代码修复序列,因为它固定策略,只改变反馈的使用方式。仅预测性选择就带来了从 26.3% 到 29.2% 的变化,自适应在测试用量相当的情况下再增加 2.0 个百分点至 31.2%。对于要决定投入方向的读者,这一顺序提示:当外部评估是约束瓶颈时,选择环节是最应先做对的部分。
反应优化结果在硬预算下指向同一方向:40 次实验时平均最佳观测产率为 96.15% 对 82.16%。两项发现附带的条件正是框架自身执行的规则:只有当针对当前模型版本的可靠性检查显示预测不可靠、自适应数据充足且预算可用时,才应尝试自适应;否则应保持已保留的组合不变。
本文引用的文献
RSI-Anything:用世界模型解锁递归自我改进
在编码器固定的条件下,代码修复成功率从静态验证器的 26.3% 升至预测性选择的 29.2%,再经世界模型自适应升至 31.2%,测试用量相当;实验室规划得分在五个策略版本间从 21.80% 升至 46.01%。
