具身智能体能否持续学习并重组技能以应对未见任务?

EmbodiedCLBench 测试智能体能否复用基础任务技能解决未见组合任务,发现学习有增益但增加样本不再提升。

直接答案

具身智能体能将简单家务任务的经验迁移到更难的未见任务上,但增益并不均衡,也不会随学习样本增加而增长。在论文的基准中,高级任务的零样本成功率在 3% 到 12% 之间;学习两个相关基础任务后,上下文学习最高达到 52%,技能学习最高达到 38%,具体取决于智能体框架与主干模型的组合。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

用技能重组衡量持续学习

论文要回答的问题是:一个能自我演化的具身智能体,能否从简单任务中积累经验,并把它用到从未见过的更难任务上。答案建立在一个设计选择上:持续学习不通过保留旧任务的表现来衡量,而通过组合泛化来衡量。已经练习过基础任务的智能体,应当把学到的技能重新组合起来解决新的高级任务,而不是从头学习这个任务。

因此,基准的证据单位是一组任务,而不是单个回合。基础任务是几个原子动作组成的简短家务操作,例如拿起一个物体再放下。高级任务串联更多原子动作,这些动作来自两到四类基础任务,所以能否成功取决于此前练习过的技能要素能否被组装成新的序列。

作者认为这填补了一个空白:此前的持续学习研究大多停留在非具身场景,例如知识密集型任务或数字环境;而具身基准关注的是场景感知、视觉导航、机器人操作或长程任务规划,并非持续学习本身。EmbodiedCLBench 被定位为第一个面向自我演化智能体持续学习能力的具身仿真基准。

268 个任务、三种设置与一个成功率指标

基准运行在 TongSim 中,这是一个室内家务仿真环境,包含 6 个场景、51 个物体类别和 7 个原子动作。它共有 268 个任务:168 个基础任务,分属六类家务活动;以及 100 个高级任务。每个原子动作占 3 步,因此由 2 个原子动作组成的基础任务最短路径为 6 步,由 4 个原子动作组成的高级任务最短路径为 12 步。

由于闭源仿真器无法在线运行评估,作者为每个任务预先构建状态转移图。每个节点是一个环境状态,配有第一人称图像和一组候选动作;每个可执行候选动作是一条边,确定性地转移到下一个状态。干扰路径从最短路径上分叉,可执行但偏离正确路线。这样评估可以离线、并行、可复现地运行,同时仍要求智能体做序列决策。

三种设置区分了智能体获得的信息。零样本设置下,它不经过学习阶段,直接尝试基础任务和高级任务。上下文学习(ICL)中,它先为每个高级任务完成两个相关基础任务,测试时完整的交互轨迹保留在上下文中。技能学习中,它完成同样的基础任务,但要用 Markdown 写一份简短的技能总结,测试时只提供这份总结。报告的指标是成功率:在步数预算内完成的任务占比,测试时预算为最短路径长度加 3 步,学习阶段加 6 步。

四种智能体框架通过官方 API 各搭配两个主干模型:OpenClaw、ClaudeCode、Codex 和 Hermes,分别搭配 Qwen3.8-Flash 与 GPT5.6-Terra。这形成八种框架与模型的组合,因此下文每个主要数字都属于某个具体组合,而不是泛指具身智能体。

没有学习阶段时高级任务几乎无法完成

最清晰的基线,是在不提供任何经验时高级任务表现有多差。在八种组合中,高级任务的零样本成功率在 3% 到 12% 之间。同样的智能体在相同零样本条件下,基础任务得分为 42.9% 到 58.9%。

这一差距是论文的动机证据。基础任务可以完成,但由相同原子动作构成的组合版本却不行。作者据此认为,不借助先前经验,高级任务很难解决,而这正是基准要探测的能力。

这一比较也为后续所有结果设定了参照点。学习阶段带来的任何提升,都要对照 3% 到 12% 的下限来判断,也要考虑到同一智能体单独处理这些组成技能时表现尚可。

两个基础任务提升高级任务成功率,但幅度不一

加入学习阶段后,每种框架与模型组合都相对零样本有一致提升,但提升幅度差异很大。ICL 下高级任务成功率在 16% 到 52% 之间;技能学习下在 22% 到 38% 之间。

差异比平均值更重要。Codex 搭配 GPT5.6-Terra 在 ICL 下达到 52%,是表中高级任务的最好成绩;同一框架搭配 Qwen3.8-Flash 则为 34%。Hermes 搭配 GPT5.6-Terra 在 ICL 下只有 16%,低于它自己在技能学习下的 34%。OpenClaw 搭配 GPT5.6-Terra 则相反,从 ICL 的 39% 降到技能学习的 22%。

所以没有哪种学习方法在所有组合中都占优。保留完整轨迹对某些智能体有帮助,对另一些则不如一份简短的书面总结,这意味着经验如何存储会与框架和模型相互作用,基准并未给出定论。

作者还报告,随着任务复杂度提高,基础任务经验带来的收益保持稳定。这一说法指的是收益在更难的组合上依然存在,而不是收益会变得更大。

增加学习样本没有带来更多收益

最关键的负面结果与经验本身的扩展有关。论文报告,提升并不随学习样本数量相应增长,当前智能体无法从额外经验中提取有意义的信息。

这与“学习是否有帮助”是不同的问题。正面结果是两个相关基础任务优于零样本;负面结果是,在此基础上继续增加经验并不能持续提高成功率。合起来看,瓶颈在于智能体如何巩固和复用经验,而不在于是否有经验可用。

作者把这列为开放问题:如何让智能体积累并利用更多交互仍未解决。他们还指出当前表现远未饱和,因此基准报告的并非一个已解决、只是收益递减的能力,而是一个早期能力,它在吸收更多数据上存在特定失败。

在评估边界内理解这些结果

设置的几个特点限定了这些数字的含义。评估是在预先计算的状态转移图上离线、确定性地进行,而不是在实时仿真中运行;这使并行和可复现的评分成为可能,但也固定了智能体可选的动作集合。任务描述和候选动作由 Qwen3.7-Plus 生成并人工核验,因此任务文本是模型产出、人工检查的,而非完全人工撰写。

学习阶段的规模按设计也很小:每个高级任务只搭配两个相关基础任务。因此关于经验有多大帮助的结论,描述的是这一规模下的行为,而论文自己的发现是增加样本数量并未带来成比例提升。

最后,所有结果都来自一个仿真器上的八种框架与模型组合。论文关于一致局限和独特行为的说法,针对的是这一被评估的集合;组合之间的巨大差异本身就说明,结果应按每种配置分别解读,而不是当作单一的具身智能体得分。

重点在于用好经验,而非收集经验

论文最有用的贡献是重新界定了该测量什么。如果高级任务成功率能从 3% 到 12% 的零样本下限,在两个基础任务后升至最高 52%,那么真正的约束不是能否给智能体提供经验,而是能否把经验转化为可复用的技能结构;而对更多样本的平坦反应说明,它们目前做不到。

这让基准中按组合呈现的差异成为实际信号。一个在 ICL 下得分高、在技能学习下得分低的框架与模型组合,是在保留轨迹却没有提炼它们;一个在技能学习下提升的组合,则把经验压缩成了可迁移的东西。对判断自我演化具身智能体的读者来说,有信息量的比较是同一组合下这两种存储方式之间的差异,有信息量的阈值是增加经验究竟能否推动成功率。

作者给出的方向也由此而来:设计能在任务间巩固、泛化并复用经验的持续学习方法,而不是仅仅收集更多经验的方法。

本文引用的文献

1

EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents

提出首个用于持续学习的具身仿真基准,衡量智能体能否重组基础任务技能来解决未见的高级任务;从两个基础任务学习优于零样本,但收益不随学习样本增加而扩展。