下游技能接手的是陌生场景
长程操作常被拆成多个技能分别训练,再按顺序串联执行。每个技能从自己的训练起始状态出发时看起来可靠,但一旦串联,整条链就会崩溃:在 BOSS-44 研究的三技能链上,执行完第一个技能后成功率为 88.5%,执行完两个技能后降到 34.3%,执行完三个技能后只剩 7.6%;而这些组成技能各自从标准初始状态独立评估时,平均成功率为 79.0%。
论文把这种错配称为观测空间偏移(Observation-Space Shift,OSS)。在技能接缝处,下一个技能并非从它训练过的状态开始,而是从前一个技能留下的任何状态开始。例如“打开抽屉”技能可能把抽屉留在打开状态,随后一个在抽屉关闭条件下训练过的“放置碗”技能开始执行。下游策略因此被要求从一个超出其训练支撑范围的状态行动,即使单独执行时能成功,也可能卡住。
只重置机械臂几乎不改变结果
为了找出卡住的真正原因,作者在仿真中使用特权传送 oracle,在监控器报警的那一刻,每次只把一个场景组件恢复到标准值。比较在 100 条灾难性链上进行,指标是整条链的成功率。
基线条件为 0.098。只恢复机械臂得到 0.132,与基线在噪声范围内,这排除了机械臂自身构型是瓶颈的设想。恢复机械臂加抽屉关节得到 0.212,恢复机械臂加次要物体得到 0.268。全部恢复的 oracle 达到 0.518。下一个技能要操作的物体通常已接近标准位置:中位位移为 1 cm,距夹爪 25 cm。几乎没有物体在物理上丢失,10,036 个状态中只有 2 个掉落,占 0.02%。
抽屉状态与遗留物体必须一起修复
两个主要组件的作用并非简单相加。单独恢复关节或次要物体只能带来部分增益,两项单独增量相加的预测值为 0.35,而联合恢复得到 0.52,超出 0.170,传播标准误为 0.052,约 3.3 个标准差。作者将其解读为互补效应:局部修复不能叠加,场景必须联合恢复。
这一分解来自一次粗略的诊断运行,其基线为 0.098,与主结果使用的 0.076 五种子基线不同。论文明确指出,组件表用于定位原因,而不是报告主要成功率数字。
更多采样、更强策略与世界模型都失败
如果接缝崩溃只是运气不好、基座策略太弱或规划失败,那么比恢复更便宜的干预就应该有效。论文从真实接缝状态出发,以各自最强的形式测试了这些方案,没有一个能恢复。
K=8 的 best-of-K 重采样从干净初始化出发可以成功,至少有一次 rollout 有效,选择变得毫无难度;但从链中接缝出发,基座策略在全部八次 rollout 上都失败,没有可选项。在相同标准演示上训练 2,500 个 epoch 的 Diffusion Policy,从接缝状态出发与行为克隆完全一致,为 0.00,尽管它从标准初始状态能成功。世界模型在测试的三种角色中都失败:作为帧生成器与基线持平;作为监控器,其预测惊讶在卡住时方向反转;作为规划器,无模型 RLPD 以三倍样本效率超过基于模型的方案。端到端强化学习恢复低于演示基线,为 0.45 对 0.52。
先恢复场景再继续执行带来增益
部署的系统由三个学习组件构成。基于冻结 DINOv3 编码器和一个小型任务条件头的任务进度监控器负责标记卡住。按场景用 SAC 或演示增强 RLPD 训练的学习恢复策略,把被移动的抽屉和物体送回目标位置。随后,接缝鲁棒微调让技能继续执行,使用 581 条深度交接演示与原始各技能数据混合训练。
在 10 条灾难性链、五个种子上,完整系统把全链成功率从 0.076 提升到 0.265,增益 0.189,p=0.047。给予相同复位与重试预算的基线只达到 0.129,因此效果并非仅来自额外的执行步数。单独任一组件都不显著:仅恢复达到 0.175,p=0.094;仅预防达到 0.114,p=0.188。因此结论落在系统层面,系统达到特权 oracle 0.518 的 51%,剩余约一半可恢复差距归于恢复质量,而非检测。
抽屉挡住非抽屉技能时恢复才有效
逐链分析分离出恢复动作何时有效。恢复器只作用于抽屉,因此结果取决于一个变量:接缝处的阻塞位移是否是一个下游技能本身不操作的抽屉。偏离标准的抽屉挡住非抽屉技能,正是恢复能处理的场景。第二个接缝移动自由物体的链仍无法恢复,需要物体恢复技能。
场景之间的差异并不均衡。完整系统在 S1 上全链成功率为 0.29,S2 为 0.34,S4 为 0.16,而 S4 的基线为 0.19;在完整系统下,一条 S4 链从 0.27 退化到 0.17,这是作者如实报告而非平均掉的误报代价。在七个相同技能的留出重排序上,产生了设计系统时从未用过的接缝转换,成功率从 0.066 提升到 0.244,3.7 倍增益单独在 p=0.125 下不足以显著,但 oracle 佐证了方向,从 0.066 到 0.499。
真实机械臂上监控器受相机视野限制
仿真监控器原样运行在一台 Franka 机械臂上,由服务化的 LoRA 微调 pi-0.5 视觉-语言-动作策略驱动,覆盖三条重排链、九个技能,每条链 15 次试验。检测能力明显减弱。在已知物体上做留一回合评分,AUROC 为 0.625,95% 区间为 0.46 到 0.79;在未见物体上做留一链评分,为 0.672,区间为 0.51 到 0.83。在 n=45 时两者都无法与随机区分,论文报告的是弱迁移,而非显著检测结论。
差距来自可观测性:仅靠外部相机,失败的抓取或掉落的物体常常不可见,即使放置动作在画面上仍然完成。闭环仍只是概念验证。在匹配的检测器报警下,恢复挽回了 21 次原本终止的放置尝试中的 3 次,而基线在 19 次中挽回 0 次;这是恢复动作本身的效果,不依赖检测器质量,因为两种条件使用相同的实时报警。其余各技能成功率在 N=15 下处于噪声范围,作者不声称硬件上有成功率提升。
剩余差距在恢复质量而非检测
论文自己的框架是:接缝失败属于脱离支撑的状态,而不是策略失准,因此更用力搜索、更换策略或规划都无法移动接缝。消融说明了要恢复什么:关节与物体互补,任何单组件修复只能达到 0.13 到 0.27,而 oracle 为 0.52。
因此证据支持的优先事项不是更多测试时计算或更大的基座策略,而是更好的恢复与更好的感知。即使恢复适用,也只挽回约一半的 oracle 差距,物体恢复器尚未迁移成功。作者假设限制因素是重入时机,即何时交还控制权,而不是组件覆盖范围,因为监控器可能在恢复过程中再次报警,而固定的交还容差只是“恢复到足以继续”的粗略代理。在硬件上,他们指出的具体修复是腕部与夹爪感知,因为夹爪宽度和本体感受未被记录,失败的抓取对外部相机不可见。实际的分界因此是:当被移动的抽屉挡住一个不操作它的技能时,恢复场景;在期待闭环支撑真实机器人之前,先投入感知与重入时机。
本文引用的文献
Diagnosing and Recovering from Observation-Space Shift at Long-Horizon Skill Seams
技能接缝失败主要由被移动的抽屉关节和次要物体驱动,而非机械臂关节构型;一个可学习的检测—恢复—继续系统把 BOSS-44 全链成功率从 7.6% 提升到 26.5%,达到特权 oracle 的 51%。
