推理配方能提升机器人基础模型的零样本表现吗?

ARC 用动作锚定的因果推理轨迹微调现有机器人基础模型,无需新增机器人数据即可提升零样本任务成功率。

直接答案

根据这篇论文,答案是能。ARC 为现有机器人基础模型加入动作锚定的因果推理轨迹,在不新增机器人演示、也不做基础模型规模重训的情况下报告了大幅零样本提升:RoboLab-Reasoning-50 上最高 50 个百分点,π0.5 在真实机器人上的任务成功率提升 82.2 个百分点。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

用推理监督替代更多机器人数据

论文要回答的问题是:能否在不扩大模型、不采集更多演示、也不重复基础模型规模训练的前提下,让现有机器人基础模型变得更好。它的做法是改变模型训练时所依赖的输入:除了指令和观测,策略还会收到一段简短的自然语言描述,说明当前情况、下一步动作为什么合适,以及这个动作应当产生什么效果。作者把这套配方称为 ARC。

这一主张的范围是刻意收窄的。ARC 不改变模型架构,也不新增机器人数据集;它给已有的演示重新打标签,再微调预训练模型,让模型学会用这些标签指导控制。因此论文把报告的提升归因于推理内容以及围绕它设计的训练流程,而不是额外的机器人经验。

推理轨迹必须锚定下一步动作

核心设计选择在于推理轨迹应当包含什么。作者认为,有用的轨迹既要具备因果性,也要锚定动作:它解释某个动作为什么适合当前状态、应当产生什么效果,同时点明机器人应当采取的具体步骤。在他们的方案中,每条标注都把感知到的状态和相关原因,与可能后果、选定效果、动作含义、禁止效果和完成状态联系起来。

这一点很重要,因为轨迹不是对场景的自由评论。它与一个动作块对齐,因此语言与策略必须预测的同一观测、同一段机器人行为绑定在一起。论文的消融实验支持这一区分:在 RoboLab-120 上,完整的六要素轨迹达到 45.3% 成功率,而仅含动作的轨迹为 27.42%,状态加动作的轨迹为 32.25%;仅含动作时甚至低于 28.0% 的基线策略,且两者都远低于完整轨迹。

标签来自已有演示数据

机器人演示记录了观测和动作,但通常不记录每个决策背后的推理。ARC-Trace 用一套两阶段自动标注流程填补这一空白。Gemini 2.5 Pro 观看一段回合视频,生成有时间定位的叙述,同时挑选关键帧;随后 GPT-5.5 生成针对该回合的状态检查,并把它们与任务指令、叙述和腕部观测一起组合成结构化轨迹。

规模是具体的。该流程应用于 DROID v1.0.1 训练集,该训练集包含 95,658 个回合。它标注了约 74,740 个回合,占该训练集的 78.1%,产出约 120 万帧标注,平均每个已标注回合约 16.1 条标注。多数未标注回合缺少可用的任务指令。作者指出,状态检查是模型生成的视觉证据描述,并非独立测量的真实状态;完整回合视频只在离线构建监督时使用,不作为部署策略的输入。

同一套轨迹适配两类模型架构

ARC 在两类不同的机器人基础模型上测试:π0.5 是视觉-语言-动作模型,带有 PaliGemma 主干和一个独立的 3 亿参数动作专家;Cosmos3-Nano-Policy 是世界-动作模型,把视觉-语言推理器与扩散生成器配对。两者使用相同的轨迹和训练数据,但微调和推理按各自架构定制。

推理时,微调后的模型被冻结,由外部视觉-语言模型根据任务指令和当前相机观测生成轨迹,并在执行过程中按设定频率刷新。作者选择外部生成,是因为模型内置的语言组件在生成这类轨迹上不如用它们做控制可靠。他们报告,在所评估的外部视觉-语言模型之间,性能保持可比;一次接近实时的 VLA 部署增加了约 10 毫秒的控制回路开销。

提升幅度随基准和模型而异

头条数字需要按基准分开看。在 MolmoSpaces 上,π0.5 的任务成功率提升 27.2 个百分点,Cosmos3-Nano-Policy 提升 18.6 个百分点。在以推理为核心的 RoboLab-Reasoning-50 上,π0.5 提升 46.8 个百分点,Cosmos3-Nano-Policy 提升 50.0 个百分点。在 RoboLab-120 上,ARC 在全部三种设置中都提升了两个模型,适配后的模型在每种设置中分别排名第一和第二。

这些是相对于各模型自身基线的零样本结果,而不是与一个更大规模新训练模型的比较。论文还报告了效率方面的附带效果:Cosmos3-Nano-Policy 用少 4.3 倍的训练更新达到基线成功率;推理时 π0.5 和 Cosmos3-Nano-Policy 分别用少 10 倍和 2 倍的去噪步数达到各自基础策略的水平。

真实机器人上困难任务提升最大

报告的最大提升出现在实体硬件上。在真实机器人上,ARC 使 π0.5 的任务成功率提升 82.2 个百分点,作者把这一提升归因于推理和长时程任务。论文还报告,经 ARC 训练的模型更可靠地遵循表述不充分的指令、推断缺失步骤、完成长时程任务、适应变化并从错误中恢复。

82.2 个百分点不应被理解为所有机器人任务的普遍成功率。它是在论文针对推理和长时程任务的真实机器人评估中测得的提升,摘要把它呈现为相对相应基线的改进,而不是绝对水平。仿真提升和硬件提升回答的是相关但不同的问题。

推理成为瓶颈时配方收益最大

各项结果呈现的模式是:任务越需要推理,ARC 的优势越大。MolmoSpaces 的提升在几十个百分点,以推理为核心的 RoboLab-Reasoning-50 提升接近 50 个百分点,真实机器人的推理与长时程评估则出现最大跃升。作者的解释是,因果监督让每条演示信息量更大,因为模型在获得动作的同时也获得了该动作的理由。

消融实验进一步说明了这一点。去掉动作含义后,RoboLab-120 成功率降到 30.58%;去掉原因和效果后降到 39.25%,两者都低于完整轨迹的 45.3%。全量微调同样重要:π0.5 全量微调达到 45.0%,仅训练动作头为 30.9%;Cosmos3-Nano-Policy 全量微调达到 51.2%,仅训练生成器头为 43.7%。作者据此认为,预训练语言特征必须被重塑,而不只是被读出,控制器才能利用因果区分。

这套配方尚未解决的问题

ARC 依赖外部视觉-语言模型在推理时生成轨迹,因此其表现与生成器以及执行期间的刷新安排绑定。论文报告在所评估的外部视觉-语言模型之间性能可比,但并未声称任何生成器都能奏效。标注流程也继承了源数据的限制:DROID 训练集约五分之一未被标注,主要原因是缺少可用的任务指令。

作者把能可靠自行生成因果轨迹的策略以及跨本体扩展列为未来方向,这意味着两者都超出本文所展示的范围。在现有证据内,实践优先级是清楚的:当一个预训练机器人基础模型已具备较广的操作能力,但在推理密集、表述不充分或长时程任务上表现吃力时,加入动作锚定的因果轨迹并全量微调模型,是本文支持的干预方式;预期提升幅度应对照具体基准或硬件设置来读,而不是当作一个通用数字。

本文引用的文献

1

ARC: A Reasoning Recipe for Robot Foundation Models

ARC 用自动生成的动作锚定因果轨迹微调现有机器人基础模型,在不新增机器人演示的情况下,报告 RoboLab-Reasoning-50 上最高 50 个百分点、π0.5 真实机器人任务成功率 82.2 个百分点的提升。