两个模型,一个连接接口
论文的出发点是分工。经过长程智能体强化学习训练的语言模型能够跨多步推理并表达精确动作,但物理交互仍由动作策略负责,因为动作策略能提供密集、低延迟的控制。NavGPT-3 是连接两者的框架,而不是取代其中任何一方的单一模型。
框架之上是一个类似操作系统的运行时。推理、执行和监控作为线程运行,每个线程有自己的上下文、工具和权限。运行时调度这些线程,并决定哪个线程持有运动权限,也就是发出任务运动的许可。正是这种分离,让机器人能够通过中断和线程切换对现实世界中的突发情况作出反应,同时较慢的推理仍在后台继续。
运动权限决定谁驱动机器人
运行时的核心控制是一条控制转移规则。在每个事件上,运行时读取共享系统状态、当前前台线程,以及诸如中断之类的传入事件,再依据预先设定的事件优先级保留、转移或撤销权限。保护性事件优先级最高,回合限制优先于例行检查,过期事件不能恢复已经作废的操作。
一个线程要执行所提议的任务运动,必须同时满足两点:它是当前前台持有者,且该操作属于它的许可操作集合。满足资格是必要条件而非充分条件,执行时还要检查当前状态和权限。交接会保留各线程的上下文,并且只有在运行时授权和执行确认之后才生效。运动权限并不授予独占的计算或感知能力,因此一个线程驱动机器人时,其他线程仍可继续推理。
论文给出的两个示例说明了这一机制的意义。在路线纠正中,动作策略持有权限,后台线程同时检查进展;检查触发一个事件,在动作策略确认后,权限转交给工具修复,主线程暂停,随后权限返回,执行继续。在安全情形中,监控器的守卫无需等待语言模型推理即可撤销权限,主线程只有在获得新状态和新授权后才恢复。
编解码分配把视觉 token 花在场景变化上
运行时之下是 NavGPT VLA,这是一个在 19.28M 个样本上训练的动作策略。它的独特选择是编解码分配:视觉 token 按场景变化的比例分配,而不是采用固定的位置方案。论文将它与重新实现的 Qwen-RobotNav 观测接口作比较,后者使用位置分配。
这一比较在不同设置下并不一致。在 8B 规模上,编解码分配在三个累积训练范围上分别把 R2R-CE 成功率提高 1.7、5.7 和 2.1 个百分点,把 RxR-CE 成功率提高 1.6、2.6 和 2.6 个百分点。在 4B 规模上,它把 RxR-CE 成功率提高 3.7、0.5 和 1.4 个百分点,而在 R2R-CE 上前两个范围内变化不超过一个百分点(−0.1 和 −0.8),只有在加入跨具身数据后才提升(+1.1)。作者指出,加入导航问答数据后出现的大幅提升,部分反映了该范围上位置基线较弱。在加入跨具身数据后,编解码分配在两种模型规模、两个基准上都同时提升了成功率和 SPL。
单独的动作策略已在 RxR-CE 领先
单独使用时,8B 的 NavGPT VLA 在 R2R-CE 上达到 74.51 SR,在 RxR-CE 上达到 78.19 SR,RxR-CE 的 SPL 为 68.98。论文指出,在没有任何框架的情况下,这个策略已经在 RxR-CE 上达到当前最优。这一点对理解完整系统的数字很重要:头条性能中有一部分来自动作策略,而不是运行时层。
运行时在两个基准上带来的增量不同。在 R2R-CE 上,以 GPT-6 Astra 作为规划器时,成功率从 74.51 提升到 81.51 SR。在 RxR-CE 上,以 Claude Opus 5 作为规划器时成功率达到 84.80,以 GPT-6 Astra 时达到 90.43,而单独的策略为 78.19,nDTW 提升到 78.47。论文把 RxR-CE 上更大的增益归因于指令更长、对路线的描述详细得多,使返回的路线证据、回到已记录地点的操作和局部修正有更多可发挥的空间。
RxR-CE 达到人类水平且用时更短
在 RxR-CE 上,NavGPT-3 在成功率(90.43 对 90.4 SR)和路径保真度(78.47 对 77.7 nDTW)上追平人类跟随者,论文称这是首个在该基准上达到人类水平的自主智能体。这一比较是在连续控制而非基于图的控制下进行的。
每回合用时比成功率更能拉开差距。NavGPT-3 完成一个 RxR-CE 回合需要 1 分 22 秒,而人类大约需要 3 分钟。速度来自控制所在的位置:当 NavGPT VLA 执行路线时,推理循环缩短,系统的最小反应时间从每次语言模型决策 3–19 秒降到每个动作策略步 0.5–1 秒,频率为 1–2 Hz。
更频繁的检查以高昂 token 成本换取精度
论文改变了规划器检查 VLA 执行的频率,以每次检查之间的 VLA 前向次数衡量;每次前向预测八个路点并执行第一个。在没有周期性检查时,规划器只有在 VLA 停止或达到委派上限后才重新获得控制,中位数为 51 步(第 90 百分位为 123)。
更频繁的检查改善了路线,但 token 成本高得多。每 32 步检查一次时,大多数回合最多只有一次检查,结果几乎没有变化(78 对 77 SR)。每 16 步检查一次,约每回合三次,成功率升到 83,SPL 从 67.51 升到 77.36,NE 从 3.82 米降到 2.01 米。token 从每回合 179.2k 升到 32 步时的 1,529.9k,再到 16 步时的 2,319.5k,因为每次检查都要重新读取累积的路线上下文。作者据此认为,现实部署中应采用事件触发的检查,而不是固定间隔的监督。
修复回路体现框架带来的能力
记录下来的回合让机制变得具体。在一个 R2R-CE 案例中,Claude Opus 5 发现 VLA 已经走过了走廊里的桌子,于是沿原路退回 8.54 米到已记录的节点,并在停下前验证了 1.2 米的终点修正。在一条更长的 RxR-CE 路线上,它从死胡同角落退回节点 8,然后补上了被遗漏的柜子和门口两个子句。GPT-6 Astra 在执行停滞时退到节点 3,改走另一条通道。在第四个案例中,局部爬楼梯尝试未能完成任务,Opus 再次委派完整指令,下一次执行到达了楼上的浴室。
这些是挑选出来的成功回合,不是成功率,因此它们展示的是修复模式,而不是估计这种模式多久奏效一次。该模式与运行时设计一致:暂停当前运动操作,查看新的观测,然后在重新授权下以更新后的路径继续。论文还报告了一段玻璃门记录:前进在 5.48 秒时于玻璃附近暂停,随后进行横向修正,7.71 秒时恢复前进,机器人通过入口且没有可见接触。
运行时在哪里见效,在哪里不见效
跨任务结果按基准不同地定位了运行时的贡献。在 500 回合子集的目标导航上,NavGPT-3 在 Claude Opus 5 规划器下使用 8B VLA,在 MP3D 上达到 59.2 SR 和 25.2 SPL,在 HM3D v2 上达到 75.3 SR 和 40.8 SPL。MP3D 涵盖 21 个目标类别,许多类别较小或较细,增益体现在成功率上;HM3D v2 使用六个大型、视觉上易区分的类别,已发表系统在这些类别上已有约四分之三回合成功,增益体现在路径效率上。
在具身问答上,情况是持平而非领先。NavGPT-3 在 HM-EQA 上达到 77.38 准确率和 0.16 归一化步数,在 MT-HM3D 上达到 55.27 和 0.18,在 EXPRESS-Bench 上达到 80.43 分和 34.26 路径效率。论文将其描述为与最强先前系统 Qwen-RobotNav 持平,在两个数据集上准确率领先,归一化步数相当。
因此,证据支持的实践优先级是有条件的。这套框架测得的最大回报出现在像 RxR-CE 这样长而细节丰富的指令上,此时返回的路线证据和局部修正有可作用的对象;在单独策略或先前系统已经表现良好的基准上,增益会从成功率转向路径效率,或缩小为持平。16 步检查的结果给出了相应的成本阈值:约每回合三次规划器检查把成功率提高到 83,但把每回合 token 推到 2,319.5k,所以设计问题是何时触发检查,而不是检查越多越好。
本文引用的文献
NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime
NavGPT-3 通过一个带线程级运动权限、类似操作系统的运行时,把语言模型规划器与 NavGPT VLA 动作策略连接起来,在 R2R-CE 上达到 81.51 SR,并在 RxR-CE 上以 90.43 对 90.4 SR 追平人类跟随者。
