机载机器人智能体如何结合行为树与大模型决策?

BT-Agent 让大模型决定任务,由行为树技能执行检查并返回结构化失败反馈,在机器人上协同运行。

直接答案

BT-Agent 把工作拆成两部分:语言模型 Actor 决定运行哪个技能、带什么参数,预定义的行为树技能则决定该技能能否启动、能否继续运行、何时必须停止。在一台四足机器人上,9B 模型完全机载运行,这套设计在五类任务的 15 次试验中完成 11 次;本地检查无需等待下一次模型决策,就能中止正在进行的导航。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

决策与执行的分工

论文对标题问题的回答是一种架构上的分离。机载 Actor 由语言模型驱动,它推理下一步、选择技能,并利用返回的观测指导下一次决策,形成推理与行动的循环。技能本身是预定义的行为树,以命名工具的形式暴露出来,Actor 不能修改它们的实现或守卫条件。

这一约束正是关键所在。由于技能逻辑固定,且可以脱离任务级策略独立审查,开发者能在部署前测试执行条件。模型保留决定下一步做什么的灵活性,行为树则掌握某个动作是否真正运行、如何运行的权限。

行为树是论文用于这一接口的机器人原生结构。每个物理技能的响应式序列在每次 tick(周期性的树更新)时重新检查取消状态、已用时间和该技能特有的守卫条件。只有所有守卫条件在该 tick 都通过,技能主体才会推进;某个守卫失败会中断该分支,并要求控制器停止。

守卫在下一次模型调用前停下运动

干预测试直接检验了响应性主张。在九次干预中,本地接受后,指令速度在中位数 19 ms 内降到零,而实测速度则反映了随后的运动控制和物理稳定过程。电池相关试验还包括坐下动作。

这一数字背后的机制是 tick 级检查:守卫运行时不需再调用 Actor,Actor 也无法通过技能参数关闭它们。论文报告,本地检查无需等待下一次模型决策就能中止正在进行的导航,同时智能体保持活跃,可以重试或报告约束。上下文技能始终可用,因此即使物理动作被阻断,Actor 仍能收集信息并报告约束。

前置条件与守卫承担不同职责。物理技能启动前,框架会校验参数、解析对象引用、检查所需的先前观测,从而过滤可用技能并拒绝不合格的调用。守卫随后管理执行能否继续,这一点很重要,因为定位等条件可能在导航已经开始后才失效。

模型越小,成功率提升越大

在合并的 161 项文本任务套件上,BT-Agent 在所有测试的模型规模上都达到或超过最强的 Act/ReAct 基线,提升最大的是 4B 和 9B:分别为 10.1 和 5.0 个百分点。迁移任务上的提升在各规模均为正,9B 最大,比 ReAct 高 4.8 个百分点;而 4B 更大的提升主要来自主套件。

绝对数字说明了为什么在小规模下框架设计更重要。在 4B 上,BT-Agent 在 161 项任务上达到 51.6% 成功率,ReAct 为 41.4%,Act 为 35.6%。在 9B 上,BT-Agent 达到 54.7%,ReAct 为 49.7%。到 27B,名义比较收窄:ReAct 达到 62.9%,BT-Agent 为 62.5%,且 ReAct 的中位数和 P99 输出更低。

论文的轨迹记录提示了原因。在 4B 的保险箱任务文本轨迹中,ReAct 查看了面板,却没有按下就提交了;BT-Agent 则完成了序列并拍下了药物。在一项铭文任务中,两者都识别出印刷文字,但只有 BT-Agent 用 report 技能记录了下来。作者将这些案例解读为:应在框架设计中把必需的动作和流程写明确,对较小模型尤其如此。

结构化调用与失败反馈支撑了增益

匹配消融实验使用全新的对照组,控制器、技能、检查和任务都保持不变。在动作选择和历史中用文本命令替代结构化工具调用,会在所有规模上降低成功率,4B 和 9B 最明显,其名义任务的中位数输出分别上升 1.9 倍和 1.7 倍。

把失败反馈缩减为技能名称和状态,会使各规模的名义成功率下降 2 至 6 个百分点。论文将此归因于行为树执行会暴露失败的守卫或叶子节点,从而在不额外调用模型的情况下附带提供诊断信息。移除针对拍摄的专门指引则影响很小。

这些消融实验表明,动作接口和有信息量的失败反馈是最有用的组件,也说明收益并不均匀:较小模型对框架设计尤其敏感,而到更大规模时,更简单的接口变得更有竞争力。

故障暴露了名义成功率掩盖的差异

在注入故障的条件下,BT-Agent 在每个规模上的观测成功率都最高。文本后端会对符合条件的技能调用施加可重复的故障,涵盖位姿过期或缺失、导航不移动或超时、路线受阻、视点错误、按压不到位,以及拍摄分析无法产出证据。有些故障会明确报告失败,另一些则在执行不完整时仍报告成功,用来检验智能体是否会核查返回状态之外的结果。

27B 的情况最清楚地说明了为什么部署评估必须包含故障测试。在那里,名义上的平局在故障下变成了 BT-Agent 领先。一对 4B 早餐任务轨迹展示了行为差异:两种方法在无故障时都成功,且在注入路线阻塞前收到完全相同的观测,但 BT-Agent 更换视点后完成了任务,ReAct 则反复重试被阻塞的路线,之后又重复失败的拍摄,直到耗尽预算。

看门狗是另一个可选机制,不应与守卫混淆。它会在反复出现不可用输出、反复等价查询或技能失败结果,或达到 16,384 个输出 token 或 128 次模型调用后停止回合。它在每个规模上都降低了 P99 输出,对成功率影响很小;token 检查在完整响应之后进行,允许小幅超出。

文本试验便宜但不能替代仿真

多保真度基准通过共享的任务目标和技能接口,把 161 项文本任务套件与物理仿真连接起来。所有任务都在文本中评估,其中 39 项主要 Habitat 任务还在仿真中评估。文本支持的评估吞吐量高 10.9 倍,而仿真揭示了感知和运动失败如何改变任务结果。

两者的一致性真实但有限。方法排序在不同后端间一致,文本中成功率更高的任务在 Habitat 中往往也更高,39 项任务均值之间的 Spearman 相关系数为 0.61。在 188 次成功的 Habitat 运行中,有 168 次在文本中也成功,但文本成功中只有 57.3% 在 Habitat 中成功。因此,符号层面的成功并不能证明在有感知和运动的情况下完成了任务。

成对轨迹显示了后端分歧之处。两类运行都遵循查询、导航、环视、拍摄的流程,但选择了不同的相机。在钱包/背包任务中,环视和拍摄对同一张图像中钱包是否可见判断不一致,导致反复拍摄失败。在一项目标缺失任务中,一次文本运行一直查询到超时,而其 Habitat 对应运行则报告查找失败并提交。差异既可能来自决策和停止行为,也可能来自感知和运动。

机载试验展示了什么、没展示什么

物理演示使用 9B 模型,在一台四足机器人上覆盖五类任务,每个任务三次试验,由操作员判定成功,共 15 次中成功 11 次。其中一项任务是找到并拍摄装有可乐罐的圆桌,三次中成功两次。另一项是读取时钟,三次试验都找到并拍摄了屏幕、报告了时间,但表盘太小,导致视觉读数不正确。

操作任务比较走的是另一条执行路径,不应被当作行为树的结果来读。在 Robosuite 中,技能使用阻塞式 API 调用而非行为树执行,比较的是程序生成与逐步技能选择,覆盖六个参考任务以及八个分拣、堆叠和重排扩展任务,每个任务在 4B、9B 和 27B 上重复 20 次。

该架构自身的边界说得很清楚:Actor 可以排序和参数化可用技能,但实现和守卫在运行时固定,因此新增能力需要编写技能并进行平台特定集成。当观测不完整或含糊时,可靠地传达与任务相关的证据也仍是未解问题。论文注明已提交 IEEE 等待可能的发表,因此这些结果应被视为预印本阶段的报告。

这套架构在哪些条件下更有价值

论文中最具决策相关性的比较不是平均增益,而是跨条件的模式。BT-Agent 相对最强 Act/ReAct 基线的优势在 4B 和 9B 最大,到 27B 收窄为名义平局,而在注入故障后于 27B 重新出现。同一套设计在模型小、环境出问题时帮助最大,而它的开销在模型大、条件正常时影响最小。

这一模式给出了实际阈值。如果部署目标是与其他感知和控制共享算力的小型机载模型,那么结构化工具接口、强制守卫和有信息量的失败反馈就是消融实验认定支撑增益的组件。如果目标是正常条件下的大模型,更简单的 ReAct 接口可以用更低的输出匹配名义成功率,此时行为树层的理由在于故障处理和无需下一次模型决策就能停下运动。

中位数 19 ms 的指令速度停止,以及故障条件下的领先,是区分这套架构与普通推理-行动循环的结果。57.3% 的文本到 Habitat 迁移率则提醒我们,这两个数字都不应被理解为物理任务完成的保证。

本文引用的文献

1

BT-Agent: Deploying Onboard Robot Agents with Behavior Trees and Multi-Fidelity Evaluation

BT-Agent 将大模型的任务决策与预定义行为树技能分离,由后者执行守卫并返回结构化失败反馈;在所有测试的模型规模上,它都达到或超过最强的 Act/ReAct 基线,4B 和 9B 提升最大。