持续智能体合并如何获得新专家行为而不遗忘?

BACAM 从候选轨迹学习合并门控,在四项交互任务上平均成功率达 62.82%。

直接答案

BACAM 逐个合并新到来的专家智能体:它从合并模型自己生成的轨迹中学习逐参数门控,而不是依赖静态的参数统计量。在四项交互任务上,它的平均成功率达到 62.82%,比评估中最强的合并基线高 21.69 个百分点;但它的准确率仍会随专家到达顺序而变化。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

逐个合并专家可能抹掉已有技能

批量智能体合并假设所有专门专家都能同时获得,因此可以一次构建出合并模型。持续智能体合并则按顺序接收专家,必须把每个新专家并入当前合并模型,同时不保留此前的专家。论文指出这一设定下有两个相互关联的难点:在参数空间或特征子空间中合并,并不能保证合并模型在交互轨迹上真正复现新专家的行为;而每次朝新专家更新,都可能扰动已经整合的交互行为。

轨迹这一点让智能体区别于普通任务模型。在多轮交互中,合并模型自己的动作决定它接下来看到的观察,因此它的路径可能与专家路径分岔。所以,复制专家的权重或任务向量,并不能保证专家决策会出现在合并智能体实际访问到的状态上。

门控从合并模型自身的轨迹中学习

BACAM 的核心做法是在专家引导的行为监督下,从候选模型生成的轨迹中学习逐参数合并门控。门控是取值在 [0,1] 的逐参数数值,控制新专家参数以多强程度混入当前模型。由于训练状态是从候选模型产生的轨迹中提取的决策点,监督针对的是合并智能体实际需要的行为,而不是只在专家自身路径上观察到的行为。

论文说明训练输入无标签,由教师提供 token 分布目标,使用 Top-32 表示,蒸馏温度为 1.0。经过固定轮数的刷新后,学到的门控被折叠进模型权重,因此推理时不再增加参数或计算。每个阶段进行三轮 rollout 刷新,每轮每个任务流使用 256 个训练状态,每个任务流使用 24 条探测轨迹。

两级预算区分学习与干扰

方法加入两个作用于不同层级的控制。任务级稳定性—可塑性控制决定合并在仍满足旧任务目标的前提下可以移动多少,其稳定性预算 epsilon 为 5×10⁻³。张量级冲突感知更新预算随后作用于单个权重张量:冲突分数把旧任务梯度的方向与梯度幅值结合起来,产生一个 0 到 1 之间的预算;当更新与旧任务方向相反、且该旧任务对这次改动敏感时,预算会缩小。

预算只施加于正向门控更新,也就是把参数推向新专家的更新;负向更新会把门控拉回当前模型,因此不受限制。对旧任务取最小预算,使每个张量获得最严格的限制。论文明确指出,这些预算描述的是优化行为,并不直接衡量某个张量对任务成功的重要性。

成功率提升及其不代表什么

在网页购物、工具使用、信息检索和具身交互四项任务上,BACAM 报告的平均成功率为 62.82%,比评估中最强的合并基线高 21.69 个百分点。该平均值对五个报告的成功率列等权,把 ALFWorld 的分布内和分布外结果分别计入;它不是把所有实例汇总后的成功率,后者会大幅加重规模更大的搜索评测集的权重。

读表时指标定义很重要。成功率要求完整完成任务,而 WebShop 的任务分数对满足的购物约束给部分分,因此任务分数高而成功率较低,可能意味着智能体找到了合适商品,但漏掉了某个剩余约束。交互长度(Round)本身也不是性能指标:失败样本仍计入平均,较短的交互可能反映提前终止,而非高效。

专家到达顺序仍影响保留程度

论文自己的顺序实验显示,持续合并不具备顺序不变性。在 WTSA 顺序(WebShop、Tool、Search、ALFWorld)中,WebShop 成功率从第一阶段后的 78.00 变为四阶段全部完成后的 77.20,ALFWorld 达到分布内 88.57、分布外 86.57。在 ASTW 顺序中,ALFWorld 从分布内 98.57 开始,最终为 96.43,但 WebShop 直到最后阶段才出现,达到 63.00。在 TWAS 顺序中,WebShop 从第二阶段的 67.80 降到第四阶段的 56.80,ALFWorld 的分布内结果从 88.57 降到 84.29。

这些逐阶段数字最清楚地表明,到达顺序决定了哪些能力能够保留。作者把对专家合并顺序的鲁棒性列为未来工作的关键方向,这也把 62.82% 这一头条数字限定在某个特定的默认四专家顺序内,而不是确立了与顺序无关的行为。

行为监督体现在关键决策步

定性示例把增益定位在决定性的交互步骤上。在一个 WebShop 案例中,BACAM 识别出所需的 52×84 英寸尺寸尚未选择,并在购买前选中它,得分 1.00;WUDI-Merging 则重新选择颜色、漏掉尺寸,得分 0.80。在一个工具使用案例中,BACAM 先解析公司股票代码再检索股票信息,而对照方法把请求当作历史交易查询。在搜索任务中,BACAM 先解析国家线索,再搜索该国最大的国家公园;在 ALFWorld 中,它去另一个位置寻找台灯,而不是在桌边重复无效命令。

这些示例是说明性的,并非对错误的实测分解,但它们与方法前提一致:门控在合并模型生成的状态上训练,因此它学到的行为正是合并模型自身决策点所需的行为。

62.82% 平均值实际决定了什么

实际解读应是一个优先级,而不是笼统断言。当专家按顺序到达且无法保留时,以及当合并智能体必须在自己产生的多轮轨迹上正确行动、而不仅仅是持有类似专家的权重时,BACAM 的优势最大。21.69 个百分点的差距是在论文默认顺序下的四任务平均值上测得的;各基线在使用任务实例、首轮提示或教师输出上并不相同,数据收集与更新计划也按方法各自设定,而非预算匹配。

在这一范围内,最应改变读者比较方式的结果,是 62.82% 平均值与逐顺序阶段表的组合:在报告的顺序中,BACAM 比评估过的持续合并和通用合并基线更好地保留早期能力,但保留多少仍取决于每个专家何时到达。对任何部署顺序专家合并的人来说,顺序鲁棒性而非头条平均值本身,才是论文留下的开放问题。

本文引用的文献

1

BACAM: Behavior-Aware Continual Agent Merging for Multi-Turn Interaction

BACAM 在专家引导的行为监督下,从候选模型生成的轨迹中学习逐参数合并门控,并配合任务级稳定性—可塑性控制和张量级冲突感知更新预算,在四项交互任务上平均成功率达到 62.82%,比评估中最强的合并基线高 21.69 个百分点。