[arXiv 2026] SkillOrchestra：解码 Agent 编排，从盲目强化学习转向精准技能路由

TL;DR

Agent 系统（Compound AI Systems）的成功不仅取决于模型本身，更取决于如何高效、智能地编排它们。SkillOrchestra 证明了：与其砸钱用强化学习训练一个昂贵的黑盒路由策略，不如构建一本结构化的“技能手册”。 该方法通过显式建模 Agent 的技能胜任力，在多项 SOTA 任务上实现了 22.5% 的精度提升，且训练成本降低了数百倍。

1. 现状之困：强力路由带来的“路由塌陷”

目前的 Agent 系统（如 Deep Research）通常需要协调多个模型和工具。现有的编排方式主要分为两派，但各有硬伤：

• 静态路由（Static Routing）：在任务开始时就定好模型，无法应对多轮交互中需求的演化。
• RL 编排器（RL-based Orchestrators）：虽然灵活，但训练代价极高，且极易产生 Routing Collapse（路由塌陷）。

什么是 Routing Collapse？ 即使系统中有多个高性价比模型，RL 策略也往往会收敛到“无脑调用最昂贵模型（如 GPT-5）”的路径上。这种行为虽然保证了基本成功率，但极大地损害了系统的运行效率和可扩展性。

图1：模型路由、直接 Agent 编排与 SkillOrchestra（从左至右）的演进过程。

2. 核心直觉：解耦需求与身份

SkillOrchestra 的核心 Insight 是：路由决策应该基于“技能（Skill）”这一中间抽象层，而不是直接匹配“输入-模型身份”。

作者构建了一个三层结构的 Skill Handbook（技能手册）：

1. Mode-level Insights：定义宏观操作，如何时该“搜素”，何时该“编程”。
2. Skill Registry：细粒度的能力描述。例如，在 Code 模式下，细分为“符号逻辑处理”或“复杂数学近似”。
3. Agent Profiles：一套概率模型（基于 Beta 分布），记录每个 Agent 在不同技能下的历史胜任率（Success Probability）和预期成本（Cost）。

3. 算法解析：如何在帕累托前沿上起舞？

SkillOrchestra 的运行逻辑可以概括为：先看病，再找专科医生。

技能发现与学习

相比于传统 RL，SkillOrchestra 的学习过程非常“廉价”。它通过对比成功和失败的执行轨迹（Execution Traces），利用 LLM 自动提取出缺失的技能（Skill Discovery）。

• 分裂（Splitting）：如果一个技能对应的 Agent 表现差异极大，说明该技能定义过宽，需要拆分。
• 合并（Merging）：如果两个技能的胜任力 Profile 在统计学上不可区分，则合并以减小搜索空间。

技能落地的决策公式

在部署阶段，编排器不再是凭感觉，而是根据公式计算效用（Utility）： $A_t^{\ast }=\arg {\max }_{A\in {\mathcal{A}}_{{\psi }_t}}\left[extEstimatedCompetence-{\lambda }_c\cdot extCost\right]$ 这意味着系统会根据当前的预估胜任力（通过 Beta 分布均值计算）减去成本惩罚 ${\lambda }_c$，从而在帕累托前沿上选择最优路径。

图2：SkillOrchestra 整体架构：从轨迹学习手册，到在验证集上优化，最后通过技能接地（Skill-grounded）进行推理。

4. 实验战绩：低成本下的绝对统治

SkillOrchestra 在 General QA 和多跳推理任务（Multi-Hop QA）上的表现令人惊叹：

1. 精准度超越 SOTA：在 Bamboogle 等复杂任务上，SkillOrchestra 相比 RL 训练的 Router-R1 实现了大幅领先。
2. 根治路由塌陷：图3 左侧显示，Router-R1 几乎 98% 的调用都给了 Llama-3.1-70B；而 SkillOrchestra 灵活分配了 Mixtral-8x22B 和 Qwen 等模型，证明了其识别“能胜任的便宜模型”的能力。
3. 极强的迁移性：这本“手册”是模型无关的。作者发现，即使是用 Qwen 学习到的手册，直接丢给 Mistral 或其他模型作为编排器，性能都能得到立竿见影的提升。

图3：SkillOrchestra 有效缓解了路由塌陷（左图分布更均衡），并在不同规模编排器上表现出卓越的迁移性（右图）。

5. 深度洞察：为什么 SkillOrchestra 更符合未来？

SkillOrchestra 的成功揭示了 Agent 研究的一个核心趋势：编排知识（Orchestration Knowledge）应该与路由参数解耦。

传统的端到端训练方式像是在让一个厨师脑子记住每一个客人的口味和每一道菜的成本；而 SkillOrchestra 则是为厨房编写了一套动态更新的排班和菜谱准则。当新模型（新厨师）加入时，我们只需要更新其 Profile，而不是重训整个编排系统。

局限性： 尽管该框架减少了端到端 RL 的依赖，但“技能发现”步骤目前仍依赖极高能力的 LLM（如 GPT-5）作为 Discoverer。如何实现技能发现阶段的自循环，将是未来的重要课题。

总结

SkillOrchestra 为 Compound AI 系统的规模化落地提供了一个更具工程美感的方案。它告别了“凡事皆可 RL”的暴力美学，通过显式的技能建模，实现了性能与成本的极致平衡。对于开发者而言，学会如何沉淀和管理 Agent 的“技能资产”，或许比盲目调优模型参数更为关键。

本文为技术深度解读，更多细节请访问论文原文地址：https://github.com/jiayuww/SkillOrchestra