[2026 技术前瞻] DynaMoE：打破固定路由枷锁，让专家分配随“层”应变

TL;DR

传统的 Mixture-of-Experts (MoE) 架构一直受困于两个“直觉陷阱”：每个 Token 必须激活固定 $K$ 个专家，且每层专家数量必须相等。本文提出的 DynaMoE 框架彻底颠覆了这些假设，实现了动态 Token 级激活和层级自适应容量分配。在 CIFAR-10 上，这一改进带来了高达 5.47% 的准确率飞跃，并为大模型如何在不同任务（CV vs NLP）中分配计算资源提供了全新的理论基石。

痛点深挖：为何“平均主义”限制了 MoE 的潜力？

在标准的 MoE 实现（如 Switch Transformer 或 GShard）中，设计者通常假设：

1. 路由僵化：无论输入是简单的背景还是复杂的物体边缘，都被路由到固定数量的专家中，这造成了计算资源的极大浪费。
2. 深度盲区：神经网络的不同层级扮演着不同角色——浅层处理原始特征，深层处理语义抽象。然而，现有的 MoE 往往在所有层级部署相同数量的专家，这在数学逻辑上显然不是最优的。

核心机制：DynaMoE 的动态化设计

DynaMoE 的核心贡献可以概括为两个维度：横向的动态路由与纵向的调度策略。

1. 动态 Token 级路由 (Dynamic Routing)

不同于传统的 Top-K，DynaMoE 使用百分位阈值 $au$ 来决定激活哪些专家： $S_{au}(\mathbf{x})=\{i:g_i>ext{percentile}_{au}(\mathbf{g})\}$ 这意味着如果某些 Token 的 gating values 特别集中，它可能只激活 1 个专家；而复杂的 Token 则会调用更多专家协同作战。

2. 层级专家调度 (Layer-Wise Scheduling)

作者定义了 6 种专家分布模式，用以探索容量分配的最优解：

• Descending (递减型)：前多后少，专注早期特征提取。
• Ascending (递增型)：前少后多，强化后期语义处理。
• Pyramid (金字塔型)：中间层最密集。

图 1：DynaMoE 提出的多种专家容量调度策略，展示了容量随深度的变化。

深度洞察：RDC 原则——解释“为什么有用”

为什么递减型（Descending）分配在图像任务中无往不利？作者提出了 表征多样性-收敛原则（Representational Diversity-Convergence Principle, RDC）：

• 熵的视角：根据信息瓶颈理论，网络越深，表征熵越低（数据被压缩）。早期层面对海量的原始特征（高熵），需要更多专家并行处理多样性；深层表征已趋于类判别流形，单一专家足矣。
• 曲率视角：早期层的损失函数曲率更高，通过 MoE 提供的分段线性近似（Piecewise-Linear）能更好地捕获非线性复杂性。

图 2：采用递减型调度的 DynaMoE 架构，专家数量从底层到顶层逐层削减。

实验结果：任务与规模的交响乐

DynaMoE 的实验揭示了一个惊人的结论：没有一种万能的专家分配方案。

1. 图像分类 (CV)：递减型分配是绝对的赢家。相比 MLP 基础模型，准确率在不同数据集上提升了 3.26% 到 5.47%。
2. 语言模型 (NLP)：情况更为复杂。在 Tiny 规模下，递减型领先；但在 Small 规模下，递增型反而表现最佳；而在 Medium 规模下，均匀分配恢复了统治力。

图 3：语言模型任务下，不同调度策略在不同模型规模（Tiny/Small/Medium）上的 Perplexity（困惑度）对比。

总结与启示

DynaMoE 展示了专家路由不应只是“稀疏化”，更应“智能化”。

• 对于架构师：如果你在做视觉模型，请大胆削减深层的专家数量，将资源砸在浅层；如果你在做 LLM，专家分布应更倾向于覆盖长程依赖的深层。
• 局限性：目前 DynaMoE 在处理超大规模负载平衡（Load Balance）上仍依赖于算法保证（如最低激活 1 个专家），在真实千亿级参数场景下的表现仍有待观察。

DynaMoE 不仅仅是一项性能提升技术，它更像是一次对神经网络“深度 vs 容量”关系的重新审视。未来的 MoE 架构，理应是流动的、自适应的。