[arXiv 2025] MOE LENS：混合专家模型中，一个专家就够了吗？

TL;DR

混合专家模型（MoE）以其“大而不繁”的特性成为大模型缩放（Scaling）的主流。然而，来自宾夕法尼亚州立大学、马里兰大学和哈佛大学的研究者们通过 MOE LENS 框架拆解了 DeepSeekMoE 的内部逻辑。结论令人震惊：在每一层的推理中，虽然我们激活了多个专家（Top-k），但实际上排名第一的专家就已经决定了全局，这为大幅度降低 MoE 推理成本打开了新大门。

背景定位：由于黑盒化导致的资源浪费

目前的 MoE 架构（如 DeepSeekMoE, OLMoE）虽然通过稀疏激活解决了训练效率问题，但在推理侧，由于需要加载和计算多个专家（通常 k=6 或 8），内存和计算开销依然是瓶颈。过去我们认为，多个专家的集成（Ensemble）是维持模型性能的关键。但作者直觉性地怀疑：这些专家之间是否存在严重的冗余？模型是否真的需要那么多“聪明才智”来预测下一个词？

核心发现 1：领域专家的高度集中化

通过分析 English, Code, French, GSM8K 等不同领域的路由权重，研究人员发现专家的分布极度不均。

如上图所示，在 64 个路由专家中，只有极少数专家（远高于 9.4% 的均匀基准线）在特定领域被频繁激活。绝大多数专家处于“陪跑”状态，处理的 Token 极少。

核心发现 2：LogitLens 视角下的“一言堂”

为了验证专家贡献，作者使用了扩展的 LogitLens 技术。该技术不做复杂的逆变换，而是直接将中间层隐藏状态通过预训练的 Unembedding 矩阵投影到词表空间。

观察结果：

• H1 (Top-1 专家 + 残差流) 的解码结果与 H6 (全量 Top-6 专家 + 残差流) 以及最终层输出 h 的预测词几乎完全一致。
• 颜色深浅代表置信度。可以看到，即使只用一个专家，模型在中间层就已经对下一个词有了非常确定的把握。

实验验证：量化证据

研究者通过余弦相似度和困惑度（Perplexity）进行了量化对比：

1. 相似度极高：在所有层中，只用一个专家的隐藏状态与用六个专家的隐藏状态，其余弦相似度普遍超过 0.90，部分层甚至达到 0.95。
2. 性能损失极小：当强制将专家数从 6 减小到 1 时，不同领域的困惑度仅上升了约 5%。这意味着在非严苛场景下，我们完全可以只激活一个专家来换取数倍的推理加速。

深度洞察与总结

为什么这很重要？

• 端侧部署的可能性：如果 MoE 模型可以被安全地“单专家化”，那么在内存受限的移动端设备上运行超大规模 MoE 将成为可能。
• 动态路由新思路：模型可以根据输入 Token 的置信度，动态决定是激活 1 个专家还是 6 个专家，从而实现负载均衡与效率的极致平衡。

局限性与展望

尽管 DeepSeekMoE 表现出强烈的单专家依赖，但在处理极其复杂的特殊逻辑或长程依赖时，辅助专家是否提供了必不可少的“微调”作用仍需进一步探讨。作者建议未来使用 TunedLens（引入学习到的变换层）替代 LogitLens，以获得更准确的解码观察。

结论：在混合专家模型的世界里，或许我们并不总是需要“三个臭皮匠赛过诸葛亮”，有时候，An Expert is All You Need。