专家只输出一个常数值
这里研究的模型是一个回归预测器，它建立在输入空间的分割之上。分割出的每个区域分配一个专家，每个专家就是一个可学习的常数：只要输入落入它的区域，它就返回这个常数。推理时唯一的计算就是把输入路由到对应区域，因此论文把这一设计称为零计算单稀疏混合专家（ZC-1SMoE）。
这是一个刻意简化的 MoE。每个输入只由一个专家给出答案，而专家除了保存一个数值之外不做任何计算。论文的论点是：正是这种简单性让模型可以解析处理，而大量专家的使用又使整体预测器不至于过于粗糙。作者还指出，此前已有研究发现零计算专家在神经网络 MoE 中具有实用价值，这促使他们研究这一理想化版本。
大量小区域可近似为连续密度
核心假设来自经典高率量化理论：专家数量足够多，以至于每个输入空间区域都非常小。在这一假设下，离散的区域集合可以在输入域上解析地近似为一个连续的段密度，而不必逐区域处理。
正是这一步让论文能够写出闭式的近似误差。分析必须同时考虑两件事：输入的概率分布，以及被预测的输入到输出函数。论文把这种联合处理视为它对量化思想的独特运用；此前这些思想被用于函数的分段常数近似，以及计算函数已知的函数量化。而这里的函数未知、必须学习，这就引入了单独的估计误差项。
一维输入下最优分割可显式给出
对于一维输入，论文给出了 ZC-1SMoE 模型类的测试误差，以及使其最小化的分割和专家取值。由于一维区域是区间而非有形状的单元，问题简化为选择区间边界和每个区间内的常数。
论文的实验用具体设定检验这些公式：余弦 β 函数和截断高斯输入密度，并在输入轴上放置均匀分割点。在这一设定下，随着专家数量从小值增长到约 120，实证近似误差与理论公式进行比较。比较的是实测近似误差与解析预测，而不是 MoE 与另一种模型类之间的比较。
多维输入需要借助误差上界
输入为多维时，区域既有大小也有形状，因此论文并不声称存在精确的闭式测试误差。它转而给出测试误差的上界，并研究如何最小化该上界。这个上界依赖高率向量量化理论的一个假设：区域归一化惯性矩可以用输入空间上的光滑函数近似。
由上界可以得到一个段密度，论文用它来指导二维输入下的递归矩形分割方法。实验在可分离的二维余弦和不可分离的二维余弦上检验该方法，两者都使用截断各向同性高斯输入密度，并在专家数量增长到约 4000 时，将实证近似误差与理论公式和上界分别比较。论文明确把优化区域形状留作未解难题，因此矩形构造是一种实用手段，而非已证明的最优方案。
每个专家只从自己的样本学习
给定固定分割后，学习专家常数就是最小二乘，其解就是路由到该区域的训练输出的平均值。论文指出，这对应于直方图回归。路由到第 i 个专家的训练样本数是随机量，该专家学到的常数有多准取决于这个数量。
统计分析把这种依赖关系明确写出。学到的常数与区域最优常数之间的偏差，可以用路由到该区域的样本数来界定；相应的置信陈述会随着专家数量增加而变差，因为该界必须同时对所有专家成立。由此得到的估计误差界随专家数量除以训练集规模而增长，并要求训练集相对于最小区域概率足够大。没有收到任何训练样本的区域需要回退值，例如全部训练输出的平均值，论文在实证分析中采用了这一做法。
专家越多越利于近似、越不利于估计
把两项分析结合起来，就得到论文的核心主张：随着专家数量增加，近似误差下降，因为输入空间被更小的区域覆盖；而估计误差上升，因为每个常数只能用更少的样本拟合。因此测试误差反映的是两者之间的平衡，论文从理论和实验两方面展示了这一权衡如何随专家数量变化。
真正重要的比较并不是简单地“专家更多还是更少”，而是专家数量相对于训练数据量。估计误差界取决于训练集规模以及需要同时估计多少专家，因此同样的专家数量对某个数据集规模可能合理，对另一个则可能过多。这正是论文自己的表述：权衡取决于专家数量，而不存在一个推荐值就能解决。
分析尚未覆盖的范围
这些结果适用于回归任务，每个区域一个单参数常数专家，每个输入只有一个专家生效，并且在学习专家参数时分割是固定的。论文指出，学习输入空间分割本身留待未来工作，因此估计误差的处理覆盖专家常数，但不覆盖路由边界。把分析扩展到其他稀疏程度和非常数专家也被列为未来工作。
多维结果是上界而非精确误差表达式，二维实验使用的是密度引导的递归矩形分割，其区域形状并未优化。因此读者应把多维数值视为“上界与引导分割的表现符合预测”的证据，而不是“该分割在所有可能分割中最优”的证明。
专家数量是依赖数据的选择
论文最有用的信息，是重新理解专家数量控制了什么。在这一模型类中，增加专家以每个专家估计更嘈杂为代价，换取更精细的输入空间分辨率；论文的公式把这一交换的两端都联系到可测量的量：输入密度、底层函数的梯度，以及路由到每个区域的训练样本数。
这使专家数量成为依赖数据的决策，而不是可以随意调节的容量旋钮。论文的具体贡献在于：对回归中的零计算专家，说明近似收益和估计代价各自从何而来，并证明预测的平衡在一维和二维设定的实验中都能出现。它留下的开放问题正是其框架的核心：分割本身应当如何学习，而不仅仅是用多少个区域。
本文引用的文献
Mixture of Many Zero-Compute Experts: A High-Rate Quantization Theory Perspective
论文利用高率量化理论表明，在用于回归的零计算常数专家混合模型中，增加专家数量会降低近似误差但提高估计误差，因此测试误差的权衡取决于专家数量相对于训练数据的关系。