对数变换计数为何挡住无限字母表
当支撑集有限时，从有限样本估计香农熵 H(X) = −E[log p(X)] 已有成熟结论。插入式估计器把每个概率替换为经验频率，在样本量远大于固定支撑集时渐近正态；对于大但有限的字母表，极小极大速率也已知。把这些保证推广到可数无限支撑集则更困难，论文指出，此前没有文献处理无界分布的渐近正态性或效率问题。
论文把这一空白归因于结构性错配。熵估计器的偏差和方差需要计算对数变换后多项计数的期望，而这些期望没有闭式表达。分析因此只能依赖放缩论证，放缩会引入近似误差，也使主导方差项难以分离。调和估计器正是为用精确代数表达式取代这些放缩而提出的。
调和计数与对数概率之间的精确恒等式
构造基于调和数 J(m) = 1 + 1/2 + … + 1/m，并约定 J(0) = 0。若某个符号在 n 次抽样中出现 m^(i) 次，估计器就对全部 n 个样本点取 J(n−1) − J(m^(i) − 1) 的平均。关键结果是命题 II.2：它给出一个恒等式，说明调和变换后二项计数的期望等于局部熵 −log p 加上一个由样本量控制的余项。
正是这个恒等式让分析变得可处理。偏差可以精确写出而不必放缩，论文因此能在不引入近似误差的情况下刻画调和变换后二项计数和多项计数的一阶、二阶矩。作者指出，用双伽马函数表示时估计器形式更紧凑，而调和数版本已足以推导核心恒等式。这一方向明确借鉴了用于微分熵的 Kozachenko-Leonenko 最近邻估计器，后者的分析依赖一个类似恒等式，把双伽马函数与近邻的期望对数概率联系起来。
尾部至少二次衰减时极小极大速率为 1/n
定理 I.1 指出，在满足 p_j ≲ j^-2 的分布类上，对所有熵估计器取期望平方误差的上确界，再对这些估计器取下确界，当 n 增大时该量为 1/n 量级。这一速率由估计器方差决定，论文强调这种方差收敛对有限支撑和无限支撑分布都成立。
这一结果补充而非重复早先的大字母表结果。那些结果允许支撑集大小随样本量增长，因此支撑集相对 n 较小时方差占主导，否则平方偏差占主导。这里参数空间固定而 n 增大，所以始终由方差速率决定。论文指出，对于固定有限支撑集，随着 n 增大，这些结果在收敛速率上一致。
推论 II.1 的风险分解让边界变得可见。当尾部参数 α 在 (0, 1/2] 内，即尾部衰减速度达到或快于 j^-2 时，风险由方差主导，以 O(1/n) 收敛。当 α 在 (1/2, 1) 内时，更重的尾部使平方偏差占主导，速率放慢到 O(n^−2(1−α))。
半参数效率要求衰减严格快于二次
定理 I.2 把尾部条件加强为 p_j = o(j^-2)。在该条件下 Var[log p(X)] 有限，且 √n[H(X_n) − H(X)] 依分布收敛到方差为 Var[log p(X)] 的正态分布，论文认定这就是该问题的半参数效率界。
两个定理的区别并非表面修饰。在边界 p_j ≲ j^-2 处，平方偏差为 O(1/n)，与方差同阶，因此偏差与标准差相当，缩放后的估计器不会收敛到零均值正态。正是更严格的条件使 √n 尺度的偏差消失。比较这两个结果的读者应把尾部条件与各自的结论绑定：1/n 极小极大速率和效率陈述适用于不同但相互嵌套的分布类。
调和估计器在各情形下偏差都小于插入式
命题 V.1 指出，调和估计器的偏差在所有情形下都小于插入式估计器。论文把插入式的额外偏差追溯到二项期望中对数引入的近似误差。把 −x log x 在 p_j 附近作泰勒展开，会得到主导偏差项 −(s−1)/(2n)，其中 s 是支撑点个数，此外还有包含中心矩的高阶项，这些中心矩不易刻画；当 p_j 趋近零时，任何余项界都会变差。
论文还报告，现有的插入式偏差校正策略是调和估计器的一阶近似，而插入式本身在 p_j ≲ j^-2 上也是极小极大速率最优的。即便如此，调和估计器仍保有优势：当 p_j = o(j^-2) 时，它的渐近方差已达到半参数效率界，插入式在该情形下无法再改进。作者猜想插入式在该情形下也是半参数有效的，但指出调和估计器仍会保留解析可处理性和更小的偏差，同时与插入式一样具有简单的一步形式。
重尾与负偏差标出保证的边界
调和估计器在所有情形下都有负偏差；在 p_j 不满足 ≲ j^-2 的重尾情形下，由于偏差增大，它的 L2 收敛速率慢于 Ω(1/n) 的极小极大下界。1/n 极小极大速率能否延伸到该情形仍然开放。正式的偏差校正程序尚未建立；论文提出它可能把速率扩展到 p_j ≲ j^-2 之外，但这需要证明校正后的估计器在更重尾分布上仍保持 L2 风险由 O(1/n) 主导，或者反过来建立大于 Ω(1/n) 的下界速率并给出与之匹配的估计器。
第二个限制涉及推断而非估计。定理 I.2 建立了渐近分布，但没有给出 Var[log p(X)] 的一致估计量。论文描述了一种基于调和变换计数的方差估计器，它需要估计器四阶矩的界；与渐近正态性结合后，这将使熵的 Wald 型置信区间有效。在此之前，效率结果刻画的是极限分布，而不是提供完整的推断程序。
尾部衰减而非估计器选择决定保证
论文中最具决策意义的分界是尾部条件。若分布的尾部至少按二次衰减，熵估计问题的 L2 极小极大速率为 1/n，调和估计器达到该速率。若尾部衰减严格快于二次，调和估计器还达到半参数效率界 Var[log p(X)]，并在 √n 尺度上渐近正态。若尾部比二次更重，速率保证不再成立，估计器的负偏差主导风险。
在覆盖的范围内，调和估计器的理由在于插入式无法同时提供的两点：使主导方差项可分离的精确矩表达式，以及一致更小的偏差。作者把更广泛的价值定位为一个便于后续理论发展的平台，包括可能证明插入式猜想，以及把方法扩展到互信息和其他熵类度量在类似非参数情形下的推断。因此，读者具体的优先事项是先检查尾部衰减，再把效率结论理解为以严格快于二次衰减为条件，而不是无限字母表上熵估计的一般性质。
本文引用的文献
The Harmonic Entropy Estimator: Minimax Optimality and Semiparametric Efficiency for Infinite Alphabets
对于满足 p_j ≲ j^-2 的分布，L2 极小极大熵估计速率为 1/n；在 p_j = o(j^-2) 下，调和估计器是半参数有效的，渐近方差为 Var[log p(X)]；它在所有情形下的偏差都小于插入式估计器。