弹性潜在循环能否消除循环语言模型的单循环税？

单循环税是起跑线上的差距

循环语言模型（也称潜在循环语言模型）会对每个 token 多次运行同一个共享层块。由于层块被重复使用，同一套权重可以在多个有效深度上服务：循环次数越多，推理计算越多，原则上准确率也越高。论文把这种性质称为弹性深度，并把循环次数当作调节质量与测试时计算量的旋钮；与思维链的推理强度设置不同，它不会生成额外 token。

问题出在端点。在单循环时，此前的循环模型明显落后于同等规模的非循环模型。论文引用 Huginn 的例子：它以平均 32 次循环训练，在 800B token 之后，ARC-Easy 上得分为 34.9，而固定深度基线为 46.4；论文还指出 Parcae 在单循环时低于其 Transformer 基线，在八次循环时高于基线。作者把这一差距称为单循环税。付出这项税的模型必须先花若干次循环追回损失，额外计算才能带来收益，因此在延迟敏感的场景中，单独训练的非循环模型仍是更好的选择。

论文明确指出，缩小循环次数范围本身并不能解决这个问题：在其消融实验中，在一到五次循环上均匀采样，单循环端点仍然落后于基线。因此 ELR 要回答的问题比“循环是否是一种计算高效的模型扩展方式”更窄：要让一个非循环基线具备弹性，同时又不付单循环税，代价是什么。

单循环为何必须让每层只执行一次

ELR 把主干网络拆成输入块、共享循环块和输出块。循环 k 次时，前向传播经过 L_in + k·L_rec + L_out 层，因此每增加一次循环，就在参数数量不变的情况下增加循环块的推理计算和延迟。当 k = 1 时，每个独立层恰好执行一次，这正是单循环模型的服务成本能与同等规模非循环模型相同的原因。

这种划分是一种设计选择，并非所有循环模型都具备的性质。论文将其与 Huginn 和 Ouro 作了对比：Huginn 从截断高斯分布初始化循环状态，并投影上一状态与输入表示的拼接；Ouro 没有独立的输入块和输出块，重复整个堆栈且不重新注入输入。这些架构并不保证一次循环等于对独立层的一次遍历，这也是单循环端点可能落后的部分原因。

三项选择守住单循环端点

第一项是状态更新。ELR 不用循环块的输出直接替换状态，而是沿着建议的变化方向走一个有门控的步长，步长按 token 和通道学习。在 GPT-0.5B 的消融实验中，带学习步长的更新规则在一到五次循环上，验证损失都比残差相加或直接替换等无参数规则更接近非循环基线。

第二项是循环次数的混合位置。像 Huginn 的锁定步采样那样，每个优化器步只采样一个循环次数并在步与步之间变化，即使有三分之一的时间抽到一次循环，也无法保住单循环端点。ELR 改为在每次优化器更新内部混合循环次数，实现方式是让一组轮换的数据并行 rank 在每个微批次上运行一次循环。论文指出，前两项选择共同决定单循环端点能否在混合深度训练中存活。

第三项是让每次循环都以其循环序号和预算为条件。这一项不保护端点，而是通过让各次循环专门化，降低每次额外循环的损失。论文清楚区分了这三项的作用，这对决定先采用哪个组件的读者很重要。

混合深度训练可以晚些开始

每一步都按混合深度训练代价很高，因此论文测试了只在预训练最后四分之一引入混合深度。在 GPT-0.5B 上，延迟切换并在切换时加入循环条件的方案，在每个循环次数上的验证损失都低于从头进行无条件混合深度训练，五次循环时为 1.6147 对 1.6273，尽管它只在最后四分之一的 token 上使用混合深度。条件通过零初始化头接入，因此带条件的模型从已训练好的单循环检查点出发，更深的循环再学习偏离它。

论文估计这种晚切换增加的训练成本约为基线训练计算的 1.16 倍。论文还指出，它没有评估超出训练深度的外推，而 Huginn 曾报告在其设置中按步序号加条件会损害外推。因此，晚切换的结果是关于在训练循环范围内达到更低损失，而不是关于泛化到未见过的深度。

四次循环在各规模上带来什么

在 GDP-Hybrid-4B 上，ELR 单循环的十任务平均为 65.13，非循环基线为 65.65，相差 0.52 分。在 GDP-Hybrid-30B-A3B 上，ELR 和带路由重放的 ELR 分别达到 66.08 和 65.95，基线为 65.04，略高于基线。单循环时单项任务有升有降：在 4B 模型上，ELR 在 GSM8K 上落后 5.3 分，在 MATH-500 上领先 5.2 分，因此总体持平掩盖了任务层面的差异。

从一次到四次循环，十任务平均在 4B 模型上提高 7.25 分，在 30B-A3B 模型上提高 4.75 分。大部分提升来得较早。在 4B 模型上，两次和三次循环分别获得四次循环总增益的 79% 和 96%；在 30B-A3B 模型上分别为 87% 和 91%。作者把收益递减归因于较晚的循环出现在更少的训练样本中：在单循环覆盖机制下，第二次、第三次和第四次循环分别出现在 67.5%、45% 和 22.5% 的混合深度样本中，平均循环次数为 2.35。

推理成本呈现相同形状。单循环时，ELR 的首 token 时间和每 token 解码延迟与非循环基线相同。在 4B 模型上，四次循环时这两项分别升至基线的 2.33 倍和 2.06 倍。因此三次循环以 1.87 倍基线的首 token 时间，获得了从一次到四次循环准确率增益的 96%，这是论文中最清晰的质量与成本比较。

复用首轮专家路由节省训练时间

在 MoE 混合模型中，尽管总体专家选择稳定，路由在循环之间会按 token 漂移：在十个循环 MoE 层上平均，第一次和第四次循环的每个专家被选中次数余弦相似度为 0.978，但单个 token 在第四次循环时只保留 53% 的首轮专家。论文通过给每个循环 MoE 层输入第四次循环的输入，并两次计算路由专家输出来测量这种漂移的影响：一次用路由器当前的选择，一次用该 token 的首轮路由。两次输出的平均余弦相似度为 0.767，而把首轮路由在文档内跨位置打乱的对照为 0.227。

因此在后续循环中复用首轮路由，能保留大部分 token 特定的路由信息。带重放训练使四次循环的验证损失相对动态路由的 ELR 上升 0.0038，同时四次循环的十任务平均在噪声范围内不变，为 70.90 对 70.83。收益体现在训练时间上：混合深度训练阶段的更新耗时下降 11.7%，固定四次循环时下降 19.6%，因为重放去掉了后续循环的辅助损失计算，以及通过重复路由器评估的反向传播。在 8K token 时，推理前向时间只下降 1.2%，因为专家分发和计算仍然保留。

把 KV 内存保持在单循环水平

标准推理会为每次循环保留独立的注意力 KV 缓存，因此内存随深度增长。在 Koi-4B 中，六个注意力层里有三个位于循环块，因此四次循环时逐循环缓存需要单循环 KV 内存的 2.5 倍，在 BF16 下每个 128K token 请求为 7.5 GiB 对 3.0 GiB。末次循环 KV 推理改为在循环之间共享一个缓存：每次循环覆盖缓存，后续 token 读取先前 token 在末次循环的键和值。该方案无需重新训练，并在任何循环次数下把注意力 KV 内存保持在单循环大小。GDP 层保留逐循环状态，它不随序列长度增长，四次循环时每个请求低于 25 MiB。

准确率代价很小但不为零。在 Koi-4B 四次循环时，末次循环缓存相对逐循环缓存使基准分数变化在 −3.0 到 +2.3 分之间，最大下降出现在 AA-LCR，提升出现在 AA-Omniscience 非幻觉项。输出长度也下降，视基准不同为逐循环计数的 0.80 倍到 1.01 倍。论文的主张是额外循环的大部分增益得以保留，而不是两种缓存方案等价。

Koi-4B 用潜在深度换输出 token

经过预训练、中训练、SFT 和 RLVR，该方案得到 Koi-4B，这是一个单一检查点，在作者自己的评测框架下，于 Artificial Analysis Intelligence Index v4.1 套件上按一到四次循环评估。其估计指数分数在单循环时为 18，与 Qwen3.5-4B 持平，在两次、三次和四次循环时分别为 26、28 和 29。从一次到四次循环共增加 11 分，其中第二次循环贡献 8 分。两次循环时，模型高于 Qwen3.5-9B 和 Nemotron-3.5-Lightning，与 Gemma4-26B-A4B 持平；四次循环时，它比总参数约多 6.5 倍的 Gemma4-26B-A4B 高 3 分，仅落后于总参数近 9 倍的 Qwen3.6-35B-A3B。

这些比较不是匹配基线比较。Koi-4B 没有在相同数据上训练的非循环基线，因此其单循环分数是与规模相近的开放模型比较；所有分数都来自作者的评测框架而非 Artificial Analysis，可能与已公布数字不同。单循环主张的匹配基线证据来自 4B 和 30B-A3B 消融，而不是 Koi-4B。

同一个检查点在更高循环次数下还会产生更短的回复，同时得分更高。相对单循环，两次、三次和四次循环时每次 rollout 的输出 token 数按基准几何平均分别下降 21.8%、29.5% 和 32.7%。作者将此解读为模型用潜在深度替代显式思维链 token。更短的生成部分抵消了增加的每 token 成本：两次循环时，每 token 解码延迟约为单循环的 1.36 倍，但 rollout 长度为 0.78 倍，因此每次 rollout 的解码时间只增加约 6%。四次循环时这两个数字为 2.06 倍和 0.67 倍，即每次 rollout 约 1.4 倍。

这套方案在哪里不再划算

论文自己的核算把第二次循环作为决策阈值。它贡献了 Koi-4B 从一次到四次循环所获 11 个指数分中的 8 分；在 4B 消融中，两次和三次循环分别获得四次循环增益的 79% 和 96%。在该模型上，增加到四次循环需要 2.33 倍基线的首 token 时间和 2.06 倍的每 token 解码延迟，而三次循环已经以 1.87 倍首 token 时间获得 96% 的准确率增益。对于延迟敏感的部署，证据更支持两次或三次循环，而不是四次。

作者留下若干未解问题。他们尚未测试重新加权循环次数分布能否挽回收益递减，尽管他们指出较晚的循环出现在更少的训练样本中。条件在中间深度缩小了与固定深度专家的大部分差距，但在端点没有，他们尚未分离出原因。其服务设置固定每个请求的循环次数，将 ELR 与按请求或按 token 的自适应深度结合留作未来工作，对 MoE 变体进行后训练也是如此。单循环持平的主张也只在 4B 稠密和 30B-A3B MoE 规模上针对匹配基线得到确立，因此不应在没有证据的情况下假定它适用于其他规模。

本文引用的文献