混合语言模型为何用不好循环记忆通路？

注意力负责精确回忆，循环负责聚合上下文

混合语言模型把注意力层与循环层交错堆叠，为模型提供两条把过去信息带入当前输入的路径。论文把二者视为互补：注意力层通过直接访问较早的词元支持精确记忆回忆，循环层则综合分散在长上下文中的信息。

作者在此基础上补充了自己的观察：当答案直接出现在上下文中，或能从单条证据中找到时，注意力作用更大；当答案需要推断而非照搬，或需要跨上下文组合多条证据时，循环状态作用更大。这一区分引出论文的核心问题：混合语言模型究竟在多大程度上真正用上了两条通路。

遮蔽一条通路即可看出答案由谁承载

为分离两条路径，作者把每个输入切成过去部分和当前部分。在问答任务中，过去部分是上下文，当前部分是问题。未经改动的完整条件允许注意力层和循环层都把信息从过去传到当前。

两种干预分别隔离每种机制。在仅循环条件下，注意力被阻断在分段边界之外，过去信息只能通过循环状态到达当前部分。在仅注意力条件下，保留对先前上下文的标准因果注意力，但阻止循环状态跨分段边界传播，因此先前分段的信息只能通过注意力获取。两种设置下，各分段内部的所有层都保持活跃。

论文还定义了仅注意力保留率，即当跨上下文信息只能通过注意力层获取时，完整模型准确率被保留的比例。保留率越高，说明越依赖注意力、越少依赖循环状态，这是读者应关注的指标，而不是只看原始准确率。

两个混合模型在问答与智能体任务上训练

实验覆盖两个循环-注意力混合语言模型：Qwen3.5-4B，含 24 层 Gated DeltaNet 和 8 层全注意力；以及 Nemotron-H-4B-Instruct，含 24 层 Mamba2 和 4 层全注意力。所有模型都用 LoRA 训练全部层，秩为 16，缩放因子 32，dropout 为 0.05，使用 AdamW，学习率 1e-4，余弦学习率调度，预热覆盖 3% 的训练步，有效批大小为 16。

由于带辅助损失的目标需要额外计算，作者把优化步数减半，使总训练计算量与标准 SFT 相当，除另有说明外，各对比变体使用相同的优化设置。

评估涵盖长上下文问答和长时程智能体任务。问答任务汇集 DROP、HotpotQA、Qasper 和 NarrativeQA 的训练样本，得到 12k 训练实例和 2k 验证实例，并在各数据集以及 MINTEval 和 MuSR 上评估，共 8.2k 测试样本，平均上下文长度为 84k 词元。智能体任务使用 TextWorld 和 BabyAI，智能体必须在观测与动作序列中积累信息。

标准微调加深了注意力失衡

论文的关键观察是：标准 SFT 提高了混合语言模型对注意力通路的使用，却几乎没有改善对循环通路的使用。对 Qwen3.5-4B 的问答任务，完整准确率从基线的 30.2% 升到标准 SFT 后的 34.6%，仅注意力准确率从 27.0% 升到 78.5%，而仅循环准确率只从 20.2% 升到 25.0%。

在智能体任务上，成功率呈现同样模式：完整性能从 5.1% 变为 5.0%，仅注意力从 2.5% 升到 4.0%，仅循环则维持在 5.0%。当循环通路获取过去信息受限时，模型仍保留大部分准确率；但对注意力施加同样限制时，准确率大幅下降。

仅注意力保留率证实了这种转变在不同问题类型上的表现。SFT 之后，逐字问题的保留率高于非逐字问题（63% 对 46%），单证据问题高于多证据问题（60% 对 50%）。作者认为这与注意力层擅长恢复精确细节、而在信息需要抽象或整合时贡献较少相一致。

遮蔽注意力的辅助损失提高了循环使用

为促进协调，作者加入一项辅助损失，它使用同样的监督式下一词元预测目标，但遮蔽注意力对先前上下文的访问。循环层不受限制，处理整个序列，因此在辅助前向传播中，先前上下文的信息只能通过循环记忆影响答案。两项损失联合优化为 L = L_SFT + lambda * L_rec，其中 lambda 控制辅助监督的强度。

在 TextWorld Quest 上，加入辅助损失在所有 lambda 取值下都优于标准 SFT（lambda = 0，成功率 78.5%），作者在所有实验中除非另有说明都使用取得最佳性能的 lambda = 0.25。

在六个问答数据集上，辅助目标把 Qwen3.5 的微平均准确率从标准 SFT 的 34.6% 提高到 38.5%，把 Nemotron-H 的从 31.0% 提高到 36.2%。增益并不均匀：Qwen3.5 在 Qasper（30.1% 到 35.9%）、NarrativeQA（24.4% 到 33.7%）和 MINTEval（21.1% 到 28.9%）上提升，而 DROP 略微从 48.6% 降到 46.9%。消融显示，仅循环监督（L_rec）达到 30.4%，仅注意力监督（L_attn）达到 31.6%，都低于组合目标，而把 L_attn 加到 SFT 上达到 35.6%。

辅助监督随尝试次数累积持续改善

在智能体设置中，作者测试智能体能否从自身失败中学习：失败后重试同一游戏，最多尝试若干次，并把先前轨迹放入上下文。辅助损失在 TextWorld 上把累计恢复率平均提高 19.2%。

更重要的是比较趋势：标准 SFT 模型随尝试次数增加趋于收敛，而带辅助损失的模型持续改善。作者将其解释为更好地从过去失败轨迹中学习，这是关于训练信号的论断，而非对内部记忆使用的直接测量。

文本记忆与潜在记忆出现同样的失衡

作者把分析扩展到没有内置多条记忆通路的注意力模型，为 Qwen3-4B-Instruct 提供两种常见记忆形式：文本记忆，即对文档做摘要并让模型基于摘要和问题作答；以及潜在记忆，即把每篇文档表示为带 K 个记忆槽的逐层 KV 前缀，分两阶段训练。

在匹配的记忆预算下，文本记忆在逐字和单证据问题上表现更好，潜在记忆在非逐字和多证据问题上更具竞争力，与注意力对循环的划分相呼应。在文本记忆预算 8k 词元、潜在记忆预算 128 个槽位时，只要任一单记忆模型答对就选择其正确答案的 oracle 平均比单记忆模型高 10.1%，说明两种记忆携带互补信息。然而用标准 SFT 同时训练两种记忆的模型仍比 oracle 低 7.9%，甚至低于单用文本记忆（24.1% 对 25.9%）。

加入为每种记忆指定明确角色的辅助损失改变了这一点。VERBATIM 准则把逐字样本分配给文本角色、非逐字样本分配给潜在角色，取得最佳准确率，从 24.1% 提高到 28.6%，并带来潜在记忆使用的最大提升（从 -2.4 到 +4.7），同时基本保持文本记忆使用（+11.4 到 +10.4）。OUTCOME 达到 26.1%，潜在使用增益较小；REVERSE 只小幅提高潜在使用却降低了文本使用；RANDOM 没有提高准确率。不做逐样本角色分配的监督帮助较小：LATENT-AUX 达到 26.1%，但以文本记忆使用为代价；TEXT-AUX 主要提高文本记忆使用，准确率增益很小；UNROUTED 两者都没有改善。

决定增益的是角色分配而非单纯增加监督

不同角色分配准则之间的比较是论文最具决策相关性的结果。提高单一记忆的使用可能有帮助，但最大增益来自按两种记忆的互补优势，把每个样本分配给适合它的记忆。VERBATIM 准则按答案是否逐字出现在上下文中进行路由，优于随机分配、反向分配以及基于逐样本正确性的分配。

这也是论文适用范围的关键所在。失衡和辅助损失的收益在问答与智能体任务中的多个循环-注意力语言模型上都有报告，并扩展到组合不同记忆形式的注意力语言模型。证据限于这些模型、任务和训练配置，包括 LoRA 设置和计算量匹配的优化步数减半，因此具体准确率数字不应被当作其他架构或训练机制的通用基准。

对决定该带走什么的读者而言，优先级是路由规则而非单独的辅助损失：论文最强的增益来自把每个样本匹配到其优势相符的记忆通路，而逐字与非逐字是这些实验中效果最好的准则。

本文引用的文献