[ArXiv 2025] 桥接潜在推理与目标语言生成：揭秘 RTH 检索-转换头

TL;DR

多语言大模型（MLM）在思考时是“不分语言”的，但在表达时却需要精准切换。本文发现了模型内部的一组核心电路——检索-转换头 (Retrieval-Transition Heads, RTH)。它们不仅负责查资料，更负责将大脑中的抽象逻辑“翻译”成流畅的目标语言。实验证明，搞掉了这些头，强如 Llama-3.1 也会瞬间变成只会机械重复、逻辑错乱的“胡言乱语者”。

背景定位：大模型真的在用英语思考吗？

学术界近期达成了一个共识：多语言大模型在深度推理时，倾向于在一个语言无关的潜在空间 (Latent Space) 中运作。这意味着，无论你问它中文还是德文，它在中间几层的“脑回路”可能都是相似的抽象表征。

那么问题来了：谁负责把这些抽象的“意识”转化回我们需要的目标语言？

前人发现了检索头 (Retrieval Heads, RH)，认为它们是模型在长文本中定位事实的功臣。但本文作者指出，单纯的 RH 只能解释“复制粘贴”，无法解释“跨语言转化”。由此，Retrieval-Transition Heads (RTH) 应运而生。

痛点与动机：为什么只有检索头是不够的？

现有的模型优化手段（如 KV Cache 压缩或剪枝）往往只根据注意力权重或者简单的检索能力来筛选重要的“头”。

• 现有方法的局限：如果仅仅保留检索头，模型可能会记住事实，但在输出非英语（尤其是低资源语言，如斯瓦希里语）时，会出现严重的连贯性丧失 (Loss of Coherence)。
• 核心直觉：模型内部一定存在某些特定的注意力头，它们专门负责将源语言的证据（Source Needle）映射到目标语言的解码空间（Target Token）。

核心机制：如何定位 RTH？

作者改进了经典的“大海捞针”(NIAH) 实验，提出了跨语言 NIAH。

1. 实验设计

在一个长篇的英文背景（Haystack）中插入一条事实（Needle），但要求模型用中文或德文回答。 图1：RTS 检索转换得分计算流程。模型需要将源语言的事实与目标语言的生成 Token 进行语义对齐。

2. 检索-转换得分 (RTS)

通过 LLM 对齐器，计算每个头在解码目标语言 Token 时，其注意力分布是否精准落在了源语言对应事实的 Token 上。由公式定义： $RT{S}_h={\sum }_{t=1}^N{\mathcal{A}}^t$ 其中 ${\mathcal{A}}^t$ 判定的是解码时的注意力最大值是否符合跨语言的语义映射。

实验与结果：RTH 的“霸主”地位

作者在 Qwen-2.5 和 Llama-3.1 上进行了大规模的因果性干预（屏蔽实验）。

1. RTH vs RH 的分布差异

实验发现，RTH 与普通的 RH 虽然有重叠，但在高权重层级上高度分离。

• 层分布：RH 倾向于出现在模型的最后几层（负责直接输出），而 RTH 密集分布在中间层（14-23层），这正是模型进行复杂逻辑转化的地方。 图2：Qwen-2.5 中 RH 与 RTH 的分布对比，紫色和绿色标出了最关键的 Top-50 头。

2. 灾难性的性能崩溃

当作者屏蔽掉前 25 个 RTH 时，模型的性能出现了断崖式下跌。

• 在 MGSM 数学推理中，Llama-3.1 的平均分下降了 54 个点，跌幅是屏蔽 RH 的 2.5 倍。
• 即使是英语任务，屏蔽 RTH 的后果也比 RH 严重得多。这说明 RTH 是推理到生成的通用瓶颈。

图3：三种模型在不同任务下的跌幅对比。红色（RTH）的跌幅远大于橙色（RH）和蓝色（随机）。

深度洞察：连贯性丧失 vs 检索失败

作者通过 LLM-as-a-judge 将错误分为两类：

1. 检索失败 (Failure to Retrieve, FR)：模型说话通顺，但把事实记错了。这是屏蔽 RH 的典型后果。
2. 连贯性丧失 (Loss of Coherence, LoC)：模型开始循环、产生乱码或结构性错误。这是屏蔽 RTH 的典型特征。

这证明了 RTH 负责的不仅是“找数据”，更是“构建语言逻辑的桥梁”。

总结与展望

本文的研究揭示了多语言 LLM 内部的一个关键脆弱点：检索-转换电路。

未来研究启示：

• 更聪明的压缩：未来的模型压缩算法不应只看注意力权重的“大小”，更要识别这些具有“转换功能”的头。
• 低资源语言增强：对于像斯瓦希里语这样的低资源语言，模型之所以表现差，可能不是因为不懂逻辑，而是因为其转换电路（RTH）不够健壮。

局限性：目前识别 RTH 仍需借助英语作为“中介语言”。未来的方向是直接在模型的真正潜空间（真正的“机器母语”）中定义和寻找这些转换机制。

Senior Academic Editor's Note: 该工作最惊艳之处在于它不仅提出了一个新的“头类型”，而是通过因果干预证明了模型推理存在一个必经的“狭窄通道”。如果你在做 LLM 长文本优化或多语言对齐，RTH 是一个绝对不能忽略的变量。