[arXiv 2026] 思考是为了回忆：推理如何解锁大模型的参数化知识？

TL;DR

为什么让大模型在回答“谁是尼泊尔第十任国王？”这种简单问题前先“想一想”，它就能答得更准？Google Research 的最新论文发现，推理（Reasoning）本质上在扮演“检索增强”的角色。即使没有复杂的逻辑拆解，推理过程通过计算缓冲（增加计算深度）和事实启动（语义联想），成功激活了模型内部原本“死活读不出来”的沉睡知识。

背景定位：推理不只是为了算术

在学术界的传统认知中，推理模型（如 OpenAI o1, DeepSeek-R1）的强项是数学和代码。对于事实问答（Closed-book QA），大家通常认为模型“知道就是知道，不知道就是不知道”。但本文一针见血地指出：许多事实模型其实“知道”，只是在直接回答时“取不出来”。

图 1：开启推理 (ON) 后，多个模型在不同数据集上的 Pass@100 表现均大幅超越关闭推理 (OFF) 模式。

核心洞察：两个让你意想不到的机制

通过精确控制推理内容的“受控实验”，作者剥离出了推理产生作用的两个本质原因：

1. 计算缓冲效应 (The Computational Buffer)

模型在生成推理 Token 时，每一个 Token 都代表了一次完整的 Transformer 前向传播。这意味着，即使模型在胡言乱语（如重复“让我想想”），它也获得了额外的计算步数来处理输入。

• 实验证据：作者用重复的“Let me think”替换了真实的推理内容，发现模型表现依然优于完全不推理。
• 物理直觉：这就像人在面试时，先说一句“这是一个好问题，让我想想...”，利用这段时间的“大脑后台运行”来搜索记忆。

2. 事实启动 (Factual Priming)

这是本文最有学术价值的发现。在回答单跳问题时，模型会在推理链中不由自主地列出相关的人物、日期或背景。这些信息虽然不是逻辑步骤，但它们在 Latent Space 中起到了语义桥梁的作用。

• 机制解析：模型通过“生成式自我检索” (Generative Self-retrieval)，先在画布上写下相关的正确事实，从而降低了最终答案的提取阈值。

图 6：实验显示，即使把推理出的事实提取出来作为 Context 喂给不推理的模型 (OFF Facts)，模型的表现也会显著提升。

幻觉的代价：中间错，步步错

虽然推理能帮模型找回记忆，但也带来了风险。作者进行了一场大规模的“幻觉审计”：

• 发现：推理链中如果包含虚假事实，最终答案出错的概率显著增加。
• 结论：生成式自我检索是一把双刃剑。如果模型在“联想”阶段就开始胡编乱造，它会被自己带进阴沟里。

图 7：包含幻觉事实的推理轨迹（红色区域）在不同难度的问题下，其最终答案的正确率远低于干净的轨迹。

案例研究：推理如何救场？

• 计算缓冲案例：当问及某位发明家的入选年份时，模型直接回答会报错，但在产生一段无意义的思考文字后，由于获得了更多 latent steps，最终给出了正确年份。
• 事实启动案例：问“尼泊尔第十任国王”，模型在思考中按顺序数出了前九位国王，这种“顺藤摸瓜”的过程帮它精准锁定了第十位的名字。

深度总结与未来展望

本文对 R-LLMs 的原理提供了全新的诠释：推理不仅仅是逻辑（Logic），更是召回（Recall）。

对于开发者和研究者的启示：

1. 推理时长不是万能药：计算缓冲效应会饱和，盲目增加 Token 长度可能适得其反。
2. 过程验证（Process Verification）极其重要：如果能在推理阶段实时监控事实的准确性（如使用 PRM），可以大幅提升模型在长链思考后的事实准确率。
3. 能力边界：弱模型（如 Qwen3-32B）从推理中获益更多，这说明推理是弥补模型参数规模不足导致的“知识提取困难”的有效手段。

Senior Editor's Note: 这篇论文打破了“CoT 只对复杂问题有用”的偏见。它告诉我们，推理模型在某种程度上是在“自言自语”中寻找灵感。未来的 R-LLM 训练，或许应该更多地加入如何“高质量联想相关事实”的引导。