[ICLR 2025 分野] 隐式推理的幻觉：它真的在“思考”还是在“偷懒”？

TL;DR

隐式推理（Latent Reasoning）被视为超越 Chain-of-Thought (CoT) 的下一代范式，主张在连续向量空间而非离散文本中进行“深度思考”。然而，Amazon 与密歇根州立大学的这项最新研究泼了一盆冷水：大多数隐式推理模型实际上是在走捷径。即便你掐断它们的“思考”步数或往脑子里灌入随机噪声，它们依然能猜对答案。此外，它们虽然展现出了比视觉上更丰富的路径搜索能力，却无法有效锁定正确解。

背景定位：从显式到隐式的跨越与迷思

传统的 CoT 依赖于显式的文本生成，这虽然直观，但受限于语言的离散性。近年来以 Coconut 和 CODI 为代表的方法提出利用 Transformer 的隐藏层（Hidden States）作为“连续思想”，试图在不可见的潜空间内进行类似于广度优先搜索（BFS）的并行推理。本文正是在这一坐标系下，通过控制变量法，首次系统性地审视了这种“潜空间思考”的真实性。

核心痛点：严重的快捷路径 (Shortcut Behavior)

作者发现了一个令人震惊的现象：模型根本没有按套路出牌。

在逻辑推理基准测试 ProsQA 上，当研究者将模型设置为 Latent Depth = 0（即完全不给思考机会，直接出答案）时，准确率几乎没有波动。

噪声干预实验

为了验证这一点，作者在模型结束潜空间推理的一瞬间，注入了一个远超正常权值量级的强高斯噪声（$\sigma =100$）。

• 显式 CoT：一旦在推理词处加入噪声，准确度立刻归零。
• 隐式方法 (Coconut/CODI)：即便潜空间被打成了一团浆糊，模型依然能保持极高的准确率。

这说明：模型通过学习，绕过了推理步骤，直接建立了“问题 $\to$ 答案”的统计映射。

图 1：可以观察到，在 ProsQA 任务中，步数对准确率几乎无影响，暗示了 shortcut 的存在。

方法论：证伪 BFS 假设

Coconut 等论文曾假设隐式推理支持 BFS 搜索。作者通过 “隐式-显式混合回测（Hybrid Rollouts）” 验证了这一点：先让模型在潜空间走 $n$ 步，再切回文本空间进行 100 次随机采样。

结果分析：

1. 多样性更强：确实，Latent 推理产生的候选路径（Next-step predictions）比文本文本 CoT 多得多。
2. 隐式剪枝（Implicit Pruning）：随着 Latent 步数的增加，答案的多样性并没有持续扩张，反而出现了收缩。这意味着模型在潜空间内进行了“盲目”的剪枝。
3. 聚合失效：虽然 100 次采样里包含正确答案的概率（Pass@100）很高，但由于正确路径的概率密度并未被有效放大，导致“多数投票”往往选出错误答案。

表 1：噪声注入实验结果，清晰展示了弱监督方法对噪声的不敏感性。

深度洞察：监督强度的权衡（The Supervision Trade-off）

这是本文最具启发性的结论。作者发现，隐式推理的性能被两股力量撕扯：

• 弱监督（Outcome-only）：如 Coconut，给模型极大的自由度。模型确实学到了丰富的路径（多样性高），但极其容易演变成“偷懒”，直接学 Shortcut。
• 强监督（Fine-grained/Compression）：如 CoLaR 或 SIM-CoT，强制 Latent 状态必须能解码还原成中间步骤。这虽然根治了 Shortcut，但却把潜空间重新“坍缩”回了文本空间，丧失了并行探索的优势。

总结与未来启示

这项研究告诉我们，隐式推理目前还处于“假装在思考”的阶段。真正的连续空间推理不应只是减少 Token 发射，而应该是：

1. 架构约束：通过类似循环 Transformer 的结构强制执行逻辑迭代，而非仅仅堆叠层数。
2. 新型损失函数：既要保证 Latent 状态包含推理逻辑（防 Shortcut），又要允许叠加态的存在（保多样性）。

一句话总结：我们不能指望模型在没有结构化约束的情况下，自觉地在黑盒里演出一场精彩的逻辑剧。