基础语言模型只靠固定起始 token 提示就能推理吗？

固定两个 token 即可追回大部分 RL 数学增益

这项干预刻意做得极小。作者取一个基础模型——它只经过在文本上预测下一个 token 的训练，没有经过强化学习后训练——然后固定其回复的前两个 token，之后的内容照常生成。这个提示既没有示范，也没有要求推理的指令，却改变了模型的行为。

核心比较在 MATH-500 上进行，这是 MATH 基准的 500 题测试子集，用 pass@1 计分，即单次采样中解出题目的比例。使用提示 ".\n\nOkay" 时，Olmo-3-7B 的 pass@1 从 42% 升到 78%，其经 RL 训练的对应模型为 75%。使用 "Alright," 时，Qwen3-14B 从 72% 升到 87%，其 RL 对应模型为 86%。在这些设置下，带提示的基础模型不只是有所提升，而是与接受过 RL 的模型相当。

作者还检查了增益并非来自挑中一个幸运前缀。他们用束搜索寻找开头，保留最多两个 token 深的 20 个候选开头，按在 30 道 MATH 训练题上平均的概率排序，然后每题采样 16 条回复。他们先剔除缺失答案率比无提示情形高出 10 个百分点以上的前缀，再选择在 30 道题上平均答案熵最低的开头；答案熵衡量采样得到的最终答案之间分歧有多大。这些运行中没有前缀被剔除。

这一结果附带两点提醒。答案熵低并不意味着准确率高，因此该选择规则只是代理指标，而非保证。束搜索也可能漏掉概率低但有效的开头；当作者把搜索扩大到 500 个两 token 开头时，最佳开头得分为 0.784，而选中的提示为 0.773，且所有得分更高的开头要么是 "Alright" 的变体，要么由格式类 token 组成。

随机开头无法复现这一效果

一个自然的质疑是：任何前缀都可能把模型推向更长、更具推敲性的回复。对照实验反驳了这一点。在 RL-Zero 提示下，五个均匀采样的 token 对在 Olmo-3-7B 上得分为 27.0% 至 42.3% pass@1，接近无提示时的 41.5%；五个放在段落换行之后的随机 token 得分为 33.3% 至 47.1%。全部十个随机开头都产生了更长的回复，也更常触及 token 预算上限，因此长度本身无法解释准确率差距。

段落换行本身是一个值得单独看待的部分例外。仅换行就得到 0.766，接近选中提示的 0.773，这说明部分效果来自另起一行，而不是来自其后的词。把选中的提示继续扩展为更多高概率 token，准确率提升很小，而一旦开头变得针对具体题目，准确率反而下降。

RL 主要让模型更可能输出该提示

论文的第二个发现重新界定了强化学习在这里的作用。RL 提高了这些提示出现的概率，其策略变化集中在输出的前几个位置。换言之，RL 相对基础模型的大部分增益，可以通过固定 RL 模型本来就会产生的开头来复现。

一个模型切换实验把这种不对称具体化。在 RL-Zero 提示下的 MATH-500 上，基础模型在开头之后由 RL 模型续写，达到 43.7% pass@1，接近基础模型自身的 41.7%。RL 模型在开头之后由基础模型续写，达到 77.7%，略高于 RL 模型自己续写的 75.1%。在这一设置下，差异主要来自开头，而不是续写回复的模型身份。

作者还报告，在训练 rollout 中强制使用该提示，可以用更少的 RL 更新达到相当准确率。他们用一个权重编辑实验支持这一机制：对最后一层 MLP 输出投影做一次编辑，在提高提示概率的同时限制对普通文本的改变，就能在没有任何 GRPO 更新的情况下，让 Olmo-3-7B 和 Qwen3-14B 的准确率接近预填提示的水平。使用二阶矩加权时，该编辑几乎不改变 C4 困惑度，Olmo 从 12.890 变为 12.895，Qwen 从 10.651 变为 10.651；而不加权的编辑分别使其上升 1.27% 和 1.43%。

提示起作用源于训练数据中的关联

为什么 "Okay" 这样的词会触发推理？作者的回答是条件作用，类似巴甫洛夫的实验：在训练中反复出现在类推理文本之前的 token，会与随后的行为建立关联。为了以因果方式而非仅相关性方式检验这一点，他们从中间检查点出发，在编辑过的数据上重新训练 Olmo-3-7B，并把实验扩展到 SmolLM3-3B。

干预很直接。在中期训练中把 "okay" 替换为 "chicken"，使以 ".\n\nChicken" 开头时的 MATH-500 准确率从 2.4% 升到 37.2%，把一个任意词变成了有效的推理提示。同样的逻辑反向也成立：改变训练关联可以移除已有提示的推理效果。这些关联也塑造模型如何理解指令。在训练中把 "step by step" 替换为 "duck duck goose"，会使提示指令 "Think duck duck goose" 在引发推理方面与 "Think step by step" 效果相当。

一项表征检查指向同一方向。不同提示引发的隐藏状态表征与训练集中不同文档类型相关。作者将此解读为证据：提示不是语义指令，而是指向模型曾见过的某类文本的学习指针。

同一开头也会改变拒绝与顺从行为

论文把分析扩展到安全领域作为案例研究，结果是：为推理选出的提示也会改变拒绝行为。不同提示引发不同的拒绝与顺从模式，这些模式对应不同类型的训练数据。在 Olmo 的例子中，推理提示 ".\n\nOkay" 产生更具选择性的拒绝：它拒绝不安全请求，同时仍回答安全请求，且其回复比其他提示下更长。

这种选择性并非推理提示的普遍属性。在 Qwen3-4B-Base 和 Qwen3-14B-Base 上，"Sure" 和 "I'm sorry" 表现出与 Olmo 相似的拒绝模式，但段落换行后的 "Okay" 提示反而降低了对不安全提示的拒绝，而这些模型的数学提示表现得像 "Sure"。因此作者指出，在他们测试的模型中，Olmo 推理提示的选择性拒绝优势是 Olmo 特有的。

回复示例让机制变得可见。在提示 "Sure," 下，Olmo-3-7B-Base 在 8 次 rollout 中全部没有拒绝有害请求，而在无提示时 8 次全部拒绝。提示没有增加知识，它改变的是模型把哪类续写视为更可能。

该结论适用于 R1-Zero 式设置

适用范围条件很具体，作者也明确说明。分析聚焦于 R1-Zero 式设置，即 RL 直接作用于基础模型，之前没有显式的后训练阶段。复杂的多阶段后训练流程可能引入 token 提示无法引发的能力，因此不应假定接近持平的结果会延续到这些流程。

提示有效性也依赖模型，这从解释本身即可推出：如果提示是学到的数据关联，那么在不同数据上训练的模型应具有不同的提示。作者在测试的开头中未找到对 Llama-3.1-8B 有效的提示，这与先前关于 Llama 上 RL 增益有限、而在数学导向的基础模型训练后增益更强的报告一致。反事实实验研究的是 Olmo 和 SmolLM3，它们的训练混合包含合成推理轨迹；由于这些轨迹反复把相似开头与推理配对，提示效果在这一设置中可能特别强。

区分模型能做什么与倾向于做什么

论文最有用的区分是能力与可能性。如果基础模型在固定开头后就能达到接近 RL 的准确率，那么这种能力在 RL 之前就已存在；RL 改变的是该行为出现的概率。作者由此提出设计问题：当一种行为已经可以通过条件作用引发时，通过权重更新让它更可能发生能带来什么，又有哪些其他有用行为可能因此更难被引发？

因此，对评估推理主张的读者来说，实际检验不是模型在后训练后是否推理，而是同一模型在开头受控时是否推理。论文自身的证据给出了比较：在 MATH-500 上，两个 token 的提示让 Olmo-3-7B 从 42% 升到 78%，让 Qwen3-14B 从 72% 升到 87%，而随机开头仍接近无提示基线。作者还指出，合成训练数据中的偏差会放大提示驱动的行为，在训练中刻意把有用行为与提示配对可以让这些行为更容易被引发，而这类关联也可能无意中产生。

证据支持的优先事项是：把回复的开头当作需要控制和报告的变量，而不是附带格式。提示是有帮助、无作用还是适得其反，取决于模型及其训练数据反复与该开头配对了什么；这正是为什么改善 Olmo 数学准确率的同一推理提示也让其拒绝更具选择性，而 Qwen 的数学提示并非如此。

本文引用的文献