为什么大模型被要求别思考时仍在思考?

六模型研究发现,严格禁止思考的提示无法可靠阻止可见推理,答案空间越开放越难抑制。

直接答案

告诉模型不要思考,并不能可靠地阻止它把思考过程写出来。论文在六个大模型和六种提示干预下发现,即使施加严格的禁止思考控制,可见的显式推理依然存在,而且随着答案空间从是/否判断扩展到多项选择再到开放式生成,这种情况更常见。在布尔判断和多项选择任务上准确率大致稳定,但开放式任务暴露出“只给答案”的合规性与答对率之间的权衡。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

关闭思考开关为何不能作为证据

论文的起点是一个测量问题,而不是建模问题。已有工作通常从表面信号推断模型没有在思考:思考模式被关闭、回复中没有单独的推理轨迹或没有 <think> 块,或者输出本身很短。作者认为,这些代理指标把“指令层面的控制”和“可见推理是否被抑制”混为一谈。

他们给出的反例很具体。一个推理通道被关闭的模型,仍可能在普通答案通道里写出针对问题的推导过程。一个不含特殊推理标记的回复,仍可能包含一个真正承担推理作用的紧凑等式。一段很短的输出,也可能是一个被压缩的解法。反过来,像“让我想想”这样的通用开场白不含任何与任务相关的内容,却会被基于长度或标记的代理指标算作推理。

因此论文重新界定了研究对象。它把每条回复拆成答案前文本 T 和最终答案 A,并把“不思考”当作答案之前那段可见文本的可观察属性,而不是模型上的某个设置。

三个指标区分合规与推理

评估把问题分成三个层次,每一层回答不同的问题,且都以全部输出为分母,而不是只统计非空的答案前文本。

空思考率(ETR)最严格:它衡量答案前文本完全为空的比例,也就是模型只返回了最终答案。这是字面意义上的“只给答案”合规。

问题与答案前文本相关性(QRel.)用一个带指令的嵌入模型,衡量问题与可见答案前文本之间的相似度。它刻画这段文本是否与任务有关,空文本记为 0。

显式推理率(EIR)由一个大模型裁判判断可见文本是否包含显式的推理步骤,而不是复述、相关断言或模板。这是最直接地把“思考”操作化的指标。

三者在设计上互补。一段文本可以相关但没有推理,可以有推理但不长,也可以为空因而两者都不具备。作者用人工标注校验了这些指标:在 600 条输出的样本上,主裁判对显式推理的判断与人工标签的平均二元一致率为 98.8%,QRel. 与五位标注者相关性判断的平均条目级 Spearman 相关系数为 0.829。

答案空间越开放,思考惯性越强

主实验对六个模型施加六种提示干预:Qwen3-4B、Qwen3-32B、Qwen3-235B-A22B、DeepSeek-V4-Flash、GPT-5.4 和 Gemini-3-Flash-Preview。任务覆盖三类答案空间,每类各含一个较易和一个较难的基准:布尔判断(BoolQ、StrategyQA)、多项选择(MMLU、MMLU-Pro)和开放式生成(GSM8K、MATH)。

在模型原生的关闭思考设置下,多数模型在布尔任务上的 ETR 达到约 80%–100%,QRel. 和 EIR 明显下降。多项选择处于中间且差异很大,不同模型的 ETR 从接近零到 95% 不等。在开放式任务上,ETR 普遍跌到接近零,而 QRel. 仍接近开启思考时的水平,EIR 也保持较高。

这一递进就是作者所说的“思考惯性”:可见的显式推理在禁止思考的控制下依然存在,并随着答案空间变开放而更普遍。六模型平均 EIR 在布尔任务上最低,多项选择居中,开放式任务最高。作者把这一现象解释为与计算需求增加相一致,因为在没有候选选项的情况下构造答案,可能比在有限的备选中挑选需要更多与任务相关的中间计算。这是他们的解释,而不是被直接测量的内部机制。

分步提示能重新引出可见推理

反向干预检验的是:在原生思考开关保持关闭时,普通提示能否把推理带回来。加入分步指令后,许多模型的 QRel. 和 EIR 回升到接近开启思考时的水平,布尔任务上也是如此。

关键细节在于什么没有改变。在分步提示下,六模型平均 EIR 仍保持布尔 < 多项选择 < 开放式的排序。这一干预改变了可见推理的总体水平,却没有改变它对答案空间的依赖,而这正是论文想要确立的特征。

GPT-5.4 是这一回升模式的主要例外,它在布尔和多项选择任务上都保持较高的“只给答案”合规性和相应较低的 EIR。

严格合规在开放式任务上牺牲准确率

更强的自然语言约束确实减少了可见推理,但在不同任务上并不一致。在各禁止思考变体之间,布尔任务的准确率几乎持平在约 85%,多项选择准确率只有小幅波动,开放式准确率在不同模式间变化最大。

权衡就出现在这里。在开放式任务上,把模型推向只给答案的输出会与任务准确率冲突,因此严格的禁止思考指令并不是免费的效率收益。相比之下,在布尔和多项选择任务上,即使不思考指标发生变化,准确率仍保持稳定。

论文还把同样的问题改写到不同答案空间中。提供候选答案会让“只给答案”的回复更容易产生,这说明决定模型能否合规的不只是指令,还有答案接口本身。

审计排除了哪些替代解释

由于 QRel. 和 EIR 依赖文本相似度和裁判,作者针对明显的失效模式做了审计。一个近似逐字复制的检测器在 572,688 条回复中只标记出 301 条(0.053%);即便把这些全部的相关性记为零,全局平均 QRel. 的变化最多也只有 0.00053。另一个单独的“仅复述”标签覆盖 355 条输出(0.06%),这些被排除在 EIR 分子之外。

回复顺序也被检查。在 535,208 条含可解析框选答案的输出中,只有 149 条(0.028%)把答案放在最前面,因此“先答案前文本、后答案”的结构描述的是主流回复形式,而不是强加于数据的假设。

这些检查之所以重要,是因为核心论断针对的是可见文本。论文明确指出,它的分析单位是可观察的回复,而不是隐藏的计算。一个停止写出推理的模型可能仍在内部计算;这项研究能说明可见推理依然存在,但不能说明底层计算已被消除。

不思考是一种能力而非默认状态

实际结论是:不思考应当作为一种独立能力,与推理能力一起被评估,而不能被当作推理模式的对立面默认成立。关闭的开关、缺失的推理标记或很短的输出,都不能证明模型直接给出了答案。

论文自身的变量指出了最需要关注的地方。当答案空间较窄或已提供候选答案时,合规最容易,例如布尔和多项选择任务。在开放式任务上合规最难,而严格的只给答案提示还会危及准确率。因此作者建议按任务分流:当接口提供了足够支持时直接作答,把可见推理留给答案空间确实需要它的情形。

适用范围受研究设计限制。这套六模型、六基准的测试在支持时使用确定性解码,作者也指出,向多语言、代码、工具调用、多轮对话和随机性设置的推广仍是开放问题。QRel. 是一种操作化的相关性度量,而非独立的推理检测器;EIR 依赖可见文本的评分规则和裁判校准。在这些边界之内,站得住的发现是一个比较:同一条禁止思考指令,会因答案空间的开放程度不同而产生非常不同的合规表现,读者判断模型是否真的会停止把思考写出来时,应当依据这一差异,而不是开关设置。

本文引用的文献

1

Thinking Inertia: LLMs Keep Thinking When Told Not To

在六个大模型和六种提示干预下,显式的禁止思考控制无法可靠消除可见推理;显式推理持续存在,并随答案空间变开放而更普遍,同时准确率在布尔和多项选择任务上保持稳定,但在开放式任务上与“只给答案”的合规性形成权衡。