链式思维提示是否总是有助于推理任务？

链式思维提示何时真正提升推理能力？

思维链提示在需要多步逻辑推理的任务中效果最为显著，例如算术应用题、常识推理和符号推理。一项里程碑式的研究表明，仅用八个思维链示例对5400亿参数模型进行提示，便在GSM8K数学基准测试中达到了最先进的准确率，甚至超越了配备验证器的微调版GPT-3[8]。另一项研究发现，自一致性——即采样多条推理路径并选取最一致的答案——使CoT在GSM8K上的性能提升了17.9%，在SVAMP上提升了11.0%，在AQuA上提升了12.2%[2]。这些提升相当可观：17.9%的改进意味着每100道题中能多答对近18道。

CoT在医学和生物学等专业领域同样表现出色。在阿尔茨海默病检测中，微调时应用CoT相比未使用该技术，分类准确率提升了16.7%[7]。在放射学报告生成方面，基于CoT的框架（BoxMed-RL）在METEOR和ROUGE-L指标上平均比现有最优方法提高了7%[4]。在生物学推理中，一种多尺度CoT融合模型在多个基准测试上的表现比其他推理模型高出10%–15%[6]。这些结果表明，CoT能够在复杂的现实任务中激发结构化、专家级的推理能力。

思维链何时失效或表现不佳？

思维链并非万能解法，其效果高度依赖于模型规模、任务类型及领域。小型模型受益有限：一项关于医疗问答的研究表明，尽管思维链能帮助小型模型将查询分解为步骤，但它们在处理高度专业化的内容时仍存在困难[5]。即便采用思维链，小型模型与大型模型之间的性能差距依然存在。

领域不匹配同样可能削弱思维链（CoT）的效果。在韩国牙科执业资格考试中，一款针对韩语优化的模型（CLOVA X）准确率仅为34.37%，远低于人类平均水平的79.51%——尽管该模型专为本地语言设计[1]。与此同时，基于思维链的模型（ChatGPT-o1）达到了80.54%的准确率，与人类表现持平。这表明，仅靠语言优化并不能保证领域专业性，若模型缺乏相关知识，思维链的优势也可能被抵消。

对于简单任务，思维链（CoT）可能徒增不必要的复杂性，却无实际收益。原始CoT论文指出，其改进效果在需要多步推理的任务上最为显著；而对于单步或琐碎任务，CoT几乎毫无优势[8]。在代码生成领域，标准CoT提示在HumanEval上仅达到53.29%的Pass@1，而结构化变体（SCoT）才将性能提升至67.08%[3]。因此，对于推理过程直接明了的任务，CoT不仅可能无济于事，甚至还会浪费令牌资源。

使用思维链时需要注意什么？

首先，模型规模至关重要。思维链推理能力仅在足够大的语言模型中自然涌现——通常是那些拥有数千亿参数的模型[8]。较小的模型可能无法展现出同样的提升效果，因此不要指望思维链能在紧凑型模型上创造奇迹。

其次，思维链的质量至关重要。仅仅要求模型“逐步思考”的效果，远不如提供精心设计的示例。原始研究仅用八个示例就达到了最先进的结果[8]，但选择不当的示例反而可能误导模型。在代码生成任务中，显式运用编程结构（顺序、分支、循环）的结构化思维链（SCoT）比标准思维链性能高出最多13.79%[3]。

第三，考虑将思维链与其他技术结合。自一致性——即采样多条推理路径并选取最一致的答案——在多个基准测试中将思维链的性能提升了3.9%至17.9%[2]。对于医疗任务，检索增强生成（RAG）可能进一步缩小小型模型与大型模型之间的差距[5]。思维链是一个强大的工具，但作为针对特定任务和模型量身定制的更广泛策略的一部分，它才能发挥最佳效果。

本文引用的文献

相关研究问题