大语言模型在内部推理步骤上是否存在硬性上限？
是的，潜藏（内部）规划深度似乎存在严格的上限，仅靠扩大模型规模无法突破这一限制。一项2026年的研究测试了大语言模型能否在单次前向传播中自主发现并执行多步规划策略，而无需显式学习中间步骤[1]。研究发现，从零开始训练的小型Transformer最多只能处理3个潜藏步骤，微调后的GPT-4o和Qwen3-32B达到了5步，而测试中最先进的模型GPT-5.4在少样本提示下实现了7步[1]。这意味着，即便是最大的模型，在需要自行推导策略时，其内部推理步骤也会卡在5到7步左右。
关键在于，这一上限并非源于执行层面——一旦模型发现某种策略，它便能在测试时将其泛化至多达8个潜在步骤[1]。真正的瓶颈在于仅凭最终答案的监督信号来发现策略。这种分离现象表明，对于需要大量协调内部步骤的任务，策略可能需要被明确教授或外化（例如通过思维链提示），这对人工智能安全监控具有启示意义[1]。
我们对大语言模型的测试方式是否人为制造了能力上限？
是的，评估形式从根本上决定了是否存在天花板效应。一项名为CAKE的2026年基准测试，在云架构知识领域对22种模型配置（参数规模从0.5B到70B）进行了评估，采用了两种形式：多项选择题（MCQ）和自由回答题[4]。结果显示，多项选择题存在明显的天花板效应：当参数超过30亿时，准确率趋于平稳，最佳模型达到了99.2%[4]。这意味着，对于简单的识别任务而言，将模型规模扩大到一定程度以上并无益处——测试本身变得过于简单。
然而，自由回答的得分在所有认知层级（记忆、分析、设计、实施）和模型规模上持续稳定提升[4]。这表明瓶颈并非来自模型能力本身，而在于测量工具。两种题型捕捉了知识的不同维度：选择题衡量识别能力，而自由回答则衡量更深层次的理解与生成能力。因此，当人们声称扩展已触及天花板时，或许只是用错了标尺。
我们能否持续扩展规模而不触及成本天花板？
参数高效微调（PEFT）方法表明，扩展规模并不等同于训练所有参数，这为突破成本上限提供了实用方案。一项针对2023年超过100项自然语言处理任务的调查发现，仅优化一小部分参数（通常不足1%）即可有效激发大规模模型的能力，同时保持其余参数固定不变[2]。这大幅降低了计算与存储成本，使得在不产生高昂费用的情况下适配日益庞大的模型成为可能[2]。
像DeepSeek LLM这样的开源项目也表明，规模定律并非一成不变。DeepSeek的67B模型在代码、数学和推理基准测试上超越了LLaMA-2 70B，其聊天版本在开放式评估中甚至优于GPT-3.5[3]。这说明，在精心策划的数据（2万亿token且持续增长）以及监督微调、直接偏好优化等对齐技术的引导下，规模扩展仍能持续带来性能提升[3]。实际天花板并非固定大小，而是一个动态目标，取决于数据质量、训练方法以及所衡量的具体能力。
本文引用的文献
深度天花板：大型语言模型在发现潜在规划中的局限性
即使对于最大的语言模型，其潜在规划深度也仅限于5-7步，且策略发现与执行之间存在脱节[1]。
大规模预训练语言模型的参数高效微调
参数高效微调（增量微调）通过优化极小部分的参数，能够有效激发大模型的能力，同时大幅降低成本[2]。
DeepSeek LLM：以长期主义扩展开源语言模型
DeepSeek LLM 67B在代码、数学和推理方面超越了LLaMA-2 70B，其聊天版本的表现也优于GPT-3.5，这表明通过高质量数据实现了规模化收益[3]。
CAKE：大型语言模型的云架构知识评估
多项选择题的准确率在参数超过30亿时趋于平稳（最高达99.2%），但自由回答的得分仍在持续提升，这表明评估形式造成了人为的天花板效应[4]。
神经语言模型的缩放定律
神经语言模型的缩放定律表明，模型性能会随模型规模、数据量和计算量的增加而可预测地提升，但在接近无限数据极限时，过拟合问题会成为一个关注点[5]。