语言模型会把不可能的工程问题报告为已解决吗？

拒绝与求解被分开计分

论文提出的问题无法用常规准确率分数回答：一个能解出力学问题的模型，当某个已知值或前提使所述状态不可能存在时，是否也会拒绝它？每道题都以一对形式出现，一个自洽的陈述和一个缺陷孪生题，后者改动一个已知值或假设，使所述状态无法存在。每次回复都必须以状态结尾：“已解决”或“无法解决”。

拒绝被定义为“无法解决”状态或拒绝给出答案。这对缺陷孪生题是正确的，对自洽题则是误报。由于有效问题的求解与对应缺陷题的拒绝被分开计分，模型可能在一项上得分高、在另一项上得分低，论文同时报告了两者。

两个独立求解器验证了每处缺陷

主集是取自五个多机制问题族的30对题目，这些族耦合了教科书捷径分开处理的两个机制，例如弹性与塑性行为。例子包括一根结合弹性响应、塑性倒塌与循环安定（shakedown）的两跨梁，以及一根搁在只推不拉的支座上的梁，其缺陷用向下读数与端部上抬相矛盾。

同一控制模型的两个独立数值实现验证了每个答案键，并证明每道缺陷题在物理上不可能。验收门槛要求两个参考解在每个数值答案上相对误差一致到10^-6，使控制比值距其切换值至少5%，并要求每个核心捷径至少在一个数值答案上偏差超过10%。OpenSeesPy为三个族提供了第三方检查。初始提示没有警告问题可能有缺陷。

九十次回复中有十二次漏掉缺陷

在三个近期模型中，90次回复有12次未能拒绝缺陷题。据人工智能评分者和数值检查，其中11次回复里，模型指出了缺陷、回答了修正后的问题，却仍把原题报告为“已解决”。

这些漏判是集中的。12次中有8次来自同一个族——无张力支座上的梁，在那里，把与力学相矛盾的读数搁置一旁是一种自然的修正；另有3次来自载荷超过倒塌的两跨梁。在新增题对的两类缺陷设计上——高度太小无法跳跃（snap）和旋转试验使配合变松——这三个模型拒绝了36道孪生题中的35道。两名盲编码者把每次已指出的回复归类为修正或延续，在26次中25次一致。

一个能说“有缺陷”的状态字段

论文随后重测了同一提供商的四个模型，把“无法解决”换成“有缺陷”，并要求它们指出并解释缺陷。三个模型的拒绝率出现统计显著上升，但三个模型的有效问题求解率下降。因此，仅从状态字段读取的分数，把模型是否注意到缺陷与它如何报告这一判断混在了一起。

在第一次收集中，对最初九对题的一个警告分支同时改变了两件事：它告诉模型检查陈述、不要解有缺陷的题，并提供了带缺陷类型的“有缺陷”状态以替代“无法解决”。在同一批九道孪生题上，警告提高了每个曾漏掉其中任何一道的模型的拒绝率：Opus 5从3升到9，Opus 4.8从1升到9，Sonnet 5从0升到8，但它也在五个模型中增加了误报，最多达九道中的三道。另有两个分支把两部分分别单独给五个Anthropic模型；任一部分单独给出时，45道缺陷孪生题中拒绝了43道，而两部分都给是44道，两者都不给是18道，且无误报，不过这些分支运行时间不同。

拒绝率区分了求解能力相近的模型

在这个面板上，求解与拒绝大体一致，Spearman相关系数为0.70，但在求解能力相近的模型之间，第二项指标区分得很明显。GPT-5.5解出了25道求解题中的16道，Opus 4.8解出19道，但它们分别拒绝了30道缺陷孪生题中的28道和7道。

在第一次收集中，拒绝率也把两个较新的Anthropic模型与其旧版本区分开来，即Opus 5对Opus 4.8、Sonnet 5.5对Sonnet 5；在一项探索性限制中，两个差距在双方都解出的自洽孪生题上依然存在。重测只重复了Sonnet差距，涉及21道新增题中的10道，在双方都有回复的7道上不显著。Opus差距缩小了：Opus 5拒绝了12道缺陷孪生题，Opus 4.8拒绝了9道，而此前分别是23道和7道，它们解出的自洽孪生题几乎没变。因此，拒绝率测量了求解之外某些东西的证据，依赖于面板上的这类差异，而求解能力所不具备的版本差距尚未被重复验证。

漏判因模型和问题族而异

各模型的失败模式并不相同。Haiku 4.5和gpt-oss-120b大多在返回的回复中没有任何前提检查，而gpt-oss-120b的拒绝是拒绝计算。Sonnet 5检查了前提，却得出了错误结论。Opus 4.8在其23次漏判中的8次陈述了矛盾，其中5次为不可能的状态返回了数值。三个近期模型Fable 5.1、Sonnet 5.5和Opus 5陈述了矛盾，并且除一例外，都针对一个修正后的解读作答，工程师读回复时能看出来。

只读状态字段的流水线看到的是一个已解决并附有数值的问题，而在11次修正中有5次，修正只出现在正文里，不在结构化答案中。哪种解读重要取决于谁消费这个答案；自动化工作流能采取行动的是状态层面的否决。

配对工具在哪里不适用

若干限制约束了这些结论。多机制集很小，25道求解题和来自五个族的30对题，小到无法在顶部集群内对相邻模型排名，而且这些族是在Sonnet 5上筛选的，所以每个比较都只对这五个族成立。确证性检验是分析计划写完后新增的21对题上的六个拒绝对比；对双方都解出的题对的分析、拒绝原因分类和修正划分都是探索性的，是在读完回复后定义的。警告提示的结果基于九道孪生题和每个分支一种措辞。

收集和回复格式也限制了比较。状态字段比较基于四个Anthropic模型，其两个分支在相同两个时段运行，但没有逐次调用交错，且Sonnet 5的新鲜无警告运行不完整。三个测试框架包裹提供商，带有不同的残余系统文本和不可比的token计数，访问是通过订阅、在单一努力设置下、在2026年9月28日至10月1日提供的版本上进行的，无法排除两次收集之间所服务模型发生变化。题目是文本、闭卷、无工具、无绘图，因此向能调用求解器的智能体的迁移尚未测试。漏判分类法以及原因和修正类别来自AI编码者和AI裁决者，而非专家评分者。

对两个孪生题都计分并读取状态

论文的实际优先事项来自配对设计，而非任何单一准确率数字。当模型解出了自洽问题却仍为缺陷孪生题返回数值时，答案格式应带有能说明问题有缺陷的状态，提示应要求做前提检查，或让回路中的验证器能够拒绝该答案，并且每当模型、其服务或格式变化时，都应对两个孪生题重新测量，因为提高拒绝率的格式也可能降低求解率。

最具决策相关性的区分在于缺陷识别与所报告状态之间。三个近期模型在其12次漏判拒绝中的11次注意到了缺陷，却仍报告“已解决”，而在11次修正中有5次，修正只出现在正文里。只信任状态字段的读者或流水线会把一个不可能的问题当作已解决并附有数值，而这正是孪生题设计来暴露的失败。

本文引用的文献