大型语言模型能重新发明基础算法吗？

用遗忘模拟从未见过算法

论文提出的问题范围窄但要求高：如果大型语言模型从未接触过 Dijkstra 或 Euclid 这类算法，它能否把这些算法发明出来？重新训练一个不含这些算法的模型在计算上代价过高，因此作者改用 LLM 遗忘方法。遗忘会修改预训练模型，使其不再直接回忆某个目标算法，同时保留其余知识。随后，作者给遗忘后的模型布置应用任务，这些任务带有针对目标算法定制的效率要求，看模型能否把该算法恢复出来。

这一设计并不保证目标知识被完全移除。作者承认，遗忘不等同于重新训练一个不含目标知识的模型，因此他们把遗忘后模型的恢复率视为模型凭剩余知识进行发明的近似上界。这一定位很关键：恢复率低可以说明发明能力有限，但恢复率高也不能证明模型真的实现了发明。

三级提示与生成式验证器

恢复过程分两个阶段评估。在遗忘阶段，预训练模型被转换为遗忘模型；按作者的测试，该模型对概念层面的查询不再回忆目标算法。在恢复阶段，模型收到一个应用任务，提示分为三级：无提示、高层提示和逐步提示。任务会规定输入格式和复杂度要求，例如为非负权图发明一个 O(N^2) 的单源最短路径算法。

提交的解答会经过正确性和运行时间的自动检查，每个被接受的解答还会人工复核。作者指出，通过非穷尽测试集并不保证正确：一个 Gemma-4-12B 针对多数投票任务的提交用固定种子采样方法通过了自动评估，但该方法在最坏情况下会失败；这类误判不计入成功恢复。作者还会人工检查提交是否实现了目标算法或等价变体，并报告在复核的提交中没有发现满足全部要求的不同算法。

作者引入了一个生成式验证器，它只解释提交为何失败，不透露正确解法。其作用是维持模型的推理强度，避免作者所称的“思维崩溃”——即模型反复修改却不再产生有效进展。

近半数算法无法被恢复

核心量化结果是：尽管遗忘不保证完全移除知识，LLM 仍无法恢复近半数的目标算法。这个数字是论文评估流程下的恢复率，而不是知识被移除程度的度量。两者不同：遗忘可能留下残余知识，而模型仍然无法完成恢复任务；作者把恢复率当作近似上界，而不是保留知识的直接测量。

作者还观察到，可恢复的算法往往在结构或核心思想上比较简单，而未能恢复的算法则不那么直接。这是在其算法集合上呈现的描述性规律，并非对“简单性为何重要”的受控检验。

仅屏蔽算法名称就削弱恢复

一个引人注目的对比来自这样的条件：不做任何遗忘，只在解码时屏蔽算法名称。在这种情况下，模型的恢复率大幅下降，降幅为 19–39%。由于该条件下模型参数没有改变，这一下降不能归因于知识被移除。作者将其解释为模型过度依赖记忆知识和熟悉的检索线索：当通常触发回忆的名称不可用时，即使底层知识应当仍然存在，表现也会急剧下滑。

这一结果是论文最清晰的信号：这些模型成功解决算法问题，与回忆一个有名称的既定流程密切相关，而不是从基本原理出发推理。它也限定了应如何解读遗忘结果：恢复困难的一部分可能反映对检索线索的依赖，而非相关概念的缺失。

验证器维持推理但不扩大覆盖

生成式验证器通过防止模型在反复修改中推理崩溃，提高了恢复率。但作者报告，在其评估预算内，持续修改并不能扩大算法覆盖范围。换言之，验证器帮助模型保持任务方向并改进提交，却不能使模型恢复原本无法恢复的算法。作者将此视为自我反思及其拓展算法探索能力的局限。

对把该验证器与其他测试时计算策略相比较的读者，这一区分很重要：验证器是维持推理的支撑手段，而不是弥合未恢复算法差距的机制。

近似上界覆盖到哪里

作者的结论有意保持边界。他们把遗忘后模型的恢复率视为近似上界，并据此认为当前 LLM 系统进行基础算法创新的能力仍然有限。实验只覆盖有限的设置和算法，作者表示尚不清楚这些发现能否推广到其他科学领域或更大的模型。遗忘也不保证等同于重新训练一个不含目标知识的模型，因此这个上界是近似的，而非精确的。

在这些限制之内，论文的贡献在于提供了一种把基于知识的算法求解与算法发现区分开的方法。遗忘后的恢复率，尤其是仅屏蔽算法名称时出现的急剧下降，指向作者所识别的主要障碍：对记忆流程的依赖。

名称屏蔽造成的落差最关键

对判断 LLM 驱动算法发现相关说法可信度的读者来说，这篇论文中最有信息量的比较不是总体恢复率，而是完整访问与屏蔽名称解码之间的落差。仅屏蔽名称、不改变参数就造成 19–39% 的下降，说明模型表现出的算法能力很大程度依赖检索线索。遗忘结果进一步显示，即使抑制直接回忆，仍有近半数目标算法无法恢复；验证器改善了持续推理，却没有扩大可恢复算法的范围。因此，论文的重点在于区分回忆驱动的成功与真正的重新发明，其证据把当前系统放在更接近前者的位置。

本文引用的文献