这里的元认知指说出任务所需技能
论文借用了人类教育学中的一个术语。元认知知识指学习者对自身思考和推理过程积累起来的知识。作者追问大型语言模型是否也具备类似的东西，并用一个具体行为来检验：给定一道数学题，模型能否说出这道题需要哪种技能或步骤？
这一界定影响读者理解后面每一项结果的方式。论文没有声称在网络内部找到了一个元认知模块，也没有读取内部激活值。它把模型为一道题给出合理、可复用的技能名称的能力，当作元认知知识的证据，再检验这种命名是否有用。作者把技能名称描述为模型元认知知识的一种表征。
从数千个技能名到可用的示例库
整个流程分三个阶段，全部由提示词驱动一个强模型完成。第一步，GPT-4-0613 为每道训练题标注一个技能名称和一条理由。这一轮标注极其细粒度：约 7,000 条 GSM8K 训练样本得到约 500 个不同的技能名称，7,500 条 MATH 训练样本得到约 5,000 个技能名称。作者把这一差异解读为 MATH 难度和多样性更高的迹象。
如此细的粒度并不实用，因为措辞完全相同的题目不太可能再次出现。于是模型接着被要求把相似技能归入更宽泛的类别，并为每个类别命名。这一语义聚类把技能集合缩减到 GSM8K 的 22 个和 MATH 的 117 个。随后模型用这些更粗的名称重新标注训练题。
最终得到的是一个技能示例库：一份技能名称清单，每个名称都配有训练题和答案。测试时，解题模型会看到技能清单，选出它认为最贴合题目的技能，然后收到带有该标签、随机抽取的已解示例作为上下文提示。作者报告说，这些粗粒度标签在人类看来是可理解的。
按技能匹配的示例优于按主题匹配和随机示例
主要检验是：按标签挑选示例是否真的能帮助模型解题。在 MATH 数据集上使用 GPT-4-0613 时，基于技能的思维链设置总体准确率达到 53.88，而普通思维链为 42.2，Complex CoT 为 50.30，按数据集主题挑选示例的主题法为 50.31。论文把相对标准 CoT 的提升描述为 11.6%。
与 Complex CoT 的比较更能说明问题。Complex CoT 挑选更难的示例，假设难度可以代表有用性；基于技能的选择领先约 3.5 个百分点，作者据此认为，与具体问题的相关性比示例复杂度更重要。
提升并不均匀分布在各个主题上。在同一张 MATH 表格中，基于技能的提示在 Pre-Algebra 上得 74.28，Algebra 73.12，Probability 58.01，Number Theory 51.10，Geometry 41.75，Pre-Calculus 33.70，Intermediate Algebra 27.02。即使经过改进，Geometry 和 Intermediate Algebra 仍是最薄弱的领域。
这些标签也能帮助代码解题和较弱模型
程序辅助提示要求模型编写 Python 来计算答案，从而把算术和逻辑交给编译器。作者修改 PAL 提示，改用三个按技能匹配的文本示例加一个固定的代码示例，共四个上下文示例。在 MATH 测试集一个 500 题的子集上，使用 GPT-4-0613 时总体准确率达到 59.32，而四示例 PAL 为 52.0，提升 7.52%；一个七示例变体达到 62.00。
迁移能力另行检验。使用 GPT-4 创建的 MATH 技能标签和示例库，Mixtral 8x7B 从主题示例的 26.14 提升到技能示例的 28.44；两者各自结合对四条采样推理链做自洽投票后，从 30.75 提升到 32.44。作者报告，不使用自洽的技能提示与使用自洽的 CoT 表现相当，而加入自洽后比使用自洽的 CoT 提升 4.0%。
跨数据集迁移较弱，但仍为正。把 GSM8K 衍生的示例库应用到另外六个数学应用题数据集时，基于技能的方法在全部六个数据集上优于基础 CoT，在六个中的四个上优于 CoT 加 PAL 的混合方法。这里作者使用聚类前的技能标签，因为这些数据集的问题粒度更细，较粗的聚类效果较差。
标签质量取决于由哪个模型来标注
并非每个模型都能充当标注者。作者比较了 GPT-4、GPT-3.5 和 Mixtral-8x7B 在技能标注和聚类上的表现，并试用了 Llama-2 70B，后者未能为任何示例给出合理的技能名称，因此被弃用。Mixtral 能给题目打标签，但把所有技能都归入单一聚类，因此无法支持聚类。
GPT-4 和 GPT-3.5 都完成了标注和聚类，于是作者分别用两者建立示例库，并在 MATH 上比较。GPT-4 示例库总体得 53.8，GPT-3.5 示例库为 51.9，差距最大的是 Algebra（73.12 对 69.41）和 Number Theory（51.10 对 46.29）。论文将此解读为 GPT-4 产出了更高质量的技能标注，其示例也显示 GPT-4 的标签更具描述性，有时也更准确。
按技能匹配的示例无法修正概念错误
论文明确指出，相关示例并不是万能药。它给出了模型即使收到匹配技能的示例仍然答错的案例，并把它们分为技能错误、次要技能错误和计算错误。在一个例子中，一道凸六边形对角线计数题被标注为计数与数论，而模型的基于技能解法把每个顶点可画的对角线数算成四条而非三条，得出 12 而不是 9。
作者的预期是，基于技能的提示应主要减少技能错误，他们报告技能成功率指标的变化与这一假设一致。在 GSM8K 上按技能统计的准确率显示，基于技能的方法在 18 个技能中的 11 个上占优，因此总体增益掩盖了它没有帮助的那些技能。
另一个边界是证据类型。所有这些都是行为层面的：提示引导的标注、聚类，以及基准测试集上的准确率。论文关于元认知知识的说法是对这种行为的一种解读，方法被描述为与领域无关，尽管实验只覆盖数学。结果还来自一篇正在评审中的预印本，因此本证据中的报告数字尚未经过同行评审。
技能相关性比主题或难度更适合作为挑选规则
论文中最具决策相关性的发现，是对挑选上下文示例的几种方式所做的比较。在 MATH 上，按细粒度技能标签挑选优于按数据集主题挑选，也优于按示例复杂度挑选；它还改善了代码解题，并从 GPT-4 的标签迁移到 Mixtral，从 GSM8K 迁移到其他应用题数据集。
由此得出的实际优先级是：投资于标注者的质量和标签集的粒度，而不只是增加示例数量。在同一 MATH 测试集上，GPT-4 标签优于 GPT-3.5 标签；对于更小、粒度更细的迁移数据集，聚类前更细的标签是更好的选择。当标签较粗或标注者无法合理聚类时，优势会收窄。
同一份证据也显示了上限。即使使用按技能匹配的示例，Geometry 和 Intermediate Algebra 在 MATH 上的准确率仍低于 42，论文也记录了模型错误运用正确技能的失败案例。技能标签改善的是解题模型看到哪些示例；它们并不保证随后的推理正确。
本文引用的文献
Metacognitive Capabilities of LLMs: An Exploration in Mathematical Problem Solving
GPT-4 能为数学题分配可解释的技能标签，用这些标签挑选上下文示例后，MATH 准确率从 CoT 的 42.2 提升到 53.88，并在 500 题子集上把 PAL 从 52.0 提升到 59.32。