提交的 LLM 辅助数学解答能揭示学生的认知卸载吗？

提交的解答为何不能代表学生的实际工作

这篇论文的担忧很具体：生成式 AI 可能让学生把任务本要引出的数学思考直接交出去。作者指出，这一说法通常靠提交的解答、考试分数或问卷回答等结果来检验。他们认为，这些结果最多只反映学生从与 LLM 合作走向最终成品的那一步，而不反映此前的工作。

他们的替代做法是把对话本身当作证据。他们跟踪了以色列一所教师教育学院 23 名一年级线性代数学生，这些学生用 LLM 完成三项设计不同的家庭作业。每次作业都包含一道明确指定用 LLM 完成的题目，学生须连同解答一起提交与 LLM 完整对话的截图。分析覆盖 429 条提示，并将 59 份聊天记录与学生提交的解答进行比较。

研究用两个调节空间来组织。第一个是与 LLM 的交流，学生在这里选择数学内容、工具、分配给 LLM 的角色，以及评判其输出的标准。第二个是从该交流到提交成品的过渡，学生在这里决定采纳、修改还是放弃 LLM 产出的内容。在一个空间里发生卸载，并不必然意味着在另一个空间也发生卸载。

提示聚成五种结构，而非单一习惯

研究者把每条提示读作一次调节事件的痕迹，依据的是自我调节学习，以及一个“选择充裕环境”模型——在该模型中，LLM 成为学生可以质疑的知识来源。提示形成了五种结构，主要把 LLM 当作求解者、解释者或验证者。

这些结构的组合随三项任务而变化，而三项任务的设计本就指向不同方向。任务 1 要求学生证明或反驳：是否存在非零的 3×2 与 2×3 矩阵，其乘积为零矩阵；学生被告知要主导数学工作，只获得极少指导。任务 2 要求证明矩阵可分解为若干特殊类型之和，并提供了一组被认为有助于学习的提示，例如请 LLM 把问题拆成更简单的子问题。任务 3 给学生一个分步证明：AB 可逆当且仅当 A 和 B 可逆，并要求他们把 LLM 当作对话伙伴，解释每一步为何成立。

变化不只发生在任务之间。完成全部三项任务的 15 名学生中，有 10 人在某个时点改变了自己的主导提示结构。这对解读很重要：单份聊天记录捕捉的是某一组选择配置，而不是学生的固定特质。

多数提交解答与 LLM 产出十分接近

核心结果关乎第二个调节空间。多数最终提交的解答与 LLM 输出十分接近。关键在于，这一现象也出现在那些交流中曾由学生解释自身推理、提出猜想并核对自己想法的提交中。

正是这种组合切断了从成品推断过程的捷径。如果照搬 LLM 输出发生在明显投入的交流之后，那么同一个表面特征——解答看起来像模型的答案——可以伴随差异很大的学生数学工作量。作者因此得出结论：LLM 辅助的提交不是判断卸载的可信标志。

论文的建议来自这一比较，而非泛泛的告诫：卸载应在每个调节空间中逐部分考察，而不是对整个作业作整体判断。学生可能在对话中积极调节，却在提交时采纳模型的措辞，也可能相反。

聊天记录能记录什么、不能记录什么

证据受聊天记录内容的限制。作者说明，他们对调节的推断仅限于记录下来的交流所显示的内容，因此未被记录的思考、笔记或对话之外的工作，分析都无法看到。

样本也较窄。研究在一门课程中进行，共有二十余名同意参与的学生，全部是职前中学数学教师，他们的提示可能反映出对解释的职业兴趣，而其他本科生未必如此。参与情况因作业而异：任务 1 至 3 分别有 19、21、19 名同意参与的学生提交了聊天记录，因为有些学生没有提交某次作业。

还有两个条件影响如何解读这些提示结构。聊天记录是提交内容的规定部分，学生知道老师会读，这可能影响了他们的提示方式；作者指出“解决这道题”出现在多数聊天记录中，这表明记录并非只为展示学习导向的使用而精心挑选，但他们无法排除这种挑选。三项任务按固定顺序给出且数学内容不同，因此归因于任务设计的变化，可能部分反映每项任务在学期中的时间及其内容。

投入的提示可能反映理解，而非培养理解

提示与提交之间的关系是相关性的。数学理解更好的学生，可能既更愿意把自己的想法告诉 LLM，也更有动力修改它返回的内容。按这种解读，提示反映的是数学理解，而不是塑造理解。

这一保留并不推翻主要的否定性结论。无论投入的提示是导致更好的调节，还是仅仅标志此前的理解，实际要点仍然成立：一份看起来像 LLM 输出的提交，本身无法告诉教师面对的是哪种情况。

一个较小的测量问题也影响聊天数据。希伯来文从右到左的书写方向打乱了一些 LLM 回复中的数学内容，因此有些小修改是在纠正显示问题，而非数学内容。把修改计为数学调节时，应考虑到这一点。

卸载的证据应当到哪里去找

论文的优先主张是改变判断的单位。教师或研究者不应问整份作业是否被卸载，而应问工作的哪些部分被交了出去、发生在哪个空间。两个空间给出具体划分：交流中可以看到五种提示结构以及分配给 LLM 的角色；向提交的过渡中可以看到对 LLM 输出的采纳、修改或放弃。

任务设计的结果带来第二个更窄的启示。由于结构组合随任务变化，且完成全部三项任务的学生多数改变了主导结构，基于单次作业的判断描述的是该次作业的选择配置，而不是学生稳定的做法。

最具决策相关性的发现仍是投入的交流与接近模型输出的提交之间的错位。对于想把一份打磨过的 LLM 辅助解答当作卸载证据的人，这项研究显示，该标志恰在最关键的情形中失效：那些发生在学生解释、猜想并核对自己想法之后的提交。

本文引用的文献