AI 聊天机器人帮助还是损害学生学习数学证明？

两个界面的差别在于学生先要做什么

这项研究在一门涵盖逻辑、集合、关系和证明写作的本科证明类数学课程中进行。两个 AI 工具都调用 OpenAI API，未做微调。AI 聊天机器人随时接受数学问题，并允许多轮交流；其系统提示要求它避免给出最终答案和完整证明步骤，改用苏格拉底式提问、支架和部分提示，但学生仍可施压要求更直接的帮助。作业反馈界面则要求学生先提交一份书面证明，然后才返回评语，使用相同的提示、教师参考答案和结构化反馈格式。

这一设计差异是论文的核心对比。写证明要求学生构建并解释一条推理链，而不只是识别一个看似合理的答案，因此学生在获得帮助前是否先尝试推理，会影响这份帮助能培养什么。作者用“帮助困境”来框定这一点：帮助太少会让学生卡住，帮助太多则可能替代学习所需的活动。在这一情境中，认知卸载指的是从 AI 那里获得证明步骤，而不是自己生成这些步骤。

随机提前使用提高了作业分，却没提高下一次考试

期中考试 1 之后，153 名有成绩和使用记录的学生被按个人随机分配到较早（75 人）或较晚（78 人）获得两个界面。在错开使用窗口内，只有早使用组能在作业中使用它们。两组起点接近：期中考试 1 的平均分分别为 85.45 和 83.88，作业 1–4 的平均分分别为 85.09 和 83.59。

在该窗口内，75 名早使用组学生中有 59 人至少记录到一条聊天机器人消息或一次作业反馈请求，而 78 名晚使用组学生中无人如此。在调整先前作业平均分和作业任务后，早使用组在作业 5–6 上高出 2.56 分（SE 1.22，95% CI [0.17, 4.94]，p = .036；来自 153 名学习者的 306 个观测）。原始均值在作业 5 上为 98.16 对 95.77，在作业 6 上为 100.48 对 95.91；加分项使分数可以超过 100。

下一次考试没有延续这一差距。在没有 AI 的情况下完成的期中考试 2 中，早使用组原始均值为 69.95，晚使用组为 71.52；调整期中考试 1 后，估计值为 −2.47 分（95% CI [−5.60, 0.66]，p = .122；N = 152）。由于考试使用相似题型但不同题目，作者将此解读为没有检测到从有支持的作业到独立证明表现的迁移。随机化只覆盖使用时间，不覆盖学生选择哪个界面或使用多少，因此这一比较无法区分两个界面的效果。

信心较低的学生更频繁使用两个工具

期中考试 2 之后，所有学生都能使用，并自行决定使用量。在有自我效能感和期中考试 2 数据的 152 名学生中，106 人使用了聊天机器人，90 人请求了作业反馈。基线自我效能感来自四个按 1–7 评分并取平均的问卷题项，内部一致性很高（Cronbach's α = 0.91）。

在期中考试 2 分数相同的情况下，自我效能感高一分，预测发送给聊天机器人的学生消息少 39%（p < .001），作业反馈请求少 31%（p = .002）。先前考试分数较高与两个界面的预测使用量较低相关，但两个关联都不具有统计显著性（聊天机器人消息的发生率比为 .982，p = .056；反馈请求为 .989，p = .393）。简言之，信心较低的学生向两个工具寻求更多帮助，这也是使用分析控制自我效能感和先前表现的原因。

聊天机器人消息越多，考试分数越低

在期中考试 2 和 3 之间，控制基线自我效能感、期中考试 2 和作业反馈使用后，每多发送一条学生消息给聊天机器人，与期中考试 3 分数低 .0302 分相关（95% CI [−.0567, −.0036]，p = .026；N = 148），即每 100 条消息低 3.02 分。作业反馈的关联为正，但不具有统计可靠性（B = 0.084，p = .131）。

两项稳健性检验保持了聊天机器人关联为负：加入原始使用组后为 B = −.0284（95% CI [−.0543, −.0026]，p = .031），使用 log(1+x) 计数后为 B = −1.53（95% CI [−2.64, −.41]，p = .007）。对数尺度系数处于不同尺度，不应与每条消息的数值直接比较。这些是自选使用产生的关联，不是界面的随机效果；计数模型还合并了使用者和非使用者，因此无法区分是开始使用某个界面，还是采用后使用得更频繁。

一条经由聊天机器人使用的信心路径

对 148 名学生的中介分析追踪了一条从基线自我效能感经聊天机器人消息到期中考试 3 的间接关联：自我效能感每高一分，B = .622 考试分（95% bootstrap CI [.121, 1.560]；Holm 校正 p = .021）。在控制期中考试 2 后，自我效能感较高预测消息较少（B = −20.62，β = −.254，p = .004）；在控制自我效能感、期中考试 2 和反馈请求后，消息较多预测期中考试 3 分数较低（B = −.0302，β = −.180，p = .015）。

反过来读，自我效能感低一分，经由聊天机器人使用对应考试分少 0.62 分。仅经由期中考试 2 的路径为正（1.975 分，95% CI [1.028, 3.226]），期中考试 3 方程中自我效能感的直接系数为 4.18 分（β = .307，p < .001）。经由期中考试 2 和聊天机器人使用的串联路径，以及两条涉及作业反馈的路径，其区间都包含零。作者将认知卸载作为可能解释，而非已测量的机制：心理努力和学生如何使用 AI 生成的推理并未被直接测量，学生之间未测量的差异也可能促成这一间接关联。

对话显示学习目标与外包步骤并存

两个四轮对话展示了这种对比。在案例 A 中，一名学生请聊天机器人求解一个同余问题，同时表示会尝试理解解法，随后对验证公式的邀请回应“你能做下一步吗”。聊天机器人的构造还交换了两个给定逆元，并假设了一个未给出的关系。在案例 B 中，一名学生分享了一个尝试性的计数解法；聊天机器人错误地将该方法描述为重复计数，把注意力引离了实际错误。

作者用这些案例论证，向学生提问并不足够：问题必须针对学生推理中的实际错误，系统也应检查其反馈的数学依据。两个对话都没有学生后来解释并解决困难的环节。对话分析是示例性的，取自包含 106 名用户 659 个会话的标注语料，意图分类器只标注了第一条学生消息，因此一个以求助开始的会话后来可能转为求答案。

设计重点是对学生已尝试推理的反馈

论文的实践区分来自其自身比较：聊天机器人使用与后续考试分数负相关，而要求提交证明的作业反馈使用则没有负相关。作者建议不要将开放式 AI 聊天机器人用作导师，并建议探索嵌入课程活动的导师，要求学生在获得进一步帮助前先尝试并解释自己的推理。他们还提出未来进行三臂随机研究：提供答案的聊天、不提供答案只给提示的聊天，以及对提交的证明尝试给予反馈，同时尽可能保持模型和课程内容不变，并同时测试即时表现和之后在没有 AI 时的表现。

研究范围是一门证明类课程，参与同意的学生可能与未参与者不同；期中考试 2 评估的是普通课程表现，而非专门设计的迁移或延迟保持测试。由于预算原因，数据收集在期中考试 3 结束，因此期末考试未被分析。在这些边界内，决策相关的阈值不是 AI 是否提高作业分数（它确实提高了 2.56 分），而是帮助是否在学生自己产出推理之后才到来。

本文引用的文献