为什么不给答案可能比给更好的答案更重要
无限制的聊天机器人以生成有用回应为目标,而这往往意味着直接给出答案。基于提示的辅导工具目标不同:它试图让学习者持续承担认知工作。在网络安全教育中,处于提示式环境的学生表现出与使用通用聊天机器人者不同的求助行为,作者将辅导工具设计视为减轻无限制聊天机器人使用所带来学习危害的一种方式 [3]。这是一个行为信号,并不能证明考试成绩更好,但它指向了机制:提示改变了学生下一步做什么。
一个面向新手程序员的 JupyterLab 提示系统设计案例研究把同样的逻辑讲得更明确。该系统使用苏格拉底式提示而非直接答案,作者描述了“有帮助”与“过于有帮助”之间的张力 [4]。摘要指出,使用无限制 AI 代码生成器的新手完成了任务,而这恰恰是问题所在:完成任务不等于学会独立完成任务。
证明学习的案例:当聊天机器人的帮助看起来像认知卸载
最直接的警示来自一门本科数学课程。学习写证明的学生被分为三组进行比较:使用 AI 聊天机器人、使用作业反馈界面、不使用 AI。该研究建议不要用聊天机器人做 AI 辅导,并建议探索辅导界面 [5]。其框架是认知卸载:聊天机器人可能替学生承担了本应由学生练习的推理。
这并不能说明每个基于提示的辅导工具都胜过每个聊天机器人。它说明的是,在一项重点在于构建论证的任务中,无限制给答案的工具形态不对。基于提示的界面是一种合理的替代方案,但同一项研究只是建议和假设,并非已完成的、基于提示的辅导与聊天机器人使用的直接对比试验 [5]。
提示适用于哪里,证据又在哪里更薄弱
基于提示的辅导最明确的动机出现在程序性或推理密集的学科:编程和网络安全正是设计并观察了受约束的提示式辅助的场景 [3][4]。在这些场景中,学习者本应一步步构建解决方案,因此提示可以让下一步保持在可及范围内,而不是替学习者完成这一步。
对于口语练习,比较情况不同。一项针对 110 名学习者的研究发现,AI 文字聊天组和 AI 语音聊天组都提升了口语表现,而面对面互动结果不一;AI 语音聊天配对在表达观点方面优于其他组 [1]。该研究并未测试基于提示的辅导与无限制给答案之间的对比,因此不应被解读为支持或反对提示的证据。它确实表明,对于口语表现,互动方式本身——语音还是文字——可能很重要,而这是与是否给答案不同的设计杠杆 [1]。
学习者和教师在实践中应期待什么
实际答案是有条件的。当任务要求学习者自己生成推理,且辅导工具被设计为不直接给出答案时,基于提示的 AI 辅导更有可能提升独立表现 [3][4]。这种好处不是自动的:提示系统仍可能过于有帮助,JupyterLab 的设计者将此描述为一个尚未解决的张力,而非已解决的问题 [4]。
证据也尚未确定效应大小。网络安全研究测量的是现场行为和表现 [3],编程研究是一个设计案例研究 [4],证明学习研究则是一门课程提出的建议 [5]。这些来源支持的是一个设计原则——不给出答案,保护学习者的推理——而不是保证任何基于提示的辅导工具都会胜过任何聊天机器人。
本文引用的文献
利用 AI 聊天机器人提升学习者口语表现是否有益?
AI 文字聊天组和 AI 语音聊天组都提升了口语表现,其中 AI 语音聊天配对在表达观点方面优于其他组,而面对面互动结果不一。
面向安全编程 AI 辅导工具的人格强化:行动中的自适应辅助
该论文考察了一个 AI 辅导系统,它使用自适应的、基于提示的辅助,而非无限制的自然语言回应,并将其与通用聊天机器人方法进行对比。
黑客会梦见电子教师吗?:对网络安全学生使用 AI 辅导工具时的行为与教育表现的大规模现场测量……
在网络安全教育中,处于提示式辅导环境的学生表现出与使用通用聊天机器人者不同的求助行为,作者将辅导工具设计视为减轻无限制聊天机器人使用所带来学习危害的一种方式。
为新手程序员设计受约束的 AI 辅助:来自 JupyterLab 提示系统的张力与假设
一个面向新手程序员的受约束 AI 辅助系统使用苏格拉底式提示而非直接答案,设计者描述了在“有帮助”与“透露太多”之间取得平衡的张力与假设。
支持还是替代学生的推理?AI 辅助证明学习中的认知卸载
在一门本科证明学习课程中,该研究建议不要用聊天机器人做 AI 辅导,并建议探索辅导界面,理由是认知卸载方面的担忧。
