AI 系统能否支持高等教育中的协作同伴反馈？

AICoFe 让教师留在反馈回路中

AICoFe 是一个以人为中心的系统，用于高等教育中的教师、同伴与自我评估。它由四个模块组成：可视化模块、管理模块、反馈生成模块和录制模块。管理模块连接平台的 SQL 与 MongoDB 数据库以及文件系统，录制模块则用一台标准笔记本电脑和 Microsoft Teams 以视频和音频记录学生表现。

其设计前提是：同伴反馈往往流于表面或前后不一致，因为学生缺乏给出建设性意见所需的反馈素养。AICoFe 并不取代同伴判断，而是在评分量表评估之上加入生成式 AI，并让教师作为主动的中介者审阅和筛选最终反馈。

三个仪表盘分别承担评估、反思与筛选

评估者仪表盘在评估过程中支持教师和学生。评估者选择评分量表和一个目标学生，逐项给出李克特评分并添加文字评语，评分量表的等级描述始终可见，以统一理解。系统还会记录评分时间等交互元数据，供后续分析。

学生仪表盘用于促进反思性学习。学生可以回看自己表现录像，并用同伴和教师所用的同一份评分量表完成自评。随后，仪表盘会可视化自评分数与所收到汇总评估之间的差异和一致之处，同时呈现 AI 支持的协作反馈，学生可直接在仪表盘内对其连贯性和有用性打分。

教师仪表盘支持审阅与筛选。教师可以查看同伴和教师给出的量化分数与定性评语，访问学生表现录像，并审阅不同大语言模型生成的反馈。他们可以选取、编辑或组合 AI 输出中的句子，组成最终反馈；日志会记录草稿和已发送版本，并区分大模型句子与教师修改过的句子。通过 Google 文字转语音，教师还能收听详细的评估评语。

三个微调大模型按固定三段结构起草反馈

反馈生成模块把教师和同伴的量化评估结果与定性观察结合起来。它在早期工作基础上扩展到多模型设置，每个大语言模型各生成一份独立反馈，共三份。每份反馈都遵循预设的三段结构：优势、待改进之处，以及包含具体建议的行动计划。

生成之前，文字评语会被规范化以去除无效字符，并自动筛查其与被评估量表条目的相关性。筛选后的数据被组合成课程专属提示词，其中整合了量表平均分、经过验证的定性观察以及量表等级描述。发送给生成模型的所有数据均已匿名化。

该模块支持 OpenAI GPT-4.1-mini、Google Gemini 2.5 Flash 和 Meta Llama 3.1。三者都用 SOPHIAS 数据集进行监督学习微调，输入输出对按三段反馈结构组织。GPT-4.1-mini 通过 OpenAI API 微调 3 个 epoch（学习率倍数 2，最终损失 0.934）；Gemini 2.5 Flash 通过 Google Vertex AI 微调 40 个周期，在第 45 步选出最优检查点（最终损失 0.759，准确率 0.744）；Llama 3.1 在本地通过 LoRA（r=16，alpha=32）配合 4 位 NF4 量化微调 3 个 epoch（最终损失 1.210）。

生成后还有一个验证阶段，检查教师设定的长度、连贯性和受限词等约束，必要时自动重新生成。提示词中只包含匿名化的量表分数和评估者评语，并通过迭代优化提示词让输出始终基于观察，以降低幻觉风险。

评估覆盖两个学位层次的 65 名学生

AICoFe 于 2024—2025 年在马德里自治大学部署，共有 46 名本科生和 19 名硕士生参与。学生进行口头报告，并通过基于评分量表的同伴、自我和教师评估接受评价。教师依据每门学科的具体能力标准设计评分量表，以与各课程的学习目标保持一致。

论文报告称，这种多来源设计的可靠性已通过评分者间一致性分析和评分偏差检查得到验证，与以往工作一致。这一点对理解满意度结果很重要：学生评分的反馈是在作者视为可靠的设计中产生的，而不是来自未经校验的评分设置。

两个群体的连贯性与有用性评分都较高

学生在学生仪表盘内用数值量表对反馈连贯性和反馈有用性打分。硕士生（19 人中的 17 人，89%）报告的连贯性均值为 9.24（标准差 0.83），有用性均值为 9.00（标准差 1.22）。本科生（46 人中的 46 人，100%）报告的连贯性均值为 8.83（标准差 0.92），有用性均值为 9.20（标准差 1.02）。

两个群体在哪个维度得分更高上存在差异：硕士生的连贯性评分高于有用性，而本科生的有用性评分高于连贯性。两者都处于高位，作者将这些分数解读为提示教师筛选后的 AI 反馈被认为与学生表现相符且可操作。这些是在仪表盘内收集的感知测量，并非对反馈准确性或学习结果的独立评估。

可用性评分优秀，但样本更小

可用性用系统可用性量表测量。共有 31 名参与者完成问卷，平均 SUS 得分为 79.91（标准差 11.92），论文称这对应优秀的可用性水平。

这里的分母是 31 名参与者，而不是部署中的 65 名学生，因此可用性结果所依据的子集小于满意度评分。论文没有报告这 31 名参与者来自哪些学位层次，所以 SUS 得分不应被解读为分群体的结果。

证据支持的是满意度，而非学习增益

论文自身的结论是：AICoFe 在保留强教师监督的同时，支持连贯、有用且具有教学意义的反馈，这些发现凸显了教师在 AI 辅助评估中作为主动中介者的重要性。作者还把 AICoFe 描述为一个实用且有研究依据的模型，可在不牺牲反馈质量的前提下扩展同伴评估。

这一表述应结合实际测量内容来看。报告的结果是学生评定的连贯性和有用性，以及一个 SUS 可用性得分。论文没有报告对照组、前后测学习测量，也没有把 AI 辅助反馈与无 AI 的反馈进行比较，因此这些结果无法证明 AICoFe 能提升学习，也无法证明它优于常规同伴反馈。

这次部署也有边界：2024—2025 年在一所大学的 65 名学生、口头报告，以及由教师按学科设计的评分量表。作者表示未来工作包括更大规模部署，以及把多模态数据和生物特征整合进反馈过程，这说明当前证据是一次真实环境下的初步评估，而非规模化评估。

教师筛选才是值得关注的变量

AICoFe 最具决策相关性的特点不是三个大模型生成反馈，而是教师在最终反馈到达学生之前选取、编辑或组合句子，并有日志区分大模型句子与教师修改过的句子。因此，满意度评分描述的是教师筛选后的 AI 反馈，而不是原始模型输出。

对于正在权衡是否采用类似系统的读者，这一区别划出了实际门槛。论文的证据支持在这次部署中把评分量表打分、多模型起草和教师中介结合起来；它没有说明同样的学生对未经筛选的大模型反馈会如何评分，也没有说明系统在不同评分量表、学科或更大规模学生群体中会表现如何。下一个有用的检验是：承载感知到的连贯性和有用性的，究竟是筛选环节，还是生成环节。

本文引用的文献