AI 工具能自动评分并反馈学生演示幻灯片吗？

这个工具实际做什么

AISSA 全称 AI-based Student Slides Analysis，是一个面向网页的工具，用于支持高等教育中口头演示幻灯片的形成性反馈。学生在演示前上传幻灯片，系统返回两类不同输出：每个评分表条目的数值分数，以及分为三部分的质性反馈，即优点、待改进之处和改进建议。

这一区分很重要，因为二者不是同一种测量。数值分数是绑定在带明确描述符的五点李克特量表上的、基于评分表的量化判断；质性文本则是用于解释和建议的生成语言。读者在比较工具时，不应把高分和鼓励性文字当作幻灯片质量的等价证据。

该工具由三个模块组成：反馈生成模块、将工具连接到 SQL 与 MongoDB 数据库及文件系统的管理模块，以及可视化模块。反馈通过交互式学习分析仪表盘呈现给学生，而不是一份静态报告。

幻灯片特征如何变成分数

反馈生成模块处理学生上传的幻灯片，提取文本长度、字体类型、行数、图片数量及其他版式特征等幻灯片级特征。这些特征连同幻灯片内容一起被组装成提示词，发送给 ChatGPT 5.2。

评分由教师定义的评分表决定。由 UAM 口头演示专家设计的默认评分表包含九项与幻灯片质量相关的标准，例如文本可读性、对比度和视觉平衡。每项标准按带明确描述符的五点李克特量表评估。教师可通过仪表盘调整评分表标准，这些修改会自动并入用于生成反馈的大语言模型提示词。

这就是论文所主张的机制：界定“好”的是评分表，而不只是模型。由于评分表可编辑并直接进入提示词，两门使用不同评分表的课程即使都返回五分制分数，也不是在做同一种测量。

展示前的校验与重新生成

模型为每个评分表条目返回一个数值分数和简短理由，以及结构化的质性反馈。在内容呈现给学生之前，AISSA 会通过检查长度和排除词等约束来校验生成输出，并在必要时自动重新生成反馈。

这一校验步骤是对形式的把关，而不是对正确性的检查。它能发现过长或含禁用词的输出，但并不能证明分数与人类专家会给出的分数一致。读者在判断该工具可靠性时应记住这一边界。

面向学生和教师的仪表盘

这些仪表盘使用 Plotly Dash 框架设计和实现。每名学生拥有一个独立的学生仪表盘，可在口头演示前上传幻灯片，并通过历史视图查看此前提交的幻灯片。处理完成后，学生可以一边浏览上传的幻灯片一边查看反馈，从而把分数和评语对应到演示中的具体元素。

学生仪表盘还展示工具所用的评价评分表、一组由教师撰写的制作有效幻灯片提示，以及各评分表条目得分的图形化可视化。学生还可以评价所生成反馈的感知质量和连贯性，这些输入会被收集起来，用于未来改进该工具及其反馈生成过程。

教师仪表盘让教师查看系统对已上传幻灯片生成的自动评价，并可直接进入每名学生的个人仪表盘。教师除查看 AI 生成的反馈外，还可以用工具所用的同一份评价评分表自行评分，并可编辑和定制该评分表，以适应不同的演示情境和学习目标。当存在教师给出的评价时，学生也会在系统生成反馈旁看到相应的量化分数，从而可直接比较自动评价与人工评价。

教师仪表盘还提供记录学生参与情况的交互日志。这些日志被聚合并以汇总指标呈现，例如学生访问仪表盘的次数、查看生成反馈的次数，或与上传幻灯片交互的次数。另有独立的管理员仪表盘，可创建、修改和删除学生、教师和课程。

可用性数字及其分母

AISSA 目前正在作者所在机构试点，约 150 名本科生和硕士生参与，属于 MOSAIC-F 框架，该框架旨在通过个性化和数据驱动的反馈提升口头演示技能。

初步可用性结果来自一个更小的群体：系统可用性量表发放给 30 名学生，平均分为 83.38，作者称这表明感知可用性极佳。这里的分母是 30 名作答者，而不是试点中约 150 名学生；该测量的是感知可用性，而非评分准确性或学习收益。

这是论文报告的唯一量化结果。它告诉读者，作答的学生认为该工具好用；它没有告诉读者自动评分是否正确、公平，或与专家判断一致。

评分一致性为何仍未测量

论文明确指出，系统性评估仍属未来工作。计划是使用 SOPHIAS 数据集中的演示幻灯片，将 AISSA 生成的自动分数与作者所在机构专家教授给出的评价进行比较。该分析旨在考察 AISSA 与人类评价模式的一致程度，既包括统计差异，也包括绝对一致性，并探索评分表各维度在标准层面的相似与差异。

在该比较完成之前，该工具的评分效度仍是未决问题。仪表盘已支持自动分数与教师分数的并排查看，因此比较所需的基础设施已经存在，但论文没有报告任何一致性统计量、相关性或标准层面的准确性结果。

其他计划工作包括：探索所生成反馈的感知有用性、信任度和教学价值；比较不同 AI 模型，包括商业大语言模型与本地或开源替代方案，以确定哪些与人类评价最接近；以及研究使用多模态数据来改进反馈。

透明度与数据处理约束

为支持合乎伦理且透明的使用，学生会事先被告知其幻灯片将上传至外部生成式 AI 服务器进行自动分析，并被要求不要在提交材料中包含个人或敏感信息。平台和反馈提供英语和西班牙语，与演示所用语言无关。

这些条件界定了所报告可用性结果的覆盖范围。83.38 分来自那些知道幻灯片会离开机构系统、并被要求排除敏感内容的学生。任何采用决定都继承同样的告知与数据处理要求，且语言覆盖仅限于英语和西班牙语。

比较自动分数与人工分数时看什么

这篇论文最具决策相关性的特征不是可用性分数，而是作者已搭建但尚未完成的比较。AISSA 的默认评分表有九项标准，按五点李克特量表评分；计划中的 SOPHIAS 评估将检验与专家教授的一致性，既看统计差异，也看绝对一致性，并关注标准层面的差异。

标准层面的框架正是应关注之处。一个工具可能在总体上看起来可以接受，却在对比度或视觉平衡等个别评分表维度上明显偏离，而论文自己的计划也承认这一点，因为它针对的是评分表各维度之间的相似与差异，而不是单一总体数字。

因此，对于正在判断自动幻灯片评分是否可信的读者，论文自身的优先级很清楚：可用性证据有 30 名作答者，评分效度证据尚不存在，而与专家教授进行标准层面一致性研究的结果，才会改变答案。

本文引用的文献