透明度提升了感知准确性，未提升考试信任
这项研究最明确的结果范围很窄。获得自动评分器额外信息的学生，对其评分准确性的平均评分为 0.90，评分量表从 -2（不同意）到 2（同意）；对照组平均为 0.59。Mann-Whitney U 检验显示这一差异的 p = 0.027。
这一提升没有延伸到所有态度。愿意让自动评分器给考试评分的程度没有显著差异（处理组均值 0.78，对照组 0.84，p = 0.80），喜欢该作业自动评分器的程度（0.73 对 0.77，p = 0.77）和总体满意度（0.89 对 0.78，p = 0.61）也没有显著差异。对改进用平实英语写代码解释的帮助性感知朝预期方向变化，但仅达到边缘显著（0.85 对 0.66，p = 0.083）。
一小时活动，使用一款新评分器
参与者来自美国一所大型公立大学面向非专业学生的计算机科学入门课程，在学期倒数第二周招募，完成一项额外学习活动以获得少量加分。他们被随机分配到不同条件：处理组 81 人，对照组 74 人。
活动围绕“用平实英语解释”（Explain in Plain English，EiPE）问题展开，这类问题要求学生用日常语言描述一段代码做什么。这些问题由一个基于 OpenAI GPT-4 的自动评分器评分，该评分器仿照少样本 LLM 自动评分器设计。这一点对解读结果很重要：学生已经熟悉课程中另一种基于二元词组（bigram）的评分器，它只给出对或错的答案，而本研究中的评分器会给出如何改进的书面反馈。
处理组阅读一份透明度声明，并完成关于其内容的理解测验。声明告诉学生，评分器是用以往学生数据开发的，由具有十多年代码阅读练习经验的课程人员和研究人员验证，并基于真实学生回答进行校准，准确性接近人工评分者。声明还解释，评分依据回答的整体含义，而不是特定关键词，并建议学生在被判错时改写答案。每道学习活动题还附有用于测试的真实学生提交数量和达到的准确性，这些数字因练习而异。对照组只被告知使用了 AI 自动评分器。
准确性数字来自此前的验证
向处理组展示的准确性数字并非为调查而编造。研究开始前，自动评分器被提示扮演计算机科学教师，拿到一道具体的 EiPE 题以及正确和错误的示例答案，然后在真实学生回答上验证。作者的目标是将准确性保持在 80% 阈值以上，并在至少 20 份学生回答上验证。
这一设计意味着，透明度干预传达的是评分器在以往数据上真实测得的性能，而不是关于它会如何给每名学生当前答案评分的说法。论文没有报告本研究自身评分的一个总体准确性数字；学生看到的数字因练习而异。
较高的基线信任可能压缩了效应
作者解释了为什么透明度未能改变学生让自动评分器评分的意愿。他们认为，这一零结果可能源于本研究中测得的学生对自动评分器的信任高于该领域此前研究。如果信任本来就相对较高，透明度声明能提升的空间就更小。
这是作者的解释，不是试验中检验过的机制。研究没有操纵基线信任，也没有直接与早期队列比较信任水平。数据确实显示出一个分裂：学生相信评分器准确，却不接受它用于高风险评分。
学生把反馈与最终评分分开
在两种条件下，学生都更偏好自动评分器的即时反馈，而不是等一周获得人工评分：相关条目在处理组平均为 -0.02，对照组为 -0.05，p = 0.98，这表明两组之间没有差异，而不是任何一方有强烈偏好。学生也表示愿意用自动评分器备考（处理组 1.07，对照组 0.95，p = 0.37），但对用它给考试评分热情较低。
开放式回答进一步凸显了这一区分。作者强调的一个主题是有条件信任：学生认为自动评分器用于练习没问题，但当成绩攸关时希望有人工验证。一名被引用的处理组学生说，它有助于提供反馈，但不应该依赖。作者指出，在这门课程中，使用另一种自然语言自动评分器对类似问题的回答在考试期间由课程人员验证，这种熟悉感可能在一定程度上影响了这些评论。
透明度提高了评论意愿
一个意外发现来自开放式调查问题。在四个问题中的三个上，处理组学生写的字符数明显多于对照组。在最后的评论问题上，字符数差异具有统计显著性（p = 0.043）。例外是询问负面体验的问题，两组写的数量几乎相同。
作者称这一结果初步但具有提示性：透明度可能让学生更愿意参与并评论自动评分器。分析报告了各组主题计数和百分比，但论文没有确定为什么透明度会增加评论长度。
短活动无法决定一学期的信任
若干边界限制了这些结果的适用范围。干预是一次单一短学习活动，在一门非专业入门课程中进行，而且自动评分器与学生平时使用的不同，因此学生的反应部分针对的是一款新工具。后测表现比较未发现组间显著差异，作者表示他们不关心在多名评分者之间协调前后测成绩，因为他们的兴趣在感知而非表现。
作者本人呼吁开展纵向研究，观察这类干预在一个学期内而非一小时活动中是否会产生更大效果，并研究自动评分器互动如何影响学习和知识保留，而不仅仅是感知。
透明度换来可信度，而非高风险评分许可
这项研究支持的实践重点很具体：公开自动评分器的验证数据和准确性，是提高学生相信其评分准确、并可能觉得其反馈有帮助的可行方式。但根据这些证据，它并不是让自动评分器成为考试最终评分者并获得接受的方式。
这两个结果之间的差距是论文最有用的信号。本试验中的学生本来就相对信任、偏好快速反馈，但仍然在无人工验证的高风险评分上划了界线。任何部署 AI 自动评分器的人都应把感知准确性和对评分用途的同意视为两个独立目标，并预期解释系统可能推动前者而不推动后者。
本文引用的文献
The Effect of Transparency on Students' Perceptions of AI Graders
公开自动评分器的验证数据和准确性显著提高了学生感知的评分准确性（均值 0.90 对 0.59，p = 0.027），但没有提高学生让其给考试评分的意愿或其他相关态度。