多模态 AI 能否在常规部署中为医学生 OSCE 评分？

AI 负责首轮评分，人工集中在低分尾部

论文报告的是作者所称的首个前瞻性、单中心部署：用一套整合式多模态 AI 系统为本科医学生 OSCE 评分。该系统名为 MAPLES（Multimodal Assessment Pipeline for Learning Encounter Scoring，学习型临床接诊评分多模态评估流水线），是一条由评分量表驱动的零样本多模态大语言模型流水线：它直接依据评分标准为每个量表条目打分，不需要针对具体任务训练模型。

理解后面每一个数字，都要先理解这套工作流程。每次接诊产生三类材料：一份书面临床记录、一段音频录音，以及同步的三机位视频。MAPLES 为所有学生的全部条目打分。随后，总分落在书面记录最低 5% 或音视频最低 10% 的学生被分流给标准化病人评估员（SPE），由他们在不知道 AI 分数的情况下重新评分。超出预设容差的分歧升级给医生，医生同时看到两个分数及其来源证据，并给出最终的实际评分。

因此，AI 并没有独自评分，人也没有评完所有内容。AI 完成常规的首轮评分；人则集中处理最可能需要补教的学生，以及两名评分者出现分歧的条目。

一致性数字只描述被分流的低分尾部

在被分流的复核集中，AI 与 SPE 的完全一致率为 72.0%（95% CI 69.1–74.5），容差一致率为 87.7%（95% CI 86.6–89.0）。这两个指标回答的是不同问题，不能互相替代。完全一致要求分数完全相同；容差一致要求二分类条目分数相同，但对有三个及以上有序等级的条目允许相差一个等级。

这一区分之所以重要，是因为多数分歧都很小。在复核条目中，AI 给出更高分数的有 1,060 条（21.3%），给出更低分数的有 330 条（6.6%），论文报告多数 AI 与 SPE 的分歧只相差一个等级。正是这种分布，支持在升级前设置容差窗口，而不是把每一处不一致都当作错误。

论文明确写明了适用范围：复核是有意集中在被 AI 标记的低分学生身上，而不是代表性样本，因此这些一致性和裁决结果描述的是被分流的低分尾部内的表现，不应被解读为整个队列中 AI 与人类水平相当的估计。

书面记录完全一致最高，视频容差一致最高

一致性随证据模态而变化。书面记录条目的完全一致率为 80.0%，音频为 61.6%，视频为 69.4%。容差一致率的排序则相反：书面记录 85.7%，音频 89.2%，视频 92.4%。

论文的解读是，音视频上的分歧大多是多等级判断量表上一个等级的差异，而不是严重错误。这一解读与分歧方向的数据相符：AI 给出高于 SPE 的分数，在书面记录（16.2% 对 3.8%）和音频（29.5% 对 8.9%）中更常见，而视频上的分歧方向更均衡（16.3% 偏高对 14.3% 偏低）。

评分等级结构也有影响。按条目等级分层的二次加权 kappa 在二至五级条目上为 0.60–0.75，在六级条目上为 0.46；完全一致率从二级的 82.3% 降到六级的 36.5%，而容差一致率一直维持到六级这一极端。等级越细，AI 与 SPE 的吻合越弱。

多数升级分歧中医生支持 AI 分数

753 条升级条目中，剔除因评分量表和数据输入错误造成的分歧后，剩下 616 条真实分歧构成裁决分析集。其中，医生分数与 AI 一致的有 468 条（76.0%；95% CI 72.0–79.8），与 SPE 一致的有 117 条（19.0%），两者都不一致的有 31 条（5.0%）。

这种倾向在每个模态中都存在，但从文本到音视频逐渐减弱：书面记录条目为 81.6%（n = 376），音频为 69.6%（n = 207），视频为 51.5%（n = 33）。与两名评分者都不一致的条目在书面记录中很少（0.8%），在音频（11.6%）和视频（12.1%）中更常见。无论 AI 分数高于 SPE（76.9%）还是低于 SPE（69.6%），医生都更常支持 AI 分数，因此这一模式并不限于 AI 给分更宽松的情况。

论文对这说明什么、不能说明什么保持谨慎。裁决者看到两个分数及其来源，因此锚定效应或自动化偏差可能影响了吻合比例。作者指出，这些比例描述的是在一个经过筛选、来源可见的裁决集中医生分数与 AI 的吻合情况，不应被解读为评分者准确性的比较或优劣判断。

AI 的错误主要是评分过宽和记录位置错误

医生有评论的裁决按成因分类。在 127 条归因于 AI 的实例中，占比最大的是评分过宽（48 条，37.8%）和记录位置错误（32 条，25.2%），其次是评分量表缺乏具体性（16 条，12.6%）、证据疏漏（12 条，9.4%）和编造证据（12 条，9.4%）。

在 131 条归因于 SPE 的实例中，主要成因不同：证据疏漏（46 条，35.1%）和临床知识（32 条，24.4%），评分过宽为 24 条（18.3%）。论文指出，SPE 评分者未能识别评分量表术语与接诊中实际写下或说出的内容之间的等价关系，而 AI 在这一类错误上极少（低于 2%）。

作者认为，相比人类错误，AI 错误更容易通过提示词和指令工程修正；专家意见还认为，提高评分量表的具体性和清晰度是系统演进中可做的最大单项改进。编造证据只占 AI 错误的一小部分（低于 10%），说明幻觉风险在多模态评估中仍然存在。

人工评分次数降 92.3%，复核工作仍在

AI 辅助流程共需要 5,616 次人工评分：4,973 次 SPE 独立重评和 643 次医生裁决。作为对照的单轮人工流程，需要为 72,907 条保留的条目级评分各做一次评分，论文据此报告下降 92.3%。分模态看，书面记录下降 94.0%，音频下降 88.3%，视频下降 88.9%。

论文把这一定位为人工判断的重新分配，而不是取消。SPE 仍负责低分尾部的分流复核，医生仍负责裁决；同一复核过程还暴露出此前未被发现的含糊、有缺陷和写错的评分量表条目。教师报告说，他们的注意力从“怎么评分”转向了“评估哪些技能”。

还有两项运营数据。AI 的 token 成本估计约为每次接诊 1.73 美元，按 1,110 次名义接诊推算，整个队列成本约为 1,900 美元；从考试到成绩报告的总周转时间从数周或数月缩短到两周以内。这些是基于所述定价假设的规划估算，不是实际账单。

这是部署研究，不是评分者比较

论文直接说明，其贡献最好被理解为一次评估系统部署，而不是评分者之间的比较。在这一流程中，医生对 AI 的倾向说明升级的分歧很少需要偏离 AI 分数，但并不能证明 AI 比 SPE 评分更好。要回答这个问题，需要盲法裁决、在分数分布上均匀抽样，以及高质量的独立专家参考评分。

若干边界来自研究设计。这次部署是前瞻性的，但只在单中心进行：一个模拟中心、222 名二年级学生、十种站点形式，评分量表由本地教师编写。学习者层面的排序一致性分析只纳入被 AI 低分选中的学生，因此描述的是被分流复核集内的排序，而不是整个队列。条目级 OSCE 数据属于受 FERPA 保护的教育记录，不公开。

分流阈值本身就包含一个判断：书面记录 5%、音视频 10% 的窗口，部分原因是这些 OSCE 主要用于形成性评价，且历史上通过/不通过的变动只发生在约最低 3% 的学生中。若用于高利害的终结性评价，需要不同的复核策略和各自的验证。

真正承载风险的是复核阈值，而非模型

这篇论文中最关键的并非 76.0% 的医生吻合率，而是决定 222 名学生中哪 28 人接受独立人工复核的分流阈值：12 人经书面记录通道，23 人经音视频通道，其中 7 人同时被两条通道选中。后续的一切——4,973 次 SPE 重评、616 条裁决分歧、92.3% 的人力下降——既取决于模型，也同样取决于这条筛选规则。

这让阈值成为安全与节省之间的权衡点。放宽复核窗口，会对边缘学生投入更多人工监督，但也会让一部分人力节省回吐；收窄窗口，能省下更多评分次数，却会让更多仅由 AI 给出的分数留在记录中。论文为较宽的 5–10% 窗口给出的理由，是在历史上通过/不通过决策变动所在的约最低 3% 之外再加一层安全边际。

对考虑采用这一流程的项目来说，可迁移的经验是把复核阈值当作首要设计参数，并用本地评分分布来验证它，而不是把报告中的一致性百分比当作通用基准照搬。这里的一致性数字描述的是某一机构被分流的低分尾部；阈值才决定这段尾部是否值得投入人工注意力。

本文引用的文献