VOICE-AE 如何从临床环境音频自动完成 CTCAE 评分？

从一次录音门诊到分级毒性

VOICE-AE 是一条多阶段流水线，而不是单个模型。医患对话的音频先用 Whisper Large-v3 转写，再由 WhisperX 和 pyannote 说话人分离模型切分并标注说话人。第一个大模型阶段使用 Gemini 2.0 Flash，根据对话中的语义和语用线索为每个片段分配医生、患者等角色，并抽取提到症状或毒性的问答对。第二个阶段使用 Gemini 2.5 Pro，把每条识别出的毒性描述对应到预先设定的 10 个泌尿生殖系统和胃肠道 CTCAE v5.0 条目之一，并给出 0 到 5 的严重程度分级。如果同一次门诊中同一毒性在多个转写片段里被分级，则保留最高级别。

对理解结果最关键的设计是受限的输出空间：模型并不对任意毒性分级，只处理给定的 10 个条目。语音识别和说话人分离在机构本地硬件上运行，大模型阶段则在符合 HIPAA 的云环境中运行，因此音频没有离开机构，但转写文本进入了模型。

参考标准来自专家阅读转写文本

六位盲法评分者只依据带说话人标注的转写文本和毒性清单，为每次门诊的全部 10 个毒性分级；他们可以调取原始音频，但在 234 次转写审阅中只有 4 次（1.7%）这样做。基于两两加权 kappa 的层次聚类把评分者分成两组：专家组（两位放射肿瘤科医生和一位高级执业护士）与培训组（两位住院医师和一位研究研究员）。专家组成为了裁定小组，其共识分级构成参考标准。

这一点很重要，因为该研究衡量的是对转写文本应如何解读的一致性，而不是对照患者实际经历的准确性。作者指出，研究没有用病历记录的毒性或患者报告结局做外部验证，而由临床医生阅读转写文本建立的参考标准，也继承了促使这项工作开展的那种漏报局限。此外，专家组是在事后从后来用于构建参考标准的同一批评分中选出的，作者也说明这一程序预计会偏向专家组后来报告的一致性。

高原始准确率建立在 0 级占多数之上

研究纳入 31 位患者、39 次门诊，共产生 390 个门诊–毒性评估，其中 300 个（76.9%）的参考分级为 0。对照裁定后的标准，VOICE-AE 的平均加权 kappa 为 0.717，序数 Krippendorff alpha 为 0.669，完全一致的分级占 82.6%，相差不超过一级的准确率为 99.2%。平均绝对误差为 0.18，RMSE 为 0.44。

这些原始百分比需要和基线一起看：一个始终预测 0 级的分类器在这一分布上会得到 76.9% 的完全一致率和 93.6% 的相差不超过一级准确率。因此 VOICE-AE 在这两项指标上比这个无技能基线高 5.6 个百分点，而校正机会后的统计量是更有信息量的总结。仅分析参考标准中至少有一个非零分级的 32 次门诊，序数一致性基本不变（alpha 0.694 对 0.669），说明这种一致性并非纯粹来自 0 对 0 的匹配。

错误集中在 1 级和 2 级

分级别的表现显示了薄弱环节。0 级的 F1 为 0.91，但 1 级为 0.58，2 级为 0.57；加权平均 F1 0.83 主要由占多数的 0 级支撑。在“存在任一毒性”与“不存在”的二分类上，微平均敏感度为 77.8%，特异度 89.0%，精确率 68.0%，阴性预测值 93.0%。实际含义是，约五分之一的真实毒性被漏掉，约三分之一的阳性判断是假阳性。

混淆矩阵从另一个角度显示了同样的模式。在 90 个参考分级非零的评估中，55 个（61.1%）分级完全一致，26 个（28.9%）被低估，9 个（10.0%）被高估，低估约为高估的三倍。2 级事件有一半被误分类，24 个中有 8 个（33%）被给了更低的级别。队列中只有 1 例 3 级事件，没有 4 级或 5 级事件，因此不良事件报告主要想捕捉的那些严重程度上的表现无法评估。

有些毒性已解决，有些仍不行

不同毒性的表现差异很大。胀气和尿失禁与参考标准完全一致（Krippendorff alpha 1.0，F1 1.0），排尿困难的接近完美（alpha 0.91，F1 0.92），尿频和腹泻表现较强。另一端，尿路梗阻（alpha 0.08，F1 0.17）、尿路疼痛（alpha 0.31，F1 0.36）和便秘（alpha 0.47，F1 0.53）捕捉得很差。

与人类一致性对比有助于区分两种原因。尿路梗阻和尿路疼痛的人类评分者间一致性也最低（alpha 分别为 0.11 和 0.41），提示困难来自 CTCAE 定义本身。便秘则相反，人类一致性高得多（alpha 0.80），因此其较差的 AI 表现更像是特定的抽取难题，而不是固有的模糊性。作者还指出，Cohen's kappa 在低发生率时会被压低，并报告了几个低发生率毒性的 PABAK 值明显更高。

模型略低于专家之间的一致性

把 Gemini 2.5 Pro 作为第七位评分者加入后，它被归入专家组，位于高级执业护士和放射肿瘤科医生之间，与初级放射肿瘤科医生的两两一致性最高（kappa 0.687），其次是资深放射肿瘤科医生（0.654）。仅凭这一位置可能被解读为专家级表现，但同等条件的比较才是更公平的检验。

仅限三位专家组评分者时，专家彼此的平均两两加权 kappa 为 0.681（范围 0.652–0.709），而 VOICE-AE 与这三位评分者的平均加权 kappa 为 0.666（范围 0.654–0.687）。在存在与不存在的二分类上差距更大：专家之间为 0.682，模型为 0.580。全组比较看似有利于模型（0.599 对 0.586），但这只是因为 15 个人类–人类配对中包含一致性更低的培训组配对。多次运行稳定性很高，99.2% 的评估在相差一级内复现，运行间 alpha 为 0.920，因此运行间变异小于流水线与参考标准之间的分歧。

支持文档记录可行，而非自主分级

论文自己的主张是可行性：从临床环境音频到结构化、带分级的 CTCAE 输出的全自动路径，其一致性与专家人类评分者之间观察到的范围相当。作者明确说明，2 级及以上的准确性和严重毒性的检出仍未得到证明。适用范围在几个方面都很窄：单家机构的 31 位患者、前列腺癌放疗、仅限泌尿生殖系统和胃肠道毒性，而且录音来自受控的研究环境，而非日常门诊噪声。

对想从中取用的读者来说，有用的划分是按分级和按毒性，而不是按头条 kappa。这条流水线的强项是排除或确认某毒性不存在（阴性预测值 93.0%）以及保持在相差一级之内；弱项是 1–2 级边界，以及尿路梗阻和尿路疼痛等连人类评分者都不一致的条目。应当带走的是与专家评分者的同等条件比较，而不是全组比较：0.666 对专家之间的 0.681。

本文引用的文献