两个汇总数字背后是极不均衡的文献
这篇论文要回答数据驱动模型诊断 ADHD 的效果如何,核心答案来自对 54 项符合条件研究的随机效应元分析。汇总敏感度为 0.87(95% CI 0.83–0.91),汇总特异度为 0.91(95% CI 0.88–0.93)。通俗地说,研究层面的模型平均能识别约 87% 的 ADHD 病例,并正确排除约 91% 的典型发育参与者,但这是对队列、输入数据和验证设计各不相同的多项研究取平均。
真正改变数字解读方式的是异质性。森林图报告敏感度的 I² = 97.4%,特异度的 I² = 98.2%;作者还指出,元回归后残余异质性仍高于 96%。如此不稳定的汇总估计描述的是文献整体状况,而不是预测一个新模型会表现如何。
敏感度存在发表偏倚(Egger 检验 p < 0.001),特异度则未检出,但结果处于边缘(p = 0.052)。这种不对称很重要:敏感度的平均值可能受哪些研究被发表所影响,而特异度的平均值面临的是另一种更弱的担忧。
五类评估方式划分了证据
54 项研究按输入模型的数据类型分为五类:生理指标检测(6 项)、神经影像评估(26 项)、感觉与运动功能评估(9 项)、行为与主观报告评估(3 项)、多模态融合评估(10 项)。这一分组是论文的主要比较维度,也是读者最容易过度推断的地方。
各类别的汇总敏感度从多模态融合的 0.79(95% CI 0.70–0.85)到神经影像和感觉与运动功能评估的 0.90(分别为 95% CI 0.82–0.94 和 0.75–0.96)。生理指标汇总为 0.89(95% CI 0.79–0.94),行为与主观报告汇总为 0.87,但置信区间极宽(95% CI 0.03–1.00)。
类别间检验在敏感度(p = 0.068)和特异度(p = 0.743)上均无统计学显著性。因此作者把这种排序视为描述性的,而非比较性的:多模态融合的点估计较低,并不能证明融合更差,尤其是一些多模态研究的表现优于一些单模态研究。
剔除高风险研究后平均值几乎不变
偏倚风险用 PROBAST 评估,这一结构化工具覆盖参与者、预测因子、结局和分析四个领域。11 项研究(20.4%)总体被评为高风险,11 项(20.4%)为不明确,32 项(59.3%)为低风险。分析领域贡献了全部 11 项高风险判定,另有 7 项研究在参与者选择上也属高风险;没有研究在预测因子或结局领域被评为高风险。
自然的检验是这些有缺陷的研究是否驱动了主要结果。剔除 11 项高风险研究后,汇总敏感度为 0.87(95% CI 0.82–0.91),特异度为 0.92(95% CI 0.88–0.94),与主要估计的差距都在 0.01 以内。但异质性仍为敏感度 I² = 97.9%、特异度 I² = 98.5%。
这一组合是论文最尖锐的方法学要点:高风险研究并不是结果分散的原因。作者把剩余方差归因于特征工程、调参、采集方案、共病和病例定义等方面未被测量的差异,这意味着仅清理研究质量并不能让这些估计具备可迁移性。
独立测试集的敏感度更低
纳入的模型大多采用内部交叉验证进行回顾性评估,且队列往往较小。文献中样本量从 10 到 45,779 不等,中位数为 121,因此综述按该中位数拆分研究,同时把样本量作为连续变量做元回归。
元回归显示,使用独立测试集时敏感度低于使用交叉验证时。作者对含义保持谨慎:作为观察性调节分析,这本身不能证明交叉验证会抬高表现。但它确实说明验证设计与报告的数字纠缠在一起,读者比较两项研究时应检查其中是否有研究使用了真正留出的样本。
54 项研究中只有 8 项评估了成人,这限制了任何汇总数字在生命周期上的外推范围。以儿童为主是整个综述的范围条件,而不是某个亚组的细节。
无法对模态或算法组合排序
单项研究会诱使人们做出强断言。一些 EEG 研究报告了很高的内部验证准确率,一项可穿戴心率变异性研究达到 0.991 的准确率,一项使用 XGBoost 的视网膜眼底研究达到 0.969。但这些是来自不同队列和验证程序的研究特定估计,综述并未把它们汇总成正式的 EEG 与 fMRI 比较。
CNN 和 SVM 是最常用的算法家族,CNN 从高维输入中学习分层表征,SVM 则常用于小样本场景下的人工特征。论文明确拒绝得出任何算法与模态组合更优的结论,因为算法和模态效应无法与样本量、预处理、特征选择和验证方式的差异分开。
多模态融合说明了同样的陷阱。它的汇总敏感度点估计是五类中最低的,但类别间检验并不显著,作者把异质的融合策略、特征冗余、尺度不平衡和小样本列为可能的贡献因素。模态缺失还带来部署问题:MRI、EEG 或问卷数据流可能因成本、禁忌症或就诊不完整而缺失,此时完整病例分析会缩小有效样本,并在缺失与严重程度、年龄或临床环境相关时引入选择偏倚。
外部验证先于临床使用
论文自身的定位是:当前模型识别出了可用于 ADHD 分类的候选信号,但并未准备好用于临床照护。大多数模型采用回顾性评估和内部交叉验证,因此跨中心、跨扫描仪、跨人群和跨临床流程的外部验证,是任何前瞻性评估之前的前提。
作者提出的是一套顺序,而不是单一修补。前瞻性影子模式评估会在真实工作流的后台测试表现,而不让模型影响决策。报告应遵循 TRIPOD+AI,覆盖数据来源、参与者流程、缺失数据处理、预处理、模型开发、验证、区分度、校准、不确定性和亚组表现。早期临床评估应遵循 DECIDE-AI,预先指定预期用途、工作流、人机交互、安全性结局和失败分析。
方法学障碍之外还有实际障碍。许多深度学习架构的黑箱特性限制了临床医生的信任,因此作者呼吁发展可解释 AI,把模型权重映射回生物学上合理的 ADHD 特征。成本效益同样尚未评估,而获取高质量多模态数据需要大量财力和时间资源。
先统一评估,再谈模型排序
综述的结论是一个优先级排序,而不是对任何模型家族的裁决。由于类别间差异不显著,且剔除高风险研究后异质性仍高于 96%,作者主张标准化报告、统一评估协议和独立多中心验证应优先于继续对异质的研究层面估计进行排序。
对想从这篇论文中取用的读者来说,有用的区分在于汇总数字与附加条件之间。0.87 的敏感度和 0.91 的特异度是对 54 项研究的描述性汇总,敏感度一侧检出发表偏倚,且只有 8 项研究覆盖成人。可操作的结论更窄也更坚实:该领域下一步的进展来自让研究可比较并经过外部验证,而不是宣布某种模态或算法胜出。
本文引用的文献
Artificial intelligence for the data-driven diagnosis of ADHD: a systematic review and meta-analysis
在 54 项研究中,汇总敏感度为 0.87(95% CI 0.83–0.91),汇总特异度为 0.91(95% CI 0.88–0.93),残余异质性高于 96%,且模态间差异不显著。
