深度神经网络中的“可解释性”究竟意味着什么?
深度学习中的可解释性,意味着人类能够理解模型为何做出特定决策——而不仅仅是知道它做出了正确判断。这在医学等高风险领域至关重要,例如医生需要信任诊断结果;在金融领域也同样关键,比如贷款被拒必须能够给出合理解释。2022年一项关于医学诊断可解释性的调查指出,深度学习模型常呈现“黑箱”结构,这种不透明性使人们难以理解,从而阻碍了其在临床中的应用[8]。我们的目标,正是打开这个黑箱。
研究者区分了两个层面:全局可解释性(理解模型的整体逻辑)与局部可解释性(解释单个预测结果)。例如,2021年一项关于结直肠癌预后预测的研究中,深度学习系统实现了0.70的五年疾病特异性生存AUC值——这意味着该系统在70%的情况下能正确对患者进行风险排序——但更重要的是,它能够通过识别具有高度预后价值的特定肿瘤细胞簇来解释其预测结果[2]。这种局部解释有助于临床医生理解模型所“看到”的内容。
有哪些证据表明深度神经网络可以变得透明?
近期多项研究表明,可解释性不仅可行,而且能在不牺牲准确性的前提下实现。2024年一项关于重症监护室(ICU)干预措施预测的研究,采用图卷积神经网络将机械通气预测的准确率从81.6%提升至91.9%,同时通过“邻接矩阵重要性分析”揭示了模型所依赖的生理信号(如心率和血压),其分析方式具有临床意义[1]。这意味着临床医生能够清晰了解模型推荐使用呼吸机的具体原因,从而建立信任。
另一个有力的例子来自2023年的一项研究,该研究提出了ExplaiNN——一种用于基因组学的神经网络,它结合了卷积神经网络的强大能力与线性模型的可解释性。ExplaiNN在达到与最先进方法相当的性能的同时,还能在全局(细胞状态)和局部(单个DNA序列)两个层面提供透明的预测结果[5]。类似地,2025年一项关于乳腺癌检测的研究采用了Grad-CAM技术,该技术能够突出显示模型关注的图像区域,在组织病理图像上实现了93.97%的准确率,同时为预测结果提供了可视化依据[3]。这些例子表明,可解释性可以内置于模型设计之中,而不仅仅是事后添加的附属功能。
实现完全可解释性的主要挑战是什么?
尽管已有进展,但由于若干根本性挑战,完全的可解释性仍难以实现。首先,可解释性方法本身可能并不可靠。2023年一项关于基因组学的研究发现,用于突出重要输入特征的归因图,常常对看似随机的核苷酸产生“虚假重要性评分”,从而引入噪声,可能误导解读[4]。该研究的作者开发了一种统计校正方法来减少这种噪声,但这表明即使是解释工具也需要验证。
其次,模型复杂度与可解释性之间往往存在权衡。2022年一项关于医学诊断可解释性的调查指出,虽然线性回归等简单模型天生具有可解释性,但其准确性不及深度神经网络[8]。不过,混合方法正在兴起。例如,2025年一项关于棒球投球速度预测的研究采用了结合门控循环单元的混合图神经网络,在实现高准确性的同时,利用逐层相关性传播展示了每个关节的运动如何影响预测速度[7]。这表明,这种权衡虽可被管理,却无法被消除。
第三,可解释性在不同训练过程中可能存在差异。2023年一项关于受生物学启发的深度神经网络研究发现,节点级解释(即为特定生物学概念赋予重要性)在模型重新训练时缺乏稳健性,并且会受到用于设计网络的生物学知识中存在的偏见影响[6]。研究者开发了控制这种变异性的方法,但这凸显出可解释性并非固定属性——它取决于模型的构建与训练方式。
本文引用的文献
预测ICU干预措施:基于多变量时间序列图卷积神经网络的透明决策支持模型
用于ICU干预预测的图卷积神经网络实现了91.9%的准确率(较之前的81.6%有所提升),并通过邻接矩阵分析提供了具有临床意义的特征重要性分析。
使用深度学习进行结直肠癌的可解释生存预测
一种用于结直肠癌预后评估的深度学习系统,其5年疾病特异性生存率的AUC达到0.70,并利用人类可解读的组织学特征解释了73%–80%的预测结果。
一种基于可解释人工智能驱动的深度神经网络,用于从组织病理学和超声图像中准确检测乳腺癌
用于乳腺癌检测的DNBCD模型在组织病理学图像上达到了93.97%的准确率,并利用Grad-CAM为其预测结果提供了可视化解释。
修正基于梯度的深度神经网络解释方法在基因组学中的应用
一项研究发现了基因组深度神经网络归因图中一个此前被忽视的噪声来源,并提出了一种统计校正方法,可减少虚假的重要性评分。
ExplaiNN:用于基因组学的可解释且透明的神经网络
ExplaiNN 将卷积神经网络与线性模型的可解释性相结合,应用于基因组学领域,在实现顶尖性能的同时,还能在全局和局部层面提供透明的预测结果。
生物学启发的深度神经网络的可靠可解释性
受生物学启发的深度神经网络在不同训练轮次中,其节点层面的解释存在变异性,且易受知识偏差影响;本文提出了控制鲁棒性的方法。
利用图神经网络和门控循环单元实现棒球投球速度的准确与透明预测。
一种用于棒球投球速度预测的混合GNN-GRU模型,通过逐层相关性传播揭示了关节运动学特征对预测结果的贡献,从而增强了模型的可解释性。
关于深度学习在医学诊断中可解释性的调查
一项关于医学诊断可解释性的综述回顾了常见方法(如Grad-CAM、注意力机制)、应用场景、评估指标及挑战,指出黑箱特性是主要障碍。
