九方位照片与深度学习能否准确诊断斜视?

两层深度学习系统用单张注视照片筛查斜视,用九方位照片分型,表现接近资深专科医生。

直接答案

可以,但需要区分两个层级。单张第一眼位照片在前瞻性测试集上以99.53%的AUC支持斜视筛查;而名为Strabismus-Net的九方位架构对亚型分类的AUC从垂直斜视的90.20%到外斜视的99.19%不等。九方位模型在所有亚型上与三位资深专科医生相当,并在两项最难的任务上优于三位初级住院医师,但垂直斜视仍是最弱的类别。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

一张照片筛查,九张照片分型

论文提出的是一套两层诊断系统,而不是单一模型。第一层是筛查模型,只读取第一眼位照片,也就是人可以在家中拍摄的正前方照片,判断是否存在斜视。第二层是Strabismus-Net,读取完整的九方位照片组,包括一个第一眼位、四个第二眼位和四个第三眼位,并给出亚型。其逻辑是:大规模筛查需要尽可能低成本的输入,而初步临床诊断需要足够多的视角,才能区分外斜视、内斜视和垂直偏斜。

论文称其证据基础是迄今已知最大的斜视注视照片数据集。回顾性数据集包含来自9,433人的84,897张照片,其中7,187人被诊断为斜视,2,246人为正位,即双眼正常对齐。另一个前瞻性数据集包含来自1,162人的10,458张照片,用于测试,其中有848例斜视和314例正位。照片来自同一家眼科医院的住院和门诊患者,使用分辨率至少1200万像素的设备,在33厘米至1米距离拍摄。

单一视角为何漏掉垂直偏斜

第一眼位筛查模型作为是或否的筛查工具表现良好:内部验证AUC为99.58%,前瞻性独立测试AUC为99.53%。但当同类第一眼位模型被要求做亚型分类时,情况明显改变。正位的AUC为95.42%,外斜视为93.17%,内斜视为84.28%,而垂直斜视仅为49.63%。

作者将这一差距归因于该病症的几何特性:某些垂直偏斜在患者正视前方时不可见,只在第二或第三眼位才显现。这一解释正是第二层存在的原因。它也意味着,99.53%的筛查数字不应被理解为单张照片能够对斜视分型的证据;它回答的是另一个问题,即存在与否,且基于不同的输入。

交叉注意力让各注视方位互相参照

Strabismus-Net接收一批九张裁剪后的眼区图像。先由基于YOLOv8的步骤从全脸照片中检测并裁剪眼区,这既统一了输入,也去除了可识别的面部内容。随后,一个预训练的混合视觉Transformer将每张注视图像编码为512维向量。

真正有特点的是接下来的步骤。一个三阶段级联交叉注意力模块让九个注视方位特征相互作用,使某一注视方位的表示可以通过可学习的查询-键-值映射获得其他方位的信息。然后,自适应特征聚合步骤根据九个特征均值计算各方位的重要性得分,并将它们融合为一个全局512维向量。两个分类器共享该向量:一个三分类的水平斜视分类器(非水平斜视、外斜视、内斜视)和一个二分类的垂直斜视检测器。通俗地说,模型不是对九个独立意见取平均,而是学习哪些注视方向对当前判断重要。

每增加一个模块,平均AUC都上升

消融研究使用10折交叉验证的平均AUC,分离出每个设计选择的贡献。采用简单特征拼接的基线视觉Transformer达到95.52%。加入双流交叉注意力机制后升至96.85%。在此基础上再加入自适应特征聚合,达到98.23%的峰值平均AUC。

这是在同一数据上对模型变体进行的论文内比较,因此它支持这两个模块在该设定下提升了性能这一结论,但并不能证明同样的增益会迁移到其他数据集或相机设置。最终架构使用加权分类交叉熵训练以处理类别不平衡,并选择验证性能最佳的那一折用于测试。

亚型表现强,垂直类别偏弱

在前瞻性测试集上,Strabismus-Net对正位的AUC为97.15%,外斜视为99.19%,内斜视为99.11%,垂直斜视为90.20%。这一排序很重要:数据集中占主导的三个类别表现接近上限,而第一眼位模型完全无法检测的垂直斜视类别虽有明显提升,但仍明显落后。

作者还报告,模型在某些罕见垂直偏斜上的表现仍不理想,要实现更细粒度的表型特异性诊断,需要扩大罕见病因的样本量。这一限制紧邻垂直斜视结果,也是读者在判断九方位成像是否足以支持某一临床用途时应权衡的数字。

与资深医生相当,优于初级医生

三位初级眼科住院医师和三位资深斜视专科医生(每位至少有15年亚专科经验)在不知晓临床元数据的情况下,独立判读同一批前瞻性九方位照片组。AUC的两两比较使用DeLong检验。模型在所有亚型上的表现与三位资深专科医生相当,P > 0.05。

差距出现在任务最难的地方。在识别垂直斜视时,模型显著优于三位初级住院医师(P < 0.001);在确认正位时,模型也优于他们(P < 0.05)。在外部测试集上,模型的垂直斜视AUC为90.20%,而三位住院医师分别为75.93%、77.20%和78.80%;在外斜视和内斜视上,住院医师与模型更接近。这一比较针对的是仅凭照片判读的临床医生,而不是进行完整检查的临床医生。

注意力落在瞳孔、反光和角膜缘

研究使用Grad-CAM热图可视化哪些区域驱动了模型的决策。作者报告,模型的注意力与临床相关的眼部特征在解剖上高度一致,具体包括瞳孔、角膜反光和角膜缘。这是一项可解释性检查,不是性能指标,但它回应了一个实际质疑:模型是在读取眼位对齐,还是在读取某些偶然的图像伪影。

论文还将两层模型嵌入一个集成管理平台,旨在规范数据采集并简化向斜视亚专科医生的转诊。作者指出,该平台的实际落地和转诊结局收益尚未经过充分检验,需要开展前瞻性、多中心试验。因此,所报告的结果涉及照片上的诊断准确性,而不是部署该流程后改善的患者结局。

单中心数据与被排除的照片

若干边界限定了这些数字。所有照片均拍摄于中国的一家医院科室,且数据集不公开,因此报告的AUC仅适用于该场景和该成像方案。照片组若存在超过2像素边缘锐度阈值的运动模糊、图像间超过30%的亮度差异,或受试者佩戴眼镜,则被排除;照片组还要求角膜暴露超过80%,且注视偏离目标方向约小于10度。因此,模型是在通过质量筛选的图像上评估的,而不是家庭用户可能提交的任何图像。

实际优先级来自比较结果,而不是头条AUC。筛查层适合广泛分诊,九方位层则在单一正前方视角失效之处恰好增加价值:垂直偏斜和确认正常对齐,这正是它与初级住院医师拉开差距的两个场景。把99.53%的筛查数字当作诊断,或把90.20%的垂直斜视数字当作已解决,都会错置这两项结果。

本文引用的文献

1

Strabismus-Net mobile application for nine-gaze photograph-based strabismus diagnosis using dual-stream cross-attention and adaptive feature aggregation

一套两层系统用第一眼位照片筛查斜视,前瞻性AUC为99.53%;用九方位照片分型,正位AUC为97.15%,外斜视为99.19%,内斜视为99.11%,垂直斜视为90.20%;在垂直斜视和正位确认上与资深专科医生相当,并优于初级住院医师。