自监督学习能否用更少标签分类甲状腺细胞学图像？

八类病变，更少专家标注

甲状腺细针穿刺细胞学用于术前评估甲状腺结节，而为它构建深度学习模型通常需要大量由专家标注的图像。论文要回答的问题是：自监督学习能否在不大幅牺牲分类准确率的前提下，减轻这种标注负担。

作者回顾性分析了来自393个甲状腺结节的细胞学图像，并提取出142,158个图像块。分类目标并非简单的良性与恶性之分：模型需要把图像块归入八类病变，包括滤泡性肿瘤、嗜酸细胞性滤泡性肿瘤、甲状腺乳头状癌、甲状腺低分化癌、甲状腺未分化癌、甲状腺髓样癌、原发性甲状腺淋巴瘤和非肿瘤性病变。

先在无标签图像块上预训练，再微调

这里的自监督学习，指在使用任何诊断标签之前，先训练模型从无标签图像中构建有用的图像表示。研究用 DINOv1、iBOT 和 MAE 三种方法，在无标签图像块上预训练视觉 Transformer 模型。之后才用不同数量的标注数据对模型做分类训练。

对照基线是同一系列、在 ImageNet（通用物体图像数据集）上预训练的视觉 Transformer。这一设置的意义在于：它分离出的是“用无标签细胞学图像做预训练”的价值，而不是“使用视觉 Transformer”本身的价值。性能通过五折交叉验证、精确率—召回率曲线下面积（PRAUC）和宏平均 F1 评估；宏平均 F1 对八类分别计算 F1 后取平均，避免常见类别主导整体分数。

标注降至1%，自监督仍站得住

标注数据越少，不同预训练策略之间的差距越大。使用100%标注数据时，PRAUC 为 ImageNet 预训练0.9302、DINOv1 0.9500、iBOT 0.9542。使用10%时，三者分别为0.8644、0.9321和0.9418。使用1%时，ImageNet 预训练降至0.7065，而 DINOv1 达到0.8711，iBOT 达到0.8987。

宏平均 F1 呈现同样的趋势：使用1%标注时，ImageNet 预训练为0.6565，DINOv1 为0.7932，iBOT 为0.8060。MAE 是自监督方法中的例外，在1%标注下 PRAUC 为0.7620、F1 为0.7396，低于另外两个自监督模型，更接近 ImageNet 基线。因此论文的主张并不是“任何自监督方法都同样有效”；收益取决于采用哪种预训练目标。

iBOT 分数更高，作者却选了 DINOv1

在低标注条件下，iBOT 取得了最好的下游任务分数，但作者选择 DINOv1 作为主要方法。他们给出的理由是实用性的：iBOT 在 token 级和全局级同时使用双重损失，训练更复杂，需要更精细的参数调优；其注意力图也经常出现伪影，妨碍识别模型关注区域。DINOv1 更易训练，也更易可视化。

这是作者关于可用性的判断，而不是性能结果。比较这两种方法的读者应保留这一区分：在1%标注下，iBOT 的 PRAUC 和 F1 更高；而 DINOv1 是被带入诊断流程、并与细胞技师进行比较的模型。

诊断流程超过四名细胞技师

以 DINOv1 预训练模型结合 LightGBM 构建的诊断流程，平均分类别准确率达到0.94。在同一比较中，四名参与研究的细胞技师（记为 A 至 D）平均准确率分别为0.74、0.61、0.65和0.48，四人多数投票为0.70。AI 的平均 F1 为0.94，平均 PRAUC 为0.99。

分类别结果显示了人与模型差距最大的地方。对于甲状腺低分化癌，四名细胞技师的 F1 分别为0.02、0.02、0.05和0.23，而 AI 为0.96。作者给出的是解释而非证明：被诊断的样本来自不同机构，样本制备和染色方法略有差异；人类诊断通常基于整个标本，而非显微镜下的单个视野；此外约90%的甲状腺恶性肿瘤是乳头状癌，专家很少遇到其他类型癌症。

人机结合优于人类多数投票：四人多数投票加 AI 的平均准确率为0.79、平均 F1 为0.72，而仅四人投票为0.70和0.63。作者还指出，AI 分类病变的速度比人类快100倍以上。

无诊断标签也形成病变特异性聚类

用 t-SNE 把 DINOv1 训练模型的图像特征投影到二维坐标后，聚类与病变类型相对应，尽管在这一表示学习过程中没有使用任何监督标签。作者报告，这些表示似乎捕捉了颜色和形状上的相似性，并提示其有潜力区分甲状腺癌的不同细胞学特征。

这是关于所学表示的观察，而不是经过验证的诊断能力。论文将其视为一种线索：此类模型或许无需额外的监督任务即可解释，这些表示也可能被复用于其他下游任务，如相似图像检索、分割和预后预测。这些应用并未在本研究中测试。

图像块边缘的肿瘤细胞被误读

对基于自监督视觉 Transformer 训练模型的错误分析发现，肿瘤细胞位于图像块边缘的图像常被误判为非肿瘤性病变。作者将其归因于图像处理方式的不匹配：人类标注者先看原始显微镜图像，再将其切分为图像块，因此能识别整个肿瘤细胞区域；而模型只在单个图像块上训练和预测。

这是基于图像块流程的具体边界，而不是自监督学习的普遍失败。它也指出了此类系统用于完整显微镜视野之前需要额外开展的工作。

单中心数据限制外推能力

研究局限于单一机构，作者表示这限制了他们评估该方法在不同患者人群和成像流程中泛化能力。他们呼吁将自监督学习应用于多机构细胞学图像数据集。作者还指出人机比较的另一项限制：细胞技师诊断的样本与其所在机构的样本不同。

在这一范围内，论文最具决策相关性的比较不是自监督学习与监督学习的一般对比，而是在标注稀缺时应选择哪种预训练目标。使用1%标注数据时，iBOT 和 DINOv1 的 PRAUC 都保持在0.87以上，而 ImageNet 预训练降至0.7065，MAE 未带来同等收益。证据支持的实践优先级是：选择适合细胞学图像的自监督目标，并在把报告的准确率视为可迁移之前，先在多机构数据上验证。

本文引用的文献