大规模预训练模型能否有效跨领域迁移？

将预训练模型迁移到新领域时，你能期待多大提升？

收益可能非常可观，在专业任务中往往能将准确率推高至95%以上。一项关于卫星图像自然场景分类的研究中，对基于ImageNet预训练的ResNet-50模型进行微调后，在NaSC-TG2数据集上达到了99.5%的准确率[5]。这意味着该模型几乎能正确识别每一种土地覆盖类型，尽管预训练数据（日常照片）与卫星图像毫无相似之处。同样，在白血细胞分类任务中，将领域特定知识（如细胞形态与纹理规则）融入DenseNet121等预训练模型后，一个数据集的准确率从98.8%提升至99.05%，另一个数据集则从92.2%提升至95.88%[1]。在原始模型表现欠佳的情况下，提升尤为显著——某些案例中准确率甚至提高了17个百分点。

在代码搜索任务中（即开发者根据自然语言查询找到相关代码片段），一种名为RAPID的零样本适配方法相比此前最优模型性能提升了15.7%[2]。即便仅使用100个标注样本，其表现也能与基于完整数据集训练的模型相媲美。因此，尽管具体提升幅度有所差异，但将预训练模型适配到新领域时，通常能获得显著增益——准确率或排序指标往往可提升5%至20%。

是什么让迁移学习成功——或失败？

最关键的因素在于你如何将模型适配到新领域，而不仅仅是模型本身。一项涵盖数十种预训练策略的广泛研究发现，预训练数据集和架构的选择对领域迁移性能的影响，比任何高级适配算法都更大[4]。具体而言，在包含大量类别（如拥有22,000个类别的ImageNet-22K）的数据集上预训练的模型，其迁移效果更好，因为这些类别与下游任务的重叠度更高。然而，即便使用最佳的预训练模型，如果直接照搬而不做调整，其表现也会不尽如人意——你需要进行微调或添加领域特定的信息。

一个常见的陷阱是“可迁移性与特异性之间的两难困境”：预训练模型虽然能学习到易于迁移的通用特征，却往往忽略新领域中至关重要的任务特定细节。例如，在图结构任务（如社交网络分析）中，通用预训练模型可能会遗漏目标数据中独特的节点属性。一种名为GraphControl的方法通过在微调阶段将这些特定属性作为条件输入，解决了这一问题，其性能提升幅度达到标准微调的1.4至3倍[6]。类似地，在医学影像领域，直接使用预训练模型虽能取得不错的效果，但融入领域知识（如细胞形态学规则）后，准确率显著提升[1]。因此，关键在于弥合模型通用知识与新领域特性之间的鸿沟——可通过微调、补充领域数据或采用自适应技术来实现。

迁移学习在什么情况下效果不佳？

当新领域与预训练数据差异较大，或缺乏足够的有标签样本进行微调时，迁移学习的效果可能不尽如人意。在代码搜索领域，基于通用代码库训练的模型未经适配时，在项目特定或领域特定的查询中表现不佳——RAPID研究正是为弥补这一性能下降而专门设计的[2]。该研究还指出，即便进行了适配，若用于伪标签生成的合成数据存在噪声，模型性能仍会受到影响。另一项关于陶瓷设计的研究发现，跨领域知识迁移可使创新效率提升47%，但前提是必须借助精心构建的知识图谱来衔接不同领域[3]——若缺乏这一结构，迁移效果将大打折扣。

此外，还存在过度拟合旧预训练骨干网络的风险。一项关于领域迁移的广泛研究发现，许多现有的自适应方法仅在过时的ResNet模型上进行了测试，而当使用更新、更强大的预训练模型时，这些自适应方法有时几乎无法带来额外收益，甚至毫无助益[4]。这意味着，如果你使用的是最先进的预训练模型，可能无需复杂的自适应——简单的微调就足够了。但如果你面对的是非常小众的领域（例如专业医学影像或专有代码库），且数据量极少，那么在没有额外领域知识或数据增强的情况下，迁移学习的效果可能仍然不尽如人意。

本文引用的文献

相关研究问题