评分函数不匹配:你的OOD分数可能并不适配你的模型
第二个隐藏成本在于,你的OOD评分方法必须与检测器输出概率的方式相匹配。许多检测器使用sigmoid函数进行多标签分类,但经典的OOD评分假设的是softmax输出。论文指出了这种不兼容性:在基于sigmoid的检测器上使用基于softmax的评分,会导致分布内与OOD实例之间的区分度很差[2]。他们通过设计一种新的基于sigmoid的评分函数解决了这个问题,该函数同时利用正标签和负标签,对已知对象产生强烈响应,对未知对象则抑制响应[2]。教训是:你不能简单地把现成的OOD评分直接套上去;你需要根据模型的架构进行调整,这既增加了额外的工作量,如果忽视这一点,也可能成为潜在的失败源。
训练复杂度:更多环节、更多调参,有时结果反而更差
结构化知识方法往往需要添加复杂的训练组件,若调优不当反而可能适得其反。一种做法是利用可学习的码字来提取对象知识,并通过扩散过程合成虚拟的OOD特征[1]。这显著增加了复杂性——你需要训练码字、构建未知概念池,并运行反向扩散过程——同时还要避免分布内性能的退化[1]。作者报告了显著的性能提升,但复杂性在计算和超参数调优方面是隐性的成本。更糟的是,另一项研究发现,将人类定义的相似性排序纳入对比学习反而损害了OOD检测性能[3]。这是一个鲜明的警示:并非所有结构化先验知识都有益,有些甚至会主动误导模型。关键在于,你需要验证所选先验是否确实有帮助,并准备好承担额外的训练开销。
关于这些来源
这个回答基于3项研究(1篇同行评审,2篇预印本),发表于2022年至2026年间,其中2篇为2024年或之后发表,1篇发表于Q1期刊。这些研究是从3项通过质量筛选的研究中选出的最相关成果,而这些研究又源自从超过5亿篇论文数据库中检索到的45篇文献。
本文引用的文献
面向OOD目标检测的未知概念引导特征扩散
提出UCFD方法,利用可学习码字提取对象知识,并通过扩散过程合成虚拟OOD特征,在三个任务上取得了显著的性能提升,同时指出需注意避免对分布内检测性能的退化。
NegAS:基于负标签引导的注意力与评分机制,用于视觉-语言模型下的分布外目标检测
针对基于VLM的检测器,提出了NegAS方法,利用大语言模型生成的负标签来引导注意力,并采用基于sigmoid的OOD评分函数,与基线相比,在COCO上将FPR95降低了11.4%,在OpenImages上降低了25.5%。
用于目标检测中分布外检测的对比学习
表明将人类定义的相似度排序融入对比学习,可以提升分类和检测任务的表示学习效果,但实际上会损害OOD检测性能,这凸显了使用有偏先验的风险。
