多数条件下 RGB 与 SWIR 相当或更好
论文在 RASMD 数据集上比较配对的 RGB 与 SWIR 目标检测,覆盖四种天气条件和两种实时检测架构,并用多种微调策略在统一真值下评分。核心结果是 RGB 在多数场景中表现相当或更优。这是对整个评估集合的总体陈述,并不表示 RGB 在每一帧都胜出。
分天气结果让这一点更清晰。在相似配置下,RGB 在阴天条件下明显优于 SWIR,这一差距在晴天和雨天逐步收窄。在雪天条件下两种传感器变得非常接近,论文指出此时无法得出明确推断。各天气下精确率大体保持竞争力,范围在 0.73 至 0.93 之间,两种相机在雪天都出现相对下降,论文归因于场景复杂和对比度降低。
RF-DETR 是更稳健的架构选择
在这里架构与模态同样重要。RF-DETR 在跨模态、跨天气条件和跨训练策略上均优于基于 CNN 的 YOLOv8,被描述为更稳健的框架。在 RF-DETR 内部,所有微调在四种天气下给出相近的召回率,而 YOLOv8 在天气特定混合配置下退化,偶尔在天气特定基础配置下也退化。论文将此归因于 YOLO 在每类条件训练数据有限时更容易过拟合。
微调总体上改善了恶劣天气下的检测,且对 SWIR 领域的改善更明显。召回率在两种模型、两种模态和所有天气条件下都随微调提升,例外是晴天和阴天下的 RGB,其微调模型得分与预训练模型相当,因为在良好能见度下可见光谱与预训练领域高度一致。天气特定微调是最不稳定的选项,导致 YOLOv8 结果次优,并让 RF-DETR 在不同条件下和指标上出现较大波动。
以相等比例的 RGB 与 SWIR 进行混合微调,成为一种有效的单模型方案,促使表征对模态不敏感,并始终接近最优,甚至在使用 YOLOv8 和 SWIR 相机的雪天条件下取得最佳 mAP。合成 SWIR 增强在所有天气条件下也与仅用 SWIR 训练的模型表现相当,作者将其视为应对 SWIR 数据稀缺的一个有前景方向。
共识框架在无标注下找出罕见 SWIR 优势
总体指标可能掩盖罕见但安全关键的案例,因此论文提出传感器优势挖掘框架,利用大体上未标注的配对数据,将 RGB-SWIR 图像对分为 RGB+、SWIR+、Equal 和 Discarded 四类。三个模型组充当独立投票者:RF-DETR-Mix 和 YOLO-Mix 各自处理两种传感器图像,加上 YOLO-RGB 和 YOLO-SWIR 各自处理匹配的传感器图像。当两个检测共享类别标签且边界框交并比至少达到 0.3 时视为匹配。
当某组发现至少一个仅在 SWIR 中出现、在 RGB 中无对应且其余检测均匹配的检测时,投 SWIR+ 票;镜像情况则投 RGB+ 票。两种模态同时产生未匹配检测的投票无论共识如何都被丢弃,因为无法判定哪种模态占优。随后 M1、M2、M3 三个变体施加逐步更严格的共识规则,从高召回走向高精确。
各方法的分布显示 RGB+ 图像对始终多于 SWIR+ 图像对,印证了总体发现,即可见光谱成像在多数场景中仍占优或持平。该框架声明的局限是,61.5% 的图像对无法做出可靠判定,原因或是两种模态都产生未匹配检测,或是投票组之间存在分歧。这一被丢弃的比例是在没有真值下运行的代价。
人工筛选将 SWIR 集合缩减到 532 对
由于三种自动方法都仍可能因模型幻觉和检测错误产生假阳性,作者对 SWIR+ 集合施加人工筛选。候选图像对只有在人工检查确认 SWIR 优势在剔除假阳性后确实包含比 RGB 更多的有效检测时才被保留,并且同一序列内相邻被筛样本之间至少间隔 10 帧,以避免同一场景中近乎相同的帧被过度代表。
这得到 532 个不同场景图像对的精选集合,命名为 RASMD-HiLS,意为人在回路分离。目视检查将这些样本归入四类反复出现的环境场景:挡风玻璃眩光、挡风玻璃水滴、因对比度而隐藏的目标,以及远距离车辆。这些场景并非互斥,单张图像可能属于多个类别。随后所有被选帧都按两种模态共用的真值进行人工标注,形成一个高质量的 SWIR 有利数据集,用于后续分析和验证。
四个场景显示 SWIR 召回优势明显
验证使用 RF-DETR-RGB 和 RF-DETR-SWIR 在各自模态图像上运行,两者在筛选过程中均被留出。论文报告该挖掘数据集捕捉到常见的场景相关 SWIR 优势,且这一优势主要由召回率提升驱动。
在眩光下,RGB 加权召回率为 0.3318,SWIR 为 0.7204,加权 F-1 分别为 0.4746 和 0.8076。该场景对应极端的可见光饱和,通常由从低照度过渡到高照度时的直射阳光反射引起,例如即将驶出隧道时;饱和降低 RGB 图像质量并导致漏检,而 SWIR 基本不受影响。
在挡风玻璃水滴下,RGB 加权召回率为 0.6459,SWIR 为 0.8000,加权 F-1 分别为 0.7465 和 0.8641。水滴散射使 RGB 无法检测,而车辆在 SWIR 中被检测到。对于隐藏目标,RGB 加权召回率为 0.7631,SWIR 为 0.8062,行人的逐类 AP 从 0.1380 升至 0.2978。对于极远车辆,RGB 加权召回率为 0.7288,SWIR 为 0.7887,汽车的逐类 AP 从 0.5017 升至 0.5753,卡车从 0.5088 升至 0.5541。
在这些子集中精确率保持相当,这正是召回提升有意义的原因:论文描述 SWIR 在保持相当精确率的同时提升召回。作者还指出,挖掘出的 SWIR+ 子集继承了底层数据集的类别分布,其中眩光等条件由汽车等特定类别主导,因此使用加权或二值指标,并且只验证统计显著的类别。
饱和、散射与对比度解释这一分化
四个场景有共同结构:RGB 因某种物理原因失效,而 SWIR 相对不受影响。眩光使可见光传感器饱和,水滴散射可见光,低对比度场景低于可见光传感器的区分阈值,远距离则受大气散射影响而 SWIR 中较弱。每种情况下失效都是可见光波段在该条件下的属性,而非 RGB 的普遍缺陷。
这就是总体结果与场景级结果并不矛盾的原因。总体指标在 RGB 表现强的条件上取平均,包括高能见度和强对比的阴天,而这些条件在数据集中占主导。挖掘框架刻意搜索物理机制发生反转的长尾。论文据此给出结论:SWIR 应被视为一种补充模态,在罕见但困难的条件下增强感知,而非主要替代方案。
这些结果适用到哪里,到哪里为止
若干限制限定了这些发现。数据集反映真实驾驶条件,但存在强烈类别不平衡,加上连续帧的存在,使得训练中难以确保足够的场景多样性和类别代表性,可能导致对代表性不足类别(如行人 AP)的过拟合。挖掘框架在没有真值下运行,依赖多模型一致性,可能使结果偏向特定模型行为,并且筛选过程中丢弃了相当一部分数据,可能遗漏 SWIR 能带来额外收益的罕见场景。
精选的 SWIR+ 子集还继承了底层数据集的类别分布,因此某些条件由某些类别主导,这就是验证仅限于加权或二值指标以及统计显著类别的原因。论文自身的前瞻性建议,即在困难条件下动态利用 SWIR 的自适应融合策略,以及改进 SWIR 图像生成的合成到真实对齐,均被表述为未来工作而非已证明的结果。
把 SWIR 当作定向补充而非替代
这篇论文对决策有意义的解读是一个优先级排序,而非传感器裁决。对于四种被评估天气条件下的通用道路场景检测,RGB 仍是主要且可靠的模态,而采用混合微调的 RF-DETR 是在速度、精度和资源上均衡的跨模态选择。SWIR 的价值具体体现在四个被挖掘的场景中,论文特别指出其中两个最为关键:眩光代表 RGB 最严重的失效,而低对比度条件主要影响行人检测,使 SWIR 对弱势道路使用者安全尤为有价值。
这一排序是论文自身的强调,且源自实测差距,而非对某一传感器的普遍偏好。读者若要判断 SWIR 在何处增值,应首先关注眩光和低对比度行人场景,其次是挡风玻璃水滴和远距离车辆检测,并应将 61.5% 的丢弃比例视为这种无标注挖掘方法所能解决的边界。
本文引用的文献
Analysis of SWIR Imaging Detection Performance Under Adverse Environmental Conditions for Autonomous Driving Systems
在 RASMD 上的配对 RGB 与 SWIR 检测显示,RGB 在多数场景中相当或更优,而传感器优势挖掘框架分离出四个 SWIR 明显提升召回的安全关键场景:挡风玻璃眩光、挡风玻璃水滴、低对比度目标可见性,以及远距离车辆检测。
