仅用热波段为何漏掉较弱异常
NASA Black Marble 产品套件的夜间灯光捕捉火灾、火山喷发和天然气放空燃烧等异常事件的热辐射与光辐射信号。现有检测方法主要依赖热波段,对较弱信号的敏感性因此受限。VIIRS 昼夜波段覆盖可见光到近红外区间,动态范围大,对热信号不明显、强度较弱的实例更敏感,但在以往工作中它只被当作确认性特征,而非主要检测通道。
因此,论文的目标是联合建模 Black Marble M 波段与 DNB 信号,导出一套具有时空稳健性的泛化异常探测器集成。预期收益有三方面:更高的检测置信度、对较弱信号的检测能力,以及更少的误检。
两步流程把检测结果变成训练标签
夜间异常的高质量标签稀缺,因此该框架避免在现有热波段阈值数据集上训练——作者认为那会使探测器偏向这些阈值,并把它限制在部分波段上。取而代之,第一步用少量无标签数据建模非异常背景并标记偏离。自编码器最小化像素级多光谱重建误差,变分自编码器额外加入 KL 散度项,使潜在空间服从标准正态分布。异常依据同一区域未见场景上的总重建误差来判定。
云层让这一步变得复杂:总重建误差的幅度对异常为正、对云为负,因此逐波段高负偏离被当作可能的云覆盖剔除,高正偏离则保留为候选异常。作者选择这一做法而非云掩膜,是因为 VIIRS 云掩膜在夜间容易出错,目前会把“夜间热异常”误标为“云”。由于水体夜间亮温更高,水体上方的检测也被掩膜剔除。
第二步把这些检测结果当作标签。第一组检测训练区域探测器,再应用到同一区域少量未见观测(第二组);随后在第一、二两组上精调或重训,得到最终的区域泛化探测器。最终区域探测器在第一、二两组上的检测结果跨 VNP46 瓦片联合训练,形成通用模型,再应用到未见区域和季节。作者指出,这个联合训练的模型(称为联合模型)对评估业务化适用性最为重要。
五个探测器及其差异所在
该集成包含五个探测器。两个来自第二步的对比学习,使用在相同子网络间共享权重的孪生网络:一个用对比损失训练,一个用三元组损失训练,生成嵌入把 8 维样本输入映射到 2 维特征空间,再由全连接层判定为异常或背景。一个在过滤后的第一、二组样本上用加权损失训练的全连接神经网络作为机器学习基线。两个简单离群探测器使用响应最强的波段:M-11 上的前 10 百分位检测,以及 M-11 加 DNB 上的前 2 百分位检测。
各探测器的输入不同,这对解读很关键。孪生网络和全连接网络需要 M-10 至 M-16、DNB 以及 2019 年世界定居足迹图层。M-11 离群探测器只需 M-11。M-11 加 DNB 探测器需要两个输入。辅助的 VIIRS 水陆掩膜和世界定居足迹图层用于滤除云、水体和城市夜间灯光等背景特征。由于异常稀少,异常类使用全部过滤后的检测实例,背景类则随机抽样,损失按类别频率的倒数加权。
热辐射与光辐射联合探测器重叠率最高
第一步探测器按与 VIIRS NightFire 产品的像素级共位情况评估。重叠率显示,组合自编码器在瓦片 h05v05 为 92.66%,h08v06 为 85.75%,h20v10 为 76.83%;组合变分自编码器几乎相同,分别为 92.87%、85.69% 和 76.83%。仅 DNB 探测器较低,分别为 77.21%、83.46% 和 67.58%。联合模型最高:联合自编码器为 93.84%、96.15% 和 84.83%,联合变分自编码器为 93.84%、96.21% 和 84.83%。
对泛化模型,论文报告了每个瓦片上全部五个探测器的重叠率和额外检测概率。前三个瓦片(h05v05、h08v06、h20v10)体现基于区域的训练表现,而 h07v05、h05v04 和 h02v07 分别检验对未见区域的天然气放空燃烧、火灾检测和火山喷发的泛化。作者报告机器学习方法优于单波段方法,且模型跨年份、跨季节或迁移到未见区域时性能没有下降,表明其具有泛化能力并对时空变化稳健。
在各探测器中,对比损失嵌入模型在所有区域和事件类别上重叠率最高,作者指出它因使用全部波段而置信度也最高。单波段离群探测器紧随其后,但因只需一个波段而置信度较低。全连接基线排在其后,因使用全部波段而置信度高于单波段探测器。三元组损失模型在火灾和火山上与全连接网络相当,但在天然气放空燃烧和受控燃烧上表现很差,这两者都是覆盖极小空间面积的单像素事件。作者用光谱分布解释:火灾和火山在 M-10 至 M-16 信号很强,而天然气放空燃烧信号主要限于 M-10 和 M-11,因此三元组模型因缺少 M-12 至 M-16 的强信号而误判放空燃烧,显示该模型同样强烈依赖这些波段。
置信度分层区分强信号与弱信号
该框架并不输出单一的二元异常图。当 DNB 检测与热波段一致时,构成联合高置信度集。当没有同时出现的热波段信号时,结果被定义为中等置信度集,并用辅助波段过滤以保留可能的异常。此外还从至少被五种方法中两种检出的结果导出高置信度检测集。
仅 DNB 图层之所以重要,是因为它降低了检测阈值,能在不增加误检的前提下检测出没有明显热辐射信号的较弱异常。作者报告,纳入它提高了瓦片 h08v06 中放空燃烧被观测到的异常比例,且 DNB 带来的信息增益因区域而异:在 h08v06 的放空燃烧上相对热波段较高,在 h22v05 的放空燃烧上信息量较低。通过检查区域 Landsat 合成影像,他们发现这些仅 DNB 检测与天然气放空燃烧基础设施的可见特征高度空间相关,说明在掩膜剔除城市定居点信号后,这些可能是热波段漏掉的放空燃烧活动。他们提醒,当电照明与这类检测同时出现时,基于 VIIRS 的检测可能不足以区分污染与真实异常。
探测器迁移到哪里,又在哪里失效
研究使用每日的星上 Black Marble 观测(VNP46A1),空间分辨率 500 米,包含六个中分辨率波段亮温(M-10 至 M-16)和 DNB 辐射,外加辅助云掩膜、水陆掩膜和 2019 年世界定居足迹图层。研究区域对应易发生火灾、存在持续天然气放空燃烧点和回溯性火山喷发点的 VIIRS 瓦片。研究时段覆盖火灾高峰季的无云观测(森林火灾 h05v05,38 夜;受控燃烧 h20v10,92 夜)以及天然气放空燃烧的亮温极值期(h08v06,夏季 32 夜、冬季 42 夜)。泛化性还在其他区域探索:美国西部火灾(h05v04,53 夜)、二叠纪盆地放空燃烧(h07v05,77 夜)和夏威夷基拉韦厄火山(h02v07,231 夜)。异常检测与迭代训练在 2018 年进行,泛化测试在 2019 至 2021 年进行。
作者指出该方法可扩展到陆地和海洋,并对火灾、火山和天然气放空燃烧等类别不敏感。最清晰的边界是三元组模型在天然气放空燃烧和受控燃烧上的糟糕表现,作者将其归因于这些事件是单像素、空间面积很小,以及模型对 M-12 至 M-16 信号的侧重。他们建议按峰值信号波段进一步拆分异常类别,可能改善三元组模型的表现。
缺少地面真值,以一致性替代
作者指出的主要局限是夜间异常监测缺乏地面真值数据,限制了模型调参和评估。他们的应对是构建多个模型,并用模型间一致性估计检测置信度。他们明确表示这不是地面真值,而是探测器可靠性的指标。
若干扩展只是被提出而非已验证。异常检测被当作二元分类处理,但可基于逐波段偏离所指示的异常类型探索多类分类。其他架构也可评估,包括分割、加入卷积层以纳入空间信息,以及用对比学习嵌入做少样本标注。对检测结果进行专家标注可能通过半监督方法改进模型,随着迭代过程重复,在漏检样本上重训也可能提升性能。有一种探索过的方法失败了:对嵌入做最近邻分类,原因是计算成本过高。
作者还把标注方法本身视为一项贡献,认为机器学习生成的标签可以缓解困扰遥感的标注数据稀缺问题,并且在特征被仔细提取时,小数据量也能充当训练数据。把探测器业务化运行在每日 VIIRS 影像上,将能对模型性能做更长期评估,并形成面向自然灾害监测和能源开采等应用的增值数据产品。
不同事件该信任哪个探测器
论文最具决策价值的结果不是单一精度数字,而是取决于事件类别的排序。对比损失嵌入模型在所有区域和事件类别上重叠率领先,并因使用全部波段而置信度最高。单波段 M-11 离群探测器在重叠率上有竞争力,但按设计其置信度较低。全连接基线介于两者之间。三元组损失模型在火灾和火山上与基线相当,但在天然气放空燃烧和受控燃烧上失效,这些单像素事件的信号主要局限于 M-10 和 M-11。
这一区分正是论文给出的实用阈值:对 M-10 至 M-16 信号强的事件,三元组模型可用;但对天然气放空燃烧这类小面积、光谱窄的事件,全波段对比模型或热辐射加光辐射的联合检测是更好的选择。置信度分层强化了同样的逻辑。高置信度检测要求热信号与光信号一致,或至少两个探测器一致;仅 DNB 检测构成中等置信度集,以依赖单一信号类型为代价,把敏感性扩展到更弱的异常。读者若考虑把这些探测器用于业务,应把选择视为取决于事件类别,以及优先目标是最大重叠率还是可辩护的置信水平。
本文引用的文献
Detecting Nighttime Anomalies from NASA Black Marble Using a Generalized Spatio-Temporally Robust Framework of Machine Leaning Ensembles
一套联合建模 Black Marble M 波段热辐射与昼夜波段光辐射信号的机器学习集成,在检测夜间异常时与 VIIRS NightFire 的重叠率高于单波段方法,可泛化到未见区域和季节,并给出分级置信度的检测集。
