为什么知道录音的地点和时间有助于模型判断
深度学习分类器学习把声音的频谱图——即声音能量在不同频率上随时间分布的图像——映射到物种标签。单独使用时，它只能根据声音本身判断每一个候选物种，甚至包括根本不可能出现在该地点或该时间的物种。地点和时间等情境元数据为模型提供了第二种输入，让它在做出判断前先缩小范围[1]。
鸟类鸣声的案例显示了这一点有多重要。研究人员训练了一个单独的网络来估计给定物种在给定地点出现的概率，并将其输出与声音分类器结合。这个地理先验使F1分数达到87.78%，而同一分类器仅使用频谱图时为61.02%[1]。一个更简单的多分支网络直接把空间元数据作为第二输入，也超过了基线，F1分数分别达到76.87%和78.77%[1]。换句话说，即使地点线索的输入方式更粗糙，它也有帮助，不过专门的地理先验帮助最大。
情境信息能减少误报，又不漏掉真实叫声
对于监测工作来说，一个能找出大多数叫声、但也会对无关声音触发报警的分类器，会让研究人员淹没在误报中。在海南长臂猿案例研究中，一个多分支网络在频谱图之外使用了时间元数据，将误报减少了63%，同时仍检出94%的叫声，长臂猿检出率提高了19%[1]。这种组合——误报更少且不损失真实检出——对于需要筛查长时间被动声学录音的人来说，是实实在在的收益。
同样的思路在关于西部黑冠长臂猿的研究中以另一种形式出现。在那里，一个名为VBSNet的模型结合了图像特征、序列建模和注意力模块来融合不同类型的信息，在其构建的数据集上达到了98.35%的准确率[4]。这一结果关乎模型内部不同特征类型的融合，而不是加入地点或季节元数据，因此它支持“额外的结构化信息可能有帮助”这一总体观点，但并不支持“地点或时间元数据有这种具体作用”的说法。
这种收益在多个地点和季节都成立吗？
关于情境信息最直接的证据来自本身并未覆盖多个地点或季节的研究，因此跨地点和跨季节的问题只得到了部分回答。显示大幅提升的鸟类和长臂猿实验使用的是各自设置内的元数据[1]。一项大型声景研究确实覆盖了加利福尼亚州索诺马县的746个地点和四年时间，将录音分类为人类噪声、野生动物叫声、天气和安静时段，并揭示了数据中的时间和地理模式[3]。但该工作并未描述把地点或时间作为情境输入分类器，因此它表明这类模式存在，而不是表明情境能改善跨这些模式的分类[3]。
其他工作指向了相容的方向，但并未解决问题。一种用于鸟类物种识别的频谱-时间CNN–BiLSTM方法描述了利用叫声之间的情境信息，但现有摘要并未确认其数据是否来自多个地点或季节[2]。综合来看，证据支持在一个研究区域内情境信息能带来明显收益，也与“同一收益在模型跨地点和季节应用时会有帮助”的想法一致——但这一更宽泛的结论尚未在这些研究中得到直接证明。
录音中的情境与元数据中的情境
值得区分两种都被称为情境的东西。一种是附在录音上的元数据——其时间和地点——分类器可以将其作为额外输入使用[1]。另一种是动物自身叫声中携带的情境。在果蝠中，音节序列似乎比单个音节传递更多情境信息，而序列内音节的顺序对该情境似乎不重要；作者指出，需要回放实验来检验这对动物本身是否有意义[5]。这是关于蝙蝠交流的发现，而不是关于分类器设计的发现，不应被解读为音节序列能改善自动分类的证据。
对于正在决定是否给野生动物分类器加入情境的读者来说，实际的答案是：时间和地点是成本低廉的输入，在研究过的案例中已显示出收益，尤其是在减少误报方面[1]。当模型在一个地方训练、在另一个地方部署，或跨季节应用时，这些收益能延续多远，仍是这个问题尚未解决的部分。
本文引用的文献
利用情境信息改进野生动物监测中的深度学习声学分类器
在深度学习声学分类器中加入空间或时间元数据，改善了鸟类鸣声分类（使用地理先验时F1从61.02%提高到87.78%），并将长臂猿叫声误报减少了63%，同时检出94%的叫声。
通过频谱-时间深度CNN–BiLSTM学习从环境声学信号中识别鸟类物种
一种用于鸟类物种识别的频谱-时间CNN–BiLSTM方法描述了利用叫声之间的情境信息，但摘要未确认其数据是否来自多地点或多季节。
用卷积神经网络进行声景分类揭示生态声学数据中的时间和地理模式
一个深度学习框架对746个地点、四年间的声景成分进行了分类，并揭示了时间和地理模式，但未描述将情境元数据作为模型输入。
利用深度学习对西部黑冠长臂猿栖息地的环境声音进行分类
VBSNet模型融合了图像、序列和注意力特征来分类长臂猿和鸟类叫声，在其构建的数据集上达到了98.35%的准确率。
蝙蝠发声序列增强情境信息，且与音节顺序无关
果蝠的发声序列可能比单个音节传递更多情境信息，音节顺序对情境似乎不重要，但仍需行为学验证。