环境传感器读数会泄露作物病害数据集中的采集场次身份吗？

一条读数对应多张图像和一个场次

农场的传感器按间隔记录读数，数据集可以把这一条读数附到该农场在下一次读数之前拍摄的每张图像上。论文把同一天的一个农场或温室称为一个场次。当病害类别在不同场次之间不同时，模型可以通过读数识别场次来预测类别，而读数中不含任何农学信号。此时读数充当捷径：一个在训练数据中能预测标签、但在新条件下不能的特征。

论文的诊断方法有两部分，且都不读取图像。粒度探针统计每条读数被多少张图像和多少个场次共享，并测量农场身份能解释每个变量方差的比例。时间戳基线把仅输入时间戳的随机森林分类器与输入传感器读数的分类器作比较。在 AI Hub 数据集上，时间戳是该行面板被测量的日期和时刻，因此两个森林读取的是同一条读数的时间。

几乎每条读数都被共享而非逐图测量

在 AI Hub 数据集上，除空气湿度和电导率外，农场身份解释了每个面板变量一半以上的方差，并解释了 pH、N、P、K 方差的 0.83 至 0.91。元数据表有 274,000 行，但只有 13,150 个不同的面板元组，99.5% 的行与至少另一行共享其面板元组。在这些元组中，13,144 个只出现在一个场次，因此几乎每个面板元组都能识别其场次。

CDD 呈现同样的模式。其 5,767 张图像只带有 780 个不同的环境序列，96.4% 的图像与至少另一张图像共享其序列。在共享序列中，98.6% 只跨越一个拍摄日期，98.4% 只带有一个病害标签，因此共享序列通常同时识别某一天和某种病害。论文还指出，分类器接收的 AI Hub 面板值未经校正：15.9% 的 pH 值落在 0–14 的 pH 标度之外，26.8% 记录的 N、P、K 值恰好为零。

时间戳在每种作物上都与土壤化学面板相当

在 AI Hub 数据集上，在 7 个随机种子下，时间戳分类器在 7 种作物中的 7 种与面板分类器相当或更好，面板分类器在 0 种中更优。时间戳分类器在无花果和苹果芒果上更优。橄榄是唯一具有负边际的作物，为 −0.0196，但仍算作相当，因为其区间落在可比带内而非带下方。

按作物平均，一旦固定场次，面板分类器的优势大部分降至零：在合并场次的有评分行上为 0.251，在日期固定的单个场次内为 0.045，且这一配对下降的区间不包含零。场次内的残余优势仍高于零，在各作物上为 0.027 至 0.071，因此土壤化学读数仍能在场次内区分类别。论文指出，它们可以在不测量植物环境的情况下做到这一点，因为场次内的一条读数可以附到下一次读数之前拍摄的图像上，从而识别这些图像拍摄于一天中的哪一时段。

已发表的 CDD 划分在训练与测试间共享序列

在 CDD 研究的测试图像中，91.9% 的相同环境序列也出现在训练中（91.0% 带有测试图像自身的标签，训练与验证合计为 96.4%）。在 485 个不同的测试序列中，406 个在训练中重现。该仓库的另一组标识符有 97.1% 泄露到其训练分区，因此两个随附划分在环境序列上都不是分组不相交的。该研究的标识符在图像层面也泄露：其测试标识符中 31.5% 逐字出现在训练分区，50.2% 出现在训练与验证合计中。

在该划分上，时间戳分类器达到 0.9095 macro-F1，高于该研究为其图像模型报告的 0.8779，也高于其融合模型报告的 0.9037。时间戳与环境特征合计达到 0.8851。论文的要点是，该研究发表的数字中没有任何东西能把场次身份与环境序列的农学贡献区分开，而读者无法从该研究自身的置信区间发现泄露，因为这些区间背后的运行只在固定划分文件上改变训练的随机种子。

随机划分抬高分数，分组不相交划分将其消除

在 CDD 上，仅输入环境序列的分类器从随机划分上的 0.885 macro-F1 降至把每个序列的所有图像都保留在训练或测试之一的划分上的 0.653。随机划分把 95.9% 的测试图像序列泄露到训练中；分组不相交划分则没有泄露。在两种划分下，论文都未检测到环境分类器与时间戳分类器在 macro-F1 上的差异。

把两个都能识别场次的输入结合起来，可以在共享序列的划分上把 macro-F1 提高到任一单独输入之上：在随机划分下，时间戳加环境在配对差异中超过任一单独输入，且区间不包含零。论文得出结论，在这样的划分上出现融合增益，本身并不能表明传感器读数为图像增加了农学信息。

AI Hub 融合增益很小，日期测试无定论

在 macro-F1 上，分布内融合增益在匹配预算下可复现，但在缩减预算下不可复现。相对于仅图像模型的 0.809 macro-F1，匹配预算下的增益为 +0.0084，区间不包含零；在缩减预算下，增益为 +0.0013，相对于 0.823，区间包含零。两个模型在每个种子下于匹配预算时得分都更低，增益扩大是因为仅图像模型损失约为融合模型的两倍，而不是因为融合模型有所改善。

在留出日期或农场的划分上，每个 macro-F1 增益的区间都包含零。在平衡准确率上，除农场不相交外的每个增益区间都不包含零，因此在该指标下，增益在两个预算的留出日期上仍高于零。农场不相交测试折只覆盖其测试图像的 35.1%，低于 80% 的下限，因此该增益不是面板贡献的估计。论文指出，要判定 AI Hub 融合增益在 macro-F1 上于留出日期是否超过零，需要比已运行更多的随机种子。

融合研究应在增益旁报告什么

论文建议，在配对图像–传感器数据集上的融合研究应报告两件事。第一是在农场或场次不相交划分上的融合增益。每项融合研究都需要这一划分，因为这一混杂在两个由不同团队组装的数据集中通过不同机制产生：在 AI Hub 上，传感器按农场安装并在之后与图像匹配；在 CDD 上，逐图像文件在许多图像间重复一个环境序列。研究不能通过检查一种机制来排除该混杂。

第二是仅传感器模型的分数，与多数类预测器和时间戳分类器在同一测试集和指标上的分数并列。时间戳分类器需要与多数类预测器并列，因为仅传感器准确率远高于多数类准确率本身并不构成农学信号的证据：在共享场次的划分上，仅场次身份就能产生这一结果。论文补充说，数据集发布可以通过披露不同传感器读数的数量以及读数保持恒定的单位（如场次），让读者在任何人训练模型之前检查场次混杂。

诊断能发现混杂，但不能证明其不存在

所考察的两个数据集都没有已知携带农学信号的传感器读数，因此论文表明该诊断能发现混杂数据集，但不能证明它能把混杂数据集与无混杂数据集区分开。要证明这一点，需要一个记录已知在每张图像的植物和时间上驱动病害的变量的数据集。该诊断也无法证明一个未发现混杂的数据集没有问题，因为一个无法预测标签的部分输入并不能表明不存在标签线索。

时间戳基线使用随机森林，融合实验使用一种架构，即 CDD 研究的晚期融合，因此两者都没有给出更强学习器能从传感器读数中提取多少信息的上限。在 CDD 上，没有划分留出整个拍摄日期，而这样做可以消除除 4 个在单一日期拍摄的类别外所有类别的拍摄日期混杂。两个数据集都来自韩国农场和温室，因此该混杂在其他地区收集的数据集中的程度仍有待测量。

论文最具决策意义的要点是一个比较，而非告诫：仅传感器分数远高于多数类分数并不构成农学信号的证据，而时间戳分类器正是揭示这一点的基线。在已发表的 CDD 划分上，仅该基线就达到了融合模型报告的 macro-F1，因此该研究自身的数字无法把场次身份与环境贡献区分开。论文设定的实际门槛因此是：在同一测试集和指标上，报告场次留出划分，并在多数类预测器旁报告无传感器的日期时间基线。

本文引用的文献