先验数据拟合网络能否用于表格异常检测？

表格异常检测一直缺少可复用的骨干表示

图像异常检测是建立在一次性大规模预训练模型所提供表示之上的：来自通用预训练网络的特征，仅用简单的最近邻距离打分，就超过了精心设计的自监督检测器，同类特征如今也支撑着工业缺陷检测。表格数据无法走这条路，因为它缺少同等强度的通用表示。Isolation Forest 等经典检测器依然很强，但每次部署都从零开始；深度方法为每个数据集单独训练一个模型，其收益也未证明能跨数据集稳定成立。ADBench 基准研究得出的结论是：在其比较中，没有任何无监督检测器能可靠地优于其他方法。

先验数据拟合网络（PFN）——其中以 TabPFN 为代表——是在合成表格数据上预训练的 Transformer。这篇论文追问：它们的表示能否充当表格异常检测所缺失的通用特征提取器，并分两步给出肯定回答：ZEN 完全不改动权重，FOCUS 则更新权重。

两个未知量让任务比看上去更难

检测器会收到一个描述正常行为的参考集，并需要为每个新样本打出它偏离参考集的程度。这里同时存在两个未知量。第一是异常本身：它们稀少，结构事先未知，因此任务无法被设定为有监督分类。第二是参考集本身可能已被污染，例如欺诈调查人员只能核实一小部分交易，未核实的其余交易便作为正常记录进入历史数据。

因此论文研究了两种设定。主要设定是受污染情形：参考集以未知比例包含异常，且在检测器看到它之前没有任何步骤将其剔除。干净情形——参考集不含异常但无标签——是互补设定。污染之所以重要，是因为基于密度的检测器按样本与最近参考样本的距离来打分；参考集中已有的异常会让与它相似的测试异常看起来正常。

ZEN 无需训练即可为冻结嵌入打分

ZEN（Zero-training Embedding Neighbors，零训练嵌入最近邻）按测试样本在冻结模型嵌入空间中与最近邻的距离为其打分。论文提出了一套适合该任务的特征提取流程，并按每个参考样本的可信程度赋予权重，使参考集被污染时得分仍然可靠。

读取的是 TabPFN-3 的 24 个 Transformer 块中最后四块的嵌入。在受污染情形下，最后一块到四块的结果在 0.3 AUROC 以内等价，且从未出现显著差异；而任何更宽或更深的窗口都更差：读取全部 24 块会让 ZEN 损失 2.7 个 AUROC 点，单块结果从第 8 块起随深度稳步提升。在干净数据上情况更平缓，冻结读取在最后 6 到 12 块的更宽窗口上提升 0.1 到 0.2 个点。

ZEN 的每一步都带来可测量的增益

消融阶梯从朴素读取开始：仅用 kNN 距离读取冻结模型对数据的嵌入，不加其他处理。在受污染情形下，朴素读取在 47 个数据集上的平均 AUROC 为 74.1，与原始特征 kNN 的 73.9 和最佳深度检测器接近。增强上下文增加 0.9 个点。带特征子集的嵌入增加 1.9 个点。软清洗增加 2.8 个点，是最大的单步增益。这些步骤合起来把冻结模型从 74.1 提升到 79.7，高于所有基线。

软清洗是直接应对污染的机制。它的孤立度估计按每个参考样本与其他参考样本的最近距离为其打分，用作参考样本的异常分数时达到 76.7 AUROC。在汇总估计最不信任的 5% 参考样本中，31% 是异常，而整个参考集中异常占 12%；由此构建的信任权重在参考异常上平均为 0.70，在正常样本上平均为 1.16。跨表示汇总很关键：汇总估计在 47 个数据集中的 43 个上优于单一表示。

FOCUS 做微调，但 ZEN 到位后增益变小

FOCUS（Fine-tuned One-Class Unsupervised Scoring，微调单类无监督打分）建立在 ZEN 之上：对 TabPFN 做带信任权重的紧致性微调，利用参考集让所得特征更好地把正常样本与异常分开。整个流程中唯一的训练就是这两轮微调。

ZEN 的步骤到位越多，微调带来的增益越小。在受污染情形下，它在朴素读取上贡献约 1.9 个 AUROC 点，但在软清洗之后只贡献 0.3 个点。作者提出的一种解读——他们表示尚未直接验证——是微调与软清洗修复的是同一个缺陷：被异常污染的参考集。在干净数据上，由于没有东西需要清洗，微调在每一步都保持 0.6 到 1.2 个 AUROC 点的显著增益。

FOCUS 领先 ADBench，且受污染损失更小

在 ADBench 上，ZEN 的平均 AUROC 高于比较中的所有基线，FOCUS 又进一步超过它，在受污染情形下达到 80.0 平均 AUROC，而 Isolation Forest 为 76.4，原始特征 kNN 为 73.9。FOCUS 与 16 个基线逐一用 47 组配对值做双侧 Wilcoxon 符号秩检验，并做 Holm 校正；16 个结果全部显著，最大的校正 p 值为 0.034，对应原始特征 kNN 和 TabPFN-PL。面对 uTabPFN，在其覆盖的 44 个数据集上，FOCUS 领先 13.1 个 AUROC 点。

污染代价是这一比较变得具体的地方。从干净情形转到受污染情形，原始特征 kNN 平均损失 11 个 AUROC 点，而 FOCUS 只损失 5.9 个点。FOCUS 通过找出藏在参考集中的异常、阻止它们把测试异常“藏起来”，从而限制损害。在干净情形下排名差距收窄：FOCUS 达到 85.9 平均 AUROC，ZEN 为 85.2，原始特征 kNN 为 85.1，若干基线紧随其后。

该方法可迁移到其他 PFN 骨干

该方法并不绑定于单一 PFN 模型。在四个其他表格基础模型上不做任何改动地应用，使用相同的特征子集、块、常数和协议，ZEN 让每个骨干提升约五到八个 AUROC 点，且每次提升都统计显著。TabPFN v2、TabICL 和 Mitra 与 TabPFN-3 一样，是在合成先验上训练的先验数据拟合网络；TabDPT 则是在真实表格上预训练。对 TabICL 和 TabDPT，结果与使用 TabPFN-3 时大致相当。

微调同样可以迁移。在受污染情形下对 TabPFN v2，保持受污染情形的常数不变，微调在 44 个数据集上把朴素读取从 67.6 提升到 70.7 AUROC，FOCUS 达到 76.1，高于同一批数据集上 ZEN 的 75.9。与 TabPFN-3 一样，微调的增益在朴素读取上较大，而 ZEN 的步骤到位后就变小。

结果止于何处，以及该优先看什么

对常数的敏感度较低：没有哪个常数处在陡峭的最优点上。在受污染情形下，读取最后一块到四块结果相近，k = 50 处于平台期，0.25 到 2 之间的每个 lambda 都让 ZEN 高于最强的深度基线。对 FOCUS，把可训练块减到三块会在两种情形下都让平均 AUROC 降低 0.5 个点，训练一轮或三轮而非两轮、或保留最后一个 epoch 而非取平均，变化最多 0.2 个点。软清洗的增益随污染率上升：当参考集中注入 2% 的异常时清洗增加 0.1 个 AUROC 点，注入 20% 时增加 2.0 个点。

有两个边界限定了这些结果。打分需要对 B+1 = 6 个特征子集各跑一次 TabPFN 前向传播，因此两种方法都需要 GPU；在一块 A100 上，该方法每分钟处理 3,500 个样本，比许多经典检测器慢，不过减少留一折数不会带来可测量的代价，减少特征子集则以少量精度换取显著加速。ADBench 的标准评估会对超过 10,000 个样本的数据集做子采样，因此这些方法见过的最大的参考集包含 10,000 个样本；三个特征数超过 200 的数据集使用了固定的 200 特征子集。

实际优先级来自污染与否的区分，而不是那个头条均值。如果认为参考集干净，ZEN 与 FOCUS 的差距会收窄，微调的贡献很小；如果污染是可能的，软清洗就是带来最大单步增益的环节，其收益随污染率放大。微调最值得付出成本的地方是在朴素读取上，也就是 ZEN 的步骤尚未到位之前。

本文引用的文献