距离不重要？揭秘合成先验与真实表格的分布鸿沟

TL;DR

在表格基础模型（TFM）领域，人们普遍认为“预训练数据越接近真实场景，模型性能越好”。然而，布里斯托大学的最新研究给出了令人意外的结论：尽管合成先验（Synthetic Priors）在统计分布上与真实表格存在巨大差距（判别器几乎能 100% 区分），但这种“分布不匹配”竟然几乎不影响模型在下游任务的表现。

1. 现状：表格预训练的三大门派

目前的 TFM 预训练语料库大致分为三类：

• Curated (精选)：如 Kaggle 或 OpenML 的高质量基准数据集（代表：TabFM）。
• Web-scraped (网页抓取)：从 HTML 或 GitHub 中大规模提取的表格（代表：T4, Tabula-8B）。
• Synthetic Priors (合成先验)：完全不使用真实数据，通过参数化的生成过程自动生成（代表：TabICL, TabPFN）。

2. 动机：合成先验真的是真实世界的缩影吗？

合成先验因其零成本、无限扩展以及无版权风险的优势，逐渐成为 PFN 系列模型的主流。但问题在于：作者通过 SCM（结构因果模型）设计的合成表格，在特征分布上真的能代表我们在医院、银行看到的真实表格吗？如果不能，为什么它们在推理时依旧有效？

3. 核心发现：无法弥合的鸿沟 (RQ1-RQ3)

作者通过计算判别器（XGBoost）的 AUC 和 k-NN 覆盖率，对数据进行了深度扫描。

3.1 惊人的不可区分性

实验显示，合成先验（ICL）与真实数据（T4/FM）之间的判别器 AUC 接近 1.0。这意味着二者在特征空间中几乎完全隔离，合成数据仅占据了真实表格空间中极小的一个角落。

3.2 暴力优化也无济于事

作者进行了丧心病狂的 86,000 次网格搜索 尝试优化 TabICL 的超参数（包括 SCM 类型、树深度、类别平衡等），试图让生成的表格看起来更“真实”。

• 结果：即便在最优参数下，AUC 依然维持在 0.95 以上。这说明分布不匹配不仅是参数调优问题，而是生成机制本身的结构性限制。

（注：此处应包含论文中 Figure 1 的 PCA 分布图，展示了 Synthetic Prior 与真实数据的隔离状态)

4. 深度洞察：为什么模型还能 Work？ (RQ4)

这是本文最反直觉的部分。作者研究了测试数据集与合成先验分布之间的距离（Proximity）是否会影响模型的预测排名（Rank）。

核心证据：模型内部表征

作者不仅使用了手工特征，还提取了 TabICL 模型本身的 Internal Embeddings 进行分析。

• 发现：即便在模型自己的表征空间里，数据点与先验的距离与性能之间也没有相关性（相关系数 r < 0.14）。

（注：此处应添加论文中展示距离与 Rank 关系的 Figure 10 或 Table 2）

5. 结论与启示：归纳偏置胜过分布覆盖

这项研究挑战了表格学习中的“分布一致性”信条。作者提出了两点可能的解释：

1. 上下文学习（ICL）的稳健性：模型在推理时通过上下文样本进行条件化，这种实时对齐机制可能补偿了预训练时的分布偏移。
2. 因果结构的价值：合成先验虽然 marginal 分布不对，但它强制模型学习了 SCM 赋予的“因果依赖”和“决策树式”的逻辑，这种**归纳偏置（Inductive Bias）**在大规模预训练中被内化，形成了跨领域的通用迁移能力。

局限性与展望

研究指出，由于大多数 TFM（如 TabPFN v2, Mitra）不公开其预训练先验的参数和代码，目前无法对所有合成先验进行横向对比。作者呼吁社区公开先验模型，以便进一步探索到底是“因果结构”还是“推理机制”成就了表格基础模型的强大性能。

Takeaway： 以后在设计表格模型时，与其费死劲让合成数据像真实数据，不如研究如何构建更合理的因果生成逻辑！