[ICLR 2024] 攻克深度学习“最后的城堡”：利用频谱增强与隐式类别识别重塑表格模型

TL;DR

尽管深度学习在视觉和语言领域称霸多时，但在表格数据领域，以 XGBoost 为代表的树模型依然固守着“最后的城堡”。本文通过揭示神经网络的**平滑偏差 (Smoothness Bias)和对隐式类别特征 (Implicitly Categorical Features)**的识别缺陷，引入了学习傅里叶特征 (LFF) 和统计检验预处理。实验结果表明，该方案能让简单的 ResNet 在大规模 Benchmark 上性能反超 XGBoost，尤其是在处理具有复杂不连续模式的数据时。

痛点深挖：为什么神经网络玩不转表格？

前人研究（如 Grinsztajn et al., 2022）指出，树模型成功的关键在于它们擅长处理不规则的、非平滑的函数。而深度神经网络天生偏爱“平滑解”，这在拟合物理信号时是优势，但在由 ID、计数、等级等组成的表格数据中，这种偏好反而成了阻碍。

此外，表格数据往往包含大量的数值特征，它们虽然以数字形式存在，但物理意义却是类别的。例如，一个标为“1, 2, 3”的 assignment_id，数字之间的距离（1和2距离1，1和3距离2）毫无意义，但神经网络会盲目地按照数值大小进行线性或光滑插值，从而错过了隐藏在这些离散边界后的关键信号。

核心方案：CFD 与 LFF 的双剑合璧

作者认为，解决性能差距的关键不在于堆叠更深的网络，而在于特征预处理 (Preprocessing)。

1. 隐式类别特征检测 (Categorical Feature Detection, CFD)

作者引入了一套基于统计检验的“雷达”，在训练前自动扫描所有数值特征：

• 分类任务：使用卡方检验 (${\chi }^{2}exttest$)，计算特征离散化后与标签的相关性。
• 回归任务：使用 ANOVA (单因素方差分析) 或互信息 (Mutual Information) 比率。

一旦某个数值特征通过了检验，它就会被视为“隐式类别特征”，通过 One-hot 编码转化为高维向量。这种操作显式地打破了神经网络的距离假设，让模型能够学习到特征值之间的非连续跃迁。

2. 学习傅里叶特征 (Learned Fourier Features, LFF)

为了增强模型处理非平滑函数的能力，作者借鉴了视觉领域（如 NeRF）的思路，将原始输入映射到高频空间： $\mathrm{LFF}(\mathbf{Z})=\cos (\pi \cdot \mathbf{Z})\oplus \sin (\pi \cdot \mathbf{Z})$

这通过引入周期性激活，允许网络参数化高频率的波动，从而更容易拟合表格数据中那些陡峭的决策边界。

图 1：方法概览。通过 (A) 隐式类别识别或 (B) 傅里叶特征增强输入特征，再输入 Backbone 进行处理。

实验与结果：震撼的“性能尖峰”

作者在 681 个数据集上进行了详尽的随机搜索测试。结果显示，ResNet+F|C（结合了傅里叶和类别识别）在分类任务中全面超越了 XGBoost。

图 2：不同任务下的 Performance vs. Budget 曲线。可以看到 ResNet+F|C（红色）明显优于原始 ResNet 和 MLP。

最有意思的发现是性能尖峰 (Spiking)。在诸如 eye movements 的数据集上，普通的神经网络效果极差，但当作者的 CFD 模块正确识别出那些隐含的类别特征时，性能会突然出现断层式的提升，甚至远超 XGBoost 最优的超参搜索结果。这充分证明了：神经网络并不弱，只是此前我们给它喂的数据格式“不对胃口”。

图 3：热力图展示了在部分数据集上，ResNet+F|C 通过特定编码触发的性能“激增”。

深度洞察：表格深度学习的新航向

1. 特征编码胜过模型架构：本文使用的 Backbone 只是极其简单的 MLP 和 ResNet，性能提升几乎全部来自预处理阶段。这再次印证了在表格领域，Data-centric 的方法比 Model-centric 更具投资回报率。
2. 打破旋转不变性：神经网络通常是旋转不变的，而表格数据具有确定的物理含义（Natural Base）。文中的 1D 卷积 ResNet 表现优于 MLP，正是因为它保留了特征间的坐标独立性。
3. 局限性：目前的 CFD 依赖于低基数（Cardinality）假设。对于基数极高的数值特征，如何高效地进行“软类别化”而不会导致显存爆炸，仍是一个开放性课题。

总结

这篇论文有力地回击了“神经网络不适合表格数据”的偏见。通过科学地引入统计检验来挖掘隐式类别，并用傅里叶变换拓宽频谱表征能力，深度学习正逐渐关闭与树模型之间的性能鸿沟。对于从事金融风控、医疗分析的技术专家来说，本文提出的 ICF 检测逻辑是非常值得工业化落地的 Trick。