激活对齐能弥合表格上下文学习的上下文差距吗？

每次预测都要重算全部上下文

TabPFN-3 和 TabFM 这类表格基础模型通过上下文学习进行预测：把带标签的训练集作为上下文与一个无标签查询一起输入，模型在一次前向传播中给出预测，不更新权重。与训练和推理相互解耦、预测即时的树模型不同，这些模型必须在每次前向传播中携带全部训练样本，因此每次预测都很昂贵。

缩小上下文能降低成本，却会损害精度，因为预测质量高度依赖可用的上下文样本数量。论文把这视为样本效率瓶颈，并提出一个比此前压缩工作更窄的问题：不压缩输入、也不剪枝层，能否让见过完整上下文的模型通过修正内部表示，教会一个数据受限的自身副本如何表现？

把学生激活对齐到教师激活

该方法名为激活对齐，让同一个冻结模型扮演两种角色。教师以规模为 N_full 的完整上下文为条件；学生以规模为 N_student = floor(alpha * N_full) 的分层随机子集为条件，并保持标签分布。由于学生看到的带标签样本更少，它的中间表示携带的任务信息也更少。

一个线性对齐器 f(h) = Wh + b 被拟合用来把学生的第 k 层激活映射向教师。它不直接预测教师激活，而是预测教师与学生激活之间的残差，并且权重初始化为接近零，使修正一开始接近零，从而在训练起点保留学生原有的表示。推理时，修正后的激活等于学生激活加上对齐器的输出，只在单个 Transformer 层上施加，主干保持冻结。

无需标签和 GPU 训练对齐器

对齐器在合成无标签查询向量上训练，这些向量由训练特征借助 TabPFN 的无监督生成能力产生，从学到的联合多元分布中采样，从而捕捉特征相关性；实验使用 1,000 个合成样本。TabFM 也使用同一批由 TabPFN 生成的查询，因为对齐器探测的是表示空间，而不依赖特定模型的输入分布。

训练最小化对齐器预测残差与实际教师减学生激活差之间的均方误差，使用 AdamW，TabPFN 学习率为 1e-3，TabFM 为 1e-4，并在激活对的 80/20 划分上以 10 个 epoch 的耐心做早停。两个模型各含 24 层，激活都在最后一层提取并对齐。TabPFN 使用 8 个估计器组成的集成，每个估计器独立训练一个对齐器；TabFM 使用单个估计器。学生继承教师已拟合的预处理器，使两者处于相同的输入表示空间，避免因随机排列不同、类别编码不匹配或小样本子集上分位数估计不稳定而造成的表示漂移。

实际后果体现在成本上：在预提取激活上拟合单个线性层不需要 GPU，在普通硬件上几秒到几分钟即可收敛，而上下文压缩或层剪枝的替代方案需要大量 GPU 训练。

各上下文预算下增益普遍成立

评估覆盖 TabArena 基准的 38 个分类数据集，使用 TabPFN-3 和 TabFM，上下文比例 alpha 从 0.1 到 0.9，重复 5 次。统计显著性用跨数据集的双侧配对 Wilcoxon 符号秩检验评估；对每个上下文比例，检验把对齐模型的 5 次重复平均分与对照比较，总体检验则把各数据集在所有上下文比例上平均后的均值配对，以避免把同一数据集的多个比例当作独立观测。

与未对齐的基线学生相比，对齐后的 TabPFN 学生在评估的（数据集，上下文比例）对上胜率为 82.2%，总体增益统计显著（p < 0.0001），且在每一个单独的上下文比例上都显著。对齐后的 TabFM 学生对其基线总体胜率为 79.8%（p < 0.0001），同样在每个评估的上下文比例上保持显著。论文报告，在两个模型和所有评估的上下文预算下，对齐学生有 81% 的情况优于未对齐基线。

两种容易混淆的收益度量

论文报告了两个容易被混为一谈的量。有效样本比例 E_alpha 描述对齐学生表现得相当于多少基线上下文：在 alpha = 0.1 时，TabPFN 的中位数为 0.235，TabFM 为 0.200，两个架构的均值约为 0.33。换言之，推理时不处理额外的上下文 token，对齐学生就能达到与获得两到四倍带标签样本的未对齐模型相当的精度，并且在中位数上，所有评估预算下的样本效率都严格高于持平线。

相对差距弥合是另一个度量：对齐恢复了教师与学生性能差距中的多大份额。在所有评估的上下文比例上，中位差距弥合对 TabPFN 保持在 34% 以上，对 TabFM 保持在 24% 以上；在数据最少的 alpha = 0.1 情形下，中位数分别达到 48.3% 和 44.7%。读者比较这些数字时应注意，一个相对于基线上下文规模，另一个相对于教师的优势，它们回答不同问题，不能互换。

部分上下文学生胜过全量数据 XGBoost

论文还与在 100% 训练数据上训练的 XGBoost 比较，而对齐学生只限于 10% 到 50% 的上下文样本。尽管存在这一劣势，对齐学生在 TabPFN 的 81.1% 条件下、TabFM 的 80.3% 条件下胜过全量数据 XGBoost（两个模型总体 p < 0.0001），并在所有 alpha >= 0.2 的上下文预算上保持统计显著优势。

在对齐学生、基线学生和全量数据 XGBoost 的三方排名中，对齐学生在所有上下文预算上保持最高平均排名：TabPFN 为 1.37，TabFM 为 1.40，而基线学生为 2.19 和 2.13，XGBoost 为 2.44 和 2.47。作者将此解读为：把表格上下文学习与激活对齐结合，即使在严格的上下文预算下也能超过完整训练的梯度提升模型。

对齐在哪些情况下无益

评估仅限于分类任务，尽管对齐器作用于中间 Transformer 激活并使用无标签合成查询，不含分类特有的假设；作者预期它能迁移到回归，但指出这尚未经过实证验证。实证覆盖两个表格基础模型 TabPFN-3 和 TabFM，向其他表格上下文学习架构的泛化仍未检验。

对齐也并非普遍有益。38 个数据集中有 5 个（MIC、SDSS17、credit_card_clients_default、kddcup09_appetency 和 polish_companies_bankruptcy）在两个模型上都显示平均有效样本增益为负，论文表示目前还没有能区分这些情形的刻画。设置中还内置了另一项范围条件：教师必须能访问完整上下文，因此该方法解决的是推理时的计算和内存瓶颈，而不是数据本就稀缺、从未存在充足数据的真正小数据集。作者建议通过让对齐器以汇总统计量或领域先验为条件，或在数据充足的多样的外部数据集上训练，来扩展该框架。

优先关注低数据情形

这篇论文中与决策相关的模式不是对齐到处都有用，而是它在哪里帮助最大、代价是什么。最大的恢复出现在最小的上下文预算：在 alpha = 0.1 时，中位差距弥合对 TabPFN 达到 48.3%，对 TabFM 达到 44.7%，而所有预算上的中位差距弥合分别保持在 34% 和 24% 以上。因此，权衡是否采用该方法的读者应首先看自己工作负载的低上下文一端，在那里，只限于 10% 上下文的学生表现得相当于拥有两到四倍数据的未对齐模型。

最重要的比较是针对全量数据树基线：对齐学生在自身只看到 10% 到 50% 上下文样本的情况下，在约 80% 的条件下胜过在 100% 数据上训练的 XGBoost，并在每个上下文预算的三方比较中保持最佳平均排名。制约因素是那 5 个平均有效样本增益为负的数据集，论文没有给出区分它们的刻画，因此实际阈值是逐数据集检查表现，而不是假定总体胜率可以迁移。

本文引用的文献