摊销替代了 spike-and-slab 选择中的什么
Spike-and-slab 回归并不返回一个被选中的子集。它的先验把每个系数要么精确设为零（spike），要么从高斯分布中抽取（slab），因此后验是活跃集上的一个分布，每个候选效应都带有一个后验纳入概率（PIP）。当有 p 个预测变量时，候选效应包括截距、p 个主效应和 p 选 2 个两两交互项，共 d = 1 + p + p 选 2 个。截距始终纳入，因此共有 2^(d-1) 个模型：当 p = 10 时约为 3.6 x 10^16 个模型。
由于精确后验是对所有模型求和，只有在 p 较小时才能枚举。超出这一范围后，实践中依赖模型空间上的马尔可夫链蒙特卡洛、自适应采样或变分近似，它们需要为每个数据集重新拟合一次，而且在固定步数预算内可能无法收敛。LinearPFN 走的是另一条路：它在一个显式给定的先验上预训练一次，对新数据集的推断是一次前向传播，而不是逐数据集拟合。
一次前向传播给出三类输出
该网络有三个读出头。选择头为每个候选效应返回一个 PIP，一个 MLP 为每个主效应打分，第二个 MLP 为每个交互项打分。系数头为每个效应返回一个数，即后验均值 E[beta_e | T]，它是在所有模型上平均后的边际均值。回归头为每个查询行返回一个后验预测分布。
这两个系数含义容易混淆。条件均值 E[beta_e | T, gamma_e = 1] 是在该效应活跃前提下的效应大小；边际均值与它的关系是 E[beta_e | T] = Pr(gamma_e = 1 | T) E[beta_e | T, gamma_e = 1]，因此 PIP 为二分之一的效应只得到其条件均值的一半。系数输出是稠密的：每个候选效应都会得到一个值，没有任何一个会被选择步骤设为零。硬选择另行发生，由中位概率模型规则完成，即选中所有 PIP 超过二分之一的效应。
为共轭性与社会科学预测变量而设计的先验
训练数据来自一个关于数据生成过程的先验。对第 i 行，结果变量满足 y_i = beta_0 + sum_j beta_j x_ij + sum_{j<k} beta_jk x_ij x_ik + epsilon_i，噪声为方差 sigma^2 的高斯噪声。扩展后的预测变量矩阵 Z = [1, X, (x_j 逐元素乘 x_k)_{j<k}] 每个候选效应对应一列。非活跃效应的系数为零；活跃主效应的方差为 c sigma^2，活跃交互项为 c rho sigma^2，截距为 tau_0^2 sigma^2，因此 slab 尺度 c 以噪声方差为单位衡量效应大小。
该先验在设计上就是共轭的，因此对每一组固定的活跃效应，后验都有闭式解；凡是精确后验仍可通过枚举计算的地方，网络的输出都会与它对照验证。预测变量先验模仿个体层面的社会科学数据：一个因子块代表多题项量表，一个由相关列组成的通用块，列顺序被打乱因而位置不携带信息，并用高斯 copula 把每一列映射为高斯、Likert、二值、计数或偏态边际。活跃效应先验强制强遗传性，因此只有当两个父主效应都活跃时，交互项才有资格被纳入。
网络如何训练与评分
LinearPFN 有 3150 万参数，在两块 H200 GPU 上以有效批量 64 个数据集训练了 37,500 个优化步，共 240 万个数据集。训练最小化三项之和：回归头在查询行上的负对数似然、选择 logit 与模拟活跃指示变量之间的二元交叉熵，以及系数输出与模拟系数之间的均方误差。第二项是恰当评分规则，其期望最小化者是效应活跃的后验概率，因此选择头被训练去逼近精确 PIP；第三项被训练去逼近系数的后验均值。
每个 Transformer 块有 16 个注意力头。在一层内，每个单元先关注同一行中的其他单元，再关注同一列中的其他单元，然后由一个 MLP 单独更新每个单元。逐效应头只读取上下文行，其输出不依赖这些行的顺序。回归头使用一个 bar 分布，在 [-8, 8] 上有 512 个等宽分箱，两侧各有一个半正态尾部。
在真实预测变量矩阵上的选择优势
主基准使用来自已发表社会科学数据集的真实预测变量矩阵，结果变量按先验抽取，因此真实活跃集已知。这 383 个预测变量矩阵来自 7 个领域的 20 个包：经济学（237）、政治学（58）、一般社会科学（32）、教育学（24）、犯罪学（17）、心理学（14）和人口学（1）。它们行数与预测变量数的中位数分别为 758 和 9，其中 87 个的预测变量不超过 5 个。
在这些数据集上，LinearPFN 在每个数据集上的选择 AUC 和在中位概率模型规则下的 F1 都高于五个经典基线，并且当系数、交互项或噪声偏离先验时这一优势依然保持。这两个指标回答的是不同问题：AUC 衡量每个数据集内效应的排序，而 F1 衡量硬选择相对真实活跃集的精确率与召回率的调和平均。论文报告称，在系数误差上 LinearPFN 仅与最佳基线持平，因此它的优势在选择而非系数估计。
与同一后验上的 MCMC 采样器比速度
摊销把变量选择压缩为一次前向传播，在单块 GPU 上以中位数 0.03 秒返回被选变量及其系数。同一后验上的 MCMC 采样器在单 CPU 线程上需要中位数 57.43 秒，并在 93.0% 的运行中满足其收敛判据。这一比较是单块 GPU 的一次前向传播与单 CPU 线程的采样之间的比较，因此它既比较方法，也比较硬件。
速度结论并不适用于所有情形。没有 GPU 时 LinearPFN 很慢：在单 CPU 线程上它是六种方法中第二慢的，仅快于 HIERNET。论文指出，CPU 成本和固定先验都不是该方法固有的，剪枝、量化和知识蒸馏是降低前向传播成本的成熟途径，但本文没有采用。
选择优势在哪里止步
该网络在单一先验上训练，该先验假设强遗传性、高斯噪声、数值型预测变量和独立行。当系数、交互项或噪声偏离这一先验时，它的选择优势依然保持，但先验本身是固定的，因此用户无法在不重新训练的情况下给出自己的先验。论文提出后续工作可以让网络以先验超参数为条件。
共线性是最尖锐的边界。当两个预测变量近乎共线时，后验质量会在它们之间分裂，两个 PIP 都可能低于二分之一，中位概率模型规则于是两个都不选。与 SUSIE 不同，LinearPFN 不报告能把这类预测变量归组的可信集。基准还有一个值得注意的结构特征：密度 k_main / p 只能取 1/p 的整数倍，因此在 p <= 5 的 2,299 个数据集中没有一个落在最低密度分箱，跨网格单元的比较会把密度和 R^2 的效应与这些单元所持有的预测变量矩阵的效应混在一起。
一次前向传播何时划算
这篇论文支持的决策与重复次数有关。带交互项的贝叶斯模型平均在需要反复进行的地方变得可行，因为每个数据集的成本从一次采样运行坍缩为一次前向传播。代价是先验固定：网络返回的是给定先验下的概率，其输出本身并不支持因果结论。
实践中最关键的阈值是 PIP 二分之一规则。正是它把稠密的系数输出转换为被选中的子集，而这也正是近乎共线预测变量失效的地方，因为分裂的后验质量会把两个 PIP 都压到二分之一以下，导致两个都不被选中。因此，在 LinearPFN 与 MCMC 采样器之间权衡的读者，应当在实际面对的情形上比较二者：大量重复数据集且先验接近网络训练所用先验时，摊销的前向传播更有利；而预测变量近乎共线，或用户需要自行设定先验时，则更适合能报告可信集或接受用户指定先验的方法。
本文引用的文献
LinearPFN: Amortized Variable Selection for Linear Models with Interactions
LinearPFN 是一个先验数据拟合 Transformer，它摊销了带主效应和两两交互项的线性模型的 spike-and-slab 推断；一次前向传播返回后验纳入概率、后验均值系数和后验预测分布，并且在真实预测变量矩阵上、结果变量按其先验抽取时，它在每个数据集上的选择 AUC 和在中位概率模型规则下的 F1 都高于五个经典基线。