矩阵原生 Transformer 能否一次前向补全缺失项？

一次前向取代逐项预测

此前的表格基础模型把矩阵补全当作逐项预测：每个单元格成为一个带行列上下文的监督样本，于是 R×C 矩阵被展开成一张 R×C 个样本的表，其特征重复同一批观测值。随着矩阵变大，这种展开会推高内存和运行成本。MatrixFormer 则把部分观测矩阵表示为带显式缺失指示的单元格 token 网格，注意力在每一行的各列之间与每一列的各行之间交替进行。因此一个单元格既能结合同一单元其他测量的信息，也能结合同一测量在其他单元上的信息。

收益体现在 NVIDIA H200 上的固定宽度运行实验：宽度固定为 10 列、行数从 16 按几何级数增至 1024 时，相对旧式逐项模型 TabImpute 的加速比从 16 行的 2.1× 增至 1024 行的 107.0×，此时 TabImpute 的中位运行时间为 4.167 秒，MatrixFormer 为 0.0389 秒。这一比较是在 40% MCAR 下对单个 1024×10 合成矩阵的运行时间测量，不是精度结论；而且 MatrixFormer 本身要用两次这样的前向，因为它集成了两个专家模型。

合成预训练让部署时权重保持固定

MatrixFormer-Impute 完全在合成矩阵上训练，这些矩阵的秩、奇异值分布、维度和缺失模式各不相同，并包含稀疏的行与列以模拟有限的观测支持。部署时，观测项提供上下文，模型权重保持不变。训练使用全新的 AdamW 优化器，权重衰减 0.02、梯度范数裁剪 0.5，以每批两个矩阵运行 128k 次更新，参数为 FP32、计算为 BF16，学习率在 600 次更新内预热到 10⁻⁵，随后按余弦衰减到该峰值的 5%。尺寸扩展阶段以该峰值一半的学习率运行 5k 次更新，分阶段放大矩阵。

有两个细节对解读结果很重要。第一，模型选择只使用合成数据，但下游基准在开发过程中被查看过，UCI 的上下文选择被作者描述为探索性后续分析，而非盲验证。第二，发布模型是两个固定预训练专家的观测误差集成：通用型 MatrixFormer-Impute 与推荐专用型 MatrixFormer-RecSys。每个输入矩阵拟合一个混合权重，使混合模型在观测项上的归一化平方重构误差最小；这个双模型最小二乘解是解析的并裁剪到 [0,1]，同一权重合并该矩阵中所有缺失单元格的预测，而观测值保持不变。

因果面板数据检验反事实补全

从面板数据估计处理效应，等价于用其余项预测处理单元在处理后时期的未处理结果。论文在未处理值已知、因此真实效应为零的安慰剂基准上评估这一点：CPS 安慰剂研究、针对一个受处理州的 Kansas 半合成因子设计，以及采用同期或交错伪处理的 California 吸烟捐赠池。报告两个指标：隐藏处理块上的块 RMSE，以及隐含处理组平均处理效应的绝对误差。由于结果尺度不同的设计之间原始误差不可比，每个指标在每次抽样中跨七种方法做 min-max 归一化，再对抽样取平均，各设计等权。

MatrixFormer 在六个面板中的五个取得最低归一化分数；HyperImpute 在 Kansas 效应误差上最低（0.119 对 0.125）。在 California 吸烟（0.159 对 SDiD 的 0.212）和 CPS（0.177 对 0.215）的处理块 RMSE 上，对次优方法的领先明确，95% 区间不重叠；其余面板落在区间之内。仅与 HyperImpute 相比，MatrixFormer 在三个面板明显领先，在另外三个面板持平。这些是跨抽样的归一化分数，因此结果是排序，而不是原始误差量级。

MissBench 上优势微弱，UCI 上更明显

插补使用两个套件。MissBench 是与 TabImpute 配套使用的基于 OpenML 的套件：42 个数据集、十一种缺失机制、名义 40% 设置，共 462 个案例。本地 UCI 风格套件包含 12 个数据集，在 MCAR、MAR 和 MNAR 下取 10%、20%、30%、40% 和 50% 名义缺失率，每个设置重复十次，共 1,800 个案例。两个套件都没有行级训练/测试划分：保留所有行和列，观测项提供上下文，只在被掩蔽的单元格上评分。指标是逐列归一化 RMSE，即每列在被掩蔽项上的 RMSE 除以其被掩蔽真值的标准差，再对一个案例的有效列取平均；在每种缺失机制内，重复和缺失率先在数据集内平均，数据集再等权，两个套件不合并。

MatrixFormer 在两个套件上的总体 NRMSE 都最低：MissBench 为 1.580，仅略优于旧版 TabImpute 的 1.585；UCI 为 0.998，优于 ICE 的 1.172。在 UCI 上它在 MCAR、MAR 和 MNAR 三种机制下也都最低。在 MissBench 上它在 MNAR 最低，而旧版 TabImpute 在 MCAR 最低（0.819 对 0.866），K-NN 在 MAR 最低（1.075 对 1.086）。因此 MissBench 上对 TabImpute 的优势在总体 NRMSE 上接近持平，并非决定性差距。在 UCI 上，MatrixFormer 使用至多 2,000 行、1,000 列的连续窗口，这是预训练中见过的最大矩阵，观测列归一化由整个不完整矩阵一次性计算，重叠的尾部窗口预测取平均；由于这些数据集至多 90 列，只对行做切分。作者说明这一由训练推导出的窗口上限是在查看整矩阵结果之后采用的，因此属于探索性协议选择。

稀疏矩阵上基准分数补全优于高斯估计

在全部基准上评估一个语言模型代价高昂，因此论文追问：在只观测到少量评估结果后，MatrixFormer 能否重建模型未测量的基准分数。行是模型，列是基准任务；这是分数矩阵补全，不是对生成答案的新评估。使用四个固定快照：MTEB（263 个模型、56 个任务、77.3% 已观测）、MMLU（5,452 个模型、57 个任务、100.0% 已观测）、Merged（118 个模型、114 个任务、31.1% 已观测）和 BenchPress（83 个模型、49 个任务、33.8% 已观测）。每个矩阵按模型行分成十折（种子 42），每折留出约 10% 的模型；对每个留出模型，暴露其在 k 个选定任务上的可用分数，并预测其原本已观测但未被选中的分数。自然缺失项不是真值，因此在稀疏矩阵上，k 个选定任务可能暴露少于 k 个分数。

指标是留出目标上的 R²，对十折取平均。在贪心互信息选择下，k ∈ {5, 10, 15} 时，MatrixFormer 在 MTEB、Merged 和 BenchPress 上三个预算下 R² 都更高，在两个最稀疏的矩阵上最明显：k = 15 时 Merged 为 0.6464 对 0.3625，BenchPress 为 0.4687 对 −0.0253。高斯条件均值估计在 MMLU 上更高（k = 15 时 0.9266 对 0.9155）。在全部 180 个数据集/选择/预算设置中，MatrixFormer 在 119 个上优于高斯基线，在 61 个上更差；论文指出这些计数概括的是相关设置，而非独立的显著性检验。

评分预测按用户宏平均

评分补全在 MovieLens 100K 和 Cornac 分发的 Netflix 小规模子集上评估，二者都是评分取 1–5 的稀疏用户–物品矩阵。复用基准冻结的 80/20 评分项留出，在 MovieLens 100K 上评分 19,971 条，在 Netflix 小规模子集上评分 121,470 条；这是评分项留出，不是留出用户划分。按照 Cornac 测试框架，RMSE 和 MAE 在每个测试用户内计算，再对用户等权平均，因此报告的 RMSE 是各用户 RMSE 的均值，而不是汇总的评分级 RMSE。

MatrixFormer 在 MovieLens 100K 上取得 RMSE/MAE 0.8874/0.7279，在 Netflix 小规模子集上取得 0.8617/0.7330，低于所有展示的基线。Netflix 上相对 SVD（0.8621）的 RMSE 优势很小，论文明确未对此作显著性声明。论文直接说明了一个基线注意事项：BPR 以成对排序目标训练，而非为评分校准，因此其评分误差并不衡量其排序质量。MatrixFormer 的预测被裁剪到观测训练评分范围。

零样本结论在不同任务上并不均匀

综合来看，这些结果并不支持“处处最优”的统一解读。最明确的优势是 1024×10 合成矩阵上的运行时间扩展、California 吸烟和 CPS 上 95% 区间与次优方法不重叠的处理块 RMSE，以及 k = 15 时两个最稀疏的基准分数矩阵。最窄的优势是 MissBench 总体 NRMSE（1.580 对旧版 TabImpute 的 1.585）和 Netflix 上相对 SVD 的 RMSE（0.8617 对 0.8621），论文都未将其作为显著性声明。MMLU 是唯一一个高斯估计在所有报告预算下都更高的基准分数矩阵。

对读者最有用的区分，是哪些任务上 MatrixFormer 的优势大且区间分离，哪些任务上接近持平或落败。论文自身的表述是，这些结果使 MatrixFormer 成为矩阵补全的通用基础模型，一次前向补全 1024×10 矩阵比 TabImpute 快 107×，而 MatrixFormer 本身要用两次这样的前向。作者把评估预测分布（例如处理效应的区间）、把上下文扩展到更大矩阵，以及在留出项上选择集成权重列为未来方向，这标出了当前零样本证据覆盖的边界。

本文引用的文献