Transformer 能否实现兼顾整条信息流排列外部性的真实生成式拍卖？

联合排序可能让广告主从虚报中获利

多数信息流平台把自然内容与广告放在各自独立的流程中排序，然后再混合，把一条内容的点击率主要视为其自身身份和位置的函数。论文认为这种做法易于处理，但忽略了排列外部性：广告的点击率还取决于周围内容。好友发布的一条徒步帖子可能提高附近户外装备广告的点击率，而多条相似广告则可能造成疲劳并降低点击率。

一旦广告与自然内容被联合排序，激励相容就更难实现。广告主可以通过策略性虚报来改变其广告周围的内容并从中获益。论文举的例子是：在低出价时，聚合器可能把一条徒步帖子紧挨着广告放置，带来高点击率；当广告主提高出价后，聚合器可能把广告上移、远离这一有利语境，于是尽管位置更高，点击率反而下降。

形式上，占优策略激励相容（DSIC），也称策略防伪，要求广告主实现的收益随其出价非递减。一个不受约束的联合排序器未必满足这一条件。论文指出，此前没有工作在排列外部性下联合优化整个广告—自然内容排序，同时保证精确 DSIC。

MIRT 把范围生成与出价感知选择分开

MIRT 是一种最大范围内机制。一个 Transformer 以广告、自然内容和用户特征为条件，生成一组候选的广告—自然内容联合排序，称为范围。随后机制在该范围内选出福利最大的信息流。

其中的张力很明确：策略防伪要求生成的范围与出价无关，而候选信息流的福利却线性依赖于出价。MIRT 的解决方式是让生成保持与出价无关，把对出价的依赖限制在选择环节。作者的关键技术贡献是一种强化学习方法，把候选生成与出价感知选择都纳入训练，使一个与出价无关的 Transformer 学会同时考虑单条信息流质量和整个范围的集体质量，从而生成高福利的范围。

论文还在硬注意力下给出了 MIRT 类的伪维度上界。其结论是：接近最优的期望福利是可学习的，样本复杂度对 Transformer 规模为多项式，对范围大小仅为对数。

精确策略防伪取代近似的后悔惩罚

此前的基于学习的信息流生成方法 CGA 和 NGA 训练 Transformer 选择考虑排列外部性的排序，并使用最小化激励相容违背的转移支付。它们只能近似策略防伪。论文报告，在其实验中策略防伪缺口相当大：虚报可能带来的收益超过广告主效用的 10%。

MIRT 则在构造上具有零后悔。在参考配置下，论文报告 MIRT 的总福利高于 CGA 和 NGA，且后悔为零，而 CGA 和 NGA 表现出很高的后悔。在总转移支付上，MIRT 高于 Greedy+MIR 基线，略低于 CGA，与 NGA 相当。

作者指出了这一比较中的不确定性：CGA 和 NGA 的后悔超参数被调至产生更接近零后悔设置的较低后悔值，而进一步最小化后悔会降低它们的表现。论文表示，不同的超参数有可能带来低后悔下的更好表现；另一方面，用于估计后悔的经验方法也可能漏检某些虚报。作者称这是近似策略防伪方法用于神经机制设计的一个根本局限。

福利优势在各类外部性函数下成立

论文在固定其他所有实验参数、使用默认问题规模和出价分布的情况下改变外部性函数。在 Prev. Organic、Additive、Activation、Attention、Multiplicative、Topic 和 Position 这些外部性函数下，MIRT 在总福利这一主要目标上都优于所有其他机制。

绝对数值显示了这一模式。在 Additive 外部性下，Random+MIR 为 29.67 ± 0.227，Greedy+MIR 为 33.24 ± 0.255，K = 32 的 MIRT 为 33.92 ± 0.257，K = 256 的 MIRT 为 34.47 ± 0.258。CGA 和 NGA 分别为 33.55 ± 0.254 和 33.51 ± 0.254。在 Attention 外部性下，MIRT（K = 256）为 33.49 ± 0.256，而 CGA 为 32.56 ± 0.247，NGA 为 32.59 ± 0.247。

在总转移支付上，表现最好的机制取决于外部性函数，因此福利上的领先并不自动延续到转移支付。在这些比较中，MIRT 在构造上仍具有零后悔，而其他机制表现出很高的后悔。

出价分布改变转移支付而非福利领先

论文还改变广告主出价的分布，以检验对不同广告主群体的稳健性。对于社会福利这一核心目标，即便在 K = 32 时，MIRT 也大幅优于所有其他机制。

在 Uniform 分布下，MIRT（K = 256）的总福利为 43.32 ± 0.269，而 CGA 为 40.37 ± 0.252，NGA 为 40.31 ± 0.252。在 Pareto 分布下，MIRT（K = 256）为 55.02 ± 0.916，而 CGA 为 51.00 ± 0.767，NGA 为 50.98 ± 0.766。

总转移支付的表现不同。在 uniform、lognormal 和 Pareto 分布下，MIRT 甚至在总转移支付上也优于所有其他机制；但在 Exponential 分布下，CGA 报告的转移支付（3.26 ± 0.024）高于 MIRT（K = 256）的 2.76 ± 0.037。论文自身的表述是，福利与转移支付是两个独立目标，转移支付的领先者取决于出价分布。

扩大范围提升福利且不增加延迟

由于 MIRT 是最大范围内机制，随着更多信息流被加入范围，福利会提升；当范围大到足以包含所有信息流时，就恢复为精确 VCG。论文在参考环境中以解码温度 2 将范围在 K ∈ {32, 64, 128, 256, 512} 之间变化。

福利和总转移支付都随范围大小增加而提升。论文报告，由于 MIRT 在 GPU 上并行运行，其延迟不随范围大小增加。缩放图追踪了这些范围大小下的用户福利、广告主福利、总福利、总转移支付和延迟。

这是论文最清晰的实践权衡：范围宽度换来福利，而作者报告在其设置中扩大范围没有延迟代价。这一说法针对的是该实现和环境，并非对任何部署的普遍保证。

可学习性上界覆盖与不覆盖的内容

理论贡献是硬注意力下 MIRT 类的伪维度上界。论证先界定一个二元比较类的 VC 维，再把范围增长转化为伪维度上界，得到 Pdim(W) = O(W L T log(T W) log(T KN))。其所述结论是：接近最优的期望福利是可学习的，样本复杂度对 Transformer 规模为多项式，对范围宽度仅为对数。

这一上界针对的是机制类的可学习性，而非实验比较。实验结论来自参考配置，以及跨外部性函数、出价分布和问题规模的稳健性实验。论文报告，MIRT 在各问题规模下的总转移支付和福利上，都继续与零后悔基线保持竞争力。

论文自身的局限在此很重要。与 CGA 和 NGA 的比较依赖于针对本设定改编的重新实现，其后悔超参数被调向更低后悔，代价是性能下降。作者指出，不同的超参数或不同的后悔估计器可能改变这一图景。出价感知的束搜索基准是强福利基准，但无法与合适的转移支付规则结合，因此不能被解释为机制。

MIRT 在哪里改变部署决策

论文的核心主张是：基于 Transformer 的拍卖可以在不牺牲精确激励相容的前提下，实现考虑外部性的整条信息流优化，从而消除作者所称的实际部署的一大障碍。与决策相关的比较不只是福利，而是零后悔下的福利。

在这一比较上，MIRT 在所有测试过的外部性函数下、以及在福利所测试的出价分布下，都优于此前最先进的信息流模型；而 CGA 和 NGA 带有论文测得可能超过广告主效用 10% 的后悔。转移支付的图景则更有条件：MIRT 在 uniform、lognormal 和 Pareto 出价下领先，但在 Exponential 分布下不领先，此时 CGA 报告的转移支付更高。

论文中最有用的阈值是范围大小。K = 32 的 MIRT 在福利上已经超过此前的机制，把范围扩大到 K = 256 会进一步提升福利，且没有报告延迟增长。因此，权衡这一方法的读者应把精确策略防伪视为偏好 MIRT 的首要理由，并把范围宽度视为用算力换福利的调节旋钮，而不是击败此前方法的必要条件。

本文引用的文献