单个检查点覆盖三类任务
现有图基础模型只在特定的图模态或任务内泛化。论文的表 1 把已有模型族放在两个轴上——节点特征与边类型——再与节点属性和链接预测交叉:Ultra 和 Flock 覆盖边类型和两类任务,但不覆盖节点特征;OpenGraph 和 AnyGraph 覆盖节点特征和两类任务,但不覆盖边类型;TS-Net 和 GraphPFN 只覆盖节点特征和节点属性;UniLP 和 TFMLinker 只覆盖链接预测。Wander 是四个格子全部标记的那一行。
实证结论比这张表更窄。论文报告单个预训练检查点在节点分类、同质链接预测和知识图谱链接预测上达到最优或极具竞争力的结果。这是三套评测,而不是对所有图学习问题的断言;讨论部分把节点回归和图分类列为该框架尚未扩展的方向。
补全视角把预测统一为一个目标
论文通过采用 TabPFN 所用的先验预测视角,回答通用图基础模型应当学习什么预测函数。观测到的图被视为从某个图分布中抽取的完整图的一个部分指定实现。补全节点标签即节点分类,补全边即链接预测。更一般地,每个任务定义了一个关于图中未观测成分的查询,而贝叶斯最优预测就是在给定观测下、与查询相关目标的后验期望。
这是让一个预测函数覆盖通常分开训练的任务的概念性步骤。它是一种形式化表述,而非实测结果:论文对它的证据是推导加上单个检查点的实证结果,而不是对后验期望的直接测量。
推理时可增加结构而无需重训
Wander 可以在推理时增加其结构上下文,而不改变已学到的参数。这把预测时模型看到的图规模与固化在权重中的内容分离开来,也正是这一性质让随机游走预算成为部署时的调节旋钮,而非训练决策。
论文还给出一个理论保证:在适当假设下,Wander 在有限连通图上通用逼近相应的贝叶斯最优预测器。另有两个结果界定了该方法何时应当有帮助。定理 1 把扩展先验带来的风险差,界定为新增图族所获后验质量与该族预测器条件风险差之积的期望,因此当新增图族获得后验质量且其预测有益时,扩展先验有帮助;当观测排除该族时,扩展先验不会有害。命题 2 指出,对任何定义在同构类上的图先验,贝叶斯最优预测器都是置换等变的。
这些是依赖假设的结果。它们描述的是该架构被设计来逼近的预测器,而不是对预训练检查点在任一具体数据集上行为的保证。
知识图谱链接预测优势最明显
在零样本知识图谱链接预测表中,Wander 在两个指标上的平均排名都最好:MRR 为 1.750,Hits@10 为 1.611,而 GraphPFN 为 2.343 和 2.222,Trix 为 2.657 和 2.750,Ultra 为 3.250 和 3.417。平均 MRR 为 0.399,平均 Hits@10 为 0.565,GraphPFN 则为 0.391 和 0.560。
平均值掩盖了分组差异。Wander 在直推式分组领先,包括 NELL995 的 0.519 MRR 和 ConceptNet100k 的 0.258 MRR,并在若干归纳式实体划分上领先,如 NL-v3 的 0.610 MRR。它并非处处领先:在 WK-25 上 Ultra 以 0.316 MRR 领先,在 NL-25 上 Ultra 以 0.395 领先,在 NL-0 上 Trix 以 0.385 领先。论文自己的表述是最优或极具竞争力,而逐行数字对这句话后半部分的支撑不亚于前半部分。
同质链接预测在 Recall@20 上打平
与 UniLP 的比较需要不同的评测协议,论文明确说明了原因。UniLP 报告 Hits@50,做法是把正边与端点可能不同的采样负边比较,而这种比较对 Wander 不太自然,因为它的分数是在固定源节点条件下为候选尾节点联合产生的。作者改用采样 Recall@20:对每个源节点,把所有留出的正邻居与 100 个采样非边一起排序,报告前 20 个候选中正邻居所占比例,并在两个随机 70/10/20 划分上评测。
在该协议下且不使用节点特征时,两个模型平均表现基本相同,均为 85.4% Recall@20。Wander 在 Celegans、USAir 和 Cora 上更好;UniLP 在其余四个数据集上更好。论文报告 Wander 在相同 A100 硬件上明显更快。在三个带节点属性的数据集上,启用特征可提升 Wander 在 Cora、CS 和 Facebook 上的表现,在这三个数据集上都超过无特征的 UniLP 结果。
85.4% 是采样协议下的 Recall@20 平均值,不是 Hits@50 数字,不应被当作 UniLP 所报告指标的等价替代来解读。
联合预训练保留专长并可组合
跨图模态和任务的联合预训练在专门设定下保持性能,同时带来正向迁移,并能在推理时组合分别学到的能力。这是论文关于共享接口除便利之外还带来什么的论断:在一种设定中学到的能力可以在另一种设定中复用。
先验消融让人了解合成分布有多重要。把 Wander 的合成属性图先验换成 NodePFN 先验,平均节点分类准确率从 68.20% 降到 66.44%,同质链接预测 Recall@20 从 43.39% 降到 41.16%;GraphPFN 先验给出 67.33% 和 39.53%。知识图谱链接预测 MRR 只有微小变化,从 0.399 变为 0.397 和 0.398。作者把同质链接预测的差距追溯到聚类系数相对平均度较高的图,并指出 GraphPFN 的先验在若干异质图上提升了准确率,尽管其总体准确率更低;他们称这一模式仍是初步的,因为两种先验在图和属性生成的其他方面也不同。
单一检查点结论的适用边界
预训练先验是主要边界。预训练所用的属性图大多是合成的,多关系预训练只用了三个真实知识图谱:FB15k-237、WN18RR 和 CoDEx Medium。讨论部分把同时包含节点特征和边类型的图列为该先验尚未覆盖的方向,而这恰恰是表 1 定位所暗示的交叉点。
推理成本是第二条边界,且与模型的卖点相互作用。大的随机游走预算和重复采样代价高昂;降低这些预算无需重训即可加速预测,但可能降低预测性能。例如知识图谱链接预测的随机游走配置,每次结构更新采样 3K 条基础游走,游走长度 S = 128,推理采样 16 次,基础游走数按数据集在 2 到 32 之间变化。
在这些边界下,对这篇论文最有用的读法是比较而非定论。Wander 最清晰的优势是单个检查点与知识图谱链接预测最佳平均排名的结合,它在该任务上领先直推式分组和若干归纳式实体划分。其同质链接预测结果是在采样协议下 85.4% Recall@20 的打平,其节点分类结果则依赖一个合成先验,而消融显示该先验对高聚类和异质情形的覆盖才是关键。读者在权衡是否采用单一检查点时,应先确认自己的图属于这三类情形中的哪一类,再把统一化的结论当作已经确立。
本文引用的文献
To Learn is to Wander: Learning Across Graphs and Tasks with Random Walks
单个预训练的 Wander 检查点以随机游走为共享接口、把图学习视为补全部分观测图,在节点分类、同质链接预测和知识图谱链接预测上达到最优或极具竞争力的结果,并在适当假设下于有限连通图上通用逼近贝叶斯最优预测器。
