随机游走能否支撑跨图跨任务的单一图基础模型?

Wander 以随机游走为共享接口,让单个预训练检查点跨图类型处理节点与边任务。

直接答案

在论文测试的设定内可以。Wander 把图学习视为补全一个部分观测图,并以随机游走作为通用接口,因此单个预训练检查点即可处理同质图与多关系图上的节点分类、同质链接预测和知识图谱链接预测,且这些图的特征、标签和关系模式各不相同。论文报告其结果达到最优或极具竞争力,并在适当假设下,在有限连通图上通用逼近相应的贝叶斯最优预测器。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

单个检查点覆盖三类任务

现有图基础模型只在特定的图模态或任务内泛化。论文的表 1 把已有模型族放在两个轴上——节点特征与边类型——再与节点属性和链接预测交叉:Ultra 和 Flock 覆盖边类型和两类任务,但不覆盖节点特征;OpenGraph 和 AnyGraph 覆盖节点特征和两类任务,但不覆盖边类型;TS-Net 和 GraphPFN 只覆盖节点特征和节点属性;UniLP 和 TFMLinker 只覆盖链接预测。Wander 是四个格子全部标记的那一行。

实证结论比这张表更窄。论文报告单个预训练检查点在节点分类、同质链接预测和知识图谱链接预测上达到最优或极具竞争力的结果。这是三套评测,而不是对所有图学习问题的断言;讨论部分把节点回归和图分类列为该框架尚未扩展的方向。

补全视角把预测统一为一个目标

论文通过采用 TabPFN 所用的先验预测视角,回答通用图基础模型应当学习什么预测函数。观测到的图被视为从某个图分布中抽取的完整图的一个部分指定实现。补全节点标签即节点分类,补全边即链接预测。更一般地,每个任务定义了一个关于图中未观测成分的查询,而贝叶斯最优预测就是在给定观测下、与查询相关目标的后验期望。

这是让一个预测函数覆盖通常分开训练的任务的概念性步骤。它是一种形式化表述,而非实测结果:论文对它的证据是推导加上单个检查点的实证结果,而不是对后验期望的直接测量。

随机游走充当共享接口

实现该预测器需要一个能跨不同图结构、特征空间、关系和标签空间工作的接口。Wander 用随机游走作为这一接口,这正是同一模型能处理特征、标签和关系模式各异的同质图与多关系图的原因。

每个 Wander 层组合三种更新操作:节点内更新,在同一节点的特征、标签和结构 token 之间交换信息;上下文学习更新,让 token 在其通道内关注带标签的上下文节点;随机结构更新,承载图信息。经过 L 层后,任务特定的读出把查询节点的标签 token 映射为类别概率,或把每个候选节点的结构 token 映射为链接概率。

架构消融显示这三种操作不可互换。去掉随机结构更新会使知识图谱链接预测跌至 0.001 MRR,节点分类降至 51.11% 准确率,同质链接预测降至 15.6% Recall@20,而完整模型分别为 0.399、68.20% 和 43.39%。去掉节点内更新几乎不影响知识图谱链接预测(0.398 MRR),但把节点分类降到 60.23%,作者将其归因于知识图谱没有节点特征。

推理时可增加结构而无需重训

Wander 可以在推理时增加其结构上下文,而不改变已学到的参数。这把预测时模型看到的图规模与固化在权重中的内容分离开来,也正是这一性质让随机游走预算成为部署时的调节旋钮,而非训练决策。

论文还给出一个理论保证:在适当假设下,Wander 在有限连通图上通用逼近相应的贝叶斯最优预测器。另有两个结果界定了该方法何时应当有帮助。定理 1 把扩展先验带来的风险差,界定为新增图族所获后验质量与该族预测器条件风险差之积的期望,因此当新增图族获得后验质量且其预测有益时,扩展先验有帮助;当观测排除该族时,扩展先验不会有害。命题 2 指出,对任何定义在同构类上的图先验,贝叶斯最优预测器都是置换等变的。

这些是依赖假设的结果。它们描述的是该架构被设计来逼近的预测器,而不是对预训练检查点在任一具体数据集上行为的保证。

联合预训练保留专长并可组合

跨图模态和任务的联合预训练在专门设定下保持性能,同时带来正向迁移,并能在推理时组合分别学到的能力。这是论文关于共享接口除便利之外还带来什么的论断:在一种设定中学到的能力可以在另一种设定中复用。

先验消融让人了解合成分布有多重要。把 Wander 的合成属性图先验换成 NodePFN 先验,平均节点分类准确率从 68.20% 降到 66.44%,同质链接预测 Recall@20 从 43.39% 降到 41.16%;GraphPFN 先验给出 67.33% 和 39.53%。知识图谱链接预测 MRR 只有微小变化,从 0.399 变为 0.397 和 0.398。作者把同质链接预测的差距追溯到聚类系数相对平均度较高的图,并指出 GraphPFN 的先验在若干异质图上提升了准确率,尽管其总体准确率更低;他们称这一模式仍是初步的,因为两种先验在图和属性生成的其他方面也不同。

单一检查点结论的适用边界

预训练先验是主要边界。预训练所用的属性图大多是合成的,多关系预训练只用了三个真实知识图谱:FB15k-237、WN18RR 和 CoDEx Medium。讨论部分把同时包含节点特征和边类型的图列为该先验尚未覆盖的方向,而这恰恰是表 1 定位所暗示的交叉点。

推理成本是第二条边界,且与模型的卖点相互作用。大的随机游走预算和重复采样代价高昂;降低这些预算无需重训即可加速预测,但可能降低预测性能。例如知识图谱链接预测的随机游走配置,每次结构更新采样 3K 条基础游走,游走长度 S = 128,推理采样 16 次,基础游走数按数据集在 2 到 32 之间变化。

在这些边界下,对这篇论文最有用的读法是比较而非定论。Wander 最清晰的优势是单个检查点与知识图谱链接预测最佳平均排名的结合,它在该任务上领先直推式分组和若干归纳式实体划分。其同质链接预测结果是在采样协议下 85.4% Recall@20 的打平,其节点分类结果则依赖一个合成先验,而消融显示该先验对高聚类和异质情形的覆盖才是关键。读者在权衡是否采用单一检查点时,应先确认自己的图属于这三类情形中的哪一类,再把统一化的结论当作已经确立。

本文引用的文献

1

To Learn is to Wander: Learning Across Graphs and Tasks with Random Walks

单个预训练的 Wander 检查点以随机游走为共享接口、把图学习视为补全部分观测图,在节点分类、同质链接预测和知识图谱链接预测上达到最优或极具竞争力的结果,并在适当假设下于有限连通图上通用逼近贝叶斯最优预测器。