偏差来自组均值差异与组内协方差
这篇论文研究的是下游预测层面的群体公平性,而不是中间嵌入层面的公平性。其分析覆盖三项任务——节点分类、链接预测和节点回归——并对任意数量敏感群体的demographic parity差距给出上界。
在三项任务中,分析都指出最终节点表示里存在两个不同的偏差来源:组均值之间的分离,以及组内协方差。这一分解是论文的组织性论断。它之所以重要,是因为这两个来源不能互相替代:只均衡组均值的方法只处理了其中一项,而协方差项由单独的正则项处理。
三项任务各自使用不同的公平性差距定义
论文没有在三项任务上使用同一个公平性数字。对二分类节点分类,它把违规程度量化为各敏感群体之间正预测率的最大绝对差,并在硬预测上评估,因为该任务本身产生离散标签。对节点回归,由于预测是连续的,它使用各群体之间期望预测的最大绝对差——即均值公平性差距。对链接预测,它使用二元组demographic parity差距:组内节点对与组间节点对的期望预测边概率之差的绝对值,并直接在预测分数上评估,而不是在阈值化决策上评估,因为链接预测通常按排序评估,没有规范的阈值。
这些定义回答的是不同问题,不能跨行比较。例如接近零的链接预测差距描述的是组内与组间二元组在分数层面的均衡,而不是节点群体之间正预测率相等。
节点分类上界可证明不松于最接近的先前结果
论文指出,其节点分类上界可证明不松于最接近的先前结果。比较对象是 FairGAT,它给出的是 GAT 层以及节点分类常用的全连接读出层的demographic parity差距上界。在关于组均值分离的同一假设下,两个上界共享相同的均值差距项,只在如何刻画组内离散程度上不同。
证明显示,只要节点数不少于输出维度,论文的上界就不超过 FairGAT 的上界。论文还把其链接预测结果定位为第一个针对实际部署的 sigmoid 激活预测、而非激活前代理量的公平性差距上界,并把节点回归结果定位为第一个此类上界。这些是关于“对什么量给出上界”的主张,而不是说该上界在每个图上都数值紧致。
FairProp 把约束放进传播内部而非外部
预处理方法独立于下游任务重连边,这需要求解昂贵的组合边选择问题,并会在缺乏对权衡显式控制的情况下扰动任务相关信息。处理中方法要么只针对节点表示的公平性、却不说明它如何传递到下游,要么加入一个促进公平性的项、其权重需要大量调参——对抗式变体还会带来极小极大训练的不稳定性。第三类方法在消息传递过程中对边重新加权。论文指出,FMP 是唯一把敏感属性直接嵌入聚合步骤的先前方法,而且它只考虑节点分类。
FairProp 则是在 APPNP 背后的凸平滑问题上加入一个凸的组均值约束和一个组内协方差正则项。对该问题展开投影梯度下降,得到的层把一次传播步骤与一次闭式投影配对。论文证明该迭代线性收敛到唯一的公平最优解。
这种投影不是均匀平移。在论文的模拟双群体示例中,向零均值差距集合做欧氏投影会把同一群体内每个节点平移相同的量,从而均衡均值、同时保留各群体的离散程度。FairProp 则按一个取决于节点在图中所处位置的量来平移每个节点,因此跨群体邻居多的节点移动更少,而深居群体内部的节点移动更多;在该示例中,组内离散程度也随之缩小。
仅精确均衡组均值就带来大部分公平性收益
实验覆盖三项任务。仅用投影精确均衡组均值,就已经在节点分类上取得最低的公平性差距、在链接预测上取得接近零的差距、在节点回归上取得零均值差距,同时对最先进基线大体保持了效用。论文把这称为一种强归纳偏置。
实际解读是:在这些运行中,要得到头条公平性数字并不需要协方差正则项;可见的作用来自组均值约束。论文把协方差项定位为分析和受约束目标的一部分,而不是报告差距所依赖的组件。
共享架构、固定传送概率与单一硬件环境
三项任务共享来自原始 APPNP 架构的两层 MLP:dropout、线性层到 64 维、ReLU、dropout,然后是一个线性层,其输出维度在节点分类中为类别数、在链接预测中为 64、在节点回归中为 1,dropout 概率全程为 0.5。随后 APPNP 式传播运行 10 步,传送参数在所有运行中固定为 0.1,除非另有说明。
模型用 Adam 训练 200 个 epoch,学习率为 0.01。节点分类和节点回归使用 5e-4 的权重衰减;链接预测不使用权重衰减。所有实验都在单台机器上运行,配置为 Intel i7-13700K CPU、128GB 主内存、NVIDIA GeForce RTX3070 GPU(8GB 显存),环境为 Python 3.10.19 和 PyTorch 2.6.0。
这些是论文所选数据集和超参数下的单机结果。固定的传送取值和共享的 MLP 宽度意味着,所报告的权衡以该配置为条件,而不是在多种架构上扫描得到的。
这里主张的是群体公平性,而非所有公平性概念
论文明确说明它处理的是群体公平性,特别是demographic parity,并未显式处理个体公平性、反事实公平性或基于度数的公平性。它指出其发现不应直接外推到其他公平性概念。它还指出,当敏感属性与目标相关时,施加公平性约束并非没有代价,而且测得的差距很小本身并不能证明部署的系统是公平的。
论文把将该框架扩展到其他展开式 GNN 架构,以及扩展到机会均等或个体公平性等公平性概念,列为未来工作。论文标注为审稿中的预印本,因此在本证据范围内,所报告的比较尚未经过同行评审。
最该先审视的是组均值投影这一组件
如果你在判断传播层面的公平性是否值得采用,论文自身的消融式强调指向一个组件:精确均衡组均值的闭式投影。正是它在这些实验中产生了最低的节点分类公平性差距、接近零的链接预测差距和零的节点回归均值差距,也是唯一具有闭式解和线性收敛保证的部分。
协方差正则项和更紧的上界对于理解偏差来自何处、以及节点分类上与 FairGAT 的比较很重要,但所报告的公平性数字并不依赖它们。因此,相关的判断阈值不是 FairProp 整体是否胜过基线,而是在你的任务上,传播内部的精确组均值均衡能否保留足够的效用——而论文对这一权衡的证据仅限于它的三项任务、固定的传送设置和单机运行。
本文引用的文献
FairProp: Fair Node Representation Learning via Differentiable Propagation Layers
FairProp 通过展开投影梯度下降,把凸的组均值约束和组内协方差正则项嵌入 APPNP 传播;仅精确均衡组均值就取得最低的节点分类公平性差距、接近零的链接预测差距和零的节点回归均值差距,同时大体保持效用。
