联合紧致性与一致性框架如何改进深度图聚类?

CoCo 从局部与全局视角学习图表示,压缩为低秩紧致嵌入,并对齐两视角的相似度分布以完成聚类。

直接答案

CoCo 通过从同一张图的两种视角学习节点表示来改进深度图聚类:原始图提供局部邻居信息,图扩散矩阵提供长程关系;随后把两种表示压缩为低秩紧致嵌入,去除冗余和噪声。一致性学习策略对齐两个紧致视角的相似度分布,使两个视角的语义互相补充,最后由 K-means 给出聚类结果。论文报告称,CoCo 在同配图、异配图和含噪图等多种数据集上优于当前最先进的对比方法。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

CoCo 针对的两类失效

图聚类把图中的节点划分成特征相似的组。图神经网络能同时利用节点属性和图拓扑,因此在这类任务上很有吸引力,但论文指出它有两个反复出现的弱点。第一,GNN 中的局部消息传递通常只传播几层,因而忽略长程依赖,难以刻画节点的基础分布。第二,图数据本身带有冗余和噪声,这会使节点表示既不紧致也不稳健,对聚类的区分能力因此下降。

CoCo 用两套彼此独立的机制分别应对这两个弱点,而不是用一套机制同时解决。图卷积滤波器提供超越局部邻域的多视角表示,低秩编码提供抑制冗余的紧致性,一致性策略再把两个视角联系起来。区分这两项任务对理解结果很重要:论文后面的层数对比检验的是滤波器设计,损失函数对比检验的则是一致性设计。

同一套滤波器给出局部与全局视角

CoCo 首先构造两个经过滤波的属性矩阵。局部视角在原始图上编码节点属性和图拓扑,因此反映直接邻居信息。全局视角在扩散矩阵上做同样的编码,论文把该矩阵描述为建模间接连接和长程依赖。随后,两个不共享参数的 MLP 编码器把这些滤波后的矩阵分别映射为局部表示和全局表示。

滤波器被有意与权重矩阵分开。在消融实验中,随着卷积层数(即图卷积滤波器中的参数 t)增加,论文比较了 GCF+MLP 与 GCN。在不同层数下,GCF+MLP 的聚类表现始终优于 GCN。更能说明问题的是,GCF+MLP 随层数增加保持相对稳定,而 GCN 在多数情况下先提升、随后变差。作者把这种稳定性归因于将滤波器与权重矩阵解耦,这是他们对消融结果的解释,而不是另行测量的性质。

低秩嵌入在聚类前去除冗余

两个编码后的表示并不直接用于聚类。CoCo 把它们编码为低秩紧致嵌入,做法是学习一个最优低维子空间,用来刻画内在的基础结构。在训练流程中,该最优子空间被迭代更新,并为局部和全局视角分别生成重构嵌入。论文称这一步的目的是消除冗余和噪声,并揭示更利于聚类的结构。

这正是 CoCo 与依赖对抗防御或改进训练损失的抗噪方法不同之处。论文把低秩学习定位为显式建模潜在的低维结构,并在数据分布层面分离噪声和冗余。这一说法是作者的论证理由;为其提供的证据是整个框架的聚类表现,而不是对去除噪声量的直接测量。

一致性对齐不使用负样本

在紧致嵌入之上,CoCo 加入了一致性学习策略。它对每个节点分别从两个视角计算相似度分布,并促使模型产生一致的分布,从而在局部与全局视角之间传递知识,丰富节点语义。最终聚类结果来自对融合表示应用 K-means。

论文明确划清了这一策略与对比学习的界线。一致性学习针对非独立同分布节点之间的关系信息,在两个视角的关系分布层面运作,让两个视角相互作用、相互引导。对比学习则在实例层面工作并使用负样本,而 CoCo 的一致性损失不使用负样本。作者称自己的方法是在更高阶、更全局的层面捕捉语义知识。他们还报告,把一致性损失换成 InfoNCE 对比损失后表现明显变差,这在论文自身的比较范围内支持了分布层面对齐的主张。

报告的性能提升覆盖哪些情形

摘要指出 CoCo 在多种数据集上优于当前最先进的对比方法,讨论部分进一步说明实验覆盖范围:同配图、异配图和含噪图,主任务是图聚类,节点分类是附加任务。讨论部分还报告了时空复杂度对比,用以说明方法的效率。这些都是论文自己的总结性主张;证据包没有提供逐数据集分数,因此这里无法给出相对某个具名基线的具体领先幅度。

层数消融是证据包中最具体的结果。它在 CoCo 框架内比较不同卷积层数下的 GCF+MLP 与 GCN,优势在这些设置下都成立。该比较隔离出的是滤波器加编码器的设计,而不是完整 CoCo 流程与外部方法的对比,因此不应把它读成 CoCo 整体领先程度的度量。

现有证据尚未确定的部分

若干边界直接来自结果的呈现方式。性能主张是关于优于对比方法的总体陈述;证据包中没有逐数据集数字,读者无法判断提升是均匀分布还是集中在特定图类型上。同配、异配和含噪被列为评估条件,但这里没有按条件拆分的结果。

机制主张的证据分量也不相同。GCF+MLP 在不同层数下的稳定性是观测到的消融结果;把它归因于滤波器与权重矩阵解耦,则是作者的解释。同样,低秩嵌入去除冗余和噪声是论文陈述的设计目的,支撑证据是下游聚类表现。论文的未来工作提到时序图聚类和单细胞基因组聚类,这些是本研究尚未评估的扩展方向。

值得关注的设计取舍

对评估这一框架的读者来说,最影响判断的区分在于它的两个组件,而不是总体排名。层数消融表明,图卷积滤波器配合不共享参数的 MLP 编码器,是让聚类表现随深度增加保持稳定的部分;而标准 GCN 在多数情况下先提升后退化。损失对比表明,局部与全局紧致视角之间的分布级一致性,明显优于 InfoNCE 对比替代方案。

因此,CoCo 的独特重点是把深度稳定的双视角编码器与低秩压缩、分布级对齐结合起来,而不是单独强调紧致性或一致性。读者在判断是否采用它时,应先问自己的流程缺的是哪一块:不稳定的深层传播,还是未对齐的多视角表示。论文的证据分别回答了这两个问题,而其优于当前最先进对比方法的综合主张,建立在覆盖同配图、异配图和含噪图的评估之上。

本文引用的文献

1

Compactness and Consistency: A Conjoint Framework for Deep Graph Clustering.

CoCo 用图卷积滤波器学习局部和全局节点表示,将其压缩为低秩紧致嵌入,并通过一致性学习对齐两者的相似度分布;论文报告称,它在同配图、异配图和含噪图等多种数据集上优于当前最先进的对比方法。