中心性图移位算子：用节点重要性提升图神经网络性能-编程实验室

1. 项目概述：重新思考图神经网络中的图移位算子

在过去的几年里，图神经网络（GNN）已经成为处理社交网络、分子结构、知识图谱等复杂关系数据的利器。作为一名长期在机器学习与图计算领域摸爬滚打的从业者，我见过太多模型在标准数据集上表现优异，但一到实际业务场景，面对结构各异、信息分布不均的真实图数据，性能就大打折扣。问题的根源，往往在于模型对图结构的理解过于“粗糙”。

传统GNN，比如经典的图卷积网络（GCN），其核心操作——消息传递——依赖于一个关键的组件：图移位算子（Graph Shift Operator, GSO）。简单来说，它定义了节点如何从邻居那里聚合信息。最常用的GSO是经过度矩阵归一化的邻接矩阵（如 $\hat{A} = D^{-1/2}AD^{-1/2}$）。这种设计隐含了一个很强的假设：所有邻居对中心节点的贡献是均等的，或者仅由其自身度数决定。这就像在一个社交圈里，你认为所有朋友对你的影响力都一样，这显然不符合现实。在真实的图中，有些节点是“意见领袖”（高PageRank），有些处于紧密的“核心圈”（高k-core值），而有些则可能只是边缘参与者。忽略这种节点重要性的差异，无疑会损失大量有价值的拓扑信息。

今天要深入探讨的，正是我们团队近期在ICLR上发表的一项工作：中心性图移位算子（Centrality Graph Shift Operators, CGSO）。这项工作的核心思想直白而有力：为什么不利用节点中心性（如PageRank, k-core, 游走计数）来更精细地指导邻居信息的聚合呢？我们提出了一类新的、可学习的GSO，它能够自适应地融合节点的局部连接（度）和全局重要性（各种中心性指标），从而让GNN“看见”图中更深层次的结构。实验证明，将CGSO集成到GCN、GATv2等主流架构中形成的CGNN，在多个节点分类和谱聚类任务上，性能显著超越了传统方法。更重要的是，通过对可学习参数的分析，我们发现了一些反直觉却至关重要的设计原则，例如在非同配图上使用负权重的自循环反而有益。接下来，我将从设计思路、数学原理、实现细节到实战调参，为你完整拆解CGSO，并分享我们在实验过程中踩过的坑和收获的经验。

2. CGSO的核心设计思路与数学原理

2.1 从传统GSO的局限说起

要理解CGSO的价值，首先得看清传统GSO的“短板”。以最常用的归一化邻接矩阵 $\hat{A}$ 和随机游走拉普拉斯 $L_{rw} = I - D^{-1}A$ 为例，它们的归一化因子都只依赖于节点的度 $D$。度是一个纯粹的局部指标，它只告诉你一个节点有多少个直接邻居，却无法回答：“这个节点在整个网络中到底有多重要？”

设想两个度数相同的节点，一个可能处于多个社区的交界处（桥梁节点），另一个则可能深陷于一个紧密但孤立的小团体中。在信息传播或影响力评估中，前者的全局重要性显然高于后者。传统GSO无法区分这两者，导致模型对这类结构性差异“视而不见”。尤其是在异质图（连接倾向于在不同类别节点间发生）或具有无标度特性的真实网络中，这种全局结构信息的缺失，会严重制约模型的表征能力。

我们的核心思路是：将归一化因子从单一的度矩阵 $D$，扩展为一个通用的、基于节点中心性的对角矩阵 $V$。这里，$V = \text{diag}(v(1), ..., v(N))$，$v(i)$ 可以是任意定义在节点 $i$ 上的中心性度量。这样一来，GSO就不再是 $\hat{A} = D^{-1/2}AD^{-1/2}$，而是变成了更一般的形式 $V^{-1}A$ 或其变体。消息聚合时，来自高中心性邻居的信息会被适当“衰减”，而来自低中心性邻居的信息则可能被“增强”或保持，从而更精确地反映网络中影响力的真实流动。

2.2 数学基石：马尔可夫平均算子与希尔伯特空间

为了使CGSO在数学上严谨且具有良好性质，我们将其建立在马尔可夫平均算子（Markov Averaging Operator）的框架上。这部分的数学可能有点“硬核”，但理解它对于把握CGSO的理论根基和后续的参数化设计至关重要。

我们首先定义一个加权希尔伯特空间 $L^2(G)$，其中的函数 $\phi: V \to \mathbb{R}$ 满足 $\sum_{i \in V} v(i)|\phi(i)|^2 < \infty$。这里 $v(i)$ 就是我们选定的中心性度量。这个空间的内积定义为 $\langle \phi_1, \phi_2 \rangle_G = \sum_{i \in V} v(i)\phi_1(i)\phi_2(i)$。赋予这个内积后，$L^2(G)$ 成为一个完备的内积空间。

在这个空间上，我们定义马尔可夫平均算子$M_G: \phi \mapsto M_G\phi$，其作用方式为： $$(M_G\phi)(i) = \frac{1}{v(i)} \sum_{j \in \mathcal{N}_i} \phi(j)$$ 其中 $\mathcal{N}_i$ 是节点 $i$ 的邻居集合。用矩阵形式表示，就是 $M_G = V^{-1}A$。这正是CGSO最简洁的雏形。

注意：当 $v(i)$ 取节点度 $d_i$ 时，$V = D$，此时 $M_G = D^{-1}A$，恰好就是GCN论文中提到的“均值聚合算子”（Mean Aggregation Operator）。这说明传统方法只是我们框架下的一个特例。

这个算子有几个非常漂亮的理论性质（命题3.3.1）：

自伴性（Self-adjoint）：$M_G$ 在 $L^2(G)$ 中是自伴算子。这意味着它的特征值是实数，且特征向量可以构成一组正交基。这对于后续的谱分析至关重要。
特征值范围有界：$M_G$ 的所有特征值的绝对值不超过 $\gamma = \min_{i \in V} \frac{v(i)}{\text{deg}(i)}$。这个上界提供了一种理论上的稳定性保证，特别是当 $v(i)$ 与 $\text{deg}(i)$ 成比例时。

此外，其谱（特征值集合）的均值 $\mu(M_G)$ 和标准差 $\sigma(M_G)$ 都有明确的解析表达式（命题3.3.2），这为理解算子对图信号的平滑或锐化效应提供了直观工具。

2.3 核心中心性指标的选择与计算

我们主要探索了四种中心性指标来构建 $V$ 矩阵，它们从局部到全局，提供了不同视角的节点重要性度量。

节点度（Degree, $V = D$）：最基础的局部中心性。计算复杂度极低，为 $O(|V| + |E|)$。它反映了节点的直接连接数量，但对于衡量全局影响力力有未逮。
k-核（k-core, $V = V_{\text{core}}$）：$V_{\text{core}}[i, i] = \text{core}(i)$，即节点 $i$ 的核数。k-核分解通过迭代移除度数小于 $k$ 的节点，直到网络中所有节点的度都至少为 $k$，剩余的子图称为 $k$-核。一个节点的核数是满足其存在于 $k$-核中的最大 $k$ 值。它衡量的是节点在“核心层”的嵌入深度，能有效识别网络中的紧密核心区域。计算复杂度也是 $O(|V| + |E|)$。
PageRank（$V = V_{PR}$）：$V_{PR}[i, i] = (1 - PR(i))^{-1}$，其中 $PR(i)$ 是节点 $i$ 的PageRank分数。PageRank模拟随机游走者访问节点的概率，是衡量节点全局影响力的经典指标。它的计算通常需要迭代，平均每次迭代的矩阵向量乘法复杂度为 $O(|V|^2)$，但对于稀疏图可以利用稀疏性优化。
$\ell$-步游走计数（Walk Count, $V = V_{\ell\text{-walks}}$）：$V_{\ell\text{-walks}}[i, i] = (A^\ell \mathbf{1})[i]$，即从节点 $i$ 出发长度为 $\ell$ 的游走总数。当 $\ell=2$ 时，它对应于双向楔形（bidirectional wedges）的计数，这是一种捕捉高阶结构（如三角形的基础）的度量。计算需要做 $\ell$ 次稀疏矩阵乘法，复杂度为 $O(\ell \cdot |E| \cdot d_{\text{max}})$，其中 $d_{\text{max}}$ 是最大节点度。

实操心得：中心性计算的预处理与存储这些中心性指标需要在模型训练前进行预计算。对于大规模图，PageRank和长步数游走计数的计算可能成为瓶颈。我们的经验是：
对于超大规模图，可以考虑使用近似算法（如分布式PageRank、基于采样的游走计数）或只计算top-k的中心性节点。
计算好的中心性值通常需要归一化（如Min-Max或对数变换）后再用于构建 $V$，以避免数值范围差异过大导致训练不稳定。
将 $V$ 矩阵以对角稀疏矩阵的形式存储，可以极大节省内存，因为CGSO $V^{-1}A$ 保持了原始邻接矩阵 $A$ 的稀疏模式，前向传播的复杂度与原始GNN相同。

3. 可参数化的CGSO框架与实现

3.1 从固定形式到可学习参数

直接使用 $M_G = V^{-1}A$ 存在一个潜在问题：当图规模极大、节点中心性差异悬殊时（例如，某些节点的PageRank趋近于0，或游走计数极大），可能导致特征值范围 $\gamma$ 极小或极大，进而引发梯度消失或爆炸。

为了解决这个问题，并让模型能根据数据和任务自适应地学习最优的GSO形式，我们提出了一个可参数化的CGSO通用框架： $$\Phi(A, V) = m_1 V^{e_1} + m_2 V^{e_2} A_a V^{e_3} + m_3 I_N$$ 其中，$A_a = A + aI_N$。

这个公式看起来复杂，但每个参数都有明确的物理意义，让我逐一拆解：

$m_1, m_2, m_3$：标量参数，控制三项的幅度和符号。通过反向传播学习。
$e_1, e_2, e_3$：标量指数参数。它们控制着中心性矩阵 $V$ 的“强调方向”。
- 当 $e > 0$ 时，$V^e$ 会放大高中心性节点的权重。
- 当 $e < 0$ 时，$V^e$ 会放大低中心性节点的权重。
- 当 $e=0$ 时，$V^0 = I$，相当于不使用中心性进行缩放。
$a$：控制自循环权重的参数。$A_a = A + aI_N$ 意味着给每个节点添加了一个权重为 $a$ 的自循环。这是一个非常关键的参数。
$V^{e_2} A_a V^{e_3}$：这是核心项。它允许对邻接矩阵进行非对称的、基于中心性的行列归一化。例如：
- 若 $e_2=0, e_3=-1$，则此项退化为 $A_a V^{-1}$，相当于对 $A_a$ 进行列归一化（按目标节点的中心性）。
- 若 $e_2=-1, e_3=0$，则退化为 $V^{-1} A_a$，相当于行归一化（按源节点的中心性）。
- 若 $e_2 = e_3 = -0.5$，则类似于对称归一化 $V^{-1/2} A_a V^{-1/2}$。

这个框架的威力在于其极大的灵活性：

当 $m_2 > 0$ 时，算子更偏向于“类邻接”性质，促进信号传播。
当 $m_2 < 0$ 时，算子更偏向于“类拉普拉斯”性质，强调信号平滑。
通过调整 $e_1, e_2, e_3$，模型可以自主决定是更关注高中心性节点还是低中心性节点，以及如何进行归一化。
参数 $a$ 和 $m_3$ 引入了自循环和正则化，有助于稳定训练并控制过平滑。

3.2 集成到GNN架构：CGNN的实现

将CGSO集成到现有GNN中非常直接。以最基础的GCN为例，其单层传播规则为： $$H^{(l+1)} = \sigma(\Phi(A) H^{(l)} W^{(l)})$$ 传统GCN使用 $\Phi(A) = \hat{A} = D^{-1/2}AD^{-1/2}$。我们只需将其替换为我们参数化的CGSO：$\Phi(A, V)$。这样得到的模型，我们称之为中心性图卷积网络（CGCN）。

同理，对于图注意力网络GATv2，其注意力系数计算通常依赖于原始邻接矩阵或简单的归一化矩阵。我们可以将CGSO作为其注意力计算的基础结构，或者直接替换其消息聚合中的邻居聚合矩阵，形成CGATv2。

在代码实现上，主要增加以下模块：

中心性预计算模块：根据配置计算并存储 $V_{\text{core}}, V_{PR}, V_{\ell\text{-walks}}$ 等对角矩阵。
可学习CGSO层：一个nn.Module，包含可学习参数 $m_1, m_2, m_3, e_1, e_2, e_3, a$，并在前向传播中根据公式(3.4)计算 $\Phi(A, V)$。
CGNN模型：将传统的GCN层或GATv2层中的固定GSO替换为我们的可学习CGSO层。

import torch import torch.nn as nn import torch.nn.functional as F from torch_sparse import SparseTensor class LearnableCGSO(nn.Module): def __init__(self, num_nodes, centrality_type='degree'): super().__init__() # 可学习参数 self.m1 = nn.Parameter(torch.tensor(1.0)) self.m2 = nn.Parameter(torch.tensor(1.0)) self.m3 = nn.Parameter(torch.tensor(0.0)) self.e1 = nn.Parameter(torch.tensor(0.0)) self.e2 = nn.Parameter(torch.tensor(0.0)) self.e3 = nn.Parameter(torch.tensor(0.0)) self.a = nn.Parameter(torch.tensor(1.0)) # 自循环权重，初始化为正 self.centrality_type = centrality_type # 预计算的中心性对角矩阵 V (以向量形式存储) self.register_buffer('V', None) def forward(self, adj_sparse: SparseTensor): # adj_sparse: 稀疏邻接矩阵 N = adj_sparse.size(0) device = adj_sparse.device() # 1. 构建 A_a = A + aI I = torch.eye(N, device=device).to_sparse() A_a = adj_sparse + self.a * I # 2. 计算 V^{e1}, V^{e2}, V^{e3} # 假设 self.V 是预计算好的中心性值向量 V_diag = self.V.clamp(min=1e-8) # 防止除零 V_e1 = torch.diag(V_diag.pow(self.e1)) V_e2 = torch.diag(V_diag.pow(self.e2)) V_e3 = torch.diag(V_diag.pow(self.e3)) # 3. 计算三项之和 # 注意：实际实现中为了效率，应利用稀疏性，避免构建稠密矩阵。 # 这里为清晰展示公式，使用矩阵形式。 term1 = self.m1 * V_e1 # 计算 V^{e2} * A_a * V^{e3}，利用稀疏矩阵乘法 term2_mat = torch.sparse.mm(V_e2.to_sparse(), torch.sparse.mm(A_a, V_e3.to_sparse())) term2 = self.m2 * term2_mat term3 = self.m3 * torch.eye(N, device=device) # 4. 组合成最终的CGSO cgso = term1 + term2 + term3 return cgso class CGCNLayer(nn.Module): def __init__(self, in_channels, out_channels, cgso_module): super().__init__() self.linear = nn.Linear(in_channels, out_channels) self.cgso = cgso_module def forward(self, x, adj): # x: [N, in_channels] # adj: 稀疏邻接矩阵 cgso_mat = self.cgso(adj) # [N, N] # 消息传递: CGSO * X * W support = torch.mm(cgso_mat, x) # [N, in_channels] out = self.linear(support) # [N, out_channels] return F.relu(out)

注意事项：数值稳定性与初始化
参数初始化：$m_1, m_2, m_3$ 建议用较小的正数初始化（如0.1）。$e_1, e_2, e_3$ 初始化为0，让模型从“无中心性缩放”开始学习。$a$ 初始化为一个小的正数（如0.5或1.0）。
中心性值处理：中心性值可能为0（如孤立节点的度）或非常大（如PageRank接近1导致 $1-PR(i)$ 接近0）。必须进行裁剪（clamp）和适当的缩放（如对数变换），防止出现无穷大或NaN。
稀疏矩阵运算：在实际实现中，应始终使用稀疏矩阵运算库（如PyTorch Geometric的SparseTensor或torch.sparse）来计算 $V^{e2} A_a V^{e3}$，避免构建 $N \times N$ 的稠密矩阵，否则内存会迅速爆炸。
梯度流动：确保中心性矩阵 $V$ 本身不参与梯度计算（register_buffer），因为它是基于图结构预计算的。只有参数 $m, e, a$ 需要梯度。

3.3 动态融合局部与全局中心性

实验中发现，对于��同的数据集，最优的中心性选择并不固定。例如，在PubMed（引文网络）上，基于度的局部中心性表现更好；而在Cornell（网页链接网络）上，基于k-core或PageRank的全局中心性更优。

面对这种不确定性，一个自然的想法是：为什么不把选择权交给模型呢？我们可以设计一个能动态融合局部和全局中心性的CGSO。最简单的方式是线性组合： $$\Phi = \Phi(A, D) + \Phi(A, V_{\text{global}})$$ 其中 $V_{\text{global}}$ 可以是 $V_{\text{core}}$, $V_{PR}$ 或 $V_{\ell\text{-walks}}$。两个CGSO共享同一套参数化框架，但使用不同的中心性矩阵 $V$。模型通过训练学习到的 $m_1, m_2, m_3$ 参数，会自动决定局部和全局中心性项的相对重要性。这种设计提供了更强的模型容量和适应性。

4. 谱聚类视角下的理论分析与实验验证

4.1 谱聚类与中心性恢复实验

为了从理论上理解CGSO如何捕捉图结构，我们将其与谱聚类（Spectral Clustering）联系起来。谱聚类利用图移位算子的特征向量来对节点进行聚类。我们设计实验来验证：基于不同中心性的CGSO，其谱（特征向量）是否能更好地揭示与节点中心性相关的聚类结构？

我们首先在一个真实数据集Cora上进行了实验。我们将节点按照其k-core值进行分组（相同k-core值的节点属于同一类），然后使用不同CGSO（$\Phi = V^{e2} A V^{e3}$）的前K个特征向量进行谱聚类（K为不同k-core值的数量），评估其恢复原始k-core类别的能力（使用AMI和ARI指标）。

图3.1的结果非常有趣：

使用k-core中心性时，当指数 $e_2$ 和 $e_3$ 均为正时，取得了最高的AMI。这意味着放大高k-core值节点的权重，有助于谱聚类算法识别出基于k-core的层级结构。
使用度中心性时，最佳性能出现在 $e_2$ 和 $e_3$ 均为负时。这表明强调低度数节点反而对恢复（在这个特定任务中）更有帮助。
PageRank和游走计数的表现与k-core类似，但略逊一筹。

这个实验清晰地表明，CGSO的特征向量确实编码了节点中心性信息，并且通过调整指数参数，我们可以控制模型是关注“核心”节点还是“边缘”节点，从而服务于不同的下游任务（如社区发现、核心-边缘结构识别）。

4.2 合成数据验证：随机块Barabási–Albert模型

为了更可控地验证CGSO在具有明确社区结构和不同中心性分布的图上的能力，我们提出了一个新的合成图生成器：随机块Barabási–Albert模型（SBBAM）。

SBBAM的构建思路：

生成K个独立的Barabási–Albert（BA）图，每个BA图代表一个“块”或社区。BA模型通过优先连接机制生成无标度网络，其节点度分布遵循幂律。每个BA块可以有不同的参数 $r$（每个新节点添加的边数），从而控制该块的密度。
在这些BA块之间，以概率 $p_{ij}$ 随机添加边，连接不同块中的节点。这类似于随机块模型（SBM）的块间连接方式。

这样生成的图同时具有：

社区结构：由块间连接概率 $p_{ij}$ 控制。
差异化的中心性分布：每个BA块内部因其参数 $r$ 不同，而具有不同的度、k-core等中心性分布。

我们在一个包含3个BA块（$r_1=5, r_2=10, r_3=15$）的SBBAM上测试了CGSO的谱聚类性能，并与Fast Greedy、Louvain、Node2Vec+K-means、Walktrap等经典社区发现算法对比。

实验结果（表3.1）令人振奋：

使用k-core和PageRank中心性的CGSO，其AMI和ARI指标显著优于所有基线方法。
基于度的CGSO表现尚可，但不如全局中心性。
传统社区发现算法（如Louvain）在此数据集上表现不佳，因为它们主要优化模块度（社区内边密度），而我们的SBBAM中，某些块之间的连接可能比块内部更密集（异配性），这打破了模块度优化的假设。

结论：当图中不同的社区（或簇）具有显著不同的中心性分布时（例如，一个社区由高度互联的核心节点组成，另一个由稀疏连接的边缘节点组成），基于全局中心性（k-core, PageRank）的CGSO能够通过其谱特征有效地区分这些社区，而传统方法则可能失效。这为CGSO在复杂真实图（如社交网络中不同圈子、互联网中不同主题社区）上的应用提供了强有力的理论依据。

5. 节点分类任务上的全面实验评估

理论分析再好，最终也要看实际任务的表现。我们在8个常用的节点分类基准数据集上，对CGCN和CGATv2进行了全面评估，涵盖了同配图（如CiteSeer, PubMed）和异配图（如Chameleon, Squirrel）。

5.1 实验设置与基线模型

数据集：

同配图：CiteSeer, PubMed, arxiv-year。节点类别与其邻居类别倾向于相同。
异配图：Chameleon, Cornell, Squirrel, Wisconsin, deezer-europe。连接更可能发生在不同类别的节点之间。

基线模型：我们与两大类基线进行比较：

传统GSO的GCN：使用不同GSO的GCN，包括邻接矩阵 $A$、非归一化拉普拉斯 $L$、符号拉普拉斯 $Q$、随机游走归一化拉普拉斯 $L_{rw}$、对称归一化拉普拉斯 $L_{sym}$、归一化邻接 $\hat{A}$、均值聚合 $H$。
主流GNN变体：GIN, GAT, GATv2, PNA。

我们的模型：

CGCN w/ [Centrality]：使用不同中心性（D, V_core, V_PR, V_walks）的CGCN。
CGATv2 w/ [Centrality]：使用不同中心性的CGATv2。
组合CGSO模型：如CGCN w/ D - V_core，即融合了度中心和k-core中心的CGSO。

5.2 结果分析与关键发现

表3.2和3.3展示了部分关键结果，从中我们可以提炼出许多有价值的洞察：

性能提升显著：在大多数数据集上，CGCN和CGATv2都超越了使用传统GSO的GCN以及 vanilla 的GNN基线。特别是在异配图（Cornell, Wisconsin）上，提升尤为明显（例如，在Wisconsin上，CGATv2 w/ D达到了85.69%，远超GCN w/ Lsym的66.08%）。这表明CGSO提供的更丰富的结构信息，对于处理复杂的、非同配的连接模式至关重要。
最优中心性因图而异：没有一种中心性在所有数据集上通吃。
- PubMed（同配引文图）：简单的度中心性（D）或PageRank表现最佳。这可能因为引文网络中，局部连接模式（共引）已包含足够信息。
- Cornell, Wisconsin（异配网页图）：PageRank和k-core这类全局中心性优势明显。网页图中，重要的枢纽页面（高PageRank）或处于核心主题圈的页面（高k-core）可能对分类起到关键作用。
- Squirrel, Chameleon（异配维基百科页面图）：结果较为混合，有时游走计数表现好，有时PageRank好。这反映了这类图结构的复杂性，可能需要更动态的中心性组合。
可学习参数揭示了反直觉的设计原则：通过分析训练后CGSO的参数（如表a.10-a.13），我们发现了几个颠覆传统认知的模式：
- 负自循环权重 ($a<0$)：在多个异配图数据集上，学习到的参数 $a$ 为负数。这意味着在消息传递中，节点会从自己的特征中“减去”一部分信息。直观上，在异配图中，一个节点的邻居很可能与它不同类，那么过度关注自身特征（正自循环）可能会强化错误信息，而适当地“否定”自己，更多地依赖邻居的差异性信息，反而有助于分类。这是一个在以往文献中很少被报道但极其重要的发现。
- 指数 $e_2$, $e_3$ 的符号：对于PageRank和游走计数，在强同配图上，$e_2$ 和 $e_3$ 常常学习到接近0的值，这意味着几乎不需要额外的中心性缩放，简单的邻居求和可能就是最优的。而在异配图上，它们会学习到非零值，以调整聚合策略。
- 正则化项 $m_3$：在k-core表现好的数据集上，$m_3$ 通常学习到接近0的值，说明添加单位矩阵 $I$ 进行正则化在这些场景下并无益处。
融合局部与全局中心性的优势：如表3.3最后三行所示，将度中心性CGSO与一个全局中心性CGSO相��的组合模型（如CGCN w/ D - V_core），在多数数据集上取得了比单一中心性模型更优或相当的性能。这证实了让模型动态学习局部和全局信息混合比例的有效性。模型通过 $m_1, m_2, m_3$ 参数自动学习何时该倚重度，何时该倚重k-core或PageRank。

5.3 实战建议与调参指南

基于大量实验，我总结出以下在实战中应用CGSO/CGNN的建议：

中心性选择策略：
- 第一步：快速尝试。优先尝试度(D)和PageRank。度计算快，PageRank通用性强。
- 第二步：分析图结构。如果图有明显的“核心-边缘”结构（如社交网络），加入k-core。如果任务涉及捕捉局部闭环或三角形结构（如推荐系统中的协同过滤），尝试游走计数（ℓ=2）。
- 第三步：使用组合CGSO。当不确定时，或者追求最佳性能时，直接使用融合了度和一个全局中心性（如PageRank）的组合CGSO。让模型自己去学权重。
参数初始化与训练技巧：
- 初始化：$m_1, m_2$ 从 $\mathcal{N}(0, 0.01)$ 初始化，$m_3$ 从0初始化。$e_1, e_2, e_3$ 从0初始化。$a$ 从 $U(0.0, 1.0)$ 或 $U(-1.0, 1.0)$ 初始化，给模型探索负权重的机会。
- 学习率：CGSO参数的学习率可以设置得比主网络权重稍小一些（例如，主网络lr=0.01，CGSO参数lr=0.001），避免初始阶段波动太大。
- 监控特征值：虽然理论上有界，但在训练初期可以监控一下CGSO矩阵的最大特征值，如果出现极端值，考虑对中心性值进行更激进的归一化（如取对数后再Min-Max到[0,1]）。
计算开销考量：
- 预计算是主要开销：PageRank和长步数游走计数是主要瓶颈。对于十亿级大图，需要分布式计算或采样近似。
- 训练开销几乎不变：一旦预计算好 $V$ 矩阵，CGSO的前向传播与原始GSO（如 $\hat{A}$）的复杂度相同，因为 $V$ 是对角阵，$V^{-1}A$ 的稀疏性与 $A$ 一致。
- 内存：只需要额外存储一个长度为 $N$ 的中心性值向量，内存开销可忽略不计。

6. 总结与未来展望

中心性图移位算子（CGSO）为我们打开了一扇新的大门：将图论中丰富的节点重要性度量，系统地、可学习地融入图神经网络的消息传递机制中。这项工作不仅仅是提出了几个新的归一化矩阵，更重要的是提供了一套可解释、可扩展、理论扎实的框架。

核心价值总结：

理论优雅：基于马尔可夫平均算子和加权希尔伯特空间，为GSO的设计提供了坚实的数学基础，并建立了与谱聚类、Cheeger常数等图论概念的桥梁。
实践有效：在广泛的节点分类和谱聚类任务上，CGNN consistently outperforms 传统方法，尤其在异配图上的提升令人印象深刻。
设计灵活：参数化框架让模型能够根据数据自适应地学习最优的GSO形式，甚至发现了像“负自循环有益于异配图”这样反直觉但有效的设计模式。
开销可控：主要的计算成本在于中心性的预计算，训练和推理阶段的开销与基线GNN几乎相同，易于集成到现有架构中。

踩过的坑与心得：

数值稳定性是第一位：早期实验中，没有对中心性值（特别是PageRank接近1时）进行妥善处理，导致 $V$ 矩阵中出现无穷小值，训练立即崩溃。必须加入clamp和log1p等操作。
初始化很重要：将所有可学习参数初始化为0或1并不好。让模型从一个“中性”的起点（如 $e=0, a=1.0$）开始探索，收敛更快更稳。
理解参数的意义：不要将CGSO当作黑盒。定期检查训练后 $m, e, a$ 的值，结合数据集特性进行分析，能帮助你更好地理解模型的行为，甚至启发新的研究方向。

未来可以探索的方向：