图神经网络与pytorch

目录

一、图神经网络架构pytorch

1.GCNConv

（1）、数学公式（标准 GCN）

（2）一个例子

（3）、解释一下

2.归一化层

（1）.定义

（2）.一个例子

3.GATConv

（1）、如何计算的

🕐计算原始注意力系数：

（2）、多头注意力机制

一、图神经网络架构pytorch

1.GCNConv

self.conv1 = GCNConv(in_dim, hidden_dim)

（1）、数学公式（标准 GCN）

（2）一个例子

图结构内容如下

邻接矩阵 A（不含自环）

计算归一化系数

假设每个节点 1 维特征（为了好算）：

线性变换权重 W

先算 XW

之后有

（3）、解释一下

对于每个结点来说，他的来源包括自己以及和自己相连的其他结点的内容。归一化就是让自己的数据/根号下结点的度 + 其他数据/根号下结点的度。但是由于度越大，结合的数据越多，所以还要在外面进行归一化，/根号下结点的度。

第一步计算每个结点和权重矩阵处理后的结果

第二步是每个结点的数据与他相连的数据，归一化后求和

第三步是 对计算的结果进行最后的归一化

2.归一化层

self.norm1 = nn.LayerNorm(hidden_dim)

不跨节点、不跨 batch、不关心图大小

（1）.定义

（2）.一个例子

假设某个节点经过 GCNConv 后：

h_i = [100, 0.1, -3, 2, 50]

这会导致：

• 后面的 ReLU / Linear 非常不稳定

• PPO 的 value / logit 很容易炸

LayerNorm 会把它拉成：

h_i ≈ [1.2, -0.8, -1.1, -0.6, 1.3]

👉形状不变，尺度统一

3.GATConv

self.conv1 = GATConv(in_dim, hidden_dim, heads=heads, concat=True) # 注意：concat=True 表示将每个头的输出拼接

（1）、如何计算的

🕐计算原始注意力系数：

🕑对所有邻居进行计算：

对于节点i的每个邻居节点j，都需要计算上述的注意力系数。通过这种方式，我们可以得到所有邻居节点的注意力系数。注意这个邻居也包括他自己。

🕑注意力系数的归一化

🕑加权聚合邻居特征：

（2）、多头注意力机制

把上面的过程复制几次，那么每个结点都可以得到很多个维度一样的特征，把这个特征拼接在一起，就是多头注意力机制。

下图中一条颜色的线，就可以表示一个注意力头。