首页 > 编程学习 > DropEdge: Towards Deep Graph Convolutional Networks on Node Classification

目录
  • 符号说明
  • 本文方法
  • 代码

Rong Y., Huang W., Xu T. and Huang J. DropEdge: towards deep graph convolutional networks on node classification. In International Conference on Learning Representations (ICLR), 2020.

在图网络中 DropOut 常以 DropNode 的方式呈现, 本文提出的 DropEdge 会随机地把结点之间的边抹去, 即二者不再直接联系.

符号说明

  • \(\mathcal{G} = (\mathbb{V}, \mathcal{E})\), 图;
  • \(|\mathbb{V}| = N\);
  • \(X = \{\bm{x}_1, \cdots, \bm{x}_N\}\), \(\bm{x}_i\) 表示结点 \(v_i\) 的特征;
  • \(A \in \mathbb{R}^{N \times N}\), 邻接矩阵;
  • \(\bm{d} = \{d_1, \cdots, d_N\}\), 度;
  • \(D = \text{diag}(\bm{d})\), 度矩阵;

本文方法

  1. 一般的 GCN 通常采用如下方式进行更新 (每层):

    \[H^{(l+1)} = \sigma(\hat{A}H^{(l)} W^{(l)}), \: H^{(0)} = X \]

    其中

    \[\hat{A} = \hat{D}^{-1/2} (A + I) \hat{D}^{-1/2}, \]

    \(\hat{D}\)\(A + I\) 的度矩阵;

  2. 这种方式很容易造成 over-smoothing, 即特征趋同;

  3. 为此, 作者采用

    \[A_{\text{drop}} = A - A' \]

    来替代 \(A\). 其中 \(A'\)\(A\) 中的边按照稀疏率 \(\rho\) 得到的子集, 则 \(A_{\text{drop}}\) 所构成的图中保留了 \(|\mathcal{E}| (1 - \rho)\) 数量的边; 该操作是可以每一层独立添加的, 就像 Dropout 一样;

注: 我看作者的实验里 \(\rho \in \{0.8, 0.95, 0.6, 0.5, 0.4, 0.9, 0.7\}\), 大概就是在 \((0, 1)\) 间 grid search 吧.

代码

[official]

Copyright © 2010-2022 mfbz.cn 版权所有 |关于我们| 联系方式|豫ICP备15888888号