從深度學習到圖神經網絡：模型與實踐

第1 章圖上的深度學1
1.1 人工智能與深度學 2
1.1.1 深度學的發展 2
1.1.2 人工智能的底層邏輯4
1.2 圖經網絡時代的來臨 6
1.2.1 圖與圖像大不同 6
1.2.2 圖經網絡的本質 8
1.3 圖數據處理面臨的挑戰 9
1.3.1 歐氏空間難表示圖 9
1.3.2 圖表達無固定格式 10
1.3.3 圖可視化難理解 11
1.3.4 圖數據不符合獨立同分佈 11
1.4 圖經網絡的應用層面. 12
1.4.1 節點預測 12
1.4.2 邊預測13
1.4.3 圖預測14
1.5 圖經網絡的發展簡史. 15
1.5.1 早期的圖經網絡 15
1.5.2 圖卷積經網絡的提出16
1.5.3 圖表示學 18
1.5.4 圖卷積的簡化19
1.6 圖經網絡的模塊與分類 20
1.6.1 圖經網絡的常見模塊20
1.6.2 圖經網絡的分類 22
1.7 本章小結 23
參考資料 24

第2 章圖經網絡的數學基礎 27
2.1 矩陣論基礎 28
2.1.1 標量與向量 28
2.1.2 向量範數 30
2.1.3 向量的夾角與餘弦相似度 32
2.1.4 矩陣與張量 33
2.1.5 矩陣的本質 34
2.1.6 矩陣乘法的三種視角 34
2.1.7 逆矩陣與行列式 37
2.1.8 徵值與徵向量 38
2.1.9 矩陣的平方分解 39
2.1.10 徵分解40
2.1.11 正定矩陣和半正定矩陣 42
2.2 圖論基礎 43
2.2.1 圖的表示 44
2.2.2 無向圖與有向圖 45
2.2.3 權值圖45
2.2.4 鄰接矩陣與關聯矩陣 46
2.2.5 鄰域和度 47
2.2.6 度數矩陣 49
2.2.7 二分圖50
2.2.8 符號圖51
2.2.9 圖的遍歷 52
2.2.10 圖的同構與異構53
2.2.11 圖的途徑、跡與路54
2.2.12 圖的連通性 55
2.2.13 節點的中心性 57
2.3 譜圖論基礎 65
2.3.1 拉普拉斯矩陣的來源 65
2.3.2 拉普拉斯矩陣的性質 72
2.3.3 拉普拉斯矩陣的譜分解74
2.3.4 拉普拉斯矩陣的歸一化77
2.4 本章小結 80
參考資料 80

第3 章經網絡學與算法化82
3.1 人工經網絡的緣起83
3.2 經網絡的*一性原理. 84
3.2.1 通用近似定理85
3.2.2 通用近似定理的應用 86
3.3 感知機模型與前饋經網絡 87
3.3.1 人工經元的本質 88
3.3.2 歷久彌新的感知機 88
3.3.3 備受啟發的支持向量機90
3.4 更強表徵的多層感知機 91
3.5 不可或缺的激活函數93
3.5.1 Sigmoid 函數 94
3.5.2 Tanh 函數 95
3.5.3 ReLU 函數96
3.5.4 Softmax 函數 98
3.6 損失函數100
3.6.1 普通的損失函數101
3.6.2 交熵損失函數103
3.7 經網絡的訓練105
3.7.1 化算法的意義106
3.7.2 基於梯度的化流程 106
3.8 化算法的分類109
3.8.1 化算法的派系109
3.8.2 化算法面臨的挑戰 111
3.9 本章小結112
參考資料113

第4 章深度學基礎 115
4.1 深度學時代的興起 116
4.2 卷積經網絡 118
4.2.1 卷積經網絡的整體結構118
4.2.2 經網絡中“層”的本質 119
4.3 可圈可點的捲積層 120
4.3.1 卷積核 120
4.3.2 卷積核的工作機理122
4.3.3 多通道卷積 123
4.3.4 用PyTorch 實現定卷積125
4.3.5 卷積層的4 個核心參數 127
4.4 降維減負的匯聚層 131
4.4.1 匯聚層原理 131
4.4.2 匯聚層實例 133
4.5 不可或缺的全連接層 135
4.6 止過擬合 136
4.6.1 批歸一化處理 137
4.6.2 丟棄法 141
4.7 本章小結143
參考資料143

第5 章經網絡中的表示學 145
5.1 表示學的背景146
5.1.1 符號表示與向量表示 146
5.1.2 為何需要表示學147
5.2 離散表示與獨熱編碼 148
5.3 分佈式表示與經網絡150
5.3.1 經網絡是一種分佈式表示 150
5.3.2 深度學中的“End-to-End”表示學152
5.4 自編碼器中的表示學153
5.4.1 自編碼器的工作原理 154
5.4.2 從信息瓶頸看自編碼器的原理 155
5.4.3 欠完備自編碼器156
5.4.4 正則化自編碼器157
5.4.5 降噪自編碼器 159
5.4.6 變分自編碼器 159
5.5 嵌入表示與Word2vec161
5.5.1 詞嵌入 161
5.5.2 Word2vec 的核心思想164
5.5.3 跳元模型165
5.6 詞嵌入實戰 171
5.6.1 讀取數據集 171
5.6.2 數據預處理 172
5.6.3 模型構建與訓練174
5.6.4 相似性度量 175
5.6.5 詞向量可視化：t-SNE177
5.7 本章小結179
參考資料180

第6 章面向圖數據的嵌入表示 182
6.1 圖嵌入概述 183
6.2 DeepWalk 的原理 184
6.2.1 DeepWalk 的基本思想184
6.2.2 隨機遊走段 185
6.2.3 跳元模型訓練段187
6.2.4 負採樣 193
6.2.5 分層Softmax195
6.3 基於DeepWalk 的維基百科相似網頁檢測198
6.3.1 數據準備198
6.3.2 圖的構建201
6.3.3 構建隨機遊走節點序列 201
6.3.4 利用Word2vec 實現DeepWalk 203
6.3.5 模型的存與加載206
6.3.6 DeepWalk 的應用領域207
6.4 LINE 模型 208
6.4.1 LINE 模型的發展背景. 208
6.4.2 一相似度 208
6.4.3 二相似度 209
6.5 Node2vec211
6.5.1 Node2vec 的由來 211
6.5.2 同質性與結構性212
6.5.3 Node2vec 的工作原理213
6.6 Metapath2vec215
6.6.1 異構圖的定義與問題 216
6.6.2 基於Meta-path 的隨機遊走216
6.7 本章小結218
參考資料219

第7 章初代圖經網絡 221
7.1 初代圖經網絡的誕生222
7.2 GNN 中的數據聚合 222
7.2.1 GNN 的本質 223
7.2.2 圖中的消息傳遞223
7.3 初代GNN 的工作原理 225
7.3.1 圖中節點的信息更新 226
7.3.2 不動點理論 229
7.3.3 壓縮映射實現的條件 232
7.3.4 圖經網絡模型的訓練 234
7.4 初代圖經網絡的局限性235
7.5 本章小結235
參考資料236

第8 章空域圖卷積經網絡238
8.1 圖卷積經網絡概述 239
8.1.1 圖卷積經網絡的誕生 239
8.1.2 圖卷積經網絡的框架 241
8.2 MPNN 模型 244
8.3 GCN 與CNN 的關聯 245
8.3.1 局連接性 246
8.3.2 層次化表達 247
8.4 圖卷積節點分類實踐 248
8.4.1 圖數據的生成 248
8.4.2 傳遞規則的實現250
8.4.3 考慮權值影響的信息聚合260
8.4.4 添加激活函數 261
8.4.5 模擬一個分類輸出262
8.5 GraphSAGE 263
8.5.1 歸納式學與直推式學263
8.5.2 GraphSAGE 所為何來266
8.5.3 GraphSAGE 的框架 267
8.5.4 鄰居節點採樣 268
8.5.5 徵信息聚合 269
8.5.6 權值參數訓練 271
8.6 基於GraphSAGE 的實踐 273
8.6.1 Cora 數據探索 273
8.6.2 構造正負樣本 276
8.6.3 定義模型277
8.6.4 訓練參數配置 278
8.6.5 訓練模型279
8.6.6 嵌入表示的可視化281
8.7 本章小結283
參考資料284

第9 章譜域圖卷積經網絡286
9.1 傅里葉變換 287
9.1.1 傅里葉變換背後的方法論287
9.1.2 感性認識傅里葉變換 288
9.1.3 向量分解與信號過濾 288
9.2 圖傅里葉變換 290
9.2.1 什麼是圖信號 290
9.2.2 圖傅里葉變換簡介290
9.2.3 徵值與圖信號頻率之間的關係293
9.3 譜域視角下的圖卷積 296
9.3.1 圖卷積理論 296
9.3.2 譜域圖卷積 297
9.3.3 基於譜的圖濾波器設計 299
9.4 基於譜域GCN 的演進 300
9.4.1 頻率響應參數化的GCN 300
9.4.2 多項式參數化的GCN302
9.4.3 基於切比雪夫網絡截斷的多項式參數化的GCN 304
9.4.4 基於一切比雪夫網絡的GCN 306
9.5 Karate Club 圖卷積分類實踐 308
9.5.1 Karate Club 數據集 308
9.5.2 數據導入與探索309
9.5.3 鄰接矩陣與坐標格式 312
9.5.4 繪圖NetworkX 圖 315
9.5.5 半監督的節點分類315
9.5.6 模型預測321
9.6 本章小結323
參考資料323