深度學習TensorFlow編程實戰

第1章   TensorFlow介紹 1

1.1  深度學習與TensorFlow簡介 2

1.1.1  深度學習簡介 2

1.1.2  TensorFlow簡介 3

1.2  TensorFlow的安裝 6

1.2.1  Anaconda下載 6

1.2.2  在Windows平臺安裝TensorFlow 7

1.2.3  在Linux Ubuntu下安裝TensorFlow 8

1.2.4  Anaconda管理 9

1.3  常用數據集 13

1.3.1  MNIST數據集 13

1.3.2  Fashion-MNIST數據集 14

1.3.3  IMDB數據集 16

1.3.4  CIFAR-10數據集 18

1.3.5  REUTERS數據集 20

1.3.6  QIQC數據集 22

1.3.7  Dogs vs. Cats數據集 23

第2章   TensorFlow文件操作 25

2.1  CSV文件操作 26

2.1.1  讀取CSV文件 26

2.1.2  生成CSV文件 27

2.2  編寫網絡下載程序 28

2.3  TFRecords文件操作 30

2.3.1  生成TFRecords文件 30

2.3.2  讀取TFRecords文件 33

2.4  數據集API 35

2.4.1  數據集對象 35

2.4.2  讀取內存數據 36

2.4.3  讀取文本文件 38

2.4.4  讀取CSV文件 39

2.4.5  讀取圖像文件 41

第3章   BP神經網絡原理與實現 45

3.1  神經網絡構件 46

3.1.1  神經元 46

3.1.2  激活函數 47

3.2  神經網絡原理 52

3.2.1  神經網絡表示 52

3.2.2  前向傳播 54

3.2.3  代價函數 58

3.2.4  梯度下降 58

3.2.5  反向傳播 60

3.3  BP神經網絡的Python實現 62

3.3.1  輔助函數 62

3.3.2  前向傳播實現 66

3.3.3  反向傳播實現 68

3.3.4  模型訓練和預測 72

3.3.5  主函數和運行結果 74

3.4  BP神經網絡的TensorFlow實現 76

3.4.1  加載數據集 76

3.4.2  模型訓練和預測 77

第4章   TensorFlow基礎編程 79

4.1  TensorFlow的編程環境 80

4.2  TensorFlow計算圖 81

4.3  核心概念 81

4.3.1  變量與占位符 81

4.3.2  矩陣運算 85

4.3.3  常用運算符 86

4.3.4  圖、會話及運行 87

4.4  通過實例學習TensorFlow 90

4.4.1  異或問題描述與解決思路 90

4.4.2  低級API解決異或問題 91

4.4.3  用Keras解決異或問題 93

4.4.4  用Estimators解決異或問題 94

4.5  一個簡單的文本分類示例 97

4.6  TensorBoard可視化工具 101

4.6.1  啟動TensorBoard 101

4.6.2  在瀏覽器中查看 103

第5章   神經網絡訓練與優化 107

5.1  神經網絡迭代概述 108

5.1.1  訓練誤差與泛化誤差 108

5.1.2  訓練集、驗證集和測試集的劃分 109

5.1.3  偏差與方差 111

5.2  正則化方法 112

5.2.1  提前終止 113

5.2.2  正則化 113

5.2.3  Dropout 115

5.3  優化算法 117

5.3.1  小批量梯度下降 117

5.3.2  Momentum算法 119

5.3.3  RMSProp算法 121

5.3.4  Adam算法 124

第6章   捲積神經網絡原理 127

6.1  CNN介紹 128

6.1.1  CNN與圖像處理 128

6.1.2  捲積的基本原理 128

6.1.3  池化的基本原理 138

6.2  Keras實現LeNet-5網絡 142

6.2.1  LeNet-5介紹 142

6.2.2  使用Keras實現LeNet-5網絡 143

6.3  用Estimator實現CIFAR-10圖像識別 147

6.3.1  預創建的Estimator 147

6.3.2  定製 Estimator 151

6.3.3  用TensorBoard查看 157

第7章   捲積神經網絡示例 161

7.1  經典CNN案例 162

7.1.1  VGG 162

7.1.2  ResNet 163

7.1.3  Inception 165

7.1.4  Xception 168

7.2  使用預訓練的CNN 169

7.2.1  直接使用預訓練CNN 169

7.2.2  數據生成器 172

7.2.3  特徵提取 173

7.2.4  微調 181

7.3  CNN可視化 183

7.3.1  中間激活可視化 183

7.3.2  過濾器可視化 190

第8章   詞嵌入模型 195

8.1  詞嵌入模型介紹 196

8.1.1  獨熱碼 196

8.1.2  詞嵌入 202

8.2  詞嵌入學習 204

8.2.1  詞嵌入學習的動機 204

8.2.2  Skip-Gram算法 205

8.2.3  CBOW算法 207

8.2.4  負採樣 208

8.2.5  GloVe算法 211

8.3  Word2Vec算法實現 212

8.3.1  Skip-Gram算法實現 212

8.3.2  CBOW算法實現 218

8.3.3  負採樣Skip-Gram算法實現 220

第9章   循環神經網絡原理 229

9.1  RNN介紹 230

9.1.1  有記憶的神經網絡 230

9.1.2  RNN的用途 233

9.2  基本的RNN模型 236

9.2.1  基本RNN的原理 236

9.2.2  基本RNN的訓練問題 241

9.2.3  基本RNN示例 243

9.3  LSTM 246

9.3.1  LSTM原理 246

9.3.2  LSTM示例 250

9.4  GRU 251

9.4.1  GRU原理 251

9.4.2  GRU示例 253

第10章   循環神經網絡示例 255

10.1  情感分析 256

10.2  文本序列數據生成 262

10.2.1  向莎士比亞學寫詩 262

10.2.2  神經機器翻譯 268

參考文獻    282