深度學習入門與 TensorFlow 實踐

林炳清，毕业于新加坡南洋理工大学，获得统计学博士学位，现为深圳大学数学与统计学院副教授，硕士生导师，主要研究方向为机器学习、数据挖掘、生物信息学，在国内外权威期刊发表论文三十余篇，主持并参与多项国家自然科学基金项目。

目　　錄

 

 

 

第　1章 深度學習簡介　1

1.1　什麽是深度學習　1

1.1.1　機器學習簡介　1

1.1.2　深度學習與傳統機器學習算法的區別　4

1.1.3　深度學習與人類神經網絡的關系　4

1.2　為什麽需要學習深度學習　5

1.3　誰需要學習深度學習　6

1.4　學深度學習之後，你可以做什麽　6

1.5　本章小結　6

第　2章 數學和Python基礎知識　7

2.1　線性代數　7

2.1.1　數、向量、矩陣和張量　7

2.1.2　矩陣的轉置　8

2.1.3　矩陣的基本運算　9

2.1.4　向量和矩陣的範數　10

2.2　微積分　10

2.2.1　導數的概念　10

2.2.2　求導法則　11

2.3　概率論　11

2.3.1　隨機變量　12

2.3.2　隨機變量的分佈　12

2.3.3　常見的概率分佈　13

2.3.4　條件概率　14

2.4　Anaconda　14

2.4.1　安裝Anaconda　14

2.4.2　包的管理　15

2.4.3　環境的管理　15

2.5　Jupyter Notebook　16

2.5.1　安裝Jupyter Notebook　16

2.5.2　打開和關閉Jupyter Notebook　17

2.5.3　代碼框　18

2.5.4　標記框　19

2.6　Python　22

2.6.1　Python基礎　22

2.6.2　Python基本數據結構　23

2.6.3　控制結構和函數　26

2.6.4　NumPy庫　28

2.6.5　Pandas　31

2.6.6　畫圖工具　32

2.7　本章小結　35

第3章　線性模型　36

3.1　線性回歸模型　36

3.1.1　線性回歸模型簡介　36

3.1.2　隨機梯度下降法　41

3.1.3　全數據梯度下降法　50

3.1.4　批量隨機梯度下降法　56

3.1.5　學習步長　59

3.1.6　標準化和中心化　61

3.1.7　3種梯度下降法的對比　62

3.2　logistic模型　63

3.2.1　logistic模型簡介　63

3.2.2　估計 和　66

3.3　本章小結　70

習題　70

第4章　深度神經網絡　72

4.1　為什麽需要深度神經網絡　72

4.1.1　簡單神經網絡　72

4.1.2　具有隱藏層的神經網絡　78

4.2　正向傳播算法　83

4.3　反向傳播算法　87

4.4　深度神經網絡的完整訓練流程　96

4.4.1　隨機梯度下降法　96

4.4.2　批量隨機梯度下降法　98

4.5　本章小結　102

習題　103

第5章　激活函數　104

5.1　激活函數的基本要求　104

5.2　輸出層的激活函數　107

5.2.1　因變量為定量數據　107

5.2.2　因變量為二分類定性數據　108

5.2.3　因變量為多分類定性數據　108

5.2.4　識別MNIST數據集中的手寫數字　111

5.3　隱藏層的激活函數　116

5.3.1　sigmoid函數　116

5.3.2　tanh函數　118

5.3.3　ReLU函數　119

5.3.4　Leaky ReLU函數　121

5.4　本章小結　125

習題　126

第6章　模型評估和正則化　130

6.1　模型評估　130

6.2　欠擬合和過擬合　133

6.3　正則化　140

6.3.1　早停法　141

6.3.2　懲罰法　141

6.3.3　丟棄法　145

6.3.4　增加觀測點　151

6.4　本章小結　151

習題　152

第7章　基於TensorFlow 2建立深度學習模型　153

7.1　安裝TensorFlow　154

7.2　TensorFlow 2基本用法　154

7.2.1　tf.Tensor　154

7.2.2　TensorFlow 2和NumPy的兼容性　156

7.3　深度神經網絡建模基本步驟　156

7.3.1　創建模型結構　157

7.3.2　訓練模型　159

7.3.3　評估和預測模型　160

7.4　基於TensorFlow 2建立線性回歸模型　161

7.5　基於TensorFlow 2建立神經網絡分類模型　164

7.5.1　神經網絡分類模型　164

7.5.2　神經網絡模型的正則化　167

7.6　本章小結　169

習題　170

第8章　捲積神經網絡　171

8.1　捲積層　172

8.1.1　捲積運算　172

8.1.2　捲積層運算　173

8.1.3　捲積運算的直觀理解　175

8.1.4　填充　177

8.1.5　捲積層求導　178

8.1.6　用Python實現捲積層的計算　180

8.2　池化層　183

8.2.1　池化運算　183

8.2.2　池化層求導　185

8.2.3　用Python實現池化層的計算　187

8.3　捲積神經網絡　189

8.4　本章小結　196

習題　196

第9章　基於TensorFlow 2搭建捲積神經網絡模型　198

9.1　捲積層和池化層　199

9.2　CNN實例——MNIST數據集和CIFAR-10數據集　201

9.2.1　關於MNIST數據集的實例　201

9.2.2　關於CIFAR-10數據集的實例　207

9.3　CNN建模技巧　214

9.3.1　捲積神經網絡的結構　214

9.3.2　捲積層和池化層的超參數選擇　215

9.3.3　經典的捲積神經網絡　216

9.4　本章小結　219

習題　219

第　10章 循環神經網絡　221

10.1　分析IMDB的數據　221

10.1.1　IMDB的數據　221

10.1.2　神經網絡模型（IMDB）　225

10.2　詞嵌入　229

10.3　循環神經網絡　231

10.4　從零開始實現循環神經網絡　236

10.4.1　莎士比亞作品應用示例　236

10.4.2　正向傳播算法　239

10.4.3　反向傳播算法　241

10.5　本章小結　246

習題　247

第　11章 搭建深度學習框架　248

11.1　類Tensor和自動求導　248

11.1.1　類　248

11.1.2　類Tensor　250

11.1.3　自動求導　251

11.2　為Tensor類添加運算函數並建立神經網絡模型　258

11.2.1　為Tensor類添加運算函數　258

11.2.2　使用Tensor類建立神經網絡模型　264

11.3　類SGD、類Layer和激活函數　266

11.3.1　類SGD　266

11.3.2　類Layer　267

11.3.3　激活函數　270

11.4　詞嵌入和循環神經網絡　278

11.4.1　詞嵌入　278

11.4.2　循環神經網絡　285

11.5　本章小結　291

習題　291

第　12章 長短期記憶模型與門控循環單元模型　292

12.1　簡單循環神經網絡的主要缺陷　292

12.2　長短期記憶模型　298

12.2.1　LSTM模型的核心思想　299

12.2.2　詳解LSTM模型　299

12.2.3　實現LSTM模型　301

12.3　門控循環單元模型　306

12.3.1　詳解GRU模型　307

12.3.2　實現GRU模型　308

12.4　本章小結　311

習題　311

第　13章 基於TensorFlow 2搭建循環神經網絡模型　312

13.1　建立LSTM模型　312

13.1.1　預處理數據　313

13.1.2　基於TensorFlow建立LSTM模型　315

13.2　基於TensorFlow建立GRU模型　316

13.3　本章小結　325

習題　326