TensorFlow 2.0 深度學習應用實踐

目    錄

 

第1章  星星之火 1

1.1  電腦視覺與深度學習 1

1.1.1  人類視覺神經的啟迪 2

1.1.2  電腦視覺的難點與人工

神經網絡 3

1.1.3  應用深度學習解決電腦

視覺問題 4

1.2  電腦視覺學習的基礎與研究方向 5

1.2.1  學習電腦視覺結構圖 5

1.2.2  電腦視覺的學習方式和

未來趨勢 6

1.3  本章小結 7

第2章  Python的安裝與使用 8

2.1  Python基本安裝和用法 8

2.1.1  Anaconda的下載與安裝 8

2.1.2  Python編譯器PyCharm的安裝 11

2.1.3  使用Python計算softmax函數 13

2.2  Python常用類庫threading 15

2.2.1  threading庫的使用 15

2.2.2  threading模塊中最重要的

Thread類 16

2.2.3  threading中Lock類 17

2.2.4  threading中join類 18

2.3  本章小結 18

第3章  深度學習的理論基礎——

機器學習 19

3.1  機器學習基本分類 19

3.1.1  應用學科的分類 19

3.1.2  學習模式的分類 20

3.1.3  應用領域的分類 20

3.2  機器學習基本算法 21

3.2.1  機器學習的算法流程 21

3.2.2  基本算法的分類 22

3.3  算法的理論基礎 23

3.3.1  小學生的故事——求圓的面積 23

3.3.2  機器學習基礎理論——函數

逼近 24

3.4  回歸算法 25

3.4.1  函數逼近經典算法——線性回歸

算法 25

3.4.2  線性回歸的姐妹——邏輯回歸 27

3.5  本章小結 28

第4章  Python類庫的使用——數據處理

及可視化展示 29

4.1  從小例子起步——NumPy的初步使用 29

4.1.1  數據的矩陣化 29

4.1.2  數據分析 30

4.1.3  基於統計分析的數據處理 32

4.2  圖形化數據處理——Matplotlib包使用 32

4.2.1  差異的可視化 33

4.2.2  坐標圖的展示 34

4.2.3  玩個大的 35

4.3  深度學習理論方法——相似度計算 38

4.3.1  基於歐幾里得距離的相似度

計算 38

4.3.2  基於餘弦角度的相似度

計算 39

4.3.3  歐幾里得相似度與餘弦相似度的

比較 40

4.4  數據的統計學可視化展示 40

4.4.1  數據的四分位 40

4.4.2  數據的四分位示例 41

4.4.3  數據的標準化 45

4.4.4  數據的平行化處理 46

4.4.5  熱點圖-屬性相關性檢測 48

4.5  Python實戰——某地降雨的關系處理 49

4.5.1  不同年份的相同月份統計 49

4.5.2  不同月份之間的增減程度比較 51

4.5.3  每月降雨不相關嗎 52

4.6  本章小結 53

第5章  OpenCV的基礎使用 54

5.1  OpenCV基本的圖片讀取 54

5.1.1  基本的圖片存儲格式 54

5.1.2  圖像的讀取與存儲 56

5.1.3  圖像的轉換 56

5.1.4  使用NumPy模塊對圖像進行

編輯 58

5.2  OpenCV的捲積核處理 59

5.2.1  電腦視覺的三種不同色彩

空間 59

5.2.2  捲積核與圖像特徵提取 60

5.2.3  捲積核進階 62

5.3  本章小結 63

第6章  OpenCV與TensorFlow的融合 64

6.1  圖片的自由縮放以及邊緣裁剪 64

6.1.1  圖像的擴縮裁挖 64

6.1.2  圖像色調的調整 65

6.1.3  圖像的旋轉、平移和翻轉 67

6.2  使用OpenCV擴大圖像數據庫 68

6.2.1  圖像的隨機裁剪 68

6.2.2  圖像的隨機旋轉變換 69

6.2.3  圖像色彩的隨機變換 70

6.2.4  對鼠標的監控 70

6.3  本章小結 71

第7章  Let’s play TensorFlow 72

7.1  TensorFlow游樂場 72

7.1.1  I want to play a game 72

7.1.2  TensorFlow游樂場背後的故事 75

7.1.3  如何訓練神經網絡 76

7.2  Hello TensorFlow 77

7.2.1  TensorFlow名稱的解釋 77

7.2.2  TensorFlow基本概念 78

7.3  本章小結 80

第8章  Hello TensorFlow，從0到1 81

8.1  TensorFlow的安裝 81

8.2.1  檢測Anaconda中的TensorFlow

版本 81

8.2.2  TensorFlow 2.0 GPU版本基礎

顯卡推薦和前置軟件安裝 82

8.2.3  第一個Hello TensorFlow

小程序 84

8.2  TensorFlow常量、變量和數據類型 86

8.3  TensorFlow矩陣計算 88

8.4  Hello TensorFlow 89

8.5  本章小結 92

第9章  TensorFlow重要算法基礎 93

9.1  BP神經網絡簡介 93

9.2  BP神經網絡兩個基礎算法詳解 95

9.2.1  最小二乘法（LS算法）詳解 95

9.2.2  道士下山的故事——梯度下降

算法 98

9.3  反饋神經網絡反向傳播算法介紹 101

9.3.1  深度學習基礎 101

9.3.2  鏈式求導法則 102

9.3.3  反饋神經網絡原理與公式

推導 103

9.3.4  反饋神經網絡原理的激活

函數 108

9.3.5  反饋神經網絡原理的Python

實現 109

9.4  本章小結 115

第10章  Hello TensorFlow & Keras 116

10.1  MODEL！MODEL！還是MODEL 116

10.2  使用Keras API實現鳶尾花分類的例子

（順序模式） 117

10.2.1  數據的準備 118

10.2.2  數據的處理 118

10.2.3  梯度更新函數的寫法 119

10.3  使用Keras函數式編程實現鳶尾花

分類的例子（重點） 120

10.4  使用保存的Keras模式對模型進行

復用 123

10.5  使用TensorFlow 2.0標準化編譯

對Iris模型進行擬合 124

10.6  多輸入單輸出TensorFlow 2.0編譯

方法（選學） 128

 

10.7  多輸入多輸出TensorFlow 2.0編譯

方法（選學） 132

10.8  全連接層詳解 133

10.8.1  全連接層的定義與實現 133

10.8.2  使用TensorFlow 2.0自帶的

API實現全連接層 135

10.8.3  打印顯示TensorFlow 2.0設計的

Model結構和參數 138

10.9  本章小結 140

第11章  捲積層詳解與MNIST實戰 141

11.1  捲積運算基本概念 141

11.1.1  捲積運算 142

11.1.2  TensorFlow 2.0中捲積函數

實現詳解 143

11.1.3  池化運算 145

11.1.4  softmax激活函數 146

11.1.5  捲積神經網絡原理 147

11.2  TensorFlow 2.0編程實戰：MNIST

手寫體識別 150

11.2.1  MNIST數據集 150

11.2.2  MNIST數據集特徵和標簽

介紹 151

11.2.3  TensorFlow 2.0編程實戰

MNIST數據集 153

11.2.4  使用自定義的捲積層實現

MNIST識別 157

11.3  本章小結 161

第12章  捲積神經網絡公式推導與

應用 162

12.1  反饋神經網絡算法 162

12.1.1  經典反饋神經網絡正向與反向

傳播公式推導 162

12.1.2  捲積神經網絡正向與反向傳播

公式推導 165

12.2  使用捲積神經網絡分辨

CIFAR-10數據集 171

12.2.1  CIFAR-10數據集下載與

介紹 172

12.2.2  CIFAR-10模型的構建與

數據處理 174

 

12.2.3  CIFAR-10模型的細節描述與

參數重構 181

12.3  本章小結 183

第13章  TensorFlow Datasets和

TensorBoard詳解 184

13.1  TensorFlow Datasets簡介 184

13.2  Datasets 數據集的基本使用 186

13.3  Datasets 數據集的使用——

Fashion-MNIST 188

13.3.1  Fashion-MNIST數據集下載與

展示 189

13.3.2  模型的建立與訓練 191

13.4  使用Keras對Fashion-MNIST數據集

進行處理 193

13.5  使用TensorBoard可視化訓練過程 199

13.5.1  TensorBoard文件夾的設置 199

13.5.2  TensorBoard的顯式調用 200

13.5.3  TensorBoard的使用 202

13.6  本章小結 206

第14章  從冠軍開始：ResNet 207

14.1  ResNet基礎原理與程序設計基礎 207

14.1.1  ResNet誕生的背景 208

14.1.2  模塊工具的TensorFlow實現——

不要重復造輪子 211

14.1.3  TensorFlow高級模塊layers用法

簡介 211

14.2  ResNet實戰CIFAR-100數據集分類 219

14.2.1  CIFAR-100數據集簡介 219

14.2.2  ResNet殘差模塊的實現 222

14.2.3  ResNet網絡的實現 224

14.2.4  使用ResNet對CIFAR-100進行

分類 227

14.3  ResNet的兄弟——ResNeXt 228

14.3.1  ResNeXt誕生的背景 229

14.3.2  ResNeXt殘差模塊的實現 230

14.3.3  ResNeXt網絡的實現 231

14.3.4  ResNeXt和ResNet的比較 233

14.4  本章小結 234

 

 

第15章  Attention is all we need 235

15.1  簡單的理解註意力機制 235

15.1.1  何為註意力 235

15.1.2  hard or soft——註意力機制的

兩種常見形式 237

15.1.3  Spatial and Channel——註意力

機制的兩種實現形式 237

15.2  SENet or CBAM註意力機制的

經典模型 240

15.2.1  最後的冠軍——SENet 240

15.2.2  結合了Spatial and Channel的

CBAM模型 243

15.2.3  註意力的前沿研究——基於

細粒度的圖像註意力機制 248

15.3  本章小結 249

第16章  開始找工作吧——深度學習

常用面試問題答疑 250

16.1  深度學習面試常用問題答疑 250

16.1.1  如何降低過擬合

（Overfitting） 251

16.1.2  全連接層詳解 254

16.1.3  激活函數起作用的原因 255

16.1.4  捲積後的圖像大小 255

16.1.5  池化層的作用 255

16.1.6  為什麽在最後分類時使用softmax

而不是傳統的SVM 256

16.2  捲積神經網絡調優面試問答匯總 256

16.2.1  數據集的註意事項 256

16.2.2  捲積模型訓練的註意事項 256

16.3  NIN模型介紹 257

 

 

16.3.1  NIN（Network In Network）模型

簡介 257

16.3.2  貓狗大戰——NIN的代碼

實現 258

16.4  deeper is better——GoogLeNet模型

介紹 260

16.4.1  GoogLeNet模型的介紹 261

16.4.2  GoogLeNet模型單元的

TensorFlow實現 263

16.4.3  GoogLeNet模型一些註意

事項 266

16.5  本章小結 267

第17章  不服就是GAN——對抗生成

網絡 268

17.1  一個悲慘的故事 268

17.2  GAN基本原理簡介 269

17.3  GAN實戰——手寫體數字的生成 272

17.3.1  MNIST數據集和GAN模型

實現 272

17.3.2  訓練參數的定義和實現 275

17.4  本章小結 278

第18章  未來的趨勢——圖捲積神經

網絡初步 279

18.1  圖捲積神經網絡的誕生背景 279

18.1.1  圖捲積基本原理介紹 279

18.1.2  圖捲積基本原理和公式介紹 281

18.1.3  圖捲積需要的基本概念 282

18.2  實戰圖捲積神經網絡 283

18.2.1  cora數據集簡介 283

18.2.2  圖捲積模型的建立 286

18.3  本章小結 288