TensorFlow 深度學習：數學原理與 Python 實戰進階 Pro Deep Learning with TensorFlow

Santanu Pattanayak

目前在GE數字集團（GE Digital）擔任高級數據科學家。
Santanu具有10年的總體工作經驗，6年以上的數據分析/數據科學領域的經驗，同時還具有研發和數據庫技術的背景。
在加入GE之前，Santanu曾在RBS、Capgemini和IBM等公司工作。
他還是一名狂熱的數學愛好者，在數據科學黑客馬拉松和Kaggle競賽等的全球500強排名中名列前茅。

原書前言

□□章數學基礎//1
　1.1 線性代數//2
　1.1.1 向量//2
    1.1.2 標量//2
　1.1.3 矩陣//3
　1.1.4 張量//3
　1.1.5 矩陣的運算和操作//4
　1.1.6 向量的線性獨立//6
　1.1.7 矩陣的秩//8
    1.1.8 單位矩陣或恆等運算符//8
　1.1.9 矩陣的行列式//9
　1.1.10 逆矩陣//10
　1.1.11 向量的範數（模）//11
　1.1.12 偽逆矩陣//12
　1.1.13 以特定向量為方向的單位向量//12
　1.1.14 一個向量在另一個向量方向上的投影（或射影）//12
　1.1.15 特徵向量//12
　1.2 微積分//17
　1.2.1 微分//17
　1.2.2 函數的梯度//17
　1.2.3 連續偏導數//18
　1.2.4 海森矩陣//18
　1.2.5 函數的極大值和極小值//18
　1.2.6 局部極小值和全局□小值//20
　1.2.7 半正定以及正定矩陣//21
　1.2.8 凸集//21
　1.2.9 凸函數//22
　1.2.10 非凸函數//22
    1.2.11 多變量凸函數以及非凸函數範例//23
    1.2.12 泰勒級數//24
　1.3 概率//24
　1.3.1 並集、交集和條件概率//25
　1.3.2 事件交集概率的鍊式法則//26
　1.3.3 互斥事件//26
　1.3.4 事件獨立性//27
　1.3.5 事件條件獨立性//27
　1.3.6 貝葉斯定理（公式）//27
　1.3.7 概率質量函數//28
　1.3.8 概率密度函數//28
　1.3.9 隨機變量的數學期望//28
　1.3.10 隨機變量的方差//28
　1.3.11 偏度和峰度//29
　1.3.12 協方差//30
　1.3.13 相關性係數//31
　1.3.14 一些常見的概率分佈//31
　1.3.15 似然函數//34
　1.3.16 □大似然估計//35
　1.3.17 假設檢驗和p值//36
　1.4 機器學習算法的製定與優化算法//38
　1.4.1 監督學習//38
　1.4.2 無監督學習//45
　1.4.3 機器學習的優化算法//45
　1.4.4 約束優化問題//53
　1.5 機器學習中的幾個重要主題//54
　1.5.1 降維方法//54
　1.5.2 正則化//5
　1.5.3 約束優化問題中的正則化//59
　1.6 總結//60

第2章深度學習概念和TensorFlow介紹//61
　2.1 深度學習及其發展//61
　2.2 感知機和感知機學習算法//63
　2.2.1 感知機學習的幾何解釋//65
　2.2.2 感知機學習的局限性//66
　2.2.3 非線性需求//68
　2.2.4 隱藏層感知機的非線性激活函數//69
　2.2.5 神經元或感知機的不同激活函數//70
　2.2.6 多層感知機網絡的學習規則//74
　2.2.7 梯度計算的反向傳播//75
　2.2.8 反向傳播方法推廣到梯度計算//76
　2.3 TensorFlow //82
　2.3.1 常見的深度學習包//82
　2.3.2 TensorFlow的安裝//83
　2.3.3 TensorFlow的開發基礎//83
　2.3.4 深度學習視角下的梯度下降優化方法//86
　2.3.5 隨機梯度下降的小批量方法中的學習率//90
　2.3.6 TensorFlow中的優化器//90
　2.3.7 TensorFlow實現XOR//96
　2.3.8 TensorFlow中的線性回歸//100
　2.3.9 使用全批量梯度下降的SoftMax函數多分類//103
　2.3.10 使用隨機梯度下降的SoftMax函數多分類//105
　2.4 GPU //107
　2.5 總結//108

第3章卷積神經網絡//109
　3.1 卷積操作//109
　3.1.1 線性時不變和線性移不變系統//109
　3.1.2 一維信號的捲積//111
　3.2 模擬信號和數字信號//112

　　3.2.1 二維和三維信號//113

　3.3 二維卷積//114
　3.3.1 二維單位階躍函數//114
　3.3.2 LSI系統中單位階躍響應信號的二維卷積//115
　3.3.3 不同的LSI系統中圖像的二維卷積//117
　3.4 常見的圖像處理濾波器//120
　3.4.1 均值濾波器//120
　3.4.2 中值濾波器//122
　3.4.3 高斯濾波器//122
　3.4.4 梯度濾波器//123
　3.4.5 Sobel邊緣檢測濾波器//125
　3.4.6 恆等變換//127
　3.5 卷積神經網絡//128
　3.6 卷積神經網絡的組成部分//128
　3.6.1 輸入層//129
　3.6.2 卷積層//129
　3.6.3 池化層//131
　3.7 卷積層中的反向傳播//131
　3.8 池化層中的反向傳播//134
　3.9 卷積中的權值共享及其優點//136
　3.10 平移同變性//136
　3.11 池化的平移不變性//137
　3.12 捨棄層和正則化//138
　3.13 MNIST數據集上進行手寫數字識別的捲積神經網絡//140
　3.14 用來解決現實問題的捲積神經網絡//144
　3.15 批規範化//151
　3.16 卷積神經網絡中的幾種不同的網絡架構//153
　3.16.1 LeNet//153
　3.16.2 AlexNet//154
　3.16.3 VGG16//155
　3.16.4 ResNet//156
　3.17 遷移學習//157
　3.17.1 遷移學習的使用指導//158
　3.17.2 使用谷歌InceptionV3網絡進行遷移學習//159
　3.17.3 使用預訓練的VGG16網絡遷移學習//162
    3.18 總結//166

第4章基於循環神經網絡的自然語言處理//167
　4.1 向量空間模型//167
　4.2 單詞的向量表示//170
　4.3 Word2Vec//170
　4.3.1 CBOW //171
　4.3.2 CBOW 在TensorFlow中的實現//173
　4.3.3 詞向量嵌入的Skip-gram模型//176
　4.3.4 Skip-gram在TensorFlow中的實現//178
　4.3.5 基於全局共現方法的詞向量//181
　4.3.6 GloVe//186
　4.3.7 詞向量類比法//188
　4.4 循環神經網絡的介紹//191
　4.4.1 語言建模//193
　4.4.2 用循環神經網絡與傳統方法預測句子中的下一個詞的對比//193
　4.4.3 基於時間的反向傳播//194
　4.4.4 循環神經網絡中的梯度消失與爆炸問題//196
　4.4.5 循環神經網絡中的梯度消失與爆炸問題的解決方法//198
　4.4.6 LSTM//199
　4.4.7 LSTM在減少梯度爆炸和梯度消失問題中的應用//200
　4.4.8 在TensorFlow中使用循環神經網絡進行MNIST數字識別//201
　4.4.9 門控循環單元//210
　4.4.10 雙向循環神經網絡//211
　4.5 總結//212

第5章用受限玻爾茲曼機和自編碼器進行無監督學習//214
　5.1 玻爾茲曼分佈//214
　5.2 貝葉斯推斷：似然、先驗和後驗概率分佈//215
　5.3 MCMC採樣方法//219
　5.3.11 Metropolis算法//222
　5.4 受限玻爾茲曼機//226
　5.4.1 訓練受限玻爾茲曼機//229
　5.4.2 吉布斯採樣//233
　5.4.3 塊吉布斯採樣//234
　5.4.4 Burn-in階段和吉布斯採樣中的樣本生成//235
　5.4.5 基於吉布斯採樣的受限玻爾茲曼機//235
　5.4.6 對比散度//236
　5.4.7 受限玻爾茲曼機的TensorFlow實現//237
　5.4.8 基於受限玻爾茲曼機的協同過濾//239
　5.4.9 深度置信網絡//244
　5.5 自編碼器//248
　5.5.1 基於自編碼器的監督式特徵學習//250
　5.5.2 KL散度//251
　5.5.3 稀疏自編碼器//251
　5.5.4 稀疏自編碼器的TensorFlow實現//253
　5.5.5 去噪自編碼器//255
　5.5.6 去噪自編碼器的TensorFlow實現//256
　5.6 PCA和ZCA白化//262
　5.7 總結//264

第6章高級神經網絡//265
　6.1 圖像分割//265
　6.1.1 基於像素強度直方圖的二元閾值分割方法//265
　6.1.2 大津法//266
　6.1.3 用於圖像分割的分水嶺算法//268
　6.1.4 使用K-means聚類進行圖像分割//272
　6.1.5 語義分割//274
　6.1.6 滑動窗口方法//274
　6.1.7 全卷積網絡//275
　6.1.8 全卷積網絡的下採樣和上採樣//277
　6.1.9 U-Net//281
　6.1.10 在TensorFlow中使用全卷積神經網絡進行語義分割//283
　6.2 圖像分類和定位網絡//290
　6.3 物體檢測//292
　6.3.1 R-CNN//293
　6.3.2 Fast和Faster-CNN//294
　6.4 生成式對抗網絡//295
　6.4.1 極大極小和極小極大問題//295
　6.4.2 零和博弈//297
　6.4.3 極小極大和鞍點//298
　6.4.4 生成式對抗網絡的損失函數和訓練//300
　6.4.5 生成器的梯度消弭//302
　6.4.6 生成式對抗網絡的TensorFlow實現//302
　6.5 生成環境下的TensorFlow模型應用//305
　6.6 總結//308