深度學習實戰 深度学习实战

楊雲教授，女，1981年生人。
多年從事機器學習，數據挖掘，模式識別，大數據處理與分析等方面的研究工作，在英國曼徹斯特大學攻讀博士學位期間，入選英國政府資助的海外研究生獎勵計劃（UK Overseas Research Students Awards Scheme –ORSAS） 。
博士畢業之後，在英國薩里大學從事研究員工作，期間主持了由歐共體第七個框架計劃資助下的國際合作項目的子項目。

第1章深度學習的發展介紹1 
1.1如何閱讀本書3 
1.2深度學習沉浮史3 
1.2.1模擬生物大腦的瘋狂遠古時代4 
1.2.2聯結主義近代5 
1.2.3百花齊放，層次結構主導，模型巨大的當代6 
1.3 Python簡易教程7 
1.3.1 Anaconda搭建7 
1.3.2 IPython Notebook使用7 
1.3.3 Python基本用法8 
1.3.4 NumPy 15 
1.3.5 Matplotlib 23 
1.4參考文獻25 

第2章機器學習快速入門27 
2.1學習算法28 
2.1.1學習任務29 
2.1.2性能度量30 
2.1.3學習經驗32 
2.2代價函數33 
2.2.1均方誤差函數33 
2.2.2極大似然估計34 
2.3梯度下降法36 
2.3 .1批量梯度下降法38 
2.3.2隨機梯度下降法39 
2.4過擬合與欠擬合40 
2.4.1沒免費午餐理論42 
2.4.2正則化43 
2.5超參數與驗證集44
2.6 Softmax編碼實戰46 
2.6.1編碼說明49 
2.6.2熟練使用CIFAR-10數據集50 
2.6.3顯式循環計算損失函數及其梯度53 
2.6.4向量化表達式計算損失函數及其梯度56 
2.6 .5最小批量梯度下降算法訓練Softmax分類器57 
2.6.6使用驗證數據選擇超參數61 
2.7參考代碼68 
2.8參考文獻70 

第3章前饋神經網絡72 
3.1神經元73 
3.1.1 Sigmoid神經元74 
3.1 .2 Tanh神經元75 
3.1.3 ReLU神經元76 
3.2前饋神經網絡80 
3.2.1輸出層單元80 
3.2.2隱藏層單元80 
3.2.3網絡結構設計81 
3.3 BP算法82 
3.4深度學習編碼實戰上86 
3.4.1實現仿射傳播88 
3.4.2實現ReLU傳播91 
3.4.3組合單層神經元93 
3.4.4實現淺層神經網絡96 
3.4.5實現深層全連接網絡101 
3.5參考代碼109 
3.6參考文獻113 

第4章深度學習正則化115 
4.1參數範數懲罰116
4.1.1 L2參數正則化118 
4.1.2 L1正則化119 
4.2參數綁定與參數共享120 
4.3噪聲注入與數據擴充120 
4.4稀疏表徵122 
4.5早停123 
4.6 Dropout 126 
4.6.1個體與集成126 
4.6. 2 Dropout 127 
4.7深度學習編碼實戰中129 
4.7.1 Dropout傳播131 
4.7.2組合Dropout傳播層134 
4.7.3 Dropout神經網絡136 
4.7.4解耦訓練器trainer 138 
4.7.5解耦更新器updater 143 
4.7 .6正則化實驗145 
4.8參考代碼148 
4.9參考文獻150 

第5章深度學習優化152 
5.1神經網絡優化困難153 
5.1.1局部最優153 
5.1.2鞍點154 
5.1.3梯度懸崖154 
5.1.4梯度消失或梯度爆炸155 
5.1.5梯度不精確156 
5.1.6優化理論的局限性156 
5.2隨機梯度下降156 
5.3動量學習法158 
5.4 AdaGrad和RMSProp 159
5.5 Adam 160 
5.6參數初始化策略161 
5.7批量歸一化163 
5.7.1 BN算法詳解163 
5.7.2 BN傳播詳解165 
5.8深度學習編碼實戰下166 
5.8.1 Momentum 167 
5.8.2 RMSProp 171 
5.8.3 Adam 172 
5.8.4更新規則比較174 
5.8.5 BN前向傳播176 
5.8.6 BN反向傳播180 
5.8.7使用BN的全連接網絡182 
5.8.8 BN算法與權重標準差比較188 
5.9參考代碼191 
5.10參考文獻195 

第6章卷積神經網絡196 
6.1卷積操作197 
6.2卷積的意義198 
6.2.1稀疏連接199 
6.2.2參數共享200 
6.3池化操作201 
6.4設計卷積神經網絡204 
6.4.1跨步卷積204 
6.4.2零填充205 
6.4.3非共享卷積206 
6.4.4平鋪卷積207 
6.5卷積網絡編碼練習208 
6.5.1卷積前向傳播209 
6.5.2卷積反向傳播212
6.5.3很大池化前向傳播215 
6.5.4很大池化反向傳播218 
6.5.5向量化執行220 
6.5.6組合完整捲積層223 
6.5.7淺層卷積網絡224 
6.5.8空間批量歸一化229 
6.6參考代碼233 
6.7參考文獻237 

第7章循環神經網絡238 
7.1循環神經網絡239 
7.1.1循環神經元展開239 
7.1.2循環網絡訓練240 
7.2循環神經網絡設計242 
7.2.1雙向循環網絡結構242 
7.2.2編碼-解碼網絡結構243 
7.2.3深度循環網絡結構244 
7.3門控循環神經網絡245 
7.3.1 LSTM 246 
7.3.2門控循環單元249 
7.4 RNN編程練習250 
7.4.1 RNN單步傳播252 
7.4.2 RNN時序傳播255 
7.4.3詞嵌入258 
7.4.4 RNN輸出層261 
7.4.5時序Softmax損失262 
7.4.6 RNN圖片說明任務264 
7.5 LSTM編程練習269 
7.5.1 LSTM單步傳播269 
7.5.2 LSTM時序傳播273
7.5.3 LSTM實現圖片說明任務276 
7.6參考代碼278 
7.6.1 RNN參考代碼278 
7.6.2 LSTM參考代碼282 
7.7參考文獻285
 
第8章TensorFlow快速入門287 
8.1 TensorFlow介紹288 
8.2 TensorFlow 1.0安裝指南289 
8.2. 1雙版本切換Anaconda 289 
8.2.2安裝CUDA 8.0 291 
8.2.3安裝cuDNN 292 
8.2.4安裝TensorFlow 293 
8.2.5驗證安裝294 
8.3 TensorFlow基礎295 
8.3.1 Tensor 295 
8.3.2 TensorFlow核心API教程296 
8.3. 3 tf.train API 299 
8.3.4 tf.contrib.learn 301 
8.4 TensorFlow構造CNN 305 
8.4.1構建Softmax模型305 
8.4.2使用TensorFlow訓練模型307 
8.4.3使用TensorFlow評估模型308 
8.4.4使用TensorFlow構建卷積神經網絡308 
8.5 TensorBoard快速入門311 
8.5.1 TensorBoard可視化學習312
8.5.2 計算圖可視化316