深度學習 : 一起玩轉 TensorLayer 深度学习:一起玩转TensorLayer

董豪：目前就讀於帝國理工學院，從事計算機視覺、醫療數據分析和深度學習理論研究，在ICCV、TNSRE、TIFS、ACM MM等會議和期刊發表過論文，Neurocomputing、TIP等會議和期刊的審稿人。有創業經驗，擅長把深度學習算法與實際問題結合，獲得多項國家發明專利和實用新型專利，TensorLayer創始人。

郭毅可:英國帝國理工學院計算系終身教授, 帝國理工數據科學研究所（Data Science Institute）所長，上海大學計算機學院院長，中國計算機協會大數據專委會創始會員。郭教授主持多項中國、歐盟和英國大型數據科學項目,累計總金額達1000億人民幣。
郭教授的研究重點為機器學習、雲計算、大數據和生物信息學。也是大數據會議KDD2018 的主席. 他是上海，北京，江蘇省政府特聘專家, 中國科學院網絡信息中心、中國科學院深圳先進技術研究院客座研究員。郭教授從2015 年起，發起和領導了TensorLayer 項目作為帝國理工數據科學研究所的重要機器學習工具。

楊光：帝國理工醫學院高級研究員，皇家布朗普頓醫院醫學圖像分析師，倫敦大學聖喬治醫學院榮譽講師，倫敦大學學院（UCL）碩士、博士、IEEE會員、SPIE會員、ISMRM會員、BMVA會員，專注於醫療大數據以及醫學圖像的成像和分析，在各類期刊會議上發表論文近40篇，國際專利兩項，Medical Physics雜誌臨時副主編，MIUA會議委員會委員，長期為專業雜誌會議義務審稿50餘篇。其研究方向獲得英國EPSRC、CRUK、NIHR和British Heart Foundation （BHF）資助。近期致力於Medical AI方向的創新創業。

吳超：帝國理工數字科學研究所研究員，主要從事醫療和城市領域數據分析和建模的研究工作，研究工作獲得EPSRC、Royal Society等多項研究基金資助。

王劍虹：帝國理工碩士及利物浦大學本科畢業，主要研究語音識別分類問題；目前在UCL攻讀研究型碩士，主要研究增強學習在遊戲中的運用。么忠瑋：帝國理工碩士，本科畢業於北京郵電大學，主要研究方向為計算機視覺，對生成模型和目標識別領域感興趣。目前致力於將目標檢測算法植入嵌入式系統實現即時檢測。

張敬卿：帝國理工博士在讀，研究型碩士，主要研究興趣包括深度學習、數據挖掘、時間序列與文本挖掘、多模態問題與生成模型。本科畢業於清華大學計算機科學與技術系，曾獲得中國國家獎學金。

陳竑：北京大學光華管理學院在讀，哈爾濱工業大學電子與信息工程學院畢業，深度學習愛好者。
林一鳴：帝國理工博士在讀，主要研究深度學習在人臉分析方向的應用。

於思淼：帝國理工博士在讀，浙江大學本科畢業，主要研究方向為深度學習、生成模型及其在計算機視覺方面的應用。

莫元漢：帝國理工博士在讀，北京航空航天大學本科畢業，主要研究方向為深度學習、動力學及其在醫療圖像分析方面的應用。

袁航：瑞士洛桑聯邦理工（EPFL）碩士在讀，本科就讀於德國雅各布大學（Jacobs）計算機系，及在美國卡內基梅隆大學（CMU）計算機科學學院交換學習，主要從事計算神經科學與電腦人機接口研究。之前分別在帝國理工及馬克斯普朗克智能係統研究院（Max Planck Institute for Intelligent Systems）進行研習，現在主要在EPFL G-lab研究脊髓修復對運動功能康復及血壓控制等課題。

1深度學習簡介1 
1.1人工智能、機器學習和深度學習1 
1.1.1引言1 
1.1.2人工智能、機器學習和深度學習三者的關係2 
1.2神經網絡3 
1.2.1感知器3 
1.2.2激活函數5 
1.2.3損失函數8 
1.2.4梯度下降和隨機梯度下降8 
1.2.5反向傳播算法簡述11 
1.2.6其他神經網絡12 
1.3學習方法建議13 
1.3.1網絡資源13 
1.3.2 TensorFlow官方深度學習教程14 
1.3.3開源社區15 
1.4 TensorLayer 15 
1.4.1深度學習框架概況15 
1.4.2 TensorLayer概括16 
1.4.3實驗環境配置17 

2多層感知器19 
2.1 McCulloch-Pitts神經元模型19 
2.1 .1人工神經網絡到底能幹什麼？到底在幹什麼21 
2.1.2什麼是激活函數？什麼是偏值22 
2.2感知器23 
2.2.1什麼是線性分類器24 
2.2.2線性分類器有什麼優缺點26 
2.2.3感知器實例和異或問題（XOR問題） 26
2.3多層感知器30 
2.4實現手寫數字分類32 
2.5過擬合40 
2.5.1什麼是過擬合40 
2.5.2 Dropout 41 
2.5.3批規範化42 
2.5.4 L1、L2和其他正則化方法42 
2.5 .5 Lp正則化的圖形化解釋44 
2.6再實現手寫數字分類46 
2.6.1數據迭代器46 
2.6.2通過all_drop啟動與關閉Dropout 47 
2.6.3通過參數共享實現訓練測試切換50 

3自編碼器54 
3.1稀疏性54 
3.2稀疏自編碼器56 
3.3實現手寫數字特徵提取59 
3.4降噪自編碼器65 
3.5再實現手寫數字特徵提取68 
3.6堆棧式自編碼器及其實現72 

4卷積神經網絡80 
4.1卷積原理80 
4.1.1卷積操作81 
4.1.2張量84 
4.1.3卷積層85 
4.1.4池化層87 
4.1.5全連接層89 
4.2經典任務90 
4.2.1圖像分類90 
4.2.2目標檢測91 
4.2.3語義分割94 
4.2.4實例分割94
4.3經典卷積網絡95 
4.3.1 LeNet 95 
4.3.2 AlexNet 96 
4.3.3 VGGNet 96 
4.3.4 GoogLeNet 98 
4.3.5 ResNet 99 
4.4實現手寫數字分類100 
4.5數據增強與規範化104 
4.5.1數據增強104 
4.5 .2批規範化106 
4.5.3局部響應歸一化107 
4.6實現CIFAR10分類108 
4.6.1方法1：tl.prepro做數據增強108 
4.6.2方法2：TFRecord做數據增強114 
4.7反捲積神經網絡120 

5詞的向量表達121 
5.1目的與原理121 
5.2 Word2Vec 124 
5.2.1簡介124 
5.2.2 Continuous Bag-Of-Words（CBOW）模型124 
5.2.3 Skip Gram（SG）模型129 
5.2.4 Hierarchical Softmax 132 
5.2 .5 Negative Sampling 135 
5.3實現Word2Vec 136 
5.3.1簡介136 
5.3.2實現136 
5.4重載預訓練矩陣144

6遞歸神經網絡148 
6.1為什麼需要它148 
6.2不同的RNNs 151 
6.2.1簡單遞歸網絡151 
6.2.2回音網絡152 
6.3長短期記憶153 
6.3.1 LSTM概括153 
6.3.2 LSTM詳解157 
6.3.3 LSTM變種159 
6.4實現生成句子160 
6.4.1模型簡介160 
6.4.2數據迭代163 
6.4.3損失函數和更新公式164 
6.4.4生成句子及Top K採樣167 
6.4.5接下來還可以做什麼169 

7深度增強學習171 
7.1增強學習172 
7.1.1概述172 
7.1.2基於價值的增強學習173 
7.1.3基於策略的增強學習176 
7.1.4基於模型的增強學習177 
7.2深度增強學習179 
7.2.1深度Q學習179 
7.2.2深度策略網絡181 
7.3更多參考資料187 
7.3.1書籍187 
7.3.2在線課程187 

8生成對抗網絡188 
8.1何為生成對抗網絡189 
8.2深度卷積對抗生成網絡190
8.3實現人臉生成191 
8.4還能做什麼198 

9高級實現技巧202 
9.1與其他框架對接202 
9.1.1無參數層203 
9.1.2有參數層203 
9.2自定義層204 
9.2.1無參數層204 
9.2 .2有參數層205 
9.3建立詞彙表207 
9.4補零與序列長度209 
9.5動態遞歸神經網絡210 
9.6實用小技巧211 
9.6.1屏蔽顯示211 
9.6.2參數名字前綴212 
9.6.3獲取特定參數213 
9.6 .4獲取特定層輸出213 

10實例一：使用預訓練卷積網絡214 
10.1高維特徵表達214 
10.2 VGG網絡215 
10.3連接TF-Slim 221 

11實例二：圖像語義分割及其醫學圖像應用225 
11.1圖像語義分割概述225 
11.1.1傳統圖像分割算法簡介227 
11.1.2損失函數與評估指標229 
11.2醫學圖像分割概述230 
11.3全卷積神經網絡和U-Net網絡結構232 
11.4醫學圖像應用：實現腦部腫瘤分割234 
11.4.1數據與數據增強235
11.4.2 U-Net網絡238 
11.4.3損失函數239 
11.4.4開始訓練241
 
12實例三：由文本生成圖像244 
12.1條件生成對抗網絡之GAN-CLS 245 
12.2實現句子生成花朵圖片246 

13實例四：超高分辨率復原260 
13.1什麼是超高分辨率復原260 
13.2網絡結構261 
13.3聯合損失函數264 
13.4訓練網絡269 
13.5使用測試277 

14實例五：文本反垃圾280 
14.1任務場景280 
14.2網絡結構281 
14.3詞的向量表示282 
14.4 Dynamic RNN分類器283 
14.5訓練網絡284 
14.5.1訓練詞向量284 
14.5.2文本的表示290 
14.5.3訓練分類器291 
14.5.4模型導出296 
14.6 TensorFlow Serving部署299 
14.7客戶端調用301 
14.8其他常用方法306 
中英對照表及其縮寫309 
參考文獻316