深度捲積網絡 : 原理與實踐 深度卷积网络:原理与实践

彭博

人工智能、量化交易、區塊鏈領域的技術專家，有20年以上的研發經驗。
在人工智能與信息科技方面，對深度學習、機器學習、計算機圖形學、智能硬件等有較為深入的研究；在量化交易方面，曾在全球大的外匯對沖基金負責程序化交易，對市場的微觀和宏觀行為有較為深入的理解；在區塊鏈方面，對智能合約、DApp開發和自動交易有較為深入的實踐。
 

Contents目錄
前言
引子·神之一手1 

第1章走進深度學習的世界5 
1.1從人工智能到深度學習5 
1.2深度神經網絡的威力：以AlphaGo為例8 
1.2.1策略網絡簡述9 
1.2.2泛化：看棋譜就能學會下圍棋11 
1.2.3擬合與過擬合11 
1.2.4深度神經網絡的速度優勢12 
1.3深度神經網絡的應用大觀13 
1.3.1圖像分類問題的難度所在13 
1.3 .2用深度神經網絡理解圖像15 
1.3.3 AlphaGo中的深度神經網絡17 
1.3.4自動發現規律：從數據A到答案B17 
1.3.5深度神經網絡的更多應用18 
1.3.6從分而治之，到端對端學習24 
1.4親自體驗深度神經網絡25 
1.4.1 TensorFlow遊樂場25 
1.4.2 MNIST數字識別實例：LeNet-527 
1.4.3策略網絡實例28 
1.4.4簡筆劃：Sketch-RNN29 
1.4.5用GAN生成動漫頭像30 
1.5深度神經網絡的基本特點31 
1.5.1兩大助力：算力、數據31 
1.5.2從特徵工程，到逐層抽象32
1.5.3深度神經網絡學會的是什麼35 
1.6人工智能與神經網絡的歷史36 
1.6.1人工智能的兩大學派：邏輯與統計37 
1.6.2人工智能與神經網絡的現代編年史37 

第2章深度卷積網絡：第一課42 
2.1神經元：運作和訓練43 
2.1.1運作：從實例說明43 
2.1.2訓練：梯度下降的思想44 
2.1.3訓練：梯度下降的公式46 
2.1.4訓練：找大小問題的初次嘗試48 
2.1.5訓練：Excel的實現50 
2.1.6重要知識：批大小、mini-batch、epoch51 
2.2深度學習框架MXNet：安裝和使用51 
2.2.1計算圖：動態與靜態52 
2.2.2安裝MXNet：準備工作53 
2.2.3在Windows下安裝MXNet54 
2.2.4在macOS下安裝MXNet：CPU版57 
2.2.5在macOS下安裝MXNet：GPU版58 
2.2.6在Linux下安裝MXNet59 
2.2.7安裝Jupyter演算本59 
2.2.8實例：在MXNet訓練神經元並體驗調參60 
2.3神經網絡：運作和訓練63 
2.3.1運作：前向傳播，與非線性激活的必要性63 
2.3. 2運作：非線性激活64
2.3.3訓練：梯度的計算公式66 
2.3.4訓練：實例69 
2.3.5訓練：Excel的實現70 
2.3.6訓練：反向傳播71 
2.3.7重要知識：梯度消失，梯度爆炸72 
2.3.8從幾何觀點理解神經網絡72 
2.3.9訓練：MXNet的實現73 

第3章深度卷積網絡：第二課77 
3.1重要理論知識77 
3.1.1數據：訓練集、驗證集、測試集77 
3.1.2訓練：典型過程79 
3.1.3有監督學習：回歸、分類、標籤、排序、Seq2Seq79 
3.1.4無監督學習：聚類、降維、自編碼、生成模型、推薦81 
3.1.5訓練的障礙：欠擬合、過擬合82 
3.1.6訓練的細節：局部極值點、鞍點、梯度下降算法83 
3.2神經網絡的正則化85 
3.2.1修改損失函數：L2和L1正則化85 
3.2.2修改網絡架構：Dropout正則化86 
3.2.3更多技巧：集合、多任務學習、參數共享等86 
3.2.4數據增強與預處理88 
3.3神經網絡的調參89 
3.3.1學習速率89 
3.3.2批大小90 
3.3.3初始化方法92 
3.3.4調參實戰：重 返TensorFlow遊樂場93
3.4實例：MNIST問題95 
3.4.1重要知識：SoftMax層、交叉熵損失96 
3.4.2訓練代碼與網絡架構98 
3.4.3超越MNIST：最新的Fashion-MNIST數據集101 
3.5網絡訓練的常見bug和檢查方法103 
3.6網絡訓練性能的提高104 

第4章深度卷積網絡：第三課106 
4.1卷積網絡：從實例說明106 
4.1.1實例：找橘貓，最原始的方法107 
4.1.2實例：找橘貓，更好的方法108 
4.1.3實例：卷積和池化108 
4.1.4卷積網絡的運作111 
4.2運作：AlphaGo眼中的棋盤112 
4.2.1棋盤的編碼113 
4.2.2最簡化的策略網絡115 
4.2.3最簡化的策略網絡：特徵層和卷積後的結果116 
4.3卷積神經網絡：進一步了解122 
4.3.1卷積核、濾波器與參數量的計算122 
4.3.2運作和訓練的計算123 
4.3.3外襯與步長124 
4.3.4縮小圖像：池化與全局池化126 
4.3.5放大圖像：轉置卷積127 
4.4實例：用卷積網絡解決MNIST問題128 
4.4.1網絡架構的定義與參數量的計算129 
4.4.2 訓練MNIST網絡130
4.4.3在MXNet運行訓練後的網絡131 
4.4.4調參實例133 
4.4.5在Fashion-MNIST數據集的結果133 
4.5 MXNet的使用技巧134 
4.5.1快速定義多個層134 
4.5.2網絡的保存與讀取135 
4.5.3圖像數據的打包和載入135 
4.5.4深入MXNet訓練細節136 
4.5.5在瀏覽器和移動設備運行神經網絡139 

第5章深度卷積網絡：第四課141 
5.1經典的深度卷積網絡架構142 
5.1.1深度學習革命的揭幕者：AlexNet142 
5.1.2常用架構：VGG系列145 
5.1.3去掉全連接層：DarkNet系列147 
5.2網絡的可視化：以AlexNet為例150 
5.3遷移學習：精調、預訓練等155 
5.4架構技巧：基本技巧157 
5.4.1感受野與縮小卷積核157 
5.4.2使用1×1卷積核158 
5.4.3批規範化160 
5.4.4實例：回顧Fashion-MNIST問題161 
5.4.5實例：訓練CIFAR-10模型164 
5.5架構技巧：殘差網絡與通道組合169 
5.5.1殘差網絡：ResNet的思想169 
5.5.2殘差網絡：架構細節171
5.5.3殘差網絡：來自於集合的理解與隨機深度172 
5.5.4殘差網絡：MXNet實現，以策略網絡為例173 
5.5.5通道組合：Inception模組174 
5.5.6通道組合：XCeption架構，深度可分卷積177 
5.5.7實例：再次訓練CIFAR-10模型178 
5.6架構技巧：更多進展181 
5.6.1殘差網絡進展：ResNext、Pyramid Net、DenseNet181 
5.6.2壓縮網絡：SqueezeNet、MobileNet 、ShuffleNet183 
5.6.3卷積核的變形188 
5.7物體檢測與圖像分割189 
5.7.1 YOLO v1：實時的物體檢測網絡190 
5.7.2 YOLO v2：更快、更強192 
5.7.3 Faster R-CNN：準確的物體檢測網絡194 
5.7.4 Mask-RCNN：準確的圖像分割網絡195 
5.8風格轉移197 

第6章AlphaGo架構綜述200 
6.1從AlphaGo到AlphaZero201 
6.1.1 AlphaGo v13與AlphaGo v18201 
6.1.2 AlphaGo Master與AlphaGoZero202 
6.1.3解決一切棋類：AlphaZero204 
6.2 AlphaGo的對弈過程205
6.2.1策略網絡205 
6.2.2來自人類的思路208 
6.2.3蒙特卡洛樹搜索與估值問題209 
6.2.4從快速走子估值到價值網絡211 
6.2.5從搜索樹看策略與價值網絡的作用213 
6.2.6策略與價值網絡的運作實例215 
6.3 AlphaGo中的深度卷積網絡架構217 
6.4 AlphaGo的訓練過程219 
6.4.1原版AlphaGo：策略梯度方法219 
6.4.2新版AlphaGo：從蒙特卡洛樹搜索學習220 
6.5 AlphaGo方法的推廣221 

第7章訓練策略網絡與實戰224 
7.1訓練前的準備工作224 
7.1.1棋譜數據225 
7.1.2落子模擬226 
7.1.3終局判斷226 
7.2訓練代碼227 
7.2 .1主程序：train.py227 
7.2.2訓練參數：config.py233 
7.2.3輔助函數：util.py234 
7.2.4棋盤隨機變換：symmetry.py235 
7.2.5訓練實例236 
7.3對弈實戰237 

第8章生成式對抗網絡：GAN240 
8.1 GAN的起源故事240 
8.2 GAN的基本原理242
8.2.1生成模型：從圖像到編碼，從編碼到圖像242 
8.2.2 GAN的基本效果243 
8.2.3 GAN的訓練方法246 
8.3實例：DCGAN及訓練過程248 
8.3.1網絡架構248 
8.3.2訓練代碼249 
8.4 GAN的更多架構和應用255 
8.4.1圖像轉移：CycleGAN系列255 
8.4.2生成高分辨率圖像：nVidia的改進260 
8.4.3自動提取信息：InfoGAN261 
8.4.4更多應用264 
8.5更多的生成模型方法266 
8.5.1自編碼器：從AE到VAE266 
8.5.2逐點生成：PixelRNN和PixelCNN系列267 
8.5.3將VAE和GAN結合：CVAE-GAN268 

第9章通向智能之秘272 
9.1計算機視覺的難度272 
9.2對抗樣本，與深度網絡的特點276 
9.3人工智能的挑戰與機遇278 
9.3.1棋類游戲中的電腦陷阱278 
9.3.2偏見、過濾氣泡與道德困境280 
9.3.3語言的迷局283 
9.3.4強化學習、機器人與目標函數286 
9.3.5創造力、審美與意識之謎290 
9.3.6預測學習：機器學習的前沿293
9.4深度學習的理論發展295 
9.4.1超越反向傳播：預測梯度與生物模型295 
9.4.2超越神經網絡：Capsule與gcForest297 
9.4.3泛化問題300 
9.5深度學習與人工智能的展望304 
9.5.1工程層面304 
9.5.2理論層面304 
9.5.3應用層面305 
跋人工智能與我們的未來306 
附錄深度學習與AI的網絡資源310