企業級 AI 技術內幕：深度學習框架開發 + 機器學習案例實戰 + Alluxio 解密

王家林

Apache Spark執牛耳者現工作於矽谷的AI實驗室，
專注於NLP框架超過20本Spark、AI、
Android書籍作者Toastmasters International Division Director GRE博士入學考試連續兩次滿分獲得者
　　
　　
段智華

就職於中國電信股份有限公司上海分公司，系統架構師，CSDN博客專家，
專注於Spark大數據技術研發及推廣，跟隨Spark核心源碼技術的發展，
深入研究Spark 2.1.1版本及Spark 2.2.0版本的源碼優化，
對Spark大數據處理、機器學習等技術有豐富的實戰經驗和濃厚興趣。

目錄
盤古人工智能框架開發專題篇
第1章導論：為什麽人工智能是必然的未來••••••••••••••••••••3
1.1為什麽一定需要人工智能••••••••••••••••••••••••••3
1.2人工智能為何如此強大•••••••••••••••••••••••••••4
1.3學習人工智能的正道••••••••••••••••••••••••••••6
1.4人工智能、機器學習、深度學習三者之間的關系••••••••••••••••6
1.5人工智能的十大經典應用場景••••••••••••••••••••••••7
1.6人工智能在海量數據處理中不可替代•••••••••••••••••••••9
1.7本書開發環境的安•••••••••••••••••••••••••••••10

第2章盤古人工智能框架多層次神經網絡的現•••••••••••••••••••12
2.1盤古人工智能框架•••••••••••••••••••••••••••••12
2.2實現神經網絡的節點結構••••••••••••••••••••••••••17
2.3實現神經網絡層之間節點的接••••••••••••••••••••••••25
2.4如何初始化神經網絡的重••••••••••••••••••••••••••29
2.5實現多個隱藏層••••••••••••••••••••••••••••••30

第3章盤古人工智能框架的前向傳播功能•••••••••••••••••••••35
3.1前向傳播功能•••••••••••••••••••••••••••••••35
3.1.1從TensorFlow的可視化運行過程理解前向傳播••••••••••••••••35
3.1.2從架構層面理解前向傳播能••••••••••••••••••••••••37
3.1.3理解前向傳播原理••••••••••••••••••••••••••••37
3.2在每個節點上增加數據的輸入和計算結果•••••••••••••••••••39
3.3實現前向傳播算法•••••••••••••••••••••••••••••45
3.4使用Sigmoid函數作為激活函數••••••••••••••••••••••• 49
3.5測試前向傳播算法並分析計算結果••••••••••••••••••••••51

第4章盤古人工智能框架的反向傳播功能•••••••••••••••••••••54
4.1深度學習是如何學習的•••••••••••••••••••••••••••54
4.2實現反向傳播算法•••••••••••••••••••••••••••••60
4.3反向傳播算法測試及分析計•••••••••••••••••••••••••67

第5章盤古人工智能框架的損失度計算及其可視化•••••••••••••••••71
5.1關於損失度的思考——所有人工智能框架終身•••••••••••••••••71
5.2編碼實現損失度並進行測試•••••••••••••••••••••••••74
5.3損失度可視化運行結果•••••••••••••••••••••••••••77

第6章通過特徵歸一化和自適應學習優化盤古人工智能框架•••••••••••••81
6.1盤古人工智能框架性能測試及問題剖析••••••••••••••••••••81
6.2使用特徵歸一化進行性能優化••••••••••••••••••••••••87
6.3使用自適應學習進行性能優化••••••••••••••••••••••••91

第7章盤古人工智能框架實現方法大總結•••••••••••••••••••••96
7.1盤古人工智能框架性能測試•••••••••••••••••••••••••96
7.2神經網絡實現及和TensorFlow的對比•••••••••••••••••••••97
7.3前向傳播算法實現及其和TensorFlow的算法對比••••••••••••••••98
7.4反向傳播算法實現及與TensorFlow的比••••••••••••••••••••99
7.5損失度計算實現與TensorFlow的對比•••••••••••••••••••••100
7.6人工智能盤古框架源代碼••••••••••••••••••••••••••103

第8章使用矩陣的方式編寫人工智能框架•••••••••••••••••••••115
8.1使用矩陣編寫人工智能框架•••••••••••••••••••••••••115
8.2測試及分析計算結果••••••••••••••••••••••••••••121
8.3對使用矩陣方式編寫的人工智能框架進行優化•••••••••••••••••125

第9章使用四種性能優化矩陣編寫人工智能框架••••••••••••••••••129
9.1梯度下降陷阱•••••••••••••••••••••••••••••••130
9.2增加和調整alpha參數•••••••••••••••••••••••••••131
9.3人工智能框架的改進優化••••••••••••••••••••••••••137

第10章人工智能及感知元密••••••••••••••••••••••••••146
10.1人工智能是什麽，怎麽做，前景為什麽好••••••••••••••••••146
10.2電腦視覺面臨的困境及突破••••••••••••••••••••••••148
10.3感知器密••••••••••••••••••••••••••••••••149
10.4電腦圖像別•••••••••••••••••••••••••••••••151

第11章神經網絡結構及Sigmoid函數•••••••••••••••••••••••159
11.1神經網絡實現與非門•••••••••••••••••••••••••••159
11.2神經網絡為什麽能夠完成各類計算•••••••••••••••••••••160
11.3神經網絡的結構密••••••••••••••••••••••••••••162
11.4Sigmoid函數背後的設計和實現密碼••••••••••••••••••••••163
11.5Sigmoid函數的弱點及改進•••••••••••••••••••••••••166

第12章用神經網絡識別手寫數字•••••••••••••••••••••••••173
12.1神經網絡識別手寫數字的原理••••••••••••••••••••••••173
12.2為何識別數字的三層神經網絡輸出層為10個神經元•••••••••••••••175
•IV•
12.3MINST數據集圖片庫解析•••••••••••••••••••••••••••176
12.4使用PyTorch框架編碼實現MNIST手寫數字識別程序•••••••••••••••178
第13章人工智能框架編寫中關於損失度及梯度下降的設計與現••••••••••••187
13.1損失函數的本質析•••••••••••••••••••••••••••••187
13.2梯度下降的本質••••••••••••••••••••••••••••••187
13.3隨機梯度下降法的設計和實現••••••••••••••••••••••••189
13.4通過一個簡單示例理解梯度下降•••••••••••••••••••••••191

第14章MNIST數字識別•••••••••••••••••••••••••••••194
14.1MNIST數據的載••••••••••••••••••••••••••••••194
14.2神經網絡的初始化••••••••••••••••••••••••••••199
14.3前向傳播和反向傳播函數••••••••••••••••••••••••••201
14.4小批量隨機梯度下降••••••••••••••••••••••••••••204
14.5損失函數及評估函數••••••••••••••••••••••••••••205
14.6超參數調優••••••••••••••206

第15章從矩陣視角剖析神經網絡的運行過程••••••••••••••••••••211
15.1點積和外積的本質•••••••••••••••••••••••••••••211
15.2從矩陣的視角剖析神經網絡的計算過程••••••••••••••••••••213
15.3神經網絡中的損失數••••••••••••••••••••••••••••215
15.4人工智能框架神經網絡四個核心數學公式•••••••••••••••••••216

第16章Spark+PyTorch開發應用•••••••••••••••••••••••••221
16.1PyTorch深度學習框架案例•••••••••••••••••••••••••221
16.1.1案例的應用場景解析•••••••••••••••••••••••••••221
16.1.2案例的數據分析及預處理•••••••••••••••••••••••••221
16.1.3PyTorch深度學習案例實戰••••••••••••••••••••••••226
16.1.4PyTorch預訓練BERT模型解讀•••••••••••••••••••••••249
16.2Spark+Alluxio+PyTorch綜合開發案例••••••••••••••••••••258