深度學習之美 : AI時代的數據處理與最佳實踐 深度学习之美:AI时代的数据处理与最佳实践

張玉宏
2012年於電子科技大學取得博士學位，
2009—2011年美國西北大學訪問學者，
電子科技大學博士後，現執教於河南工業大學。

中國計算機協會（CCF）會員，
CCF YOCSEF鄭州2018—2019年度副主席，ACM/IEEE會員。
《品味大數據》一書作者。
主要研究方向為大數據、人工智能、技術哲學。
發表學術論文20餘篇，國內外學術作品7部。
阿里云云棲社區專欄作家，博文累計閱讀逾百萬次。

第１章一入侯門“深”似海，深度學習深幾許1 
1.1深度學習的巨大影響2 
1.2什麼是學習4 
1.3什麼是機器學習4 
1.4機器學習的4個像限5 
1.5什麼是深度學習6 
1.6 “戀愛”中的深度學習7 
1.7深度學習的方法論9 
1.8有沒有淺層學習13 
1.9本章小結14 
1.10請你思考14 
參考資料14 

第2章人工“碳”索意猶盡，智能“矽”來未可知16 
2.1信數據者得永生嗎17 
2.2人工智能的“江湖定位” 18 
2.3深度學習的歸屬19 
2.4機器學習的形式化定義21 
2.5為什麼要用神經網絡24 
2.6人工神經網絡的特點26 
2.7什麼是通用近似定理27 
2.8本章小結31 
2.9請你思考31
參考資料31 

第3章“機器學習”三重門，“中庸之道”趨若人33 
3.1監督學習34 
3.1.1感性認知監督學習34 
3.1.2監督學習的形式化描述35 
3.1.3 k-近鄰算法37 
3.2非監督學習39 
3.2.1感性認識非監督學習39 
3.2.2非監督學習的代表—K均值聚類41 
3.3半監督學習45 
3.4從“中庸之道”看機器學習47 
3.5強化學習49 
3.6本章小結52 
3.7請你思考53 
參考資料53 

第4章人生苦短對酒歌，我用Python樂趣多55 
4.1 Python概要56 
4.1.1為什麼要用Python 56 
4.1.2 Python中常用的庫58 
4.2 Python的版本之爭61 
4.3 Python環境配置65
4.3.1 Windows下的安裝與配置65 
4.3.2 Mac下的安裝與配置72 
4.4 Python編程基礎76 
4.4.1如何運行Python代碼77 
4.4.2代碼縮進79 
4.4.3註釋80 
4.4.4 Python中的數據結構81 
4.4.5函數的設計93 
4.4.6模塊的導入與使用101 
4.4.7面向對象程序設計102 
4.5本章小結112 
4.6請你思考112 
參考資料113 

第5章機器學習終覺淺，Python帶我來實踐114 
5.1線性回歸115 
5.1.1線性回歸的概念115 
5.1.2簡易線性回歸的Python實現詳解119 
5.2 k-近鄰算法139 
5.2.1 k-近鄰算法的三個要素140 
5.2.2 k -近鄰算法實戰143
5.2.3使用scikit-learn實現k-近鄰算法155 
5.3本章小結162 
5.4請你思考162 
參考資料162 

第6章神經網絡不勝語，MP模型似可尋164 
6.1 MP神經元模型是什麼165 
6.2模型背後的那些人和事167 
6.3激活函數是怎樣的一種存在175 
6.4什麼是卷積函數176 
6.5本章小結177 
6.6請你思考178 
參考資料178 

第7章Hello World感知機，懂你我心才安息179 
7.1網之初，感知機180 
7.2感知機名稱的由來180 
7.3感性認識“感知機” 183 
7.4感知機是如何學習的185 
7.5感知機訓練法則187 
7.6感知機的幾何意義190 
7.7基於Python的感知機實戰191 
7.8感知機的表徵能力196
7.9本章小結199 
7.10請你思考199 
參考資料199 

第8章損失函數減肥用，神經網絡調權重201 
8.1多層網絡解決“異或”問題202 
8.2感性認識多層前饋神經網絡205 
8.3是淺而“胖”好，還是深而“瘦”佳209 
8.4分佈式特徵表達210 
8.5丟棄學習與集成學習211 
8.6現實很豐滿，理想很骨感212 
8.7損失函數的定義213 
8.8熱力學定律與梯度彌散215 
8.9本章小結216 
8.10請你思考216 
參考資料217 

第9章山重水復疑無路，最快下降問梯度219 
9.1 “鳥飛派”還飛不220 
9.2 1986年的那篇神作221 
9.3多層感知機網絡遇到的大問題222 
9.4神經網絡結構的設計225 
9.5再議損失函數227
9.6什麼是梯度229 
9.7什麼是梯度遞減231 
9.8梯度遞減的線性回歸實戰235 
9.9什麼是隨機梯度遞減238 
9.10利用SGD解決線性回歸實戰240 
9.11本章小結247 
9.12請你思考248 
參考資料248 

第10章BP算法雙向傳，鍊式求導最纏綿249 
10.1 BP算法極簡史250 
10.2正向傳播信息251 
10.3求導中的鍊式法則255 
10.4誤差反向傳播264 
10.4.1基於隨機梯度下降的BP算法265 
10.4.2輸出層神經元的權值訓練267 
10.4.3隱含層神經元的權值訓練270 
10.4.4 BP算法的感性認知273 
10.4.5關於BP算法的補充說明278 
10.5 BP算法實戰詳細解釋280 
10.5.1初始化網絡280
10.5.2信息前向傳播282 
10.5.3誤差反向傳播285 
10.5.4訓練網絡（解決異或問題） 288 
10.5.5利用BP算法預測小麥品種的分類293 
10.6本章小結301 
10.7請你思考302 
參考資料304 

第11章一騎紅塵江湖笑，TensorFlow谷歌造305 
11.1 TensorFlow概述306 
11.2深度學習框架比較309 
11.2.1 Theano 309 
11.2.2 Keras 310 
11.2.3 Caffe 311 
11.2.4 PyTorch 312 
11.3 TensorFlow的安裝313 
11.3.1 Anaconda的安裝313 
11.3.2 TensorFlow的CPU版本安裝315 
11.3.3 TensorFlow的源碼編譯323 
11.4 Jupyter Notebook的使用331
11.4.1 Jupyter Notebook的由來331 
11.4.2 Jupyter Notebook的安裝333 
11.5 TensorFlow中的基礎語法337 
11.5.1什麼是數據流圖338 
11.5.2構建第一個TensorFlow數據流圖339 
11.5.3可視化展現的TensorBoard 342 
11.5.4 TensorFlow的張量思維346 
11.5.5 TensorFlow中的數據類型348 
11.5.6 TensorFlow中的操作類型353 
11.5.7 TensorFlow中的Graph對象356 
11.5.8 TensorFlow中的Session 358 
11.5.9 TensorFlow中的placeholder 361 
11.5.10 TensorFlow中的Variable對象363 
11.5.11 TensorFlow中的名稱作用域365 
11.5.12張量的Reduce方向367 
11.6手寫數字識別MNIST 372
11.6.1 MNIST數據集簡介373 
11.6.2 MNIST數據的獲取與預處理375 
11.6.3分類模型的構建—Softmax Regression 378 
11.7 TensorFlow中的Eager執行模式394 
11.7.1 Eager執行模式的背景394 
11.7.2 Eager執行模式的安裝395 
11.7.3 Eager執行模式的案例395 
11.7.4 Eager執行模式的MNIST模型構建398 
11.8本章小結401 
11.9請你思考402 
參考資料403 

第12章全面連接困何處，卷積網絡顯神威404 
12.1卷積神經網絡的歷史405 
12.1.1眼在何方？路在何方？405 
12.1.2卷積神經網絡的歷史脈絡406 
12.1.3那場著名的學術賭局410 
12.2卷積神經網絡的概念412 
12.2.1卷積的數學定義412 
12.2.2生活中的捲積413
12.3圖像處理中的捲積414 
12.3.1計算機“視界”中的圖像414 
12.3.2什麼是卷積核415 
12.3.3卷積在圖像處理中的應用418 
12.4卷積神經網絡的結構420 
12.5卷積層要義422 
12.5.1卷積層的設計動機422 
12.5.2卷積層的局部連接427 
12.5.3卷積層的3個核心概念428 
12.6細說激活層434 
12.6.1兩個看似閒扯的問題434 
12.6.2追尋問題的本質435 
12.6.3 ReLU的理論基礎437 
12.6.4 ReLU的不足之處441 
12.7詳解池化層442 
12.8勿忘全連接層445 
12.9本章小結446 
12.10請你思考447 
參考資料448 

第13章紙上談兵終覺淺，絕知卷積要編程450
13.1 TensorFlow的CNN架構451 
13.2卷積層的實現452 
13.2.1 TensorFlow中的捲積函數452 
13.2.2圖像處理中的常用卷積核456 
13.3激活函數的使用460 
13.3.1 Sigmoid函數460 
13.3.2 Tanh函數461 
13.3.3修正線性單元——ReLU 462 
13.3.4 Dropout函數462 
13.4池化層的實現466 
13.5規範化層470 
13.5.1為什麼需要規範化470 
13.5.2局部響應規範化472 
13.5.3批規範化475 
13.6卷積神經網絡在MNIST分類器中的應用480 
13.6.1數據讀取480 
13.6.2初始化權值和偏置480 
13.6.3卷積和池化482 
13.6.4構建第一個卷積層482
13.6.5構建第二個卷積層483 
13.6.6實現全連接層484 
13.6.7實現Dropout層485 
13.6.8實現Readout層485 
13.6.9參數訓練與模型評估485 
13.7經典神經網絡——AlexNet的實現488 
13.7.1 AlexNet的網絡架構488 
13.7.2數據讀取490 
13.7.3初始化權值和偏置491 
13.7.4卷積和池化491 
13.7.5局部響應歸一化層492 
13.7.6構建卷積層492 
13.7.7實現全連接層和Dropout層493 
13.7.8實現Readout層494 
13.7.9參數訓練與模型評估494 
13.8本章小結495 
13.9請你思考496 
參考資料496 

第14章循環遞歸RNN，序列建模套路深498 
14.1你可能不具備的一種思維499
14.2標準神經網絡的缺陷所在501 
14.3 RNN簡史502 
14.3.1 Hopfield網絡503 
14.3.2 Jordan遞歸神經網絡504 
14.3.3 Elman遞歸神經網絡505 
14.3.4 RNN的應用領域506 
14.4 RNN的理論基礎506 
14.4 .1 Elman遞歸神經網絡506 
14.4.2循環神經網絡的生物學機理508 
14.5 RNN的結構509 
14.6循環神經網絡的訓練512 
14.6.1問題建模512 
14.6.2確定優化目標函數513 
14.6.3參數求解513 
14.7基於RNN的TensorFlow實戰——正弦序列預測514 
14.7.1生成數據516 
14.7.2定義權值和偏置517 
14.7.3前向傳播519 
14.7.4定義損失函數522
14.7.5參數訓練與模型評估522 
14.8本章小結524 
14.9請你思考524 
參考資料525 

第15章LSTM長短記，長序依賴可追憶526 
15.1遺忘是好事還是壞事527 
15.2施密德胡伯是何人527 
15.3為什麼需要LSTM 529 
15.4拆解LSTM 530 
15.4.1傳統RNN的問題所在530 
15.4.2改造的神經元531 
15.5 LSTM的前向計算533 
15.5.1遺忘門534 
15.5.2輸入門535 
15.5.3候選門536 
15.5.4輸出門537 
15.6 LSTM的訓練流程539 
15.7自然語言處理的一個假設540 
15.8詞向量表示方法542 
15.8.1獨熱編碼表示543 
15.8.2分佈式表示545
15.8.3詞嵌入表示547 
15.9自然語言處理的統計模型549 
15.9.1 NGram模型549 
15.9.2基於神經網絡的語言模型550 
15.9.3基於循環神經網絡的語言模型553 
15.9.4 LSTM語言模型的正則化556 
15.10基於Penn Tree Bank的自然語言處理實戰560 
15.10.1下載及準備PTB數據集561 
15.10.2導入基本包562 
15.10.3定義相關的參數562 
15.10.4語言模型的實現563 
15.10.5訓練並返回perplexity值573 
15.10.6定義主函數並運行575 
15.10.7運行結果578 
15.11本章小結579 
15.12請你思考580 
參考資料580 

第16章卷積網絡雖動人，膠囊網絡更傳“神” 583 
16.1從神經元到神經膠囊584
16.2卷積神經網絡面臨的挑戰584 
16.3神經膠囊的提出588 
16.4神經膠囊理論初探591 
16.4.1神經膠囊的生物學基礎591 
16.4.2神經膠囊網絡的哲學基礎592 
16.5神經膠囊的實例化參數594 
16.6神經膠囊的工作流程598 
16.6.1神經膠囊向量的計算598 
16.6.2動態路由的工作機理600 
16.6.3判斷多數字存在性的邊緣損失函數606 
16.6.4膠囊神經網絡的結構607 
16.7 CapsNet的驗證與實驗614 
16.7.1重構和預測效果614 
16.7.2膠囊輸出向量的維度表徵意義616 
16.7.3重疊圖像的分割617 
16.8神經膠囊網絡的TensorFlow實現618 
16.8.1導入基本包及讀取數據集619 
16.8.2圖像輸入619 
16.8.3卷積層Conv1的實現619
16.8.4 PrimaryCaps層的實現620 
16.8.5全連接層622 
16.8.6路由協議算法628 
16.8.7估計實體出現的概率630 
16.8.8損失函數的實現631 
16.8.9額外設置639 
16.8.10訓練和評估640 
16.8.11運行結果643 
16.9本章小結644 
16.10請你思考645 
16.11深度學習美在何處646 
參考資料647 
後記648 
索引651