深度學習的數學原理與實現

王曉華，計算機專業講師，長期講授面向對象程序設計、數據結構、Hadoop程序設計等研究生和本科生相關課程；主要研究方向為雲計算、數據挖掘。
曾主持和參與多項國家和省級科研課題，獨立科研項目獲省級成果認定，發表過多篇論文，擁有一項國家專利。
著有《Spark MLlib機器學習實踐》《TensorFlow深度學習應用實踐》《OpenCV+TensorFlow深度學習與計算機視覺實戰》《TensorFlow 2.0卷積神經網絡實戰》《TensorFlow+Keras自然語言處理實戰》等圖書。

第1章Hello World—從計算機視覺與人類視覺談起 1
1.1人類的視覺 1
1.1.1人類視覺神經的啟迪 1
1.1.2計算機視覺的難點與人工神經網絡 2
1.1.3應用深度學習解決計算機視覺問題 3
1.2計算機視覺學習的基礎與研究方向 4
1.2.1學習計算機視覺結構圖 4
1.2.2計算機視覺的學習方式和未來趨勢 5
1.3本章小結 6

第2章道士下山—故事的開始 7
2.1 BP神經網絡簡介 7
2.2 BP神經網絡的兩個基礎算法詳解 11
2.2.1 #小二乘法 11
2.2.2梯度下降法 13
2.3反饋神經網絡反向傳播算法 16
2.3.1深度學習基礎 16
2.3.2鍊式求導法則 17
2.3.3反饋神經網絡原理與公式推導 18
2.3.4反饋神經網絡原理的激活函數 23
2.3.5反饋神經網絡原理的Python實現 24
2.4本章小結 29

第3章貓還是狗—深度學習中的捲積與其他函數 30
3.1卷積運算基本概念 30
3.1.1卷積運算 31
3.1.2卷積核 33
3.1.3卷積神經網絡原理 33
3.2卷積神經網絡公式推導 35
3.2.1經典反饋神經網絡正向與反向傳播公式推導 36
3.2.2卷積神經網絡正向與反向傳播公式推導 38
3.3激活、分類以及池化函數簡介 45
3.3.1別偷懶—激活函數是分割器 45
3.3.2太多了，我只要一個—池化運算 49
3.3.3全連接層詳解 50
3.3.4 #終的裁判—分類函數 52
3.3.5每次都是一個新模型—隨機失活層簡介 54
3.4本章小結 55

第4章水晶球的秘密—信息熵、決策樹與交叉熵 56
4.1水晶球的秘密 56
4.1.1水晶球的秘密概述 57
4.1.2決策樹的算法基礎—信息熵 57
4.1.3決策樹的算法基礎—ID3算法 59
4.2信息熵#重要的應用—交叉熵 60
4.2.1交叉熵基本原理詳解 61
4.2.2交叉熵的表述 63
4.2.3把無用的利用起來—交叉熵的改進1（你想做科研嗎？） 64
4.2.4交叉熵的作用與改進—解決正負樣本數量差異過大 66
4.2.5交叉熵的作用與改進—解決樣本的難易分類 68
4.2.6統一後的交叉熵 68
4.3本章小結 69

第5章Mission Impossible！—把不可能變成可能的機器學習 70
5.1機器學習基本分類 71
5.1.1應用學科的分類 71
5.1.2學習模式的分類 72
5.1.3應用領域的分類 72
5.2機器學習基本算法 73
5.2.1機器學習的算法流程 73
5.2.2基本算法的分類 74
5.3算法的理論基礎 75
5.3.1小學生的故事—求圓的面積 76
5.3.2機器學習基礎理論—函數逼近 76
5.4回歸算法 77
5.4.1函數逼近經典算法—線性回歸算法 78
5.4.2邏輯回歸不是回歸—邏輯回歸算法 79
5.5本章小結 80

第6章書中自有黃金屋—橫掃股市的時間序列模型 81
6.1長短期記憶網絡 81
6.1.1 Hochreiter & Schmidhuber和LSTM  82
6.1.2循環神經網絡與長短期記憶網絡 83
6.1.3 LSTM的“處理單元”詳解 85
6.1.4 LSTM的實現與股市預測 87
6.2 LSTM的研究發展與應用 90
6.2.1 LSTM的研究發展 91
6.2.2 LSTM的應用前景 92
6.3本章小結 93

第7章書中自有顏如玉—GAN is a girl  94
7.1 GAN的工作原理詳解 94
7.1.1生成器與判別器共同構成一個GAN  95
7.1.2 GAN是怎麼工作的 96
7.2 GAN的數學原理詳解 97
7.2.1 GAN的損失函數 97
7.2.2生成器的數學原理—相對熵簡介 98
7.2.3 GAN的應用前景 99
7.3本章小結 103

第8章休息一下，讓我們玩一把TensorFlow  104
8.1 TensorFlow遊樂場 104
8.1.1讓我們一起來玩吧 104
8.1.2 TensorFlow遊樂場背後的故事 108
8.1.3如何訓練神經網絡 109
8.2你好，TensorFlow  110
8.2.1 TensorFlow名稱的解釋 110
8.2.2 TensorFlow基本概念 111
8.2.3 TensorFlow基本架構 113
8.3本章小結 114

第9章你喜歡什麼我全知道—#系統的原理 115
9.1傳統方法的#系統 115
9.1.1基於內容的#算法 116
9.1.2多種相似度的計算方法 116
9.1.3基於內容#算法的數學原理—以文檔特徵提取的TF-IDF為例 120
9.1.4基於協同過濾的#算法 122
9.2基於深度學習的#系統 127
9.2.1基於模型的#算法 127
9.2.2基於用戶畫像的#算法 128
9.2.3基於深度學習#系統的總結 129
9.3本章小結 130

第10章整齊劃一畫個龍—深度學習中的歸一化、正則化與初始化 131
10.1常用的數據歸一化方法 131
10.1.1數據歸一化的作用 132
10.1.2幾種常用的數據歸一化 133
10.2不那麼深的深度學習模型的正則化方法 134
10.2.1 “淺度”學習中的正則化 135
10.2.2關於過擬合問題的解決 136
10.2.3批量歸一化詳解 138
10.2.4深度學習中的隨機失活 143
10.2.5深度學習中的初始化 143
10.3本章小結 145

第11章眾裡尋她千百度—人臉識別的前世今生 146
11.1人臉識別簡介 147
11.1.1人臉識別的發展歷程 147
11.1.2人臉識別的一般方法 148
11.1.3人臉識別的通用流程 149
11.2基於深度學習的人臉識別 151
11.2.1基於深度學習的人臉識別簡介 152
11.2.2用於深度學習的人臉識別數據集 154
11.2.3基於深度學習的人臉識別模型 157
11.3人臉識別中的softmax激活函數 162
11.3.1 softmax基本原理詳解 162
11.3.2 AMsoftmax基本原理詳解 163
11.3.3 softmax的一些改進 165
11.4本章小結 166

第12章梅西-阿根廷+意大利=？—有趣的詞嵌入向量 167
12.1文本數據處理 168
12.1.1數據集和數據清洗 168
12.1.2停用詞的使用 170
12.1.3詞向量訓練模型word2vec的使用 173
12.1.4文檔主題的提取：基於TF-IDF  176
12.1.5文檔主題的提取：基於TextRank（選學） 180
12.2更多的詞嵌入向量方法—fastText和預訓練詞向量 183
12.2.1 fastText的原理與基礎算法 183
12.2.2使用fastText訓練詞嵌入向量 185
12.2.3使用其他預訓練參數（中文） 190
12.3針對文本的捲積神經網絡模型—字符卷積 191
12.3.1字符（非單詞）文本的處理 191
12.3.2卷積神經網絡文檔分類模型的實現—conv1d（一維卷積） 198
12.4針對文檔的捲積神經網絡模型—詞卷積 200
12.4.1單詞的文本處理 201
12.4.2卷積神經網絡文檔分類模型的實現—conv2d（二維卷積） 203
12.5使用卷積對文檔分類的補充內容 206
12.5.1中文的文本處理 206
12.5.2其他細節 209
12.6本章小結 210