人工智能算法 捲3 深度學習和神經網絡 Artificial Intelligence for Humans, Volume 3: Deep Learning and Neural Networks

[美] 杰弗瑞.希頓（Jeffery Heaton）他既是一位活躍的技術博主、開源貢獻者，也是十多本圖書的作者。
他的專業領域包括數據科學、預測建模、數據挖掘、大數據、商務智能和人工智能等。
他擁有華盛頓大學信息管理學碩士學位，是IEEE的高級會員、Sun認證Java程序員、開源機器學習框架Encog的首席開發人員。

第1章神經網絡基礎1
1．1神經元和層2
1．2神經元的類型5
1．2．1輸入和輸出神經元6
1．2．2隱藏神經元7
1．2．3偏置神經元7
1．2．4上下文神經元8
1．2．5其他神經元類型10
1．3激活函數10
1．3．1線性激活函數10
1．3．2階躍激活函數11
1．3 ．3 S型激活函數12
1．3．4雙曲正切激活函數13
1．4修正線性單元（ReLU）13
1．4．1 Softmax激活函數14
1．4．2偏置扮演什麼角色？17
1．5神經網絡邏輯19
1．6本章小結22

第2章自組織映射23
2．1自組織映射24
2．1．1理解鄰域函數27
2．1．2墨西哥帽鄰域函數30
2 ．1．3計算SOM誤差32
2．2本章小結33

第3章Hopfield網絡和玻爾茲曼機34
3．1 Hopfield神經網絡34
3．1．1訓練Hopfield網絡37
3．2 Hopfield-Tank網絡41
3．3玻爾茲曼機42
3．3．1玻爾茲曼機概率44
3．4應用玻爾茲曼機45
3．4．1旅行商問題45
3．4．2優化問題48
3．4．3玻爾茲曼機訓練51
3．5本章小結51

第4章前饋神經網絡53
4．1前饋神經網絡結構54
4．1．1用於回歸的單輸出神經網絡54
4．2計算輸出56
4．3初始化權重60
4．4徑向基函數網絡63
4．4 ．1徑向基函數64
4．4．2徑向基函數網絡65
4．5規範化數據67
4．5．1 1-of-N編碼68
4．5．2範圍規範化69
4．5．3 Z分數規範化70
4．5．4複雜規範化73
4．6本章小結75

第5章訓練與評估77
5．1評估分類78
5．1．1二值分類79
5．1．2多類分類84
5． 1．3對數損失86
5．1．4多類對數損失88
5．2評估回歸88
5．3模擬退火訓練89
5．4本章小結92

第6章反向傳播訓練93
6．1理解梯度93
6．1．1什麼是梯度94
6．1．2計算梯度96
6．2計算輸出節點增量98
6．2．1二次誤差函數98
6．2．2交叉熵誤差函數99
6．3計算剩餘節點增量99
6．4激活函數的導數100
6．4． 1線性激活函數的導數100
6．4．2 Softmax激活函數的導數100
6．4．3 S型激活函數的導數101
6．4．4雙曲正切激活函數的導數102
6．4．5 ReLU激活函數的導數102
6．5應用反向傳播103
6．5．1批量訓練和在線訓練104
6．5．2隨機梯度下降105
6．5．3反向傳播權重更新105
6．5．4選擇學習率和動量106
6．5．5 Nesterov動量107
6．6本章小結108

第7章其他傳播訓練110
7．1彈性傳播110
7．2 RPROP參數111
7．3數據結構113
7．4理解RPROP 114
7 ．4．1確定梯度的符號變化114
7．4．2計算權重變化115
7．4．3修改更新值115
7．5 Levenberg-Marquardt算法116
7．6 Hessian矩陣的計算119
7．7具有多個輸出的LMA 120
7．8 LMA過程概述122
7．9本章小結122

第8章NEAT，CPPN和HyperNEAT 124
8．1 NEAT網絡125
8．1．1 NEAT突變128
8．1．2 NEAT交叉129
8．1．3 NEAT物種形成133
8．2 CPPN網絡134
8．2．1 CPPN表型135
8．3 HyperNEAT網絡138
8．3．1 HyperNEAT基板139
8．3．2 HyperNEAT計算機視覺140
8．4本章小結142

第9章深度學習143
9．1深度學習組件143
9．2部分標記的數據144
9．3修正線性單元145
9．4卷積神經網絡145
9．5神經元Dropout 146
9．6 GPU訓練147
9．7深度學習工具149
9．7．1 H2O 149
9．7．2 Theano 150
9．7．3 Lasagne和NoLearn 150
9．7．4 ConvNetJS 152
9．8深度信念神經網絡152
9．8．1受限玻爾茲曼機154
9．8．2訓練DBNN 155
9．8．3逐層採樣157
9．8．4計算正梯度157
9．8．5吉布斯採樣159
9．8．6更新權重和偏置160
9．8．7 DBNN反向傳播161
9 ．8．8深度信念應用162
9．9本章小結164

第10章卷積神經網絡165
10．1 LeNET-5 166
10．2卷積層168
10．3最大池層170
10．4稠密層172
10 ．5針對MNIST數據集的ConvNets 172
10．6本章小結174

第11章剪枝和模型選擇175
11．1理解剪枝176
11．1．1剪枝連接176
11．1．2剪枝神經元176
11．1．3改善或降低表現177
11．2剪枝算法177
11．3模型選擇179
11．3．1網格搜索模型選擇180
11．3．2隨機搜索模型選擇183
11．3．3其他模型選擇技術184
11．4本章小結185

第12章Dropout和正則化186
12．1 L1和L2正則化187
12．1．1理解L1正則化188
12．1．2理解L2正則化189
12．2 Dropout層190
12．2．1 Dropout層191
12．2．2實現Dropout層191
12．3使用Dropout 194
12．4本章小結195

第13章時間序列和循環網絡197
13．1時間序列編碼198
13．1．1為輸入和輸出神經元編碼數據199
13．1．2預測正弦波200
13．2簡單循環神經網絡204
13．2．1 Elman神經網絡206
13．2．2 Jordan神經網絡207
13．2．3通過時間的反向傳播208
13．2．4門控循環單元211
13．3本章小結213

第14章架構神經網絡214
14．1評估神經網絡215
14．2訓練參數215
14． 2．1學習率216
14．2．2動量218
14．2．3批次大小219
14．3常規超參數220
14．3．1激活函數220
14．3．2隱藏神經元的配置222
14． 4 LeNet-5超參數223
14．5本章小結224

第15章可視化226
15．1混淆矩陣227
15．1．1讀取混淆矩陣227
15．1．2生成混淆矩陣228
15．2 t-SNE降維229
15．2．1 t-SNE可視化231
15．2．2超越可視化的t-SNE 235
15．3本章小結236

第16章用神經網絡建模237
16．0．1挑戰賽的經驗241
16．0．2挑戰賽取勝的方法242
16．0．3我們在挑戰賽中的方法244
16 ．1用深度學習建模245
16．1．1神經網絡結構245
16．1．2裝袋多個神經網絡249
16．2本章小結250

附錄A示例代碼使用說明252
A．1系列圖書簡介252
A．2保持更新252
A．3獲取示例代碼253
A．3．1下載壓縮文件253
A．3．2克隆Git倉庫254
A．4示例代碼的內容255
A．5如何為項目做貢獻257
參考資料259