深入淺出深度學習:原理剖析與Python實踐 深入浅出深度学习:原理剖析与Python实践

黃安埠，2012年畢業於清華大學，獲碩士學位，在校期間活躍於TopCoder等編程競賽社區。現為騰訊基礎研究高級工程師，研究領域包括個性化推薦、自然語言處理和大規模的相似度優化計算，特別是對於深度學習在推薦系統的應用有深入的研究，併申請了國內十餘項相關專利。
 

第1部分概要1 
 

1緒論2 
1.1人工智能、機器學習與深度學習的關係3 
1.1.1人工智能——機器推理4 
1.1.2機器學習——數據驅動的科學5 
1.1.3深度學習——大腦的仿真8 
1.2深度學習的發展歷程8 
1.3深度學習技術概述10 
1.3.1從低層到高層的特徵抽象11 
1.3.2讓網絡變得更深13 
1.3.3自動特徵提取14 
1.4深度學習框架15 

2 Theano基礎19 
2.1符號變量20 
2.2符號計算的抽象——符號計算圖模型23 
2.3函數26 
2.3.1函數的定義26 
2.3.2 Logistic回歸27 
2.3.3函數的複制29 
2.4條件表達式31 
2.5循環32 
2.6共享變量39 
2.7配置39 
2.7.1通過THEANO_FLAGS配置40 
2.7.2通過. theanorc文件配置41 
2.8常用的Debug技巧42 
2.9小結43 
 

第2部分數學與機器學習基礎篇45 

3線性代數基礎46 
3.1標量、向量、矩陣和張量46 
3.2矩陣初等變換47 
3.3線性相關與向量空間48 
3.4範數49 
3.4.1向量範數49 
3.4.2矩陣範數53 
3.5特殊的矩陣與向 56 
3.6特徵值分解57 
3.7奇異值分解58 
3.8跡運算60 
3.9樣例：主成分分析61 

4概率統計基礎64 
4.1樣本空間與隨機變量65 
4.2概率分佈與分佈函數65 
4.3一維隨機變量66 
4.3. 1離散型隨機變量和分佈律66 
4.3.2連續型隨機變量和概率密度函數67 
4.4多維隨機變量68 
4.4.1離散型二維隨機變量和聯合分佈律69 
4.4.2連續型二維隨機變量和聯合密度函數69 
4.5邊緣分佈70 
4.6條件分佈與鍊式法則71 
4.6.1條件概率71 
4.6.2鍊式法則73 
4.7多維隨機變量的獨立性分析73 
4.7.1邊緣獨立74 
4.7.2條件獨立74 
4.8數學期望、方差、協方差75 
4.8.1數學期望75 
4.8.2方差76 
4.8.3協方差76 
4.8.4協方差矩陣78 
4.9信息論基礎81 
4.9.1信息熵81 
4.9.2條件熵83 
4.9 .3互信息84 
4.9.4相對熵與交叉熵84 

5概率圖模型87 
5.1生成模型與判別模型89 
5.2圖論基礎90 
5.2.1圖的結構90 
5.2.2子圖91 
5.2.3路徑、跡、環與拓撲排序92 
5.3 葉斯網絡95 
5.3.1因子分解96 
5.3.2局部馬爾科夫獨立性斷言99 
5.3.3 I-Map與因子分解100 
5.3.4有效跡103 
5.3.5 D-分離與全局馬爾科夫獨立性108 
5.4馬爾科夫網絡108 
5.4.1勢函數因子與參數化表示109 
5.4.2馬爾科夫獨立性111 
5.5變量消除114 
5.6信念傳播116 
5.6.1聚類圖116 
5.6.2團樹120 
5.6. 3由變量消除構建團樹123 
5.7 MCMC採樣原理126 
5.7.1隨機採樣127 
5.7.2隨機過程與馬爾科夫鏈128 
5.7.3 MCMC採樣132 
5.7.4 Gibbs採樣134 
5.8參數學習137 
5.8.1 . ..似然估計137 
5.8.2期望...化算法138 
5.9小結140 

6機器學習基礎142 
6.1線性模型143 
6.1.1線性回歸143 
6.1.2 Logistic回歸148 
6.1.3廣義的線性模型150 
6.2支持向量機151 
6.2.1最優間隔分類器152 
6.2.2對偶問題155 
6.2.3核函數156 
6.3樸素貝葉斯160 
6.4樹模型162 
6.4.1特徵選擇163 
6.4.2剪枝策略165 
6.5聚類166 
6.5.1距離度量167 
6.5.2層次聚類168 
6.5.3 K-means聚類171 
6.5.4譜聚類1 72 

7數值計算與最優化177 
7.1無約束極小值的最優化條件177 
7.2梯度下降179 
7.2.1傳統更新策略181 
7.2.2動量更新策略183 
7.2.3改進的動量更新策略184 
7.2.4自適應梯度策略187 
7.3共軛梯度188 
7.4牛頓法192 
7.5擬牛頓法194 
7.5.1擬牛頓條件194 
7.5.2 DFP算法195 
7.5.3 BFGS算法196 
7.5.4 L-BFGS算法197 
7.6約束最優化條件200 

第3部分理論與應用篇205 

8前饋神經網絡206 
8.1生物神經元結構207 
8.2人工神經元結構208 
8.3單層感知機209 
8.4多層感知機212 
8.5激活函數217 
8.5.1激活函數的作用217 
8.5.2常用的激活函數219 

9反向傳播與梯度消失225 
9.1經驗風險最小化227 
9.2梯度計算228 
9.2.1輸出層梯度228 
9.2.2隱藏層梯度230 
9.2.3參數梯度234 
9.3反向傳播235 
9.4深度學習訓練的難點237 
9.4.1欠擬合——梯度消失237 
9.4.2過擬合240 

10自編碼器及其相關模型243 
10.1自編碼器243 
10.2降噪自編碼器245 
10.3棧式自 碼器247 
10.4稀疏編碼器250 
10.5應用：cifar10圖像分類254 

11玻爾茲曼機及其相關模型258 
11.1玻爾茲曼機258 
11.2能量模型261 
11.2.1能量函數261 
11.2.2從能量函數到勢函數262 
11.2.3從勢函數到概率分佈263 
11.3推斷264 
11.3.1邊緣分佈265 
11.3.2條件分佈267 
11.4學習270 
11.4.1 ...似然估計271 
11.4.2對比散度274 
11.5應用：個性化推薦276 
11.5.1個性化推薦概述276 
11.5.2個性化推薦架構與算法279 
11.5.3 RBM與協同過濾285 

12遞歸神經網絡291 
12.1 Elman遞歸神經網絡292 
12.2時間反向傳播295 
12.3長短時記憶網絡299 
12.4結構遞歸神經網絡302 
12.5應用：語言模型308 
12.5.1 N元統計模型308 
12.5.2基於LSTM構建語言模型312 

13卷積神經網絡318 
13.1卷積運算319 
13.2網絡結構320 
13.3卷積層324 
13.4池化層329 
13.5應用：文本分類333