機器學習方法及應用

袁景凌

武漢理工大學教授，博士/博士生導師。
中國計算機學會高級會員，湖北省計算機學會理事。
獲得湖北省自然科學二等獎，湖北省科技進步二等獎/三等獎，
湖北省技術發明三等獎，湖北省教學成果一等獎。
編寫《智能方法及應用》、《離散數學》、《軟件工程》等專著及教材。

賁可榮

海軍工程大學教授、博士生導師。主編《人工智能》入選普通高等教育“十二五”國家級規劃教材。
CCF理論計算機科學專委副主任、《計算機科學與探索》執行編委，
《海軍新軍事變革叢書》編委會常務副主任。
軍隊人工智能專家組成員，海軍人工智能專業組副組長。
評為教育部骨干教師、首屆湖北省優秀研究生導師、
海軍名師工作室領銜名師、第三屆大學教學名師，獲軍隊院校育才獎金獎。

第1章機器學習概述1
1.1學習中的元素2
1.2目標函數的表示4
1.3機器學習系統的基本結構6
1.4學習任務的類型7
1.5機器學習的定義和發展史9
1.6機器學習可完成的事11
1.7機器學習的成功案例13
習題16

第2章決策樹學習17
2.1決策樹的組成及分類17
2.2決策樹的構造算法CLS18
2.3基本的決策樹算法ID320
2.4信息熵和信息增益及其案例21
2.5隨機森林及其應用案例24
2.5.1隨機森林概述24
2.5.2隨機森林應用案例27
2.6決策樹和隨機森林應用概述29
2.6.1決策樹的應用概述29
2.6.2隨機森林的應用概述30
小結32
習題32

第3章多層感知器34
3.1神經元模型34
3.2感知器及其學習規則35
3.3多層感知器38
3.4反向傳播算法39
目錄3.5反向傳播網絡的應用概述45
3.6案例：基於反向傳播網絡擬合曲線46
小結52
習題53

第4章維度約簡55
4.1主成分分析55
4.2獨立成分分析58
4.3線性判別分析59
4.4局部線性嵌入62
4.5維度約簡算法應用概述65
4.6案例分析66
4.6.1利用PCA對半導體製造數據降維66
4.6.2LDA降維——應用於Wine葡萄酒數據集67
小結69
習題69

第5章支持向量機71
5.1線性可分模式的最優超平面71
5.2不可分離模式的最優超平面75
5.3用於模式識別的支持向量機的潛在思想78
5.4使用核方法的支持向量機78
5.5支持向量機的設計80
5.6支持向量機的應用概述81
5.7支持向量機的示例83
小結86
習題87

第6章無監督學習89
6.1聚類概述89
6.2Kmeans算法90
6.3DBSCAN算法92
6.4EM算法94
6.5關聯分析97
6.6競爭網絡99
6.6.1Hamming網絡100
6.6.2競爭學習及案例101
6.6.3自組織特徵圖104
6.6.4學習向量量化107
6.7無監督學習應用概述109
6.8案例分析111
6.8.1使用K-means算法對用戶購物行為聚類和推薦111
6.8.2使用DBSCAN清洗GPS軌跡數據111
6.8.3高斯混合模型的EM聚類113
6.8.4學習向量量化解決分類問題114
小結116
習題116

第7章概率圖模型118
7.1貝葉斯網絡118
7.1.1貝葉斯基本公式119
7.1.2樸素貝葉斯分類器120
7.1.3貝葉斯網絡的拓撲結構121
7.1.4條件獨立性假設121
7.1.5先驗概率的確定和網絡推理算法122
7.2馬爾可夫隨機場124
7.2.1馬爾可夫隨機場概念125
7.2.2馬爾可夫隨機場的因式分解126
7.3隱馬爾可夫模型128
7.4馬爾可夫鏈蒙特卡羅131
7.4.1蒙特卡羅積分131
7.4.2馬爾可夫鏈132
7.4.3馬爾可夫鏈蒙特卡羅132
7.5LDA主題提取模型136
7.6概率圖模型應用概述138
7.7案例分析141
7.7.1樸素貝葉斯進行垃圾郵件過濾141
7.7.2前向後向算法求觀測序列概率142
7.7.3馬爾可夫鏈蒙特卡羅方法預測睡眠質量144
7.7.4利用LDA對文本進行主題提取148
小結149
習題150

第8章強化學習151
8.1強化學習過程151
8.2馬爾可夫決策過程152
8.3Q-Learning156
8.4強化學習應用概述159
8.5案例分析161
8.5.1使用馬爾可夫決策過程求解最優策略162
8.5.2尋寶遊戲163
小結164
習題165

第9章深度學習166
9.1深度學習概述166
9.2卷積神經網絡169
9.2.1卷積層169
9.2.2池化層171
9.2.3卷積神經網絡結構172
9.3循環神經網絡172
9.3.1給網絡增加記憶能力173
9.3.2簡單循環網絡174
9.3.3應用到機器學習175
9.3.4參數學習177
9.3.5基於門控的循環神經網絡179
9.4深度信念網絡181
9.4.1玻爾茲曼機181
9.4.2受限玻爾茲曼機182
9.4.3深度信念網絡183
9.5深度生成模型185
9.5.1概率生成模型185
9.5.2變分自編碼器186
9.5.3生成對抗網絡188
9.5.4生成對抗網絡的應用190
9.6深度學習應用概述193
9.6.1文本194
9.6.2語音195
9.6.3計算機視覺196
9.7機器學習系統199
9.7.1主流機器學習系統的分類與介紹200
9.7.2主流深度學習框架系統介紹201
9.7.3新興機器學習系統203
9.8案例：深度學習在計算機視覺中的應用204
小結210
習題210
附錄機器學習工具及資源推薦212
參考文獻217