機器學習簡明教程

汪榮貴

合肥工業大學計算機與信息學院（人工智能學院）教授、博士生導師，中國人工智能學會離散智能計算專委會委員，
安徽省人工智能學會理事，主要研究方向為嵌入式多媒體技術、圖像理解與機器學習、視頻大數據與雲計算，
承擔完成多項國家自然基金項目、安徽省科技攻關及企業委託項目，已在專業核心期刊發表60餘篇學術論文，
其中多篇被SCI收錄，研究成果“多源多模態視頻智能處理關鍵技術及應用”獲得2017年度安徽省​​​​科技進步二等獎，
“多源多模態視頻智能處理在平安城市中的應用”獲得2017年度合肥市科技進步一等獎，
“虛擬卡口”獲得2017年度中國電子集團科技進步一等獎。

前言
第1章　機器學習概述 1
1.1　機器學習基本概念 1
1.1.1　人工智能與機器學習 1
1.1.2　機器學習基本術語 5
1.1.3　機器學習誤差分析 8
1.2　機器學習發展歷程 11
1.2.1　感知機與連接學習 11
1.2.2　符號學習與統計學習 13
1.2.3　連接學習的興起 17
1.3　機器學習基本問題 19
1.3.1　特徵提取 19
1.3.2　規則構建 23
1.3.3　模型評估 27
1.4　模型優化與正則化 31
1.4.1　梯度下降法 31
1.4.2　隨機梯度法 34
1.4.3　模型正則化 36
1.5　習題 41

第2章　基本學習方法 43
2.1　監督學習 43
2.1.1　線性模型 43
2.1.2　決策樹模型 50
2.1.3　貝葉斯模型 62
2.1.4　支持向量機 68
2.2　無監督學習 72
2.2.1　聚類分析法 72
2.2.2　主分量分析法 76
2.3　強化學習 81
2.3.1　強化學習概述 81
2.3.2　馬爾可夫模型 84
2.3.3　值迭代學習 89
2.3.4　時序差分學習 94
2.4　基本學習方法的應用 103
2.4.1　垃圾郵件檢測與分類 103
2.4.2　人臉自動識別 106
2.4.3　自動爬山小車 112
2.5　習題 117

第3章　集成學習方法 119
3.1　集成學習概述 119
3.1.1　集成學習基本概念 119
3.1.2　集成學習基本範式 120
3.1.3　集成學習泛化策略 122
3.2　Bagging集成學習 124
3.2.1　Bagging集成策略 124
3.2.2　隨機森林模型結構 127
3.2.3　隨機森林訓練算法 129
3.3　Boosting集成學習 142
3.3.1　Boosting集成策略 143
3.3.2　AdaBoost學習算法 145
3.3.3　GBDT學習算法 146
3.4　集成學習方法的應用 151
3.4.1　房價預測分析 151
3.4.2　人臉自動檢測 156
3.5　習題 162

第4章　深度學習方法 163
4.1　神經網絡概述 163
4.1.1　神經元與感知機 163
4.1.2　前饋網絡訓練範式 168
4.1.3　淺層學習與深度學習 176
4.2　深度卷積網絡 181
4.2.1　卷積網絡概述 181
4.2.2　基本網絡模型 190
4.2.3　改進網絡模型 199
4.3　深度循環網絡 206
4.3.1　動態系統展開 207
4.3.2　網絡結構與計算 208
4.3.3　模型訓練策略 217
4.4　生成式對抗網絡 221
4.4.1　生成器與判別器 222
4.4.2　網絡結構與計算 224
4.4.3　模型訓練策略 229
4.5　深度學習方法的應用 234
4.5.1　光學字符識別 235
4.5.2　圖像目標檢測 239
4.5.3　自動文本摘要 245
4.6　習題 249

第5章　深度強化學習 251
5.1　深度強化學習概述 251
5.1.1　基本學習思想 251
5.1.2　基本計算方式 254
5.1.3　蒙特卡洛樹搜索 255
5.2　基於價值的深度強化學習 261
5.2.1　深度Q網絡 261
5.2.2　深度雙Q網絡 266
5.2.3　DQN改進模型 270
5.3　基於策略的深度強化學習 273
5.3.1　策略梯度算法 273
5.3.2　Actor-Critic算法 278
5.3.3　DDPG學習算法 284
5.4　深度強化學習的應用 288
5.4.1　智能巡航小車 288
5.4.2　自動對弈遊戲 292
5.5　習題 303
參考文獻 305