機器學習原理及應用

安俊秀，訪問學者，碩士生導師。軟件自動生成與智能服務四川省重點實驗室學術帶頭人(知識本體和大數據方向)。並行計算與大數據研究所負責人，長期從事數據科學與大數據相關的研究與教學工作，已發表研究領域相關論文40余篇，主編大數據與人工智能方面專著或教材10余部。

第1章 機器學習概述 1

1.1 人工智能概述 1

1.1.1 人工智能發展歷程 1

1.1.2 人工智能與機器學習 3

1.2 機器學習的兩大學派 5

1.2.1 頻率學派 6

1.2.2 貝葉斯學派 6

1.3 機器學習的三要素 7

1.3.1 數據 7

1.3.2 模型 8

1.3.3 算法 9

1.4 機器學習算法的4種類型 9

1.4.1 有監督學習算法 10

1.4.2 無監督學習算法 10

1.4.3 半監督學習算法 11

1.4.4 強化學習算法 12

1.5 機器學習的應用 13

1.5.1 電腦視覺 13

1.5.2 自然語言處理 14

1.5.3 機器人 15

習題 16

第2章 回歸算法概述 17

2.1 回歸算法簡介 17

2.2 線性回歸 19

2.2.1 算法原理 19

2.2.2 實現及參數 20

2.3 多元線性回歸 24

2.3.1 算法原理 24

2.3.2 實現及參數 25

2.4 正則化回歸分析 29

2.4.1 過擬合與正則化 29

2.4.2 嶺回歸 30

2.4.3 套索回歸 32

2.4.4 彈性網絡回歸 33

2.5 貝葉斯模型 35

2.5.1 貝葉斯方法 35

2.5.2 貝葉斯回歸 36

2.6 Softmax回歸 40

2.6.1 算法原理 40

2.6.2 實現及參數 41

2.7 項目實踐：航班乘客流量預測 44

習題 52

第3章 分類算法概述 53

3.1 分類算法簡介 53

3.2 K近鄰查詢算法 54

3.2.1 算法原理 54

3.2.2 實現及參數 55

3.3 邏輯回歸算法 58

3.3.1 算法原理 58

3.3.2 實現及參數 60

3.4 貝葉斯網絡與樸素貝葉斯分類器 62

3.4.1 貝葉斯網絡 62

3.4.2 樸素貝葉斯分類器 63

3.5 決策樹算法 65

3.5.1 算法原理 66

3.5.2 選擇最優特徵 68

3.6 集成學習算法 69

3.6.1 隨機森林算法 70

3.6.2 AdaBoost算法 71

3.7 項目實踐：水果分類 73

習題 78

第4章 支持向量機概述 79

4.1 支持向量機簡介 79

4.1.1 超平面與線性可分 80

4.1.2 最大化間隔 81

4.2 核函數 81

4.3 多分類處理 84

4.3.1 “1?a?r”方法 84

4.3.2 樹形支持向量機多分類方法 85

4.3.3 決策樹支持向量機多分類器 85

4.4 結構風險分析 85

4.5 項目實踐：貓分類器 86

4.5.1 實踐準備 87

4.5.2 訓練模型 88

4.5.3 驗證模型 90

習題 92

第5章 數據降維概述 93

5.1 數據降維簡介 93

5.2 線性降維 94

5.2.1 PCA 94

5.2.2 使用最大投影方差理解PCA 97

5.2.3 使用最小重構代價理解PCA 98

5.2.4 LDA 100

5.3 非線性降維 103

5.3.1 局部線性嵌入 103

5.3.2 拉普拉斯特徵映射 104

5.3.3 隨機近鄰嵌入 107

5.3.4 t分佈隨機近鄰嵌入 108

5.4 自編碼器 108

5.5 項目實踐：自編碼器 114

習題 117

第6章 聚類算法概述 118

6.1 聚類算法簡介 118

6.2 基於劃分的聚類算法 119

6.2.1 K均值聚類算法 119

6.2.2 EM算法 121

6.3 基於密度的聚類算法 123

6.3.1 DBSCAN算法 123

6.3.2 DPC算法 127

6.4 基於圖的聚類算法 129

6.5 項目實踐：人臉圖像聚類 131

習題 134

第7章 深度學習概述 135

7.1 深度學習簡介 135

7.2 感知器 136

7.3 人工神經網絡 138

7.4 反向傳播算法 139

7.5 常用的深度學習模型 144

7.5.1 CNN 144

7.5.2 RNN 148

7.5.3 GAN 152

7.6 項目實踐：圖片分類 154

習題 158

第8章 強化學習概述 159

8.1 強化學習簡介 159

8.2 馬爾可夫決策 161

8.2.1 馬爾可夫性質 161

8.2.2 馬爾可夫過程 161

8.2.3 馬爾可夫決策過程 164

8.2.4 最優價值函數與最優策略 165

8.3 基於免模型的強化學習算法 166

8.3.1 蒙特卡羅算法 166

8.3.2 時序差分算法 167

8.4 強化學習前沿 169

8.4.1 逆向強化學習 169

8.4.2 分層強化學習 170

8.4.3 深度強化學習 171

8.5 項目實踐：車桿游戲 172

習題 173

第9章 自然語言處理概述 174

9.1 自然語言處理簡介 174

9.2 自然語言處理工具包和語料庫 175

9.2.1 自然語言處理工具包 175

9.2.2 語料庫 176

9.3 自然語言處理技術分類 177

9.3.1 自然語言處理基礎技術分類 177

9.3.2 自然語言處理應用技術分類 179

9.4 Transformer 180

9.4.1 Transformer整體結構 181

9.4.2 自註意力機制 183

9.4.3 Transformer總結 187

9.5 項目實踐：新聞文本分類 187

習題 190

第10章 推薦系統概述 191

10.1 推薦系統簡介 191

10.1.1 什麽是推薦系統 191

10.1.2 個性化推薦系統的應用 191

10.2 協同過濾推薦算法 193

10.2.1 基於用戶的協同過濾推薦算法 193

10.2.2 基於物品的協同過濾推薦算法 194

10.3 因子分解機算法 195

10.3.1 FM算法的背景 195

10.3.2 FM算法的優勢 195

10.3.3 FM算法的衍生算法 196

10.4 梯度提升決策樹算法 196

10.4.1 回歸樹 196

10.4.2 梯度迭代 196

10.4.3 縮減 198

10.5 評價指標 198

10.5.1 在線評價體系 198

10.5.2 離線評價體系 199

10.6 項目實踐：電影推薦系統 201

10.6.1 電影推薦系統的需求分析 201

10.6.2 系統架構的設計 201

10.6.3 推薦系統的實現 202

習題 205

參考文獻 206