機器學習基礎 Machine Learning Fundamentals: A Concise Introduction

第1章 導論 1
1.1 什麽是機器學習 1
1.2 機器學習的基本概念 4
1.2.1 分類與回歸 4
1.2.2 監督學習與無監督學習 4
1.2.3 簡單模型與復雜模型 5
1.2.4 參數模型與非參數模型 8
1.2.5 過擬合與欠擬合 9
1.2.6 偏差-方差權衡 11
1.3 機器學習的一般原則 12
1.3.1 奧卡姆剃刀 12
1.3.2 沒有免費午餐定理 13
1.3.3 平滑世界定律 14
1.3.4 維度災難 16
1.4 機器學習中的高級主題 17
1.4.1 強化學習 17
1.4.2 元學習 17
1.4.3 因果推斷 18
1.4.4 其他高級主題 18
練習 18
第2章 數學基礎 20
2.1 線性代數 20
2.1.1 向量和矩陣 20
2.1.2 作為矩陣乘法的線性變換 21
2.1.3 基本矩陣運算 23
2.1.4 特徵值和特徵向量 25
2.1.5 矩陣演算 27
2.2 概率與統計 29
2.2.1 隨機變量和分佈 29
2.2.2 期望值：均值、方差和矩 31
2.2.3 聯合、邊際和條件分佈 33
2.2.4 常見概率分佈 37
2.2.5 隨機變量的變換 44
2.3 信息論 45
2.3.1 信息和熵 46
2.3.2 互信息 48
2.3.3 KL散度 51
2.4 數學優化 54
2.4.1 一般形式 55
2.4.2 最優條件 56
2.4.3 數值優化方法 66
練習 71
第3章 監督機器學習（簡介） 75
3.1 概述 75
3.2 實例探究 80
第4章 特徵提取 84
4.1 特徵提取：概念 84
4.1.1 特徵工程 84
4.1.2 特徵選擇 86
4.1.3 降維 86
4.2 線性降維 87
4.2.1 主成分分析 87
4.2.2 線性判別分析 93
4.3 非線性降維（I）：流形學習 96
4.3.1 局部線性嵌入 96
4.3.2 多維縮放 98
4.3.3 隨機鄰域嵌入 99
4.4 非線性降維（II）：神經網絡 100
4.4.1 自編碼器 100
4.4.2 瓶頸特徵 101
實驗室項目一 101
練習 102
判 別 模 型
第5章 統計學習理論 105
5.1 判別模型的制定 105
5.2 可學習性 107
5.3 泛化邊界 108
5.3.1 有限模型空間：| | 108
5.3.2 無限模型空間：VC維 110
練習 113
第6章 線性模型 115
6.1 感知機 116
6.2 線性回歸 120
6.3 最小分類誤差 121
6.4 邏輯回歸 123
6.5 支持向量機 125
6.5.1 線性支持向量機 125
6.5.2 軟支持向量機 132
6.5.3 非線性支持向量機：核技巧 133
6.5.4 求解二次規劃 136
6.5.5 多類支持向量機 138
實驗室項目二 139
練習 140
第7章 學習通用判別模型 142
7.1 學習判別模型的通用框架 142
7.1.1 機器學習中的常見損失函數 144
7.1.2 基於 範數的正則化 146
7.2 嶺回歸與LASSO 148
7.3 矩陣分解 150
7.4 字典學習 155
實驗室項目三 158
練習 159
第8章 神經網絡 161
8.1 人工神經網絡 162
8.1.1 人工神經網絡的基本公式 163
8.1.2 數學證明：通用近似 165
8.2 神經網絡結構 167
8.2.1 連接層的基本構造塊 167
8.2.2 案例分析一：完全連接深度神經網絡 176
8.2.3 案例分析二：捲積神經網絡 178
8.2.4 案例分析三：遞歸神經網絡 182
8.2.5 案例分析四：transformer 184
8.3 神經網絡的學習算法 187
8.3.1 損失函數 187
8.3.2 自動微分法 188
8.3.3 隨機梯度下降優化 201
8.4 優化的啟發式和技巧 203
8.4.1 其他隨機梯度下降變量優化方法：ADAM 204
8.4.2 正則化 207
8.4.3 微調技巧 209
8.5 端到端學習 210
實驗室項目四 212
練習 213
第9章 集成學習 215
9.1 整體學習的模擬 215
9.2 袋裝法 221
9.3 提升法 222
9.3.1 梯度提升 223
9.3.2 AdaBoost 225
9.3.3 梯度樹提升法 228
實驗室項目五 230
練習 230
生 成 模 型
第10章 生成模型概述 233
10.1 生成模型的形成 233
10.2 貝葉斯決策理論 235
10.2.1 分類生成模型 235
10.2.2 回歸生成模型 240
10.3 統計數據建模 241
10.4 密度估計 244
10.4.1 最大似然估計 244
10.4.2 最大似然分類器 247
10.5 生成模型（概括） 247
練習 249
第11章 單峰模型 251
11.1 高斯模型 252
11.2 多項式模型 256
11.3 馬爾可夫鏈模型 258
11.4 廣義線性模型 263
11.4.1 概率回歸 264
11.4.2 泊松回歸 265
11.4.3 對數線性模型 266
練習 268
第12章 混合模型 270
12.1 構建混合模型 271
12.1.1 指數族（e族） 272
12.1.2 混合模型的形式化定義 274
12.2 期望最大化方法 275
12.2.1 輔助函數：消除對數和 275
12.2.2 期望最大化算法 279
12.3 高斯混合模型 282
12.4 隱馬爾可夫模型 286
12.4.1 馬爾可夫模型：序列的混合模型 286
12.4.2 評估問題：前向後退算法 292
12.4.3 解碼問題：維特比算法 296
12.4.4 訓練問題：馬爾可夫算法 298
實驗項目六 305
練習 306
第13章 糾纏模型 309
13.1 糾纏模型的形成 309
13.1.1 糾纏模型框架 310
13.1.2 一般糾纏模型的學習 312
13.2 線性高斯模型 314
13.2.1 概率PCA 315
13.2.2 因素分析 316
13.3 非高斯模型 318
13.3.1 獨立成分分析（ICA） 318
13.3.2 獨立因素分析（IFA） 320
13.3.3 混合正交投影與估計（HOPE） 320
13.4 深度生成模型 321
13.4.1 變分自編碼器（VAE） 322
13.4.2 生成式對抗網絡（GAN） 326
練習 327
第14章 貝葉斯學習 329
14.1 構建貝葉斯學習 329
14.1.1 貝葉斯推理 331
14.1.2 最大化後驗估計 332
14.1.3 順序貝葉斯學習 333
14.2 共軛先驗 336
14.3 近似推理 342
14.3.1 拉普拉斯方法 343
14.3.2 變分貝葉斯（VB）方法 345
14.4 高斯過程 351
14.4.1 高斯過程作為非參數先驗 351
14.4.2 回歸高斯過程 354
14.4.3 分類高斯過程 357
練習 358
第15章 圖模型 360
15.1 圖模型概念 360
15.2 貝葉斯網絡 364
15.2.1 條件獨立 364
15.2.2 用貝葉斯網絡表示生成模型 371
15.2.3 學習貝葉斯網絡 375
15.2.4 推理算法 377
15.2.5 案例研究一：樸素貝葉斯分類器 383
15.2.6 案例研究二：潛在狄利克雷分配 384
15.3 馬爾可夫隨機場 387
15.3.1 等式：勢函數和配分函數 387
15.3.2 案例研究三：條件隨機場 390
15.3.3 案例研究四：限制玻爾茲曼機器 392
練習 394
附錄A 396
參考文獻