深入機器學習

鄧子雲：工學博士，教授，擅長將覆雜的問題簡單化，酷愛機器學習與數學，希望通過本書，把個人在機器學習方面的心得、經驗、系統性知識，分享給那些正在經受機器學習中的覆雜概念、原理、數學推導等問題困擾的同學或同仁。已出版著作20余本，發表論文110余篇。主持過國家級、省部級科研課題40余項。

前言

第1章 認知機器學習 1
1.1 什麽是機器學習 2
1.1.1 理解機器學習的定義 2
1.1.2 機器學習有哪些模型 3
1.2 怎麽學習機器學習 4
1.2.1 學習的總體步驟 4
1.2.2 理清工具與原理的關系 4
1.3 搭建開發環境 5
1.3.1 下載和安裝Anaconda 5
1.3.2 Anaconda的5個工具軟件 5
1.4 小結 6
第2章 打下開發基礎 7
2.1 學會使用常用的數據結構 8
2.1.1 列表 8
2.1.2 字典 10
2.1.3 numpy 11
2.2 能用matplotlib繪圖 15
2.2.1 畫點 15
2.2.2 畫線 16
2.2.3 畫面 16
2.2.4 畫多個子圖 16
2.3 能編程保存和加載機器學習模型 18
2.3.1 保存模型 18
2.3.2 加載模型 18
2.4 小結 18
第3章 入門先學會使用線性回歸 19
3.1 初步理解線性回歸 20
3.1.1 涉及的主要術語 20
3.1.2 線性方程的表達 21
3.1.3 擬合出的線的樣子 24
3.2 了解線性回歸的過程 26
3.2.1 做線性回歸的過程 26
3.2.2 模型的評價指標 27
3.2.3 數據集的劃分 29
3.3 做線性回歸的實例 30
3.3.1 用圖觀察數據項之間的關系 31
3.3.2 對數據集進行劃分 33
3.3.3 用數據訓練模型 34
3.3.4 用模型做預測 35
3.3.5 對模型做評價 38
3.4 使用更覆雜的線性回歸模型 46
3.4.1 以一元高次方程為模型 46
3.4.2 以多元一次方程為模型 51
3.4.3 以多元高次方程為模型 54
3.5 小結 58
第4章 學習線性回歸背後的數學原理 60
4.1 補充學習高等數學知識 62
4.1.1 導數的意義 62
4.1.2 常用的求導法則 62
4.1.3 求某點的導數值 65
4.1.4 覆合函數的導數 68
4.1.5 偏導數 70
4.1.6 行列式及其計算方法 72
4.1.7 矩陣及其計算方法 76
4.1.8 線性方程組的解法 81
4.2 理解和使用最小二乘法 85
4.2.1 為什麽叫最小二乘法 85
4.2.2 求解一元一次方程模型的參數 87
4.2.3 求解多元一次方程模型的參數 94
4.2.4 求解一元高次方程和多元高次方程模型的參數 101
4.2.5 多種模型之間的比較 101
4.3 學習和使用梯度下降法 102
4.3.1 什麽是梯度和梯度下降法 102
4.3.2 多元函數的梯度下降法 104
4.3.3 設置叠代的出口和學習率 110
4.3.4 線性回歸的梯度下降法 113
4.3.5 由誤差函數的圖形引發對極小值的討論 119
4.3.6 遍歷訓練數據做線性回歸的三種梯度下降法 122
4.4 小結 126
第5章 深入淺出線性回歸的高級知識 128
5.1 模型優化要解決什麽問題 129
5.1.1 欠擬合、過擬合和恰當擬合 129
5.1.2 怎麽解決過擬合的問題 130
5.2 用嶺回歸對線性回歸模型做懲罰 130
5.2.1 做嶺回歸用最小二乘法時的數學原理 131
5.2.2 用嶺跡法找到合適的λ值 132
5.2.3 做嶺回歸用梯度下降法時的數學原理 135
5.2.4 用交叉驗證法找到合適的λ值 136
5.3 用Lasso回歸對線性回歸模型做懲罰 146
5.3.1 Lasso回歸的數學原理 146
5.3.2 從圖形上理解Lasso回歸 150
5.3.3 用坐標軸下降法做Lasso回歸 152
5.4 化繁為簡使用scikit-learn庫 164
5.4.1 用最小二乘法做線性回歸 164
5.4.2 做嶺回歸 166
5.4.3 做Lasso回歸 172
5.4.4 使用彈性網絡做線性回歸 174
5.5 小結 177
第6章 學會使用邏輯回歸 179
6.1 初步理解邏輯回歸 180
6.1.1 涉及的主要術語 180
6.1.2 線性分類的圖形表達 180
6.1.3 邏輯回歸的圖形表達 183
6.2 用scikit-learn庫做邏輯回歸 185
6.2.1 引入乳腺癌數據集 186
6.2.2 用邏輯回歸預測乳腺癌 187
6.2.3 評估邏輯回歸模型 190
6.2.4 得到模型參數 192
6.2.5 得到分類的可能性值 193
6.3 解決多分類的問題 194
6.3.1 引入鳶尾花數據集 194
6.3.2 用One-Vs-All解決多分類問題 195
6.3.3 用One-Vs-One解決多分類問題 203
6.4 小結 205
第7章 學習邏輯回歸背後的數學原理 207
7.1 補充學習高等數學知識 208
7.1.1 凸函數和Hessian矩陣 208
7.1.2 大數定律和中心極限定理 210
7.1.3 正態分布和伯努利分布 211
7.1.4 條件概率和似然函數 212
7.2 理解邏輯回歸的數學原理 213
7.2.1 找到合適的用於優化的函數 213
7.2.2 在邏輯回歸中使用梯度下降法的數學原理 215
7.3 用梯度下降法求解邏輯回歸模型 216
7.3.1 將鳶尾花分成兩類 216
7.3.2 預測乳腺癌 220
7.4 小結 222
第8章 深入淺出邏輯回歸的高級知識 224
8.1 對邏輯回歸做正則化 226
8.1.1 理解L2正則化的數學原理 226
8.1.2 用L2正則化預測乳腺癌 226
8.1.3 用其他懲罰方式做邏輯回歸 228
8.2 化繁為簡使用scikit-learn庫 228
8.2.1 熟悉並使用LogisticRegression類 228
8.2.2 熟悉並使用SGDClassifier類 230
8.2.3 熟悉並使用LogisticRegressionCV
類 232
8.2.4 用LogisticRegression類做多分類 233
8.3 補充學習一些更高級的數學知識 234
8.3.1 泰勒公式 235
8.3.2 牛頓法和擬牛頓法的優化原理 239
8.3.3 lbfgs優化方法 247
8.3.4 newton-cg優化方法 248
8.3.5 liblinear優化方法 255
8.3.6 sag和saga優化方法 257
8.4 用softmax解決多分類問題 262
8.4.1 多分類的原理 262
8.4.2 畫出多分類的界線 266
8.5 小結 269
第9章 學會使用樸素貝葉斯 271
9.1 初步理解樸素貝葉斯 272
9.1.1 樸素貝葉斯定理的一些基本術語 272
9.1.2 樸素貝葉斯怎麽得出屬於某一類的概率 274
9.2 用scikit-learn做樸素貝葉斯分類 276
9.2.1 使用GuassianNB類做鳶尾花分類 276
9.2.2 使用MultinomialNB類和BernoulliNB類 278
9.3 小結 279
第10章 學習樸素貝葉斯背後的數學原理 281
10.1 理解樸素貝葉斯分類的數學原理 282
10.1.1 理解全概率公式並推導樸素貝葉斯公式 282
10.1.2 利用樸素的內涵再推演樸素貝葉斯公式 284
10.2 進一步說明scikit-learn中做樸素貝葉斯分類的類 285
10.2.1 再看GuassianNB類 285
10.2.2 再看MultinomialNB類和BernoulliNB類 287
10.3 做區分垃圾郵件和非垃圾郵件的項目實戰 288
10.3.1 理解spambase數據集 288
10.3.2 使用3種樸素貝葉斯模型區分垃圾郵件和非垃圾郵件 289
10.4 小結 291
第11章 深入淺出貝葉斯的高級知識 292
11.1 會用有向圖表達貝葉斯網絡 293
11.1.1 深刻理解獨立和互斥的概念 293
11.1.2 用有向無環圖表達貝葉斯網絡 294
11.1.3 理解貝葉斯網絡的3種基本結構 296
11.1.4 打貝葉斯球來分析兩個事件是否關聯 299
11.2 使用pgmpy建模貝葉斯網絡 301
11.2.1 安裝pgmpy 301
11.2.2 構建某女士結交男友決策的貝葉斯網絡 301
11.2.3 用貝葉斯網絡做預測 308
11.2.4 讓貝葉斯網絡自動學習到條件概率表 310
11.3 小結 311
第12章 學會使用決策樹 313
12.1 初步理解決策樹 314
12.1.1 決策樹中的一些專業術語 314
12.1.2 常見的3種決策樹算法 315
12.2 用scikit-learn做決策樹分類 315
12.2.1 用信息增益做分類 316
12.2.2 用基尼指數做分類 317
12.2.3 畫出決策樹 319
12.3 小結 321
第13章 學習決策樹背後的數學原理 322
13.1 學會計算決策樹的專業術語表示的量 323
13.1.1 計算信息熵 323
13.1.2 計算信息增益 326
13.1.3 計算信息增益比 328
13.1.4 計算基尼指數 328
13.1.5 計算基尼指數增加值 330
13.2 理解3種決策樹算法 330
13.2.1 理解ID3決策樹算法 330
13.2.2 scikit-learn庫用信息增益生成決策樹的算法 335
13.2.3 理解CART算法 339
13.2.4 用CART算法做分類 341
13.2.5 用CART算法做回歸 342
13.3 深入學習用scikit-learn做決策樹分類和回歸 343
13.3.1 DecisionTreeClassifier類的方法和屬性 343
13.3.2 DecisionTreeRegressor類的方法和屬性 345
13.3.3 用決策樹做鳶尾花分類 346
13.3.4 用決策樹做房價回歸分析 351
13.4 小結 355
第14章 深入淺出決策樹的高級知識 357
14.1 學會選擇和調節決策樹模型的參數 358
14.1.1 用交叉驗證法選擇更好的參數 358
14.1.2 用GridSearchCV類調節參數模型 363
14.2 理解後剪枝的原理並做實現 367
14.2.1 後剪枝有哪些策略 367
14.2.2 後剪枝之MEP策略 368
14.2.3 後剪枝之REP策略 377
14.2.4 後剪枝之PEP策略 378
14.2.5 後剪枝之CCP策略 382
14.3 小結 386
第15章 學會使用支持向量機 388
15.1 初步理解支持向量機 389
15.1.1 線性支持向量機 389
15.1.2 非線性支持向量機 389
15.2 用scikit-learn做支持向量機分類 390
15.2.1 做線性分類 390
15.2.2 做非線性分類 392
15.3 小結 394
第16章 學習支持向量機背後的數學原理 395
16.1 學會計算距離 396
16.1.1 兩點之間的距離 396
16.1.2 點到超平面的距離 398
16.1.3 函數距離和幾何距離 402
16.2 學懂拉格朗日乘數法 402
16.2.1 用拉格朗日乘數法求等式約束下的極值 403
16.2.2 再次深刻理解梯度 406
16.2.3 用拉格朗日乘數法求不等式約束下的極值 408
16.2.4 用拉格朗日乘數法和KKT應對更覆雜的情況 411
16.3 理解支持向量機的數學原理 413
16.3.1 從感知機談起 414
16.3.2 感知機模型的感知策略 416
16.3.3 用感知機模型做鳶尾花的二分類 419
16.4 硬間隔支持向量機 424
16.4.1 構建出目標函數及約束不等式 425
16.4.2 用拉格朗日乘數法求解目標函數和約束不等式 427
16.5 小結 432
第17章 深入淺出支持向量機的高級知識 434
17.1 用SMO算法求解硬間隔支持向量機的λ 435
17.1.1 轉化優化問題 436
17.1.2 叠代更新的辦法 438
17.2 軟間隔支持向量機 441
17.2.1 軟間隔支持向量機的優化問題 441
17.2.2 叠代時對參數值的剪輯 443
17.2.3 求解其他參數值 445
17.2.4 求解軟間隔支持向量機模型的步驟總結 446
17.2.5 合頁損失函數 447
17.3 自己編程實現支持向量機 448
17.3.1 實現SMO算法 448
17.3.2 實現二分類應用 453
17.4 非線性支持向量機 455
17.4.1 理解非線性支持向量機的原理 455
17.4.2 學懂Mercer定理 458
17.4.3 最簡單的線性核函數 458
17.4.4 多項式核函數 460
17.4.5 高斯核函數 461
17.4.6 Sigmoid核函數 464
17.5 用支持向量機做回歸分析 465
17.5.1 理解支持向量回歸的原理 465
17.5.2 用拉格朗日乘數法做推導 466
17.6 深入淺出用scikit-learn做分類和回歸 467
17.6.1 熟悉線性支持向量機（LinearSVC） 467
17.6.2 熟悉非線性支持向量機（SVC） 468
17.6.3 熟悉線性向量回歸（LinearSVR）和非線性回歸（SVR） 469
17.6.4 調節非線性支持向量機的參數 469
17.6.5 調節非線性支持向量回歸模型的參數 472
17.7 小結 474
第18章 學會使用KNN 476
18.1 理解KNN的基本原理 477
18.1.1 不用數學公式講解KNN的原理 477
18.1.2 擴展到多分類和回歸應用 477
18.1.3 怎麽確定KNN模型的k值 478
18.2 用KNN做分類和回歸 478
18.2.1 用KNN模型做鳶尾花分類 478
18.2.2 用KNN模型做房屋價格回歸 480
18.3 小結 482
第19章 學習KNN背後的數學原理 483
19.1 理解KNN的數學原理 484
19.1.1 用KNN做分類的數學原理 484
19.1.2 有多個備選分類及樣本數量不均衡問題的解決辦法 485
19.1.3 用KNN做回歸的數學原理 487
19.2 再次討論距離的度量 487
19.2.1 歐幾里得距離 488
19.2.2 曼哈頓距離和閔可夫斯基距離 488
19.2.3 夾角的余弦 489
19.2.4 傑卡德相似系數和傑卡德相似距離 489
19.3 利用搜索樹加速查找 489
19.3.1 構建KD樹 489
19.3.2 運用KD樹找到k個近鄰點 491
19.3.3 構建Ball樹 496
19.3.4 運用Ball樹找到k個近鄰點 499
19.4 調節KNN模型的參數 501
19.4.1 熟悉KNeighborsClassifier類 501
19.4.2 調節KNeighborsClassifier模型的參數 502
19.4.3 熟悉KNeighborsRegressor類並學會調節參數 504
19.5 小結 506
後續學習建議 508
參考文獻 509