Python 機器學習：數據建模與分析

薛薇，博士，中國人民大學應用統計研究中心專職研究員，中國人民大學統計學院副教授。
主要開設課程：機器學習，計量經濟學，統計軟件，統計學。
研究方向：機器學習與深度學習算法研究。
基於顧客消費行為大數據的客戶終身價值統計建模，以及營銷與品牌大數據的機器學習算法應用。

目錄

前言

第1章機器學習概述1
1.1機器學習的發展：人工智能中的機器學習1
1.1.1符號主義人工智能1
1.1.2基於機器學習的人工智能2
1.2機器學習的核心：數據和數據建模4
1.2.1機器學習的學習對象：數據集4
1.2.2機器學習的任務：數據建模6
1.3機器學習的典型應用11
1.3.1機器學習的典型行業應用11
1.3.2機器學習在客戶細分中的應用12
1.3.3機器學習在客戶流失分析中的應用13
1.3.4機器學習在營銷響應分析中的應用14
1.3.5機器學習在交叉銷售中的應用15
1.3.6機器學習在欺詐甄別中的應用16
【本章總結】16
【本章習題】17

第2章Python機器學習基礎18
2.1 Python：機器學習的首選工具18
2.2 Python的集成開發環境：Anaconda19
2.2.1 Anaconda的簡介19
2.2. 2 Anaconda Prompt的使用20
2.2.3 Spyder的使用22
2.2.4 Jupyter Notebook的使用23
2.3 Python第三方包的引用24
2.4 NumPy使用示例24
2.4.1 NumPy數組的創建和訪問25
2.4.2 NumPy的計算功能26
2.5 Pandas使用示例29
2.5.1 Pandas的序列和索引29
2.5.2 Pandas的數據框30
2.5.3 Pandas的數據加工處理31
2.6 NumPy和Pandas的綜合應用：空氣質量監測數據的預處理和基本分析32
2.6.1空氣質量監測數據的預處理32
2.6.2空氣質量監測數據的基本分析34
2.7 Matplotlib的綜合應用：空氣質量監測數據的圖形化展示36
2.7.1 AQI的時序變化特點37
2.7.2 AQI的分佈特徵及相關性分析38
2.7.3優化空氣質量狀況的統計圖形40
【本章總結】41
【本章相關函數】41
【本章習題】47

第3章數據預測與預測建模49
3.1數據預測的基本概念49
3.2預測建模50
3.2.1什麼是預測模型50
3.2.2預測模型的幾何理解53
3.2.3預測模型參數估計的基本策略56
3.3預測模型的評價59
3.3.1模型誤差的評價指標60
3.3.2模型的圖形化評價工具62
3.3.3泛化誤差的估計方法64
3.3.4數據集的劃分策略67
3.4預測模型的選擇問題69
3.4.1模型選擇的基本原則69
3.4.2模型過擬合69
3.4.3預測模型的偏差和方差71
3.5 Python建模實現73
3.5.1 ROC和PR曲線圖的實現74
3.5.2模型複雜度與誤差的模擬研究75
3.5.3數據集劃分和測試誤差估計的實現79
3.5.4模型過擬合以及偏差與方差的模擬研究82
3.6 Python實踐案例86
3.6.1實踐案例1：PM2.5濃度的回歸預測86
3.6.2實踐案例2：空氣污染的分類預測87
【本章總結】91
【本章相關函數】91
【本章習題】91

第4章數據預測建模：貝葉斯分類器93
4.1貝葉斯概率和貝葉斯法則93
4.1.1貝葉斯概率93
4.1.2貝葉斯法則94
4.2貝葉斯和朴素貝葉斯分類器94
4.2.1貝葉斯和朴素貝葉斯分類器的一般內容94
4.2.2貝葉斯分類器的先驗分佈96
4.3貝葉斯分類器的分類邊界99
4.4 Python建模實現100
4.4.1不同參數下的貝塔分佈101
4.4.2貝葉斯分類器和Logistic回歸分類邊界的對比101
4.5 Python實踐案例103
4.5.1實踐案例1：空氣污染的分類預測103
4.5.2實踐案例2：法律裁判文書中的案情要素分類105
【本章總結】110
【本章相關函數】111
【本章習題】111

第5章數據預測建模：近鄰分析112
5.1近鄰分析：K-近鄰法112
5.1.1距離：K-近鄰法的近鄰度量113
5.1.2參數K：1-近鄰法還是K-近鄰法114
5.1.3與朴素貝葉斯分類器和Logistic回歸模型的對比117
5.2基於觀測相似性的加權K-近鄰法117
5.2.1加權K-近鄰法的權重117
5.2.2加權K-近鄰法的預測119
5.2.3加權K-近鄰法的分類邊界119
5.3 K-近鄰法的適用性120
5.4 Python建模實現122
5.4.1不同參數K下的分類邊界122
5.4.2不同核函數的特點123
5.4.3不同加權方式和K下的分類邊界124
5.5 Python實踐案例125
5.5.1實踐案例1：空氣質量等級的預測125
5.5.2實踐案例2：國產電視劇的大眾評分預測127
【本章總結】129
【本章相關函數】129
【本章習題】130

第6章數據預測建模：決策樹131
6.1決策樹概述131
6.1.1什麼是決策樹131
6.1.2分類樹的分類邊界133
6.1.3回歸樹的回歸平面134
6.1.4決策樹的生長和剪枝135
6.2 CART的生長139
6.2.1 CART中分類樹的異質性度量139
6.2.2 CART中回歸樹的異質性度量140
6.3 CART的後剪枝141
6.3.1代價複雜度和最小代價複雜度141
6.3.2 CART的後剪枝過程142
6.4 Python建模實現143
6.4.1回歸樹的非線性回歸特點144
6.4.2樹深度對分類邊界的影響145
6.4.3基尼係數和熵的計算146
6.5 Python實踐案例147
6.5.1實踐案例1：空氣污染的預測建模147
6.5.2實踐案例2：醫療大數據應用—藥物適用性研究151
【本章總結】154
【本章相關函數】155
【本章習題】155

第7章數據預測建模：集成學習156
7.1集成學習概述157
7.1.1高方差問題的解決途徑157
7.1.2從弱模型到強模型的構建157
7.2基於重抽樣自舉法的集成學習158
7.2.1重抽樣自舉法158
7.2.2袋裝法158
7.2.3隨機森林161
7.3從弱模型到強模型的構建163
7.3.1提升法164
7.3.2 AdaBoost.M1算法165
7.3.3 SAMME算法和SAMME.R算法170
7.3.4回歸預測中的提升法172
7.4梯度提升樹174
7.4.1梯度提升算法174
7.4.2梯度提升回歸樹178
7.4.3梯度提升分類樹179
7.5 XGBoost算法181
7.5.1 XGBoost的目標函數181
7.5.2目標函數的近似表達182
7.5.3決策樹的求解183
7.6 Python建模實現185
7.6.1單棵決策樹、弱模型和提升法的預測對比186
7.6.2提升法中高權重樣本觀測的特點187
7.6.3 AdaBoost回歸預測中損失函數的選擇問題189
7.6.4梯度提升算法和AdaBoost的預測對比189
7.7 Python實踐案例191
7.7.1實踐案例1：PM2.5濃度的回歸預測191
7.7.2實踐案例2：空氣質量等級的分類預測195
【本章總結】197
【本章相關函數】197
【本章習題】198

第8章數據預測建模：人工神經網絡200
8.1人工神經網絡的基本概念201
8.1.1人工神經網絡的基本構成201
8.1.2人工神經網絡節點的功能202
8.2感知機網絡203
8.2.1感知機網絡中的節點203
8.2.2感知機節點中的加法器204
8.2.3感知機節點中的激活函數205
8.2.4感知機的權重訓練208
8.3多層感知機及BP反向傳播算法213
8.3.1多層網絡的結構213
8.3.2多層網絡的隱藏節點214
8.3.3 BP反向傳播算法216
8.3.4多層網絡的其他問題218
8.4 Python建模實現220
8.4.1不同激活函數的特點220
8.4.2隱藏節點的作用222
8.5 Python實踐案例223
8.5.1實踐案例1：手寫體郵政編碼的識別223
8.5.2實踐案例2：PM2. 5濃度的回歸預測225
【本章總結】227
【本章相關函數】227
【本章習題】227

第9章數據預測建模：支持向量機229
9.1支持向量分類概述229
9.1.1支持向量分類的基本思路229
9.1.2支持向量分類的幾種情況232
9.2完全線性可分下的支持向量分類233
9.2.1如何求解超平面233
9.2.2參數求解的拉格朗日乘子法235
9.2.3支持向量分類的預測238
9.3廣義線性可分下的支持向量分類238
9.3.1廣義線性可分下的超平面239
9.3.2廣義線性可分下的錯誤懲罰和目標函數240
9.3.3廣義線性可分下的超平面參數求解241
9.4線性不可分下的支持向量分類242
9.4.1線性不可分問題的一般解決方式242
9.4.2支持向量分類克服維災難的途徑244
9.5支持向量回歸247
9.5.1支持向量回歸的基本思路247
9.5.2支持向量回歸的目標函數和約束條件249
9.6 Python建模實現252
9.6.1支持向量機分類的意義252
9.6.2完全線性可分下的最大邊界超平面254
9.6.3不同懲罰參數C下的最大邊界超平面255
9.6.4非線性可分下的空間變化255
9.6.5不同懲罰參數C和核函數下的分類曲面257
9.6. 6不同懲罰參數C和?對支持向量回歸的影響257
9.7 Python實踐案例258
9.7.1實踐案例1：物聯網健康大數據應用——老年人危險體位預警259
9.7.2實踐案例2：汽車油耗的回歸預測263
【本章總結】266
【本章相關函數】266
【本章習題】266

第10章特徵選擇：過濾、包裹和嵌入策略267
10.1特徵選擇概述267
10.2過濾式策略下的特徵選擇268
10.2.1低方差過濾法269
10.2.2高相關過濾法中的方差分析270
10.2.3高相關過濾法中的卡方檢驗274
10.2.4其他高相關過濾法276
10.3包裹式策略下的特徵選擇278
10.3.1包裹式策略的基本思路278
10.3.2遞歸式特徵剔除法279
10.3.3基於交叉驗證的遞歸式特徵剔除法280
10.4嵌入式策略下的特徵選擇281
10.4.1嶺回歸和Lasso回歸281
10.4.2彈性網回歸285
10.5 Python建模實現288
10.5.1高相關過濾法中的F分佈和卡方分佈289
10.5.2不同L2範數率下彈性網回歸的約束條件特徵290
10.6 Python實踐案例290
10.6.1實踐案例1：手寫體郵政編碼數據的特徵選擇——基於過濾式策略291
10.6.2實踐案例2：手寫體郵政編碼數據的特徵選擇——基於包裹式策略293
10.6.3實踐案例3：手寫體郵政編碼數據的特徵選擇——基於嵌入式策略294
【本章總結】298
【本章相關函數】298
【本章習題】299

第11章特徵提取：空間變換策略300
11.1特徵提取概述300
11.2主成分分析301
11.2.1主成分分析的基本出發點302
11.2.2主成分分析的基本原理303
11.2.3確定主成分305
11.3矩陣的奇異值分解307
11.3.1奇異值分解的基本思路307
11.3.2基於奇異值分解的特徵提取308
11.4核主成分分析309
11.4.1核主成分分析的出發點309
11.4.2核主成分分析的基本原理311
11.4.3核主成分分析中的核函數312
11.5因子分析315
11.5.1因子分析的基本出發點315
11.5.2因子分析的基本原理316
11.5.3因子載荷矩陣的求解318
11.5.4因子得分的計算319
11.5.5因子分析的其他問題320
11.6 Python建模實現323
11.6.1主成分分析的空間變換323
11.6.2核主成分分析的空間變換324
11.6.3因子分析的計算過程