Python機器學習實踐

目    錄

第1章  機器學習基礎 1

1.1  機器學習概述 1

1.1.1  什麽是機器學習 1

1.1.2  機器學習發展史 3

1.1.3  機器學習、人工智能、深度學習的關系 5

1.2  機器學習相關概念 6

1.3  機器學習的任務 8

1.3.1  監督學習 8

1.3.2  無監督學習 8

1.3.3  半監督學習 9

1.4  機器學習的一般步驟 9

1.5  機器學習Python基礎 10

1.5.1  Python開發環境 10

1.5.2  Python基本語法 11

1.5.3  Python列表、元組、字典、集合 13

1.6  本章小結 18

1.7  習題 18

第2章  k近鄰算法 19

2.1  k近鄰算法原理 19

2.1.1  非參數估計與參數估計 20

2.1.2  非參數估計的一般推導 22

2.2  基於k近鄰算法的實現 23

2.2.1  利用直方圖估計概率密度、分類 23

2.2.2  利用Parzen矩形窗估計概率密度、分類 28

2.2.3  利用Parzen正態核估計概率密度、分類 29

2.3  k近鄰算法應用─鳶尾花的分類 31

2.4  本章小結 35

2.5  習題 35

第3章  貝葉斯分類器 37

3.1  貝葉斯定理相關概念 37

3.1.1  先驗概率、條件概率、後驗概率與類條件概率 37

3.1.2  貝葉斯決策理論 38

3.1.3  極大似然估計 39

3.2  樸素貝葉斯分類器 42

3.2.1  手工設計貝葉斯分類器 43

3.2.2  貝葉斯分類器的實現 44

3.2.3  平滑方法 46

3.3  樸素貝葉斯分類算法實現─三文魚和鱸魚的分類 48

3.3.1  算法實現 48

3.3.2  調用系統函數實現 55

3.4  正態貝葉斯分類器 56

3.5  本章小結 57

3.6  習題 57

第4章  聚類 59

4.1  聚類算法簡介 59

4.1.1  聚類算法分類 59

4.1.2  距離度量方法 60

4.2  K-means聚類 62

4.3  基於密度的聚類─DBSCAN聚類 68

4.3.1  DBSCAN算法原理及相關概念 68

4.3.2  DBSCAN聚類算法 69

4.4  基於層次的聚類─AGNES聚類 72

4.4.1  AGNES聚類算法思想 72

4.4.2  AGNES算法實現 74

4.5  聚類應用舉例 76

4.6  各種聚類算法的比較 79

4.7  本章小結 80

4.8  習題 80

第5章  EM算法 82

5.1  EM算法原理及推導過程 82

5.1.1  EM算法思想 82

5.1.2  EM算法推導過程 83

5.2  高斯混合聚類 85

5.2.1  概率密度函數 85

5.2.2  高斯混合聚類算法推導過程 86

5.2.3  高斯混合聚類算法思想 87

5.2.4  高斯混合聚類應用舉例 88

5.3  服從0-1二項分佈的EM算法 92

5.3.1  服從0-1二項分佈的EM算法思想 93

5.3.2  服從0-1二項分佈的EM算法過程模擬 94

5.3.3  服從0-1二項分佈的EM算法實現 96

5.4  本章小結 98

5.5  習題 98

第6章  支持向量機 100

6.1  SVM簡介 100

6.1.1  線性可分與感知機 101

6.1.2  間隔最大化及線性SVM 104

6.2  線性SVM算法實現 108

6.3  非線性SVM與核函數 111

6.3.1  線性不可分 111

6.3.2  對偶問題與核函數 111

6.3.3  非線性SVM算法實現 115

6.4  SVM回歸 118

6.5  SVM算法實現─鳶尾花的分類 120

6.5.1  sklearn中的SVC參數介紹 120

6.5.2  使用SVC對鳶尾花數據進行分類 121

6.6  本章小結 124

6.7  習題 125

第7章  決策樹 126

7.1  決策樹構造基本原理 126

7.2  決策樹構造過程 127

7.3  決策樹學習算法思想及實現 131

7.4  決策樹算法實現─泰坦尼克號幸存者預測 133

7.5  本章小結 139

7.6  習題 139

第8章  線性回歸 141

8.1  回歸分析概述 141

8.2  單變量線性回歸 142

8.2.1  梯度下降法求解線性回歸原理與實現 142

8.2.2  牛頓法求解線性回歸原理與實現 146

8.3  多變量回歸分析 150

8.3.1  多變量回歸分析原理 150

8.3.2  多變量線性回歸算法實現 151

8.4  多項式回歸分析 155

8.5  本章小結 157

8.6  習題 157

第9章  邏輯回歸 160

9.1  sigmoid函數與邏輯回歸模型 160

9.2  梯度下降與推導過程 161

9.3  參數學習向量化 163

9.4  邏輯回歸的Python實現─乳腺良性與惡性腫瘤的預測 164

9.5  評估方法 169

9.6  本章小結 173

9.7  習題 174

第10章  人工神經網絡 175

10.1  從感知機到多層感知機 175

10.2  神經網絡模型 178

10.3  BP神經網絡算法思想及實現 180

10.3.1  BP神經算法模型參數學習過程 180

10.3.2  BP神經網絡算法實現 183

10.4  BP神經網絡算法實現─鳶尾花分類 186

10.5  本章小結 193

10.6  習題 193

第11章  綜合案例分析：垃圾郵件分類 194

11.1  文本預處理 194

11.1.1  中文分詞 194

11.1.2  文本向量化 202

11.2  中文垃圾郵件分類算法及實現 204

11.3  本章小結 208

11.4  習題 209

第12章  綜合案例分析：手寫數字識別 210

12.1  圖像的存儲表示 210

12.2  數據預處理 213

12.2.1  將圖像轉換為文本 213

12.2.2  將矩陣轉換為向量 215

12.3  基於kNN的手寫數字識別 215

12.3.1  劃分訓練集和測試集 215

12.3.2  kNN分類模型 216

12.3.3  kNN分類模型評估 216

12.4  基於神經網絡的手寫數字識別 218

12.4.1  定義神經網絡模型 218

12.4.2  主函數 219

12.5  本章小結 220

12.6  習題 221

第13章  綜合案例分析：零售商品銷售額分析與預測 222

13.1  問題描述與分析 222

13.2  數據探索與預處理 223

13.2.1  數據探索 223

13.2.2  屬性特徵的數值化 227

13.2.3  缺失值處理 228

13.3  特徵選擇 231

13.4  建立回歸模型 232

13.4.1  線性回歸模型 232

13.4.2  嶺回歸模型 233

13.4.3  Lasso回歸模型 235

13.4.4  多項式回歸模型 236

13.4.5  隨機森林回歸模型 237

13.5  超參數選擇 239

13.6  本章小結 240

13.7  習題 241

第14章  綜合案例分析：基於協同過濾的推薦系統 242

14.1  推薦系統簡介 242

14.1.1  信息檢索與推薦系統 242

14.1.2  推薦系統的前世今生 243

14.1.3  推薦系統的原理與分類 244

14.1.4  推薦系統的評估方法 245

14.2  基於最近鄰的協同過濾推薦算法原理與實現 247

14.2.1  基於近鄰用戶的協同過濾推薦 247

14.2.2  基於近鄰項目的協同過濾推薦 255

14.3  基於隱語義分析的推薦模型 260

14.4  基於標簽的推薦算法 266

14.5  本章小結 266

14.6  習題 267

參考文獻 268