Python 機器學習入門與實戰

桑园 副教授、高级工程师，郑州西亚斯学院骨干教师，计算机科学系主任。主要开设课程：Python程序设计、Java?Web框架开发技术、数据库原理、机器学习等。主要研究方向：机器学习算法研究。先后发表论文10余篇，出版教材专著4部，主持省部级教科研项目4项，作为主要完成人参与教学质量工程2项。

第Ⅰ篇 機器學習入門篇

第　1 章 機器學習入門之機器學習基礎

1.1　做第 一個吃螃蟹的人-理解機器學習　003

1.2　機器學習研究的主要任務　005

1.2.1　監督學習　005

1.2.2　非監督學習　006

1.3　如何選擇合適的算法　007

1.4　機器學習研究問題的一般步驟　007

1.5　小結　008

第Ⅱ篇　工具模塊使用篇

第　2 章 機器學習模塊之數組計算NumPy

2.1　從“人機大戰”談NumPy模塊的妙用　011

2.2　NumPy模塊的數組對象　015

2.2.1　創建數組對象　015

2.2.2　數組對象類型的說明　019

2.2.3　隨機數生成數組　020

2.3　NumPy模塊中數組的廣播　022

2.3.1　數組廣播的原則　023

2.3.2　數組廣播的妙用　025

2.4　NumPy模塊中數組的操作　026

2.4.1　基本的索引　027

2.4.2　切片的索引　029

2.4.3　布爾型索引　030

2.4.4　數組的轉置和軸變換　032

2.4.5　元素的重復操作：repeat()和tile()　036

2.5　通用方法：快速的元素級數組方法　037

2.6　利用數組進行運算　039

2.6.1　用數學方法進行統計　039

2.6.2　數組中布爾值的統計　042

2.6.3　將條件邏輯表述為數組運算　043

2.6.4　數組的合並和拆分　045

2.6.5　數組的排序　046

2.6.6　數組的集合運算　047

2.7　數組文件的輸入和輸出　048

2.7.1　將數組以二進制的形式讀取文件　048

2.7.2　存取文本文件　050

2.8　小結　050

第　3 章 機器學習模塊之數據分析Pandas

3.1　Pandas數據結構的介紹　052

3.1.1　Series數據結構　052

3.1.2　Series數據類型的運算　054

3.1.3　DataFrame數據結構　055

3.1.4　DataFrame數據的修改　059

3.1.5　DataFrame中的索引對象　062

3.1.6　層次化索引　063

3.2　Pandas數據結構中的基本數據操作　066

3.2.1　重新索引　066

3.2.2　刪除指定軸上的項　070

3.2.3　算術運算和數據對齊　071

3.3　數據處理　073

3.3.1　判斷缺失數據　073

3.3.2　刪除缺失數據　075

3.3.3　填充缺失數據　077

3.3.4　移除重復數據　079

3.3.5　替換數據　081

3.3.6　排列和隨機採樣　082

3.4　方法的應用與映射　083

3.4.1　排序和排名　084

3.4.2　帶有重復值的軸索引　087

3.4.3　匯總和計算描述統計　088

3.4.4　相關系數和協方差　092

3.5　數據的讀取和存儲　093

3.5.1　讀取文本文件格式的數據　093

3.5.2　將數據寫出到文本格式　095

3.6　字符串操作　095

3.7　合並數據集　097

3.7.1　數據庫風格的DataFrame合並　097

3.7.2　索引上的合並　100

3.7.3　軸向的連接　101

3.7.4　分組合並統計　103

3.7.5　透視表　105

3.8　小結　106

第　4 章 機器學習模塊之圖形展示Matplotlib

4.1　Matplotlib繪圖入門　108

4.1.1　Figure 和subplot　108

4.1.2　顏色、標記和線型　110

4.1.3　坐標軸標記　114

4.1.4　添加圖例　116

4.1.5　註解　117

4.1.6　將圖表保存到文件　118

4.2　Matplotlib的繪圖方法　119

4.2.1　線型圖　119

4.2.2　餅圖　120

4.2.3　直方圖　121

4.2.4　條形圖　122

4.2.5　散點圖　123

4.3　小結　124

第Ⅲ篇　專業技能提升篇

第　5 章 機器學習算法之算法綜述

5.1　從算法巧斷小說懸疑情節　127

5.2　KNN算法概述　128

5.2.1　使用KNN算法分析生活日常事件　128

5.2.2　KNN算法的數據準備：使用Python導入數據　131

5.2.3　如何測試分類器　133

5.3　KNN實戰示例：對美顏程度打分　134

5.3.1　準備數據：從圖像和美顏等級表格中解析數據　135

5.3.2　分析數據：使用Matplotlib創建散點圖　136

5.3.3　測試算法：作為完整程序驗證分類器　137

5.4　KNN實戰示例：手寫字識別系統　139

5.4.1　準備數據：將圖像轉換為測試向量　140

5.4.2　測試算法：使用KNN算法識別手寫數字　141

5.5　KNN算法面試題解答　142

5.6　KNN算法自測題　142

5.7　小結.142

第　6 章 機器學習算法之決策樹

6.1　巧斷推理案引入決策樹的妙用　144

6.2　決策樹算法概述　145

6.2.1　決策樹的構造　146

6.2.2　決策樹的信息熵　147

6.2.3　決策樹的信息增益　148

6.2.4　主播帶貨能力分析闡釋熵及信息增益計算　149

6.3　決策樹創建實戰示例：公司老闆發紅包　153

6.3.1　公司老闆發紅包案例說明　153

6.3.2　熵值的計算算法實現　155

6.3.3　劃分數據集算法實現　156

6.3.4　遞歸創建決策樹　157

6.4　決策樹畫法實戰示例：公司老闆發紅包　160

6.4.1　註解的使用　160

6.4.2　構造註解樹　162

6.5　決策樹測試存儲實戰示例：公司老闆發紅包　167

6.5.1　決策樹測試算法　168

6.5.2　決策樹的存儲　168

6.6　決策樹預測實戰示例：預測海選歌手是否入圍　169

6.6.1　海選歌手入圍流程　169

6.6.2　準備數據、分析數據　170

6.7　決策樹的剪枝　171

6.7.1　剪枝的概念　171

6.7.2　預剪枝　172

6.7.3　後剪枝　173

6.8　決策樹面試題解答　173

6.9　決策樹自測題　174

6.10　小結　174

第　7 章 機器學習算法之樸素貝葉斯

7.1　解決逃命問題引入樸素貝葉斯　176

7.2　對貝葉斯決策的理解　176

7.2.1　條件概率解釋案例：公司團建　177

7.2.2　使用條件概率進行分類　178

7.2.3　基於貝葉斯決策理論對分類方法的認識　179

7.3　使用樸素貝葉斯進行商品的情感分析　181

7.3.1　使用樸素貝葉斯進行商品的情感分析概述　181

7.3.2　讀取商品評論並切分成文本　182

7.3.3　構建詞向量　186

7.3.4　用詞向量計算概率　186

7.3.5　對算法的改進　188

7.3.6　利用概率值進行分類　189

7.3.7　測試算法　190

7.4　實戰示例：金庸和古龍小說風格判別　191

7.4.1　收集數據　193

7.4.2　準備數據　194

7.4.3　分析數據　194

7.4.4　測試算法　197

7.5　樸素貝葉斯面試題解答　198

7.6　樸素貝葉斯自測題　200

7.7　小結　200

第　8 章 機器學習算法之邏輯回歸

8.1　巧析力道學引入邏輯回歸　202

8.2　邏輯回歸概述　202

8.2.1　邏輯回歸的sigmoid函數　202

8.2.2　基於最優化方法的最佳回歸系數確定　204

8.2.3　梯度上升算法　205

8.3　邏輯回歸實戰示例：鳶尾花分類實現回歸　209

8.3.1　鳶尾花分類數據集的準備處理　209

8.3.2　鳶尾花分類邏輯回歸sigmoid函數的實現　210

8.3.3　鳶尾花分類邏輯回歸梯度上升函數的實現　210

8.3.4　鳶尾花分類邏輯回歸畫出決策邊界　211

8.3.5　鳶尾花分類邏輯回歸梯度上升算法的改進　213

8.4　邏輯回歸實戰示例：商鋪扣點方式　215

8.4.1　商鋪扣點方式的數據讀取和處理　215

8.4.2　商鋪扣點方式的邏輯回歸分類實現　216

8.4.3　商鋪扣點方式的邏輯回歸分類算法的測試　216

8.5　邏輯回歸算法面試題解答　218

8.6　邏輯回歸算法自測題　218

8.7　小結　218

第　9 章 機器學習算法之支持向量機

9.1　巧分落花引入支持向量機　220

9.2　SVM算法概念　220

9.2.1　線性可分　220

9.2.2　超平面　222

9.2.3　SVM　222

9.3　SVM算法實戰示例:電視台黃金時段節目滿意度　225

9.3.1　電視台黃金時段節目滿意度數據的讀取　225

9.3.2　選取兩個不同Alpha值的輔助函數　226

9.3.3　Alpha值不允許超過邊界範圍的輔助函數　226

9.3.4　SMO算法原理的實現　227

9.3.5　計算不同的回歸系數　230

9.3.6　SVM分界線的繪制　230

9.4　SVM算法面試題解答　231

9.5　SVM算法自測題　232

9.6　小結　232

第　10章 機器學習算法之AdaBoost

10.1　巧析北鬥陣法引入AdaBoost　234

10.2　AdaBoost算法概述　234

10.2.1　AdaBoost算法的具體思想　234

10.2.2　AdaBoost的弱分類器是單層決策樹　235

10.2.3　AdaBoost的數據權重　237

10.2.4　AdaBoost的投票表決　237

10.2.5　AdaBoost強分類過程　238

10.3　AdaBoost算法實現　245

10.3.1　決策樹數據根據閾值進行分類算法的實現　246

10.3.2　單層決策樹算法的實現　246

10.3.3　AdaBoost算法的實現　247

10.4　AdaBoost算法實戰示例：商品購買預測　249

10.4.1　商品購買預測的數據讀取實現　249

10.4.2　商品購買預測的測試函數實現　250

10.4.3　商品購買預測的程序整合　251

10.5　AdaBoost算法面試題解答　252

10.6　AdaBoost算法自測題　252

10.7　小結　252

第　11章 機器學習算法之線性回歸

11.1　解決論劍問題引入線性回歸　254

11.2　線性回歸算法概述　254

11.2.1　線性回歸模型　255

11.2.2　線性回歸的最小二乘法　256

11.3　線性回歸實戰示例：釣魚久坐與魚重量關系　258

11.3.1　釣魚久坐與魚重量關系研究的數據讀取　258

11.3.2　釣魚久坐與魚重量關系研究的最佳擬合直線　258

11.3.3　釣魚久坐與魚重量關系研究的最佳擬合直線的繪制　259

11.4　線性回歸中的過擬合和欠擬合　260

11.4.1　線性回歸中的過擬合　260

11.4.2　線性回歸中的欠擬合　261

11.5　局部加權線性回歸　261

11.5.1　局部加權線性回歸的解釋　261

11.5.2　局部加權線性回歸的代碼實現　262

11.5.3　局部加權線性回歸的測試　263

11.6　線性回歸實戰示例：結合年齡和BMI擬合減肥花銷　263

11.6.1　結合年齡和BMI擬合減肥花銷的數據讀取　263

11.6.2　結合年齡和BMI擬合減肥花銷直線的函數實現　264

11.7　線性回歸提高：嶺回歸和套索回歸　265

11.7.1　嶺回歸　265

11.7.2　套索回歸　267

11.8　嶺回歸實戰示例：分析抖音視頻點擊率和收藏　267

11.8.1　嶺回歸分析抖音視頻點擊率和收藏的數據讀取　267

11.8.2　嶺回歸算法邏輯的實現　268

11.8.3　嶺回歸算法系數的測試　268

11.8.4　不同λ值的嶺回歸算法的最佳擬合直線　269

11.9　線性回歸算法面試題解答　270

11.10　線性回歸算法自測題　270

11.11　小結　270

第　12章 機器學習算法之k-means

12.1　“巧施反間計”引入k-means聚類　272

12.2　k-means算法概述　272

12.3　k-means幼兒園親子活動　277

12.3.1　收集數據　278

12.3.2　準備數據　278

12.3.3　分析數據　278

12.3.4　實現算法　278

12.3.5　畫出k-means算法的結果圖　280

12.4　圖像分割技術實現聚類　282

12.4.1　準備數據　282

12.4.2　距離計算　283

12.4.3　第 一次隨機質心的計算　283

12.4.4　k-means算法的改進　284

12.4.5　k-means圖像分割的顯示　285

12.5　圖像分割算法的改進　286

12.5.1　k-means圖像分割的顯示　286

12.5.2　像素距離的改進　286

12.5.3　第 一次隨機質心的計算　286

12.5.4　k-means算法的改進　287

12.5.5　k-means圖像分割的顯示　287

12.6　k-means算法面試題解答　288

12.7　k-means算法自測題　289

12.8　小結　289

第　13章 機器學習算法之PCA

13.1　巧拼十八掌法引入PCA聚類　291

13.2　聚類的概念和分類　291

13.2.1　聚類的概念　291

13.2.2　分層凝聚聚類方法　292

13.2.3　PCA聚類方法　292

13.3　PCA聚類方法的求解步驟　295

13.3.1　協方差矩陣　296

13.3.2　奇異值求解296

13.4　PCA實戰示例：使用PCA實現菜品製作調料配比　298

13.4.1　準備數據：菜品製作調料配比表數據的讀取　299

13.4.2　PCA算法：菜品製作調料配比表PCA降維　300

13.4.3　表徵數據：菜品製作調料配比降維結果圖示　300

13.5　PCA實戰示例：使用PCA分析圖像壓縮技術　301

13.5.1　圖像讀取：Pillow模塊讀取圖像　302

13.5.2　圖像壓縮：PCA算法實現圖像壓縮　302

13.5.3　錯誤率計算：圖像壓縮錯誤率的計算　304

13.6　PCA算法面試題解答　304

13.7　PCA算法自測題　305

13.8　小結　305

第Ⅳ篇　深度學習延伸篇

第　14章 深度學習延伸之捲積神經網絡

14.1　認識神經網絡　308

14.1.1　神經元　308

14.1.2　激活函數　310

14.2　認識捲積神經網絡　312

14.2.1　捲積層　313

14.2.2　一維捲積過程　316

14.2.3　捲積神經網絡輸入層前向傳播到捲積層　322

14.2.4　池化層　323

14.2.5　全連接層　324

14.3　Keras框架實現捲積神經網絡　324

14.3.1　Keras模塊介紹　324

14.3.2　Keras框架的安裝　325

14.3.3　Keras框架數據集的準備　325

14.3.4　Keras實現CNN捲積神經網絡　326

14.4　小結　333

第Ⅴ篇　項目技能實戰篇

第　15章 機器學習實戰之驗證碼識別

15.1　驗證碼識別　336

15.2　圖像處理的灰度化、二值化　337

15.2.1　像素點　337

15.2.2　圖像灰度化　340

15.2.3　圖像二值化　342

15.3　圖像分割　343

15.3.1　按區域劃分的圖像分割技術　343

15.3.2　按邊緣劃分的圖像分割技術　345

15.3.3　圖像分割技術的進階　347

15.4　KNN算法測試驗證碼　351

15.4.1　Sklearn包的介紹　351

15.4.2　KNN算法測試驗證碼　352

15.5　小結　354

第　16章 機器學習實戰之答題卡識別

16.1　答題卡識別　356

16.2　OpenCV　356

16.2.1　OpenCV介紹　356

16.2.2　安裝和使用OpenCV　357

16.2.3　OpenCV存取圖像　357

16.2.4　OpenCV圖像灰度化　359

16.2.5　OpenCV圖像二值化　360

16.2.6　OpenCV邊緣檢測　367

16.3　OpenCV形態學中腐蝕與膨脹　376

16.3.1　形態學中的膨脹　377

16.3.2　形態學中的腐蝕　381

16.3.3　腐蝕和膨脹的應用　385

16.4　OpenCV輪廓findContours和drawContours　386

16.5　OpenCV霍夫直線檢測　388

16.6　答題卡識別　391

16.7　小結　396

第　17章 簡歷分享就業之機器學習簡歷指導

17.1　機器學習簡歷中應提及的技能　398

17.2　機器學習簡歷中項目的描述　398

17.3　機器學習簡歷分享　398

17.4　小結　400