Python機器學習基礎

王魯昆，工學博士，博士後，碩士生導師，副教授，IEEE會員，高級項目管理師。目前就職於山東科技大學，兼任山東科技大學泰安校區電腦視覺與模式識別團隊負責人，山東科技大學智能裝備學院院長助理，山東科技大學三創中心主任。2008年碩士畢業後，在大連古野軟件有限公司，浪潮集團工作過5年時間，獲得信息系統項目管理師高級認證，系統集成項目管理師高級認證，軟件設計師中級認證， ITIL V3 Foundation高級認證。2016年博士畢業後，入職山東科技大學泰安校區。主要科研成果如下：發表論文16篇，其中SCI索引11篇，EI索引3篇，中文核心2篇。SCI論文中一區TOP期刊1篇，二區5篇，總影響因子37.627。主持山東省自然基金項目1項，山東省高等學校科技計劃項目1項，教育部協同育人項目3項，山東省重點實驗室項目1項，人才引進項目1項，泰安市科技計劃項目1項。申請並授權專利7項，申請並授權軟件著作權5項。

第 1章 概述 1

1.1　什麽是機器學習　1

1.2機器學習的算法　2

1.3　監督學習　2

1.4　無監督學習　3

1.5　數據集　4

1.6　機器學習項目的流程　6

1.7　小結　7

習題1　7

第　2章 Python入門　9

2.1　Python語言介紹　9

2.2　Python平臺搭建　9

2.3　Python的基本概念　11

2.3.1　數據類型　11

2.3.2　基本運算　14

2.3.3　控制語句　15

2.3.4　復雜數據類型　16

2.3.5　函數　18

2.4　Python庫的使用　18

2.5　小結　24

習題2　24

第3章　分類算法　25

3.1　K近鄰算法　25

3.1.1　算法介紹　25

3.1.2　算法應用　27

3.1.3　算法的優缺點　37

3.2　樸素貝葉斯算法　38

3.2.1　算法介紹　38

3.2.2　算法實現　39

3.2.3　算法的優缺點　43

3.3　邏輯回歸　44

3.3.1　算法介紹　44

3.3.2　算法實現　46

3.3.3　算法的優缺點　48

3.4　支持向量機　48

3.4.1算法介紹　48

3.4.2　算法實現　53

3.4.3　算法的優缺點　55

3.5決策樹　55

3.5.1算法介紹　55

3.5.2算法實現　58

3.5.3算法的優缺點　61

3.6隨機森林　62

3.6.1算法介紹　62

3.6.2算法實現　63

3.6.3　算法的優缺點　65

3.7　人工神經網絡　65

3.7.1　算法介紹　65

3.7.2　項目實現　68

3.7.3　算法的優缺點　71

3.8　分類器的不確定性　71

3.8.1　決策函數　72

3.8.2　預測函數　72

3.8.3　多分類的不確定性　73

3.9　小結　74

習題3　75

第4章　回歸算法　76

4.1　線性回歸　76

4.1.1　線性模型　76

4.1.2　線性回歸　78

4.1.3　多項式回歸　81

4.1.4　算法的優缺點　82

4.2　嶺回歸　83

4.2.1　算法介紹　83

4.2.2　算法實現　83

4.2.3　算法的優缺點　87

4.3　LASSO回歸　87

4.3.1　算法介紹　87

4.3.2　算法實現　88

4.3.3　算法的優缺點　91

4.4　支持向量回歸機　91

4.4.1算法介紹　91

4.4.2算法實現　93

4.4.3算法的優缺點　94

4.5　回歸樹　95

4.5.1　算法介紹　95

4.5.2　算法實現　96

4.5.3　算法優缺點　97

4.6　小結　98

習題4　98

第5章　聚類算法　99

5.1　K均值凝聚聚類　99

5.1.1　算法介紹　99

5.1.2　算法實現　100

5.1.3　算法的優缺點　103

5.2　層次聚類　103

5.2.1　算法介紹　103

5.2.2　算法實現　104

5.2.3　算法的優缺點　107

5.3　DBSCAN算法　108

5.3.1　算法介紹　108

5.3.2　算法實現　108

5.3.3　算法的優缺點　111

5.4　Mean Shift　111

5.4.1　算法介紹　111

5.4.2　算法實現　112

5.4.3　算法的優缺點　114

5.5　Label Propagation　114

5.5.1　算法介紹　115

5.5.2　算法實現　115

5.5.3　算法優缺點　116

5.6　小結　116

習題5　117

第6章　數據預處理　118

6.1　數據清洗　118

6.1.1　缺失值處理　118

6.1.2　異常值處理　126

6.2　數據變換　130

6.2.1　無量綱化　130

6.2.2　離散化　131

6.2.3　對類別特徵編碼　133

6.2.4　多項式特徵　137

6.3　數據規約　142

6.4小結　143

習題6　143

第7章　特徵工程　144

7.1　特徵提取　144

7.1.1　字典特徵提取　144

7.1.2　文本特徵提取　145

7.1.3　圖像特徵提取　151

7.2特徵選擇　154

7.2.1　Filter　154

7.2.2　Wrapper　157

7.2.3　Embedded　158

7.3　降維　159

7.4　小結　164

習題7　164

第8章　模型評估及改進　165

8.1　交叉驗證　165

8.1.1　K折交叉驗證　165

8.1.2　分層K折交叉檢驗　166

8.1.3　留一交叉驗證和打亂劃分交叉驗證　168

8.2　網格搜索　169

8.3　評估指標　177

8.3.1　分類評估指標　178

8.3.2　回歸評估指標　189

8.4　小結　191

習題8　191

第9章　綜合實戰　192

9.1　管道模型　192

9.2　文本數據處理　197

9.2.1　擴展與深化——不同種方式的文本數據處理　197

9.2.2　文本數據的優化處理　203

9.3　泰坦尼克號數據分析　208

9.4　小結　217

習題9　217

參考文獻　219