Python機器學習

2010.7–2013.11 閩江學院數學系 講師
2013.12–2018.07 閩江學院數學系 副教授
2018.8至今 閩江學院數學與數據科學學院 教授
2019至今 福建農林大學 外聘碩士生導師

1章了解機器學習 001
1.1機器學習的基本術語 001
1.1.1大數據相關概念 001
1.1.2機器學習的發展歷程概述 003
1.1.3機器學習的應用現狀 003
1.2機器學習的基本流程 004
1.3機器學習的發展現狀 006
1.4機器學習的環境搭建 008
1.4.1 Anaconda  008
1.4.2 PyCharm  014
1.4.3漢諾塔案例 018
1.4.4機器學習常用package的安裝與介紹 020

2章線性回歸 023
2.1線性回歸與邏輯回歸 023
2.1.1線性回歸模型 023
2.1.2優化方法 024
2.1.3損失函數 024
2.1.4損失函數的優化 025
2.1.5過擬合和欠擬合 027
2.1.6利用正則化解決過擬合問題 028
2.1.7邏輯回歸 028
2.1.8邏輯回歸的損失函數 029
2.1.9邏輯回歸實現多分類 031
2.1.10邏輯回歸與線性回歸的比較 031
2.2決策樹 032
2.2.1決策樹的建立 032
2.2.2剪枝 037
2.2.3 CART剪枝 038
2.3貝葉斯分類器 038
2.3.1貝葉斯優分類器 039
2.3.2極大似然估計 040
2.3.3樸素貝葉斯分類器 040
2.4支持向量機 041
2.4.1支持向量機的原理 041
2.4.2線性可分支持向量機 042
2.4.3非線性支持向量機和核函數 044
2.4.4線性支持向量機與鬆弛變量 045
2.5案例 046
2.5.1線性回歸案例 046
2.5.2邏輯回歸案例 050
2.5.3決策樹分類案例 055
2.5.4支持向量機分類案例 060

3章模型評估與選擇 067
3.1經驗誤差和過擬合 067
3.1.1從統計學的角度介紹模型的概念 067
3.1.2關於誤差的說法 068
3.1.3統計學中的過擬合 069
3.1.4機器學習中的過擬合與欠擬合 070
3.2模型驗證策略 072
3.2.1留出法 072
3.2.2交驗證法 075
3.3模型的性能度量 079
3.3.1基本概念 079
3.3.2性能度量 080
3.3.3回歸性能度量指標 081
3.3.4回歸問題的評估方法 085

4章特徵提取與降維 089
4.1特徵提取方法——過濾法 089
4.1.1過濾法的原理及特點 089
4.1.2過濾法的基本類型 090
4.1.3過濾法的具體方法 090
4.2特徵提取方法——封裝法 094
4.2.1封裝法的思想 094
4.2.2封裝法的代表方法 094
4.3特徵提取方法——嵌入法 095
4.3.1嵌入法的思想 095
4.3.2嵌入法的代表方法 095
4.4 K-近鄰學習 095
4.4.1 K-近鄰學習簡介 095
4.4.2 KNN模型 096
4.4.3 KNN模型舉例 097
4.4.4 KNN模型的特點 098
4.5主成分分析 098
4.5.1主成分分析的定義 098
4.5.2主成分分析原理 099
4.6 K-近鄰學習案例 101
4.6.1實驗步驟 101
4.6.2實驗結果 104
4.7主成分分析案例（PCA降維） 106
4.7.1實驗步驟 106
4.7.2實驗結果 107
4.7.3 PCA參數介紹 108

5章無監督學習 110
5.1 K-means聚類模型原理 110
5.1.1無監督學習 110
5.1.2聚類簡介 111
5.1.3 K-means聚類模型原理 112
5.2基於層次的分 115
5.2.1層次聚類簡介 115
5.2.2層次聚類的原理 117
5.3基於密度的分 122
5.3.1 DBSCAN算法介紹 122
5.3.2 DBSCAN算法評價 124
5.4聚類模型性能度量 127
5.4.1聚類結果好壞的評估指標 127
5.4.2距離度量 129
5.5案例分析 130
5.5.1二分K-means聚類案例 130
5.5.2基於DBSCAN和AGNES算法的聚類 134

6章關聯規則及推薦算法 139
6.1關聯規則 139
6.1.1關聯規則簡介 139
6.1.2關聯規則相關術語 140
6.1.3關聯規則算法 142
6.2 Apriori算法簡介 143
6.3基於內容的過濾和協同過濾 145
6.3.1基於內容的過濾 145
6.3.2基於協同過濾的推薦 146
6.3.3基於用戶的協同過濾 147
6.3.4推薦算法的條件 147
6.4基於項目的協同過濾 150
6.4.1協同過濾簡介 150
6.4.2協同過濾算法的主要步驟 151
6.4.3應用場景 153
6.4.4基於人口統計學的推薦機制 154
6.5案例分析 155
6.5.1 Apriori算法的實驗步驟 155
6.5.2基於用戶的協同過濾算法的實驗步驟 158
6.5.3基於項目的推薦算法的實驗步驟 164

7章啟發式學習 167
7.1啟發式學習的介紹 167
7.1.1搜索算法 167
7.1.2預測建模算法 168
7.2爬山算法 168
7.2.1爬山算法的描述 168
7.2.2爬山算法優缺點的分析 169
7.3遺傳算法 169
7.3.1遺傳算法概述 169
7.3.2遺傳算法的過程 170
7.3.3遺傳算法實例 170
7.4模擬火 176
7.4.1模擬火算法簡介 176
7.4.2模擬火參數控制 177
7.4.3模擬火算法的步驟 178
7.5粒子算法 179
7.5.1粒子算法簡介 179
7.5.2粒子算法的流程 179
7.6案例分析 181
7.6.1粒子算法案例 181
7.6.2爬山算法案例 185
7.6.3遺傳算法案例 187
7.6.4火算法案例 191

8章集成學習 194
8.1集成學習的基本術語 194
8.1.1集成學習的相關概念 194
8.1.2集成學習的分類 195
8.2 Boosting算法 196
8.3 AdaBoost算法 197
8.4 Bagging算法 199
8.5隨機森林 200
8.6結合策略 201
8.7集成學習案例 203
8.7.1隨機森林案例 203
8.7.2 AdaBoost案例 208

9章強化學習 214
9.1強化學習概述 214
9.1.1強化學習的定義 214
9.1.2強化學習的特點 215
9.2 K-搖臂賭博機模型 216
9.2.1 K-搖臂賭博機簡介 216
9.2.2 ?-貪心算法 217
9.2.3 Softma算法 218
9.3策略迭代原理 218
9.3.1馬爾可夫決策過程 218
9.3.2價值函數 219
9.3.3策略迭代法 220
9.4蒙特卡羅強化學習 221
9.4.1蒙特卡羅方法的基本思想 221
9.4.2強化學習中的蒙特卡羅方法 222
9.4.3蒙特卡羅策略估計 222
9.5時序差分學習 223
9.5.1 TD(1)算法 224
9.5.2 TD(?)、TD(0)算法 225
9.6 Q-Learning算法案例實戰 226
9.7基於Sarsa的寶藏探索 229

10章人工神經網絡 238
10.1人工神經元模型 238
10.1.1人腦生物神經元概述 238
10.1.2人工神經元模型概述 239
10.1.3常見的激活函數 240
10.2多層感知器 241
10.2.1單層感知器簡述 241
10.2.2多層感知器 242
10.2.3多層感知器的功能 243
10.3誤差反向傳播算法原理 244
10.3.1預定義 244
10.3.2各層信號之間的數學關係 244
10.3.3誤差反向傳播算法 245
10.3.4誤差反向傳播算法的改進 245
10.4遞歸神經網絡 246
10.4.1遞歸神經網絡簡介 246
10.4.2 RNN的原理 247
10.5卷積神經網絡 249
10.5.1卷積神經網絡（CNN）概述 249
10.5.2 CNN的基本組成結構 249
10.5.3卷積神經網絡的特點 251
10.6 CNN實例 252
10.6.1前期準備 252
10.6.2數據預處理 253
10.6.3網絡搭建 254
10.6.4模型訓練 256
10.7 RNN實例 258
10.7.1前期準備 258
10.7.2創建RNN模型 259