機器學習算法框架實戰(Java和Python實現)

麥嘉銘

前阿里巴巴高級開發工程師，現BIGO公司大數據高級開發工程師。
曾先後於中國科學院、新加坡先進數字科學中心訪學交流，
發表過多篇國際SCI期刊論文，擁有豐富的算法及工程方面的項目開發經驗。

目錄
前言
第1篇緒論
第1章背景2
1.1機器學習的概念2
1.2機器學習所解決的問題3
1.2.1有監督學習問題3
1.2.2無監督學習4
1.3如何選擇機器學習算法5
1.4習題5

第2章機器學習算法框架概要7
2.1算法框架的分層模型7
2.2分層模型中各層級的職責8
2.3開始搭建框架的準備工作8
2.3.1使用Java開發的準備工作8
2.3.2使用Python開發的準備工作13

第2篇代數矩陣運算層
第3章矩陣運算庫20
3.1矩陣運算庫概述20
3.2矩陣基本運算的實現20
3.2.1矩陣的數據結構20
3.2.2矩陣的加法和減法22
3.2. 3矩陣的乘法和點乘24
3.2.4矩陣的轉置26
3.3矩陣的其他操作27
3.2.1生成單位矩陣27
3.3.2矩陣的複制28
3.3.3矩陣的合併29
3.4習題32

第4章矩陣相關函數的實現33
4.1常用函數33
4.1.1協方差函數33
4.1.2均值函數34
4.1.3歸一化函數36
4.1.4最大值函數38
4.1.5最小值函數40
4.2行列式函數41
4.3矩陣求逆函數43
4.4矩陣特徵值和特徵向量函數44
4.5矩陣正交化函數45
4.5.1向量單位化45
4.5.2矩陣正交化47
4.6習題49

第3篇最優化方法層
第5章最速下降優化器52
5.1最速下降優化方法概述52
5.1.1模型參數優化的目標52
5.1.2最速下降優化方法53
5.2最速下降優化器的實現54
5.2.1參數優化器的接口設計54
5.2.2最速下降優化器的具體實現57
5.3一個目標函數的優化例子62
5.3.1單元測試示例：偏導數的計算62
5.3.2單元測試示例：目標函數的參數優化64
5.4習題66

第6章遺傳算法優化器67
6.1遺傳算法概述67
6.1.1遺傳算法的目標67
6.1.2遺傳算法的基本過程68
6.2遺傳算法優化器的實現71
6.2.1遺傳算法優化器主體流程的實現71
6.2.2遺傳算法優化器各算子的實現74
6.3一個目標函數的優化例子82
6.4習題85

第4篇算法模型層
第7章分類和回歸模型88
7.1分類和回歸模型概述88
7.2基礎回歸模型89
7.2.1線性回歸模型89
7.2.2對數回歸模型92
7.2.3指數回歸模型94
7.2.4冪函數回歸模型97
7.2.5多項式回歸模型100
7.3分類回歸分析的例子102
7.3.1示例：驗證對數回歸模型102
7.3.2示例：對比不同模型104
7.4習題108

第8章多層神經網絡模型109
8.1多層神經網絡模型概述109
8.1.1網絡模型的表達形式109
8.1.2前饋運算111
8.1.3反向傳播112
8.2多層神經網絡模型的實現115
8.3多層神經網絡模型示例122
8.4習題125

第9章聚類模型126
9.1 K-means模型126
9.1.1 K-means聚類模型概述126
9.1.2 K-means模型的實現128
9.1.3示例：一個聚類的例子131
9.2 GMM134
9.2.1從一維高斯函數到多維高斯函數134
9.2.2 GMM概述136
9.2.3 GMM的實現139
9.2 .4示例：對比K-means模型144
9.3習題147

第10章時間序列模型148
10.1指數平滑模型148
10.1.1移動平均模型148
10.1.2一次指數平滑模型149
10.1.3二次指數平滑模型150
10.2 Holt-Winters模型150
10.2.1 Holt-Winters模型概述150
10.2.2 Holt-Winters模型的實現151
10.2.3示例：時間序列的預測156
10.3習題160

第11章降維和特徵提取161
11.1降維的目的161
11.2主成分分析模型162
11.2.1主成分分析方法概述162
11.2.2主成分分析模型的實現165
11.2.3示例：降維提取主要特徵167
11.3自動編碼機模型170
11.3.1非線性的主成分分析170
11.3.2自動編碼機原理概述171
11.3.3自動編碼機模型的實現172
11.3.4示例：對比主成分分析173
11.4習題176

第5篇業務功能層
第12章時間序列異常檢測178
12.1時間序列異常檢測的應用場景178
12.2時間序列異常檢測的基本原理178
12.2.1基於預測的時間序列異常檢測179
12.2.2閾值的估計179
12.3時間序列異常檢測功能服務的實現180
12.4應用實例：找出數據中的異常記錄182
12.5習題183

第13章離群點檢測184
13.1離群點檢測的應用場景184
13.2離群點檢測的基本原理185
13.2.1基於多維高斯函數檢測離群點186
13.2.2數據的有效降維188
13.3離群點檢測功能服務的實現188
13.4應用實例：找出數據中的異常記錄191
13.5習題193

第14章趨勢線擬合194
14.1趨勢線擬合的應用場景194
14.2趨勢線擬合的基本原理195
14.2.1基於不同基礎回歸模型的擬合196
14.2.2選取合適的回歸模型196
14.3趨勢線擬合功能服務的實現196
14.4應用實例：對樣本數據進行趨勢線擬合201
14.5習題203