模式識別與機器學習

孫仕亮，清華大學博士，華東師範大學教授。在華東師範大學從事研究工作，主講本科和研究生“模式識別與機器學習”“高級機器學習”等課程，並在英國倫敦大學學院、美國哥倫比亞大學從事訪問合作研究。在模式識別與機器學習領域的國際著名期刊和會議發表學術論文100餘篇，承擔多項國j級、省部級科研項目及國際知名企業的合作研究項目，研究成果多次獲得省部級科學技術獎勵。

趙靜，華東師範大學博士，講師。從事模式識別與機器學習領域的研究，包括概率模型、貝葉斯學習、j似推理與優化。主講研究生“高級機器學習”和本科生“可信機器學習”等課程。入選上海市2016年度“揚帆計劃”和2019年度“晨光計劃”。發表論文20篇，代表性成果發表於JMLR、T-CYB、IJCAI等國際頂j期刊和會議。

目錄

第1章引言1

1.1基本概念1

1.1.1投票選舉2

1.1.2三個小皮匠勝過諸葛亮3

1.1.3主動學習4

1.2典型的機器學習系統5

1.2.1醫學圖像診斷5

1.2.2時間序列識別6

1.2.3對話系統7

1.2.4異常檢測8

1.3前沿研究方向舉例9

1.3.1多視圖機器學習9

1.3.2強化學習11

1.3.3可信人工智能11

1.4後續章節安排13

參考文獻13

第2章貝葉斯學習基礎15

2.1貝葉斯公式16

2.2貝葉斯決策18

2.2.1最小錯誤率貝葉斯決策18

2.2.2最小風險貝葉斯決策21

2.3分類器的相關概念23

2.3.1分類器、判別函數和決策面24

2.3.2分類器的錯誤率25

2.4基於高斯分佈的貝葉斯分類器26

2.5樸素貝葉斯分類器32

2.6參數估計33

2.6.1最大似然估計33

2.6.2最大後驗估計35

2.6.3期望最大化算法36

2.6.4貝葉斯參數估計37

思考與計算38

參考文獻39

第3章邏輯回歸40

3.1線性回歸41

3.1.1最小二乘與最大似然44

3.1.2正則化最小二乘與最大後驗47

3.2貝葉斯線性回歸50

3.3邏輯回歸52

3.3.1二類邏輯回歸52

3.3.2多類邏輯回歸55

3.4貝葉斯邏輯回歸56

思考與計算60

參考文獻60

第4章概率圖模型基礎61

4.1有向圖模型63

4.1.1模型表示63

4.1.2條件獨立性65

4.1.3常見的有向圖模型71

4.2無向圖模型73

4.2.1模型表示73

4.2.2條件獨立性74

4.2.3常見的無向圖模型81

4.3圖模型中的推理82

4.3.1鏈式結構82

4.3.2樹結構84

4.3.3因子圖84

4.3.4和積算法85

4.3.5最大和算法92

思考與計算94

參考文獻95

第5章隱馬爾可夫模型96

5.1模型表示97

5.2模型推理100

5.2.1邊緣似然的推理101

5.2.2隱狀態序列的推理107

5.2.3隱狀態邊緣後驗的推理108

5.3參數學習109

5.4模型擴展111

思考與計算115

參考文獻116

第6章條件隨機場117

6.1模型表示118

6.1.1線性鏈條件隨機場120

6.1.2一般的條件隨機場121

6.1.3條件隨機場的特徵函數122

6.2模型推理124

6.2.1前向—後向算法125

6.2.2維特比算法129

6.3參數學習130

6.4線性鏈條件隨機場與隱馬爾可夫模型132

6.5模型擴展133

思考與計算133

參考文獻134

第7章支持向量機135

7.1大間隔原理136

7.2基本分類模型137

7.3拉格朗日對偶優化138

7.4線性不可分數據的分類140

7.4.1鬆弛變量140

7.4.2核方法142

7.5支持向量機回歸144

7.6模型擴展146

思考與計算146

參考文獻147

第8章人工神經網絡與深度學習148

8.1感知機149

8.2多層神經網絡151

8.2.1神經元151

8.2.2多層神經網絡模型153

8.2.3反向傳播算法155

8.3深度神經網絡159

8.3.1淺層與深度神經網絡159

8.3.2過擬合問題160

8.3.3局部極值問題162

8.3.4梯度消失問題163

8.4常用的深度神經網絡166

8.4.1自編碼網絡166

8.4.2深度玻爾茲曼機168

8.4.3深度信念網絡169

8.4.4捲積神經網絡170

8.4.5循環神經網絡174

8.4.6Transformer177

思考與計算180

參考文獻181

第9章高斯過程183

9.1高斯過程的定義184

9.2高斯過程回歸模型185

9.2.1權重空間185

9.2.2函數空間189

9.3高斯過程分類模型192

9.3.1模型表示193

9.3.2近似推理方法195

9.4高斯過程與支持向量機199

9.5高斯過程與人工神經網絡200

9.6模型擴展201

思考與計算203

參考文獻203

第10章聚類205

10.1K均值聚類206

10.1.1算法介紹206

10.1.2模糊K均值聚類209

10.2譜聚類210

10.3高斯混合模型聚類217

10.3.1模型表示217

10.3.2模型推理與參數估計218

10.3.3無限高斯混合模型219

思考與計算222

參考文獻223

第11章主成分分析與相關的譜方法224

11.1主成分分析225

11.1.1最大化方差225

11.1.2最小化誤差227

11.1.3主成分分析與KL變換229

11.2概率PCA230

11.3核PCA232

11.4相關的譜方法234

11.4.1線性判別分析234

11.4.2典型相關分析237

思考與計算242

參考文獻243

第12章確定性近似推理244

12.1近似推理的應用場景245

12.2拉普拉斯近似245

12.3變分平均場近似247

12.3.1基本理論247

12.3.2相關問題250

12.4期望傳播近似253

12.4.1基本理論253

12.4.2相關問題256

思考與計算259

參考文獻259

第13章隨機近似推理260

13.1採樣方法的評價標準261

13.2基本的採樣方法262

13.2.1均勻採樣變換263

13.2.2拒絕採樣264

13.2.3重要性採樣265

13.3馬爾可夫鏈蒙特卡洛267

13.3.1MetropolisHastings採樣267

13.3.2Gibbs採樣269

13.3.3切片採樣271

13.3.4哈密爾頓蒙特卡洛採樣274

思考與計算277

參考文獻278

第14章強化學習280

14.1基本概念與理論基礎281

14.2規劃: 有環境模型的預測與控制286

14.2.1策略迭代287

14.2.2值迭代288

14.3無環境模型的控制: 基於值函數290

14.3.1蒙特卡洛控制291

14.3.2時序差分控制: SARSA292

14.3.3基於Q學習的異策略控制293

14.3.4基於Q學習的深度Q網絡控制295

14.4無環境模型的控制: 基於策略296

14.4.1蒙特卡洛策略梯度法和REINFORCE算法297

14.4.2行動者—評論者算法299

思考與計算300

參考文獻301

附錄A近鄰法302

A.1最近鄰法302

A.2最近鄰法的錯誤率分析302

A.3k近鄰法305

參考文獻306

附錄B決策樹307

B.1基本原理307

B.2信息增益和信息增益比309

B.3代表性算法311

參考文獻313

附錄C向量微積分314

C.1向量微分314

C.1.1常用定義314

C.1.2求導規則316

C.2向量積分319

參考文獻322

附錄D隨機變量的變換323

D.1概率密度中的變量變換323

D.2期望中的變量變換326

參考文獻327