模式分類（原書第2版·典藏版） Pattern Classification (Pt.1), 2/e

譯者序
前言
第1章緒論1
1.1機器感知1
1.2一個例子1
1.3模式識別系統7
1.3.1傳感器7
1.3.2分割和組織8
1.3.3特徵提取8
1.3.4分類器9
1.3.5後處理10
1.4設計循環11
1.4.1數據採集11
1.4.2特徵選擇11
1.4.3模型選擇12
1.4.4訓練12
1.4.5評價12
1.4.6計算複雜度12
1.5學習和適應12
1.5.1有監督學習13
1.5.2無監督學習13
1.5.3強化學習13
1.6本章小結13
全書各章概要13
文獻和歷史評述14
參考文獻15
第2章貝葉斯決策論16
2.1引言16
2.2貝葉斯決策論——連續特徵18
2.3最小誤差率分類20
2.3.1極小化極大準則21
2.3.2NeymanPearson準則22
2.4分類器、判別函數及判定面23
2.4.1多類情況23
2.4.2兩類情況24
2.5正態密度25
2.5.1單變量密度函數25
2.5.2多元密度函數26
2.6正態分佈的判別函數28
2.6.1情況1：Σi=σ2I28
2.6.2情況2：Σi=Σ30
2.6.3情況3：Σi＝任意32
2.7誤差概率和誤差積分35
2.8正態密度的誤差上界36
2.8.1Chernoff界36
2.8.2Bhattacharyya界37
2.8.3信號檢測理論和操作特性38
2.9貝葉斯決策論——離散特徵40
2.9.1獨立的二值特徵41
2.10丟失特徵和噪聲特徵43
2.10.1丟失特徵43
2.10.2噪聲特徵44
2.11貝葉斯置信網44
2.12複合貝葉斯決策論及上下文49
本章小結50
文獻和歷史評述51
習題52
上機練習63
參考文獻65
第3章似然估計和貝葉斯參數估計67
3.1引言67
3.2似然估計68
3.2.1基本原理68
3.2.2高斯情況：μ未知70
3.2.3高斯情況：μ和Σ均未知 71
3.2.4估計的偏差72
3.3貝葉斯估計73
3.3.1類條件密度73
3.3.2參數的分佈73
3.4貝葉斯參數估計：高斯情況74
3.4.1單變量情況：p(μ｜)74
3.4.2單變量情況：p(x｜)76
3.4.3多變量情況77
3.5貝葉斯參數估計：一般理論78
3.5.1似然方法和貝葉斯方法何時有區別 81
3.5.2無信息先驗和不變性82
3.5.3Gibbs算法83
3.6充分統計量83
3.7維數問題87
3.7.1精度、維數和訓練集的大小90
3.7.2計算複雜度90
3.7.3過擬合92
3.8成分分析和判別函數94
3.8.1主成分分析94
3.8.2Fisher線性判別分析96
3.8.3多重判別分析99
3.9期望化算法102
3.10隱馬爾可夫模型105
3.10.1一階馬爾可夫模型105
3.10.2一階隱馬爾可夫模型106
3.10.3隱馬爾可夫模型的計算106
3.10.4估值問題107
3.10.5解碼問題111
3.10.6學習問題113
本章小結114
文獻和歷史評述115
習題115
上機練習127
參考文獻130
第4章非參數技術132
4.1引言132
4.2概率密度的估計132
4.3Parzen窗方法134
4.3.1均值的收斂性137
4.3.2方差的收斂性137
4.3.3舉例說明137
4.3.4分類的例子140
4.3.5概率神經網絡141
4.3.6窗函數的選取143
4.4n近鄰估計143
4.4.1n近鄰估計和Parzen窗估計144
4.4.2後驗概率的估計145
4.5最近鄰規則146
4.5.1最近鄰規則的收斂性147
4.5.2最近鄰規則的誤差率148
4.5.3誤差界149
4.5.4近鄰規則150
4.5.5近鄰規則的計算複雜度151
4.6距離度量和最近鄰分類153
4.6.1度量的性質154
4.6.2切空間距離155
4.7模糊分類157
4.8RCE網絡160
4.9級數展開逼近161
本章小結163
文獻和歷史評述164
習題165
上機練習171
參考文獻175
第5章線性判別函數177
5.1引言 177
5.2線性判別函數和判定面177
5.2.1兩類情況 177
5.2.2多類的情況 179
5.3廣義線性判別函數 180
5.4兩類線性可分的情況 183
5.4.1幾何解釋和術語 183
5.4.2梯度下降算法184
5.5感知器準則函數最小化186
5.5.1感知器準則函數 186
5.5.2單個樣本校正的收斂性證明187
5.5.3一些直接的推廣 190
5.6鬆弛算法192
5.6.1下降算法 192
5.6.2收斂性證明 194
5.7不可分的情況 195
5.8最小平方誤差方法196
5.8.1最小平方誤差及偽逆196
5.8.2與Fisher線性判別的關係 198
5.8.3判別的漸近逼近199
5.8.4WidrowHoff 算法或最小均方算法 201
5.8.5隨機逼近法 202
5.9HoKashyap算法203
5.9.1下降算法 204
5.9.2收斂性證明 205
5.9.3不可分的情況206
5.9.4一些相關的算法 207
5.10線性規划算法209
5.10.1線性規劃209
5.10.2線性可分情況209
5.10.3極小化感知器準則函數210
5.11支持向量機 211
5.12推廣到多類問題216
5.12.1Kesler構造法217
5.12.2固定增量規則的收斂性217
5.12.3MSE算法的推廣 218
本章小結220
文獻和歷史評述220
習題221
上機練習226
參考文獻229
第6章多層神經網絡230
6.1引言 230
6.2前饋運算和分類231
6.2.1一般的前饋運算 233
6.2.2多層網絡的表達能力233
6.3反向傳播算法 235
6.3.1網絡學習 236
6.3.2訓練協議 239
6.3.3學習曲線 240
6.4誤差曲面241
6.4.1一些小型網絡241
6.4.2異或問題242
6.4.3較大型的網絡243
6.4.4關於多重極小243
6.5反向傳播作為特徵映射243
6.5.1隱含層的內部表示——權值 244
6.6反向傳播、貝葉斯理論及概率246
6.6.1貝葉斯判別與神經網絡 246
6.6.2作為概率的輸出 247
6.7相關的統計技術247
6.8改進反向傳播的一些實用技術248
6.8.1激活函數 249
6.8.2sigmoid函數的參數250
6.8.3輸入信號尺度變換 250
6.8.4目標值251
6.8.5帶噪聲的訓練法 251
6.8.6人工“製造”數據 251
6.8.7隱單元數 251
6.8.8權值初始化 252
6.8.9學習率253
6.8.10衝量項254
6.8.11權值衰減255
6.8.12線索255
6.8.13在線訓練、隨機訓練或成批訓練256
6.8.14停止訓練256
6.8.15隱含層數256
6.8.16誤差準則函數257
6.9二階技術257
6.9.1赫森矩陣 258
6.9.2牛頓法258
6.9.3Quickprop算法259
6.9.4共軛梯度法 259
6.10其他網絡和訓練算法262
6.10.1徑向基函數網絡262
6.10.2特殊的基函數263
6.10.3匹配濾波器263
6.10.4卷積網絡264
6.10.5遞歸網絡265
6.10.6級聯相關266
6.11正則化、複雜度調節和剪枝267
本章小結269
文獻和歷史評述269
習題271
上機練習277
參考文獻280
第7章隨機方法 284
7.1引言 284
7.2隨機搜索284
7.2.1模擬退火 286
7.2.2玻耳茲曼因子286
7.2.3確定性模擬退火 289
7.3玻耳茲曼學習291
7.3.1可見狀態的隨機玻耳茲曼學習292
7.3.2丟失特徵和類別約束295
7.3.3確定性玻耳茲曼學習297
7.3.4初始化和參數設置 297
7.4玻耳茲曼網絡和圖示模型 300
7.5進化方法302
7.5.1遺傳算法 302
7.5.2其他啟發式方法305
7.5.3遺傳算法如何起作用306
7.6遺傳規劃306
本章小結308
文獻和歷史評述308
習題309
上機練習313
參考文獻315
第8章非度量方法 318
8.1引言 318
8.2判定樹 318
8.3CART 320
8.3.1分支數目 320
8.3.2查詢的選取與節點不純度 320
8.3.3分支停止準則324
8.3.4剪枝 325
8.3.5葉節點的標記326
8.3.6計算複雜度 327
8.3.7特徵選擇 328
8.3.8多元判定樹 329
8.3.9先驗概率和代價函數329
8.3.10屬性丟失問題330
8.4其他樹方法 331
8.4.1ID3331
8.4.2C4.5 332
8.4.3哪種樹分類器是的 332
8.5串的識別333
8.5.1串匹配334
8.5.2編輯距離 336
8.5.3計算複雜度 338
8.5.4容錯的串匹配338
8.5.5帶通配符的串匹配 339
8.6文法方法339
8.6.1文法 340
8.6.2串文法的類型341
8.6.3利用文法的識別 343
8.7文法推斷345
8.8基於規則的方法347
本章小結350
文獻和歷史評述350
習題351
上機練習358
參考文獻362
第9章獨立於算法的機器學習 365
9.1引言 365
9.2沒有天生優越的分類器366
9.2.1沒有免費的午餐定理366
9.2.2醜小鴨定理 369
9.2.3最小描述長度372
9.2.4最小描述長度原理 373
9.2.5避免過擬合及Occam剃刀原理374
9.3偏差和方差 375
9.3.1回歸中的偏差和方差關係376
9.3.2分類中的偏差和方差關係377
9.4統計量估計中的重採樣技術 380
9.4.1刀切法(jackknife)380
9.4.2自助法(bootstrap)382
9.5分類器設計中的重採樣技術 383
9.5.1bagging算法383
9.5.2boosting法 384
9.5.3基於查詢的學習 387
9.5.4arcing、基於查詢的學習、偏差和方差 388
9.6分類器的評價和比較 389
9.6.1參數模型 389
9.6.2交叉驗證 389
9.6.3分類準確率的“刀切法”和“自助法”估計 390
9.6.4似然模型比較391
9.6.5貝葉斯模型比較 392
9.6.6問題平均誤差率 394
9.6.7從學習曲線預測最終性能 396
9.6.8單個分割平面的能力397
9.7組合分類器 398
9.7.1有判別函數的分量分類器 399
9.7.2無判別函數的分量分類器 400
本章小結401
文獻和歷史評述402
習題403
上機練習408
參考文獻412
第10章無監督學習和聚類416
10.1引言416
10.2混合密度和可辨識性416
10.3似然估計418
10.4對混合正態密度的應用419
10.4.1情況1：均值向量未知 419
10.4.2情況2：所有參數未知 422
10.4.3均值聚類423
10.4.4模糊均值聚類 425
10.5無監督貝葉斯學習426
10.5.1貝葉斯分類器426
10.5.2參數向量的學習427
10.5.3判定導向的近似解431
10.6數據描述和聚類432
10.7聚類的準則函數435
10.7.1誤差平方和準則436
10.7.2相關的最小方差準則436
10.7.3散佈準則437
10.8迭代化 440
10.9層次聚類442
10.9.1定義442
10.9.2基於合併的層次聚類方法444
10.9.3逐步優化的層次聚類446
10.9.4層次聚類和導出度量447
10.10驗證問題447
10.11在線聚類449
10.11.1聚類數目未知 451
10.11.2自適應共振網 452
10.11.3基於評判的學習 454
10.12圖論方法455
10.13成分分析 456
10.13.1主成分分析456
10.13.2非線性成分分析 457
10.13.3獨立成分分析458
10.14低維數據表示和多維尺度變換460
10.14.1自組織特徵映射 462
10.14.2聚類與降維465
本章小結466
文獻和歷史評述467
習題468
上機練習475
參考文獻479
附錄A數學基礎 481
索引 512