模式分析與其核方法

目錄

第1章緒論1

1.1概述1

1.2模式識別4

1.2.1模式識別系統5

1.2.2模式識別的基本方法6

1.3數據分析10

1.3.1Fisher判別分析10

1.3.2主成分分析10

1.3.3典型相關分析11

1.3.4回歸分析11

1.4本書各章主要內容及其關系12

參考文獻12

第2章模式分析的原則與策略13

2.1利用類域界面分類原理和多類分類策略13

2.1.1特徵矢量和特徵空間13

2.1.2用判別域界面方程分類的概念14

2.1.3線性判別函數14

2.1.4兩類問題15

2.1.5多類問題15

2.1.6判別函數值的大小、正負的鑒別意義18

2.1.7權空間、解矢量與解空間19

2.1.8球面分類界面和橢球面分類界面21

2.2模式分析的基本原則22

2.2.1沒有免費午餐定理23

2.2.2醜小鴨定理25

2.2.3最小描述長度原理26

2.2.4誤差中偏差和方差的分析28〖3〗模式分析與其核方法目錄〖3〗2.3集中度、容量、VC維、Rademacher理論32

2.3.1集中度、容量、Rademacher復雜度33

2.3.2VC維36

2.4經驗風險最小化、結構風險最小化38

2.5錯誤率的實驗估計41

2.5.1交叉驗證法41

2.5.2從學習曲線估計錯誤率44

2.6Akaike信息準則與貝葉斯信息準則46

2.6.1Akaike信息準則46

2.6.2貝葉斯信息準則48

2.7預測器選擇的統計方法50

2.7.1小差別錯誤率的分類器選擇的統計檢驗50

2.7.2預測器可靠性度量51

參考文獻52

第3章核函數與核映射空間53

3.1核函數與核映射53

3.1.1核函數、希爾伯特空間54

3.1.2Mercer定理58

3.1.3再生核理論59

3.1.4核矩陣在核方法中的作用63

3.2核函數的運算——構造新的核映射空間64

3.3核映射空間中一些量值的核函數表示67

參考文獻71

第4章數據分析73

4.1矩陣奇異值分解與矩陣廣義本徵分解73

4.1.1矩陣奇異值分解73

4.1.2矩陣廣義本徵分解77

4.2Fisher判別分析79

4.2.1Fisher判別分析的原理79

4.2.2FDA的奇異問題83

4.2.3多類問題中Fisher方法的其他幾種準則84

4.2.4多類問題行比準則的Fisher分析方法85

4.2.5採用型比準則的Fisher迭代算法86

4.2.6採用跡比準則的Fisher迭代算法87

4.2.7採用差跡準則的Fisher迭代算法88

4.2.8核映射空間中的Fisher方法88

4.2.9正則化核Fisher判別分析89

4.3局部均值判別分析92

4.3.1局部均值判別92

4.3.2加權LMDA 93

4.3.3核局部均值判別94

4.3.4加權KLMDA96

4.4主成分分析97

4.4.1主成分分析原理與性質98

4.4.2核映射空間中的主成分分析108

4.4.3KPCA性能穩定性分析110

4.4.4PCA的應用112

4.5兩個數據集間的相關分析115

4.5.1基於協方差和雙PCA的兩數據集相關分析115

4.5.2典型相關分析120

4.6回歸分析129

4.6.1線性回歸129

4.6.2主成分回歸131

4.6.3基於兩數據集協方差陣奇異值分解的回歸133

4.6.4偏最小二乘回歸133

4.7聚類分析143

4.7.1概述143

4.7.2C均值算法145

4.7.3改進的C均值算法148

4.7.4核映射空間中C均值聚類150

4.7.5最大間隔聚類方法151

4.8基於流形學習的數據降維161

4.8.1數據降維 161

4.8.2流形與流形學習162

4.8.3拉普拉斯本徵映射164

4.8.4局部保持映射算法165

4.8.5核局部保持映射算法166

參考文獻168

第5章支持矢量機171

5.1概述171

5.2硬間隔支持矢量機174

5.2.1線性支持矢量機174

5.2.2非線性支持矢量機178

5.2.3硬間隔支持矢量機泛化錯誤率181

5.3軟間隔支持矢量機182

5.3.1軟間隔線性支持矢量機182

5.3.2l1軟間隔支持矢量機184

5.3.3l1軟間隔支持矢量機的泛化錯誤率190

5.3.4l2軟間隔支持矢量機及其泛化界194

5.4訓練樣本具有不確定性的支持矢量機198

5.5樣本類內縮聚與兩類樣本數不均的補償200

5.5.1核映射空間中樣本類內縮聚200

5.5.2兩類訓練樣本數目不均情況下的懲罰系數補償201

參考文獻202

第6章支持矢量數據描述204

6.1概述204

6.2包含全部點集的最小球206

6.2.1包含全部樣本的最小球206

6.2.2包含核映射空間中全部樣本的最小球208

6.2.3基於SVDD異常檢測的統計特性211

6.3包含大部分點集的最優球212

6.3.1包含大部分樣本的最優球212

6.3.2包含核映射空間大部分樣本的最優球215

6.3.3ν軟界最優球221

6.3.4軟界最優球算法的檢測性能221

6.3.5軟界最優球面與廣義最優平面的關系222

6.4樣本加權的支持矢量數據描述224

6.4.1樣本加權SVDD224

6.4.2樣本的權重225

6.5小球大間隔SVDD226

6.6數據域最優橢球描述229

6.6.1最優橢球數據描述229

6.6.2核映射空間中橢球數據描述與檢測231

6.7基於距離學習和SVDD的判別方法234

6.7.1距離測度學習235

6.7.2新類的設定236

6.7.3最優球面作為已給類別的邊界描述236

6.7.4描述球重疊情況下的樣本識別238

6.7.5從新類候選樣本集發現新類子集238

6.8支持矢量數據描述的研究概要239

參考文獻241

第7章支持矢量回歸245

7.1嶺回歸245

7.1.1基本嶺回歸方法245

7.1.2核嶺回歸方法247

7.2一範數ε不敏損失支持矢量回歸248

7.2.1ε不敏損失函數248

7.2.2一範數ε不敏損失的SVR249

7.2.3ε不敏損失的SVR的另一種表達251

7.2.4一範數ε不敏損失的νSVR251

7.2.5一範數ε不敏損失的SVR的泛化性能252

7.3二範數ε不敏損失支持矢量回歸253

參考文獻255

第8章核函數的優化257

8.1核函數的基本性質258

8.1.1高斯核函數258

8.1.2多項式核函數259

8.1.3ANOVA核函數260

8.2基於誤差界的核函數參數尋優方法260

8.2.1留一法錯誤率的上界261

8.2.2SVM中核函數參數梯度法尋優264

8.2.3SVR中核函數參數梯度法尋優265

8.3核極化方法266

8.4核調準方法269

8.5根據核矩陣估計可分性與二範數SVM核調準270

8.6核映射空間的Fisher判據272

8.7基於Fisher準則的數據相關核函數的優化方法274

8.7.1數據相關核函數274

8.7.2經驗特徵空間275

8.7.3基於Fisher準則的擴展數據相關核函數的優化算法276

8.8多核學習277

參考文獻279