模式分析與其核方法

孫即祥，國防科技大學教授。1965年入學哈爾濱軍事工程學院雷達專業，1970年畢業，1981年獲得國防科技大學無線電末制導專業碩士學位，畢業後留校長期從事智能信息處理與機器視覺科研與教學工作，是信息工程、電路與系統學科的學術帶頭人。 在教學上，對信息處理主流領域的模式識別和圖像信息相關課程進行頂層設計，構建了相對完整系統的“兩縱三橫”課程體系。2005年獲全軍教學成果二等獎，2006年獲湖南省高等教育省級教學成果獎二等獎，2004年獲全軍育才獎金獎，2007年被評為全軍優秀教師；2007年榮立三等功。長期講授和建設的“模式識別”課程2009年被評為國家精品課程，講授的“現代模式識別”課程被評為湖南省研究生精品課程建設項目。 指導並參與完成了多項863項目、973子專題、國防預研基金項目、國防預研項目，以及學術相關的多個“橫向”外協項目。曾獲國防科工委科技進步二等獎兩項，軍隊科技進步三等獎一項。 相續出版了《模式識別中的特徵提取與計算機視覺不變量》（國防科技圖書出版基金）、《現代模式識別》教育部學位管理與研究生教育司推薦研究生教學用書）、《圖像處理》（普通高等教育“十一五”國家級規劃教材）、《圖像分析》、《圖像壓縮與投影重建》、《張量投票方法及其在機器視覺中的應用》等10餘部學術著作和教材。

目錄

 

第1章緒論1

1.1概述1

1.2模式識別4

1.2.1模式識別系統5

1.2.2模式識別的基本方法6

1.3數據分析10

1.3.1Fisher判別分析10

1.3.2主成分分析10

1.3.3典型相關分析11

1.3.4回歸分析11

1.4本書各章主要內容及其關系12

參考文獻12

第2章模式分析的原則與策略13

2.1利用類域界面分類原理和多類分類策略13

2.1.1特徵矢量和特徵空間13

2.1.2用判別域界面方程分類的概念14

2.1.3線性判別函數14

2.1.4兩類問題15

2.1.5多類問題15

2.1.6判別函數值的大小、正負的鑒別意義18

2.1.7權空間、解矢量與解空間19

2.1.8球面分類界面和橢球面分類界面21

2.2模式分析的基本原則22

2.2.1沒有免費午餐定理23

2.2.2醜小鴨定理25

2.2.3最小描述長度原理26

2.2.4誤差中偏差和方差的分析28〖3〗模式分析與其核方法目錄〖3〗2.3集中度、容量、VC維、Rademacher理論32

2.3.1集中度、容量、Rademacher復雜度33

2.3.2VC維36

2.4經驗風險最小化、結構風險最小化38

2.5錯誤率的實驗估計41

2.5.1交叉驗證法41

2.5.2從學習曲線估計錯誤率44

2.6Akaike信息準則與貝葉斯信息準則46

2.6.1Akaike信息準則46

2.6.2貝葉斯信息準則48

2.7預測器選擇的統計方法50

2.7.1小差別錯誤率的分類器選擇的統計檢驗50

2.7.2預測器可靠性度量51

參考文獻52

第3章核函數與核映射空間53

3.1核函數與核映射53

3.1.1核函數、希爾伯特空間54

3.1.2Mercer定理58

3.1.3再生核理論59

3.1.4核矩陣在核方法中的作用63

3.2核函數的運算——構造新的核映射空間64

3.3核映射空間中一些量值的核函數表示67

參考文獻71

第4章數據分析73

4.1矩陣奇異值分解與矩陣廣義本徵分解73

4.1.1矩陣奇異值分解73

4.1.2矩陣廣義本徵分解77

4.2Fisher判別分析79

4.2.1Fisher判別分析的原理79

4.2.2FDA的奇異問題83

4.2.3多類問題中Fisher方法的其他幾種準則84

4.2.4多類問題行比準則的Fisher分析方法85

4.2.5採用型比準則的Fisher迭代算法86

4.2.6採用跡比準則的Fisher迭代算法87

4.2.7採用差跡準則的Fisher迭代算法88

4.2.8核映射空間中的Fisher方法88

4.2.9正則化核Fisher判別分析89

4.3局部均值判別分析92

4.3.1局部均值判別92

4.3.2加權LMDA 93

4.3.3核局部均值判別94

4.3.4加權KLMDA96

4.4主成分分析97

4.4.1主成分分析原理與性質98

4.4.2核映射空間中的主成分分析108

4.4.3KPCA性能穩定性分析110

4.4.4PCA的應用112

4.5兩個數據集間的相關分析115

4.5.1基於協方差和雙PCA的兩數據集相關分析115

4.5.2典型相關分析120

4.6回歸分析129

4.6.1線性回歸129

4.6.2主成分回歸131

4.6.3基於兩數據集協方差陣奇異值分解的回歸133

4.6.4偏最小二乘回歸133

4.7聚類分析143

4.7.1概述143

4.7.2C均值算法145

4.7.3改進的C均值算法148

4.7.4核映射空間中C均值聚類150

4.7.5最大間隔聚類方法151

4.8基於流形學習的數據降維161

4.8.1數據降維 161

4.8.2流形與流形學習162

4.8.3拉普拉斯本徵映射164

4.8.4局部保持映射算法165

4.8.5核局部保持映射算法166

參考文獻168

第5章支持矢量機171

5.1概述171

5.2硬間隔支持矢量機174

5.2.1線性支持矢量機174

5.2.2非線性支持矢量機178

5.2.3硬間隔支持矢量機泛化錯誤率181

5.3軟間隔支持矢量機182

5.3.1軟間隔線性支持矢量機182

5.3.2l1軟間隔支持矢量機184

5.3.3l1軟間隔支持矢量機的泛化錯誤率190

5.3.4l2軟間隔支持矢量機及其泛化界194

5.4訓練樣本具有不確定性的支持矢量機198

5.5樣本類內縮聚與兩類樣本數不均的補償200

5.5.1核映射空間中樣本類內縮聚200

5.5.2兩類訓練樣本數目不均情況下的懲罰系數補償201

參考文獻202

第6章支持矢量數據描述204

6.1概述204

6.2包含全部點集的最小球206

6.2.1包含全部樣本的最小球206

6.2.2包含核映射空間中全部樣本的最小球208

6.2.3基於SVDD異常檢測的統計特性211

6.3包含大部分點集的最優球212

6.3.1包含大部分樣本的最優球212

6.3.2包含核映射空間大部分樣本的最優球215

6.3.3ν軟界最優球221

6.3.4軟界最優球算法的檢測性能221

6.3.5軟界最優球面與廣義最優平面的關系222

6.4樣本加權的支持矢量數據描述224

6.4.1樣本加權SVDD224

6.4.2樣本的權重225

6.5小球大間隔SVDD226

6.6數據域最優橢球描述229

6.6.1最優橢球數據描述229

6.6.2核映射空間中橢球數據描述與檢測231

6.7基於距離學習和SVDD的判別方法234

6.7.1距離測度學習235

6.7.2新類的設定236

6.7.3最優球面作為已給類別的邊界描述236

6.7.4描述球重疊情況下的樣本識別238

6.7.5從新類候選樣本集發現新類子集238

6.8支持矢量數據描述的研究概要239

參考文獻241

第7章支持矢量回歸245

7.1嶺回歸245

7.1.1基本嶺回歸方法245

7.1.2核嶺回歸方法247

7.2一範數ε不敏損失支持矢量回歸248

7.2.1ε不敏損失函數248

7.2.2一範數ε不敏損失的SVR249

7.2.3ε不敏損失的SVR的另一種表達251

7.2.4一範數ε不敏損失的νSVR251

7.2.5一範數ε不敏損失的SVR的泛化性能252

7.3二範數ε不敏損失支持矢量回歸253

參考文獻255

第8章核函數的優化257

8.1核函數的基本性質258

8.1.1高斯核函數258

8.1.2多項式核函數259

8.1.3ANOVA核函數260

8.2基於誤差界的核函數參數尋優方法260

8.2.1留一法錯誤率的上界261

8.2.2SVM中核函數參數梯度法尋優264

8.2.3SVR中核函數參數梯度法尋優265

8.3核極化方法266

8.4核調準方法269

8.5根據核矩陣估計可分性與二範數SVM核調準270

8.6核映射空間的Fisher判據272

8.7基於Fisher準則的數據相關核函數的優化方法274

8.7.1數據相關核函數274

8.7.2經驗特徵空間275

8.7.3基於Fisher準則的擴展數據相關核函數的優化算法276

8.8多核學習277

參考文獻279