矩陣之美（算法篇）

耿修瑞，中國科學院空天信息創新研究院研究員、博士生導師，中國科學院大學崗位教授，長期致力於矩陣基礎理論、矩陣算法研究及其多學科應用，取得了豐碩成果，研究領域涵蓋高光譜遙感圖像處理（如波段選擇、目標檢測、混合像元分析等）、基礎圖像處理算法（如特徵提取、圖像匹配、聚類分析等），以及矩陣理論的核心概念與基本定理（如贗角度、完美差分矩陣、矩陣開方定理等），在相關領域提出了諸多開創性理論和方法，為矩陣理論及其應用作出了重要貢獻。

目錄
前言
第1章 最小二乘法 1
1.1 問題背景 1
1.2 線性方程組的兩個圖像 2
1.2.1 線性方程組的行空間圖像 3
1.2.2 線性方程組的列空間圖像 5
1.3 線性方程組的最小二乘解 6
1.3.1 最小二乘法的行空間方法 6
1.3.2 最小二乘法的列空間方法 7
1.3.3 直線擬合 8
1.4 最小二乘法的幾何解釋 10
1.5 最小二乘法的概率解釋 12
1.6 最小二乘法在應用中的問題 15
1.6.1 變量問題 15
1.6.2 約束問題 19
1.6.3 病態問題 21
1.6.4 異常問題 22
1.6.5 目標函數問題 24
1.7 小結 25
第2章 主成分分析 27
2.1 問題背景 27
2.2 基本統計概念 29
2.2.1 隨機變量的數字特徵 29
2.2.2 樣本統計量 31
2.2.3 樣本統計量的向量表示 33
2.3 主成分分析的基本原理 36
2.3.1 任意方向的方差 36
2.3.2 模型與求解 37
2.4 主成分分析的幾何解釋 41
2.5 主成分分析的子空間逼近解釋 47
2.6 主成分分析的概率解釋 50
2.7 主成分分析的信息論解釋 51
2.8 主成分分析在應用中的問題 52
2.8.1 非高斯問題 52
2.8.2 量綱問題 53
2.8.3 維數問題 54
2.8.4 噪聲問題 55
2.9 小結 55
第3章 主偏度分析 56
3.1 問題背景 56
3.2 基本概念 57
3.2.1 偏度的定義 57
3.2.2 數據白化 58
3.2.3 張量基本運算 59
3.2.4 統計量映射圖 61
3.3 主偏度分析 63
3.3.1 任意方向的偏度 63
3.3.2 協偏度張量的計算 65
3.3.3 模型與求解 67
3.4 非正交約束主偏度分析 71
3.4.1 克羅內克積 71
3.4.2 非正交約束 72
3.5 主偏度分析與獨立成分分析 78
3.5.1 快速獨立成分分析 79
3.5.2 FastICA 與主偏度分析 80
3.6 主偏度分析的幾何解釋 82
3.6.1 單形體的偏度映射圖 82
3.6.2 幾何解釋 85
3.7 主偏度分析在應用中的問題 87
3.7.1 收斂問題 87
3.7.2 噪聲問題 88
3.7.3 精確解問題 89
3.8 小結 90
第4章 典型相關分析 91
4.1 問題背景 91
4.2 互相關分析 92
4.2.1 模型與求解 93
4.2.2 存在的問題 97
4.3 典型相關分析 99
4.4 典型相關分析與互相關分析 105
4.5 典型相關分析的幾何解釋 107
4.5.1 冪法 108
4.5.2 幾何解釋 109
4.6 典型相關分析的變形 111
4.6.1 多視圖典型相關分析 111
4.6.2 二維典型相關分析 114
4.7 典型相關分析在應用中的問題 117
4.7.1 病態問題 117
4.7.2 失配問題 117
4.7.3 目標函數和優化模型問題 118
4.8 小結 119
第5章 非負矩陣分解 120
5.1 問題背景 120
5.2 非負矩陣分解的基本原理 121
5.2.1 問題描述 121
5.2.2 問題求解 122
5.3 非負矩陣分解的概率解釋 125
5.3.1 高斯分佈情形 125
5.3.2 泊松分佈情形 126
5.4 非負矩陣分解的物理解釋 128
5.5 非負矩陣分解與奇異值分解 129
5.6 非負矩陣分解與K-means 132
5.7 非負矩陣分解與KKT條件 133
5.8 非負矩陣分解在應用中的問題 134
5.8.1 目標函數的凸凹性 134
5.8.2 局部極值問題 136
5.8.3 分母零值問題 137
5.8.4 觀測數據負值問題 138
5.9 小結 139
第6章 局部線性嵌入 140
6.1 問題背景 140
6.2 基本概念 141
6.3 局部線性嵌入 146
6.4 拉普拉斯映射 151
6.5 隨機鄰域嵌入 153
6.6 多維尺度變換 155
6.7 等距特徵映射 157
6.8 局部線性嵌入在應用中的問題 160
6.8.1 病態問題 161
6.8.2 改進局部線性嵌入 162
6.8.3 黑塞局部線性嵌入 163
6.9 小結 165
第7章 傅里葉變換 167
7.1 問題背景 167
7.2 傅里葉級數 168
7.3 連續傅里葉變換 171
7.3.1 從傅里葉級數到傅里葉變換 171
7.3.2 傅里葉變換的性質 178
7.4 離散傅里葉變換 182
7.5 快速傅里葉變換 187
7.6 離散傅里葉變換與循環移位矩陣 191
7.6.1 循環移位矩陣特徵分解及頻域解釋 191
7.6.2 循環移位矩陣的時域解釋 195
7.7 離散傅里葉變換與完美差分矩陣 201
7.8 離散傅里葉變換與離散餘弦變換 206
7.9 傅里葉變換的物理解釋 211
7.10 傅里葉變換在應用中的問題 212
7.10.1 頻譜分辨率問題 212
7.10.2 頻譜泄漏問題 214
7.10.3 時變信號問題 215
7.10.4 分數傅里葉變換 218
7.11 小結 219
第8章 連通中心演化 221
8.1 問題背景 221
8.2 基於K-means的中心確定算法 222
8.3 圖論的基本概念 223
8.3.1 圖的基本術語 223
8.3.2 圖的存儲結構 226
8.4 連通中心演化 227
8.4.1 動機與理論依據 227
8.4.2 相關概念 232
8.4.3 算法具體步驟 234
8.5 基於特徵分解的快速連通中心演化算法 238
8.5.1 算法的計算復雜度 238
8.5.2 時間復雜度的降低 238
8.5.3 空間復雜度的降低 244
8.6 連通中心演化在應用中的問題 245
8.6.1 相似度矩陣構建問題 245
8.6.2 中心數跳變問題 246
8.6.3 樣本量失衡問題 247
8.6.4 相似度矩陣的負值問題 249
8.6.5 中心位置局限問題 251
8.7 小結 253
第9章 瑞利商 254
9.1 問題背景 254
9.2 瑞利商的定義與性質 255
9.3 瑞利商的取值範圍 257
9.3.1 特徵分析法 257
9.3.2 線性規劃法 257
9.3.3 廣義瑞利商的取值範圍 259
9.4 瑞利商的應用 260
9.4.1 主成分分析 260
9.4.2 最小化噪聲分量變換 260
9.4.3 典型相關分析 261
9.4.4 線性判別分析 261
9.4.5 局部線性嵌入 262
9.4.6 法曲率 263
9.4.7 自然頻率估計 264
9.4.8 譜聚類 265
9.4.9 約束能量最小化 266
9.4.10 正交子空間投影 267
9.5 小結 268
參考文獻 269
附錄A 向量範數與矩陣範數 273
A.1 向量範數 273
A.2 矩陣範數 277
附錄 B 矩陣微積分 278
B.1 實值標量函數相對於實向量的梯度 278
B.2 實值向量函數相對於實向量的梯度 280
B.3 實值函數相對於實矩陣的梯度 282
B.4 矩陣微分 284
B.5 跡函數的梯度矩陣 286
B.6 行列式的梯度矩陣 287
B.7 黑塞矩陣 289