機器學習數學基礎

齊偉
江湖名號老齊，已在代碼世界耕耘多年，並先後出版了
《跟老齊學Python：輕鬆入門》《跟老齊學Python：Django實戰》
《跟老齊學Python：數據分析》《Python大學實用教程》《數據準備和特徵工程》等圖書。

目錄
第1章  向量和向量空間 1
1.1  向量 2
1.1.1  描述向量 3
1.1.2  向量的加法 10
1.1.3  向量的數量乘法 12
1.2  向量空間 14
1.2.1  什麼是向量空間 14
1.2.2  線性組合 16
1.2.3  線性無關 17
1.2.4  子空間 23
1.3  基和維數 25
1.3.1  極大線性無關組 25
1.3.2  基 26
1.3.3  維數 32
1.4  內積空間 34
1.4.1  什麼是內積空間 34
1.4.2  點積和歐幾里得空間 36
1.5  距離和角度 38
1.5.1  距離 38
1.5.2  基於距離的分類 43
1.5.3  範數和正則化 46
1.5.4  角度 49
1.6  非歐幾何 51
第2章  矩陣 54
2.1  基礎知識 55
2.1.1  什麼是矩陣 55
2.1.2  初等變換 59
2.1.3  矩陣加法 62
2.1.4  數量乘法 63
2.1.5  矩陣乘法 65
2.2  線性映射 70
2.2.1  理解什麼是線性 70
2.2.2  線性映射 72
2.2.3  矩陣與線性映射 76
2.2.4  齊次坐標系 79
2.3  矩陣的逆和轉置 85
2.3.1  逆矩陣 85
2.3.2  轉置矩陣 89
2.3.3  矩陣LU分解 91
2.4  行列式 94
2.4.1  計算方法和意義 94
2.4.2  線性方程組 98
2.5  矩陣的秩 102
2.6  稀疏矩陣 107
2.6.1  生成稀疏矩陣 107
2.6.2  稀疏矩陣壓縮 108
2.7  圖與矩陣 112
2.7.1  圖的基本概念 112
2.7.2  鄰接矩陣 114
2.7.3  關聯矩陣 119
2.7.4  拉普拉斯矩陣 120
第3章  特徵值和特徵向量 122
3.1  基本概念 123
3.1.1  定義 123
3.1.2  矩陣的跡 127
3.1.3  一般性質 128
3.2  應用示例 129
3.2.1  動力系統微分方程 129
3.2.2  馬爾科夫矩陣 131
3.3  相似矩陣 135
3.3.1  相似變換 137
3.3.2  幾何理解 141
3.3.3  對角化 144
3.4  正交和投影 150
3.4.1  正交集和標準正交基 150
3.4.2  正交矩陣 154
3.4.3  再探對稱矩陣 156
3.4.4  投影 159
3.5  矩陣分解 163
3.5.1  QR分解 163
3.5.2  特徵分解 167
3.5.3  奇異值分解 172
3.5.4  數據壓縮 178
3.5.5  降噪 182
3.6  *小二乘法（1） 184
3.6.1  正規方程 184
3.6.2  線性回歸（1） 186
第4章  向量分析 191
4.1  向量的代數運算 192
4.1.1  叉積 192
4.1.2  張量和外積 196
4.2  向量微分 199
4.2.1  函數及其導數 199
4.2.2  偏導數 201
4.2.3  梯度 206
4.2.4  矩陣導數 211
4.3  *優化方法 215
4.3.1  簡單的線性規劃 215
4.3.2  *小二乘法（2） 218
4.3.3  梯度下降法 221
4.3.4  線性回歸（2） 226
4.3.5  牛頓法 228
4.4  反向傳播算法 229
4.4.1  神經網絡 230
4.4.2  參數學習 234
4.4.3  損失函數 248
4.4.4  激活函數 253
4.4.5  理論推導 258
第5章  概率 263
5.1  基本概念 264
5.1.1  試驗和事件 264
5.1.2  理解概率 266
5.1.3  條件概率 269
5.2  貝葉斯定理 272
5.2.1  事件的獨立性 273
5.2.2  全概率公式 274
5.2.3  理解貝葉斯定理 276
5.3  隨機變量和概率分佈 279
5.3.1  隨機變量 279
5.3.2  離散型隨機變量的分佈 281
5.3.3  連續型隨機變量的分佈 295
5.3.4  多維隨機變量及分佈 307
5.3.5  條件概率分佈 312
5.4  隨機變量的和 317
5.4.1  離散型隨機變量的和 317
5.4.2  連續型隨機變量的和 318
5.5  隨機變量的數字特徵 321
5.5.1  數學期望 321
5.5.2  方差和協方差 326
5.5.3  計算相似度 337
5.5.4  協方差矩陣 343
第6章  數理統計 346
6.1  樣本和抽樣 347
6.1.1  總體和样本 347
6.1.2  統計量 348
6.2  點估計 353
6.2.1  *大似然估計 354
6.2.2  線性回歸（3） 358
6.2.3  *大後驗估計 362
6.2.4  估計的選擇標準 365
6.3  區間估計 368
6.4  參數檢驗 373
6.4.1  基本概念 374
6.4.2  正態總體均值的假設檢驗 378
6.4.3  正態總體方差的假設檢驗 384
6.4.4  p值檢驗 385
6.4.5  用假設檢驗比較模型 388
6.5  非參數檢驗 391
6.5.1  擬合優度檢驗 391
6.5.2  列聯表檢驗 394
第7章  信息與熵 399
7.1  度量信息 399
7.2  信息熵 402
7.3  聯合熵和條件熵 406
7.4  相對熵和交叉熵 409
7.5  互信息 414
7.6  連續分佈 416
附錄 419
後記 436