線性代數與數據學習 Linear Algebra and Learning from Data

 

目錄

 

第 1章線性代數的重點 .................................................................................................. 1 

1.1使用 A的列向量實現 Ax的相乘 ........................................................................ 1 

1.2矩陣與矩陣相乘：AB......................................................................................... 8 

1.3 4個基本子空間 .................................................................................................12 

1.4消元法與 A = LU .............................................................................................18 

1.5正交矩陣與子空間..............................................................................................26 

1.6特徵值和特徵向量..............................................................................................32 

1.7對稱正定矩陣 ....................................................................................................40 

1.8奇異值分解中的奇異值和奇異向量 ......................................................................51 

1.9主成分和最佳低秩矩陣 .......................................................................................63 

1.10 Rayleigh商和廣義特徵值 .................................................................................72 

1.11向量、函數和矩陣的範數 ..................................................................................78 

1.12矩陣和張量的分解：非負性和稀疏性 .................................................................86

第 2章大規模矩陣的計算 ..............................................................................................98 

2.1數值線性代數 ....................................................................................................99 

2.2最小二乘：4種方法......................................................................................... 107 

2.3列空間的 3種基 .............................................................................................. 119 

2.4隨機線性代數 .................................................................................................. 125

第 3章低秩與壓縮傳感 ............................................................................................... 135 

3.1 A的變化導致 A.1的改變 ............................................................................... 135 

3.2交錯特徵值與低秩信號 ..................................................................................... 143 

3.3快速衰減的奇異值............................................................................................ 152 

3.4對 .2 + .1的拆分算法...................................................................................... 156 

3.5壓縮傳感與矩陣補全 ........................................................................................ 166

第 4章特殊矩陣 ......................................................................................................... 172 

4.1傅里葉變換：離散與連續.................................................................................. 172 

4.2移位矩陣與循環矩陣 ........................................................................................ 180 

4.3克羅內克積 A . B.......................................................................................... 187 

4.4出自克羅內克和的正弦、餘弦變換 .................................................................... 193 

 

4.5 

Toeplitz矩陣與移位不變濾波器 ........................................................................ 196 

 

4.

6圖、拉普拉斯算子及基爾霍夫定律 .................................................................... 201 

 

4.7採用譜方法與 

k-均值的聚類 ............................................................................. 207 

 

4.8完成秩為 

1的矩陣 ........................................................................................... 215 

 

4.

9正交的普魯斯特問題 ........................................................................................ 217 

 

4.10距離矩陣 

....................................................................................................... 218

 

 

第 5章概率與統計 ...................................................................................................... 221 

5.

1均值、方差和概率............................................................................................ 221 

 

5.2概率分佈 

......................................................................................................... 231 

 

5.

3矩、累積量以及統計不等式 .............................................................................. 238 

 

5.

4協方差矩陣與聯合概率 ..................................................................................... 246 

 

5.

5多元高斯分佈和加權最小二乘法........................................................................ 255 

 

5.6馬爾可夫鏈

...................................................................................................... 260

 

 

第 6章最優化............................................................................................................. 269 

6.

1最小值問題：凸性與牛頓法 .............................................................................. 271 

 

6.2拉格朗日乘子 

=成本函數的導數 ...................................................................... 278 

 

6.

3線性規劃、博弈論和對偶性 .............................................................................. 283 

 

6.

4指向最小值的梯度下降 ..................................................................................... 288 

 

6.

5隨機梯度下降法與 ADAM................................................................................ 301

 

 

第 7章數據學習 ......................................................................................................... 311 

7.

1深度神經網絡的構建 ........................................................................................ 314 

 

7.2捲積神經網絡 

.................................................................................................. 324 

 

7.

3反向傳播與鏈式法則 ........................................................................................ 333 

 

7.

4超參數：至關重要的決定.................................................................................. 342 

 

7.

5機器學習的世界 ............................................................................................... 347

 

 

有關機器學習的書.......................................................................................................... 350

附錄 A採用 SVD的圖像壓縮 .................................................................................... 351

附錄 B數值線性代數的代碼和算法 .............................................................................. 353

附錄 C基本因式分解中的參數計算 .............................................................................. 355

作者索引 ....................................................................................................................... 357

索引.............................................................................................................................. 362

符號索引 ....................................................................................................................... 372