AI 時代 Math 元年 : 用 Python 全精通矩陣及線性代數

姜偉生，博士FRM。勤奮的小鎮做題家，熱愛知識可視化和開源分享。自2022年8月開始，在GitHub上開源「鳶尾花書」學習資源，截至2023年9月，已經分享4000多頁PDF、4000多幅矢量圖、約2000個代碼文件，全球讀者數以萬計。

第 1章 不止向量

1.1 有資料的地方，必有矩陣

1.2 有矩陣的地方，更有向量

1.3 有向量的地方，就有幾何

1.4 有幾何的地方，皆有空間

1.5 有資料的地方，定有統計

第 2章 向量運算

2.1 向量：多面手

2.2 行向量、列向量

2.3 向量長度：模，歐氏距離，L2範數

2.4 加減法：對應位置元素分別相加減

2.5 純量乘法：向量縮放

2.6 向量內積：結果為純量

2.7 向量夾角：反餘弦

2.8 餘弦相似度和餘弦距離

2.9 向量積：結果為向量

2.10 逐項積：對應元素分別相乘

2.11 張量積：張起網格面

第 3章 向量範數

3.1 Lp範數：L2範數的推廣

3.2 Lp範數和超橢圓的聯繫

3.3 L1範數：旋轉正方形

3.4 L2範數：正圓

3.5 L∞範數：正方形

3.6 再談距離度量

第4章 矩陣

4.1 矩陣：一個不平凡的表格

4.2 矩陣形狀：每種形狀都有特殊用途

4.3 基本運算：加減和純量乘法

4.4 廣播原則

4.5 矩陣乘法：線性代數的運算核心

4.6 兩個角度解剖矩陣乘法

4.7 轉置：繞主對角線鏡像

4.8 矩陣逆：「相當於 」除法運算

4.9 跡：主對角元素之和

4.10 逐項積：對應元素相乘

4.11 行列式：將矩陣映射到純量值

第5章 矩陣乘法

5.1 矩陣乘法：形態豐富多樣

5.2 向量和向量

5.3 再聊全1列向量

5.4 矩陣乘向量：線性方程式組

5.5 向量乘矩陣乘向量：二次型

5.6 方陣次方陣：矩陣分解

5.7 對角陣：批次縮放

5.8 置換矩陣：調換元素順序

5.9 矩陣乘向量：映射到一維

5.10 矩陣乘矩陣：映射到多維

5.11 長方陣：奇異值分解、格拉姆矩陣、張量積

5.12 愛因斯坦求和約定

5.13 矩陣乘法的幾個雷區

第6章 分塊矩陣

6.1 分塊矩陣：橫平垂直切豆腐

6.2 矩陣乘法第一角度：純量積展開

6.3 矩陣乘法第二角度：外積展開

6.4 矩陣乘法更多角度：分塊多樣化

6.5 分塊矩陣的逆

6.6 克羅內克積：矩陣張量積

第 7章 向量空間

7.1 向量空間：從直角座標系說起

7.2 給向量空間塗顏色：RGB色卡

7.3 張成空間：線性組合紅、綠、藍三原色

7.4 線性無關：紅色和綠色，調不出青色

7.5 非正交基底：青色、品紅、黃色

7.6 基底轉換：從紅、綠、藍，到青色、品紅、黃色

第8章 幾何變換

8.1 線性變換：線性空間到自身的線性映射

8.2 平移：仿射變換，原點變動

8.3 縮放：對角陣

8.4 旋轉：行列式值為1

8.5 鏡像：行列式值為負

8.6 投影：降維操作

8.7 再談行列式值：幾何角度

第 9章 正交投影

9.1 純量投影：結果為純量

9.2 向量投影：結果為向量

9.3 正交矩陣：一個規範正交基底

9.4 規範正交基底性質

9.5 再談鏡像：從投影角度

9.6 格拉姆-施密特正交化

9.7 投影角度看回歸

第 10 章 資料投影

10.1 從一個矩陣乘法運算說起

10.2 二次投影 + 層層疊加

10.3 二特徵資料投影：標準正交基底

10.4 二特徵資料投影：規範正交基底

10.5 四特徵資料投影：標準正交基底

10.6 四特徵資料投影：規範正交基底

10.7 資料正交化

第 11章 矩陣分解

11.1 矩陣分解：類似因式分解

11.2 LU分解：上下三角

11.3 Cholesky分解：適用於正定矩陣

11.4 QR分解：正交化

11.5 特徵值分解：刻畫矩陣映射的特徵

11.6 奇異值分解：適用於任何實數矩陣

第 12章 Cholesky分解

12.1 Cholesky分解

12.2 正定矩陣才可以進行Cholesky分解

12.3 幾何角度：開合

12.4 幾何變換：縮放 → 開合

12.5 推廣到三維空間

12.6 從格拉姆矩陣到相似度矩陣

第 13章 特徵值分解

13.1 幾何角度看特徵值分解

13.2 旋轉 → 縮放 → 旋轉

13.3 再談行列式值和線性變換

13.4 對角化、譜分解

13.5 聊聊特徵值

13.6 特徵值分解中的複數現象

第 14章 深入特徵值分解

14.1 方陣開方

14.2 矩陣指數：冪級數的推廣

14.3 費氏數列：求通項式

14.4 馬可夫過程的平穩狀態

14.5 瑞利商

14.6 再談橢圓：特徵值分解

第 15章 奇異值分解

15.1 幾何角度：旋轉 → 縮放 → 旋轉

15.2 不同類型SVD分解

15.3 左奇異向量矩陣U

15.4 右奇異向量矩陣V

15.5 兩個角度：投影和資料疊加

第 16章 深入奇異值分解

16.1 完全型：U為方陣

16.2 經濟型：S去掉零矩陣，變方陣

16.3 緊湊型：非滿秩

16.4 截斷型：近似

16.5 資料還原：層層疊加

16.6 估計與誤差：截斷型SVD

16.7 正交投影：資料正交化

第 17章 多元函式微分

17.1 偏導：特定方向的變化率

17.2 梯度向量：上山方向

17.3 法向量：垂直於切平面

17.4 方向性微分：函式任意方向的變化率

17.5 泰勒展開：一元到多元

第 18章 拉格朗日乘子法

18.1 回顧最佳化問題

18.2 等式約束條件

18.3 線性等式約束

18.4 非線性等式約束

18.5 不等式約束

18.6 再談特徵值分解：最佳化角度

18.7 再談SVD：最佳化角度

18.8 矩陣範數：矩陣 → 純量，矩陣「大小 」

18.9 再談資料正交投影：最佳化角度

第 19章 直線到超平面

19.1 切向量：可以用來定義直線

19.2 法向量：定義直線、平面、超平面

19.3 超平面：一維直線和二維平面的推廣

19.4 平面與梯度向量

19.5 中垂線：用向量求解析式

19.6 用向量計算距離

第 20 章 再談圓錐曲線

20.1 無處不在的圓錐曲線

20.2 正圓：從單位圓到任意正圓

20.3 單位圓到旋轉橢圓：縮放 → 旋轉 → 平移

20.4 多元高斯分佈：矩陣分解、幾何變換、距離

20.5 從單位雙曲線到旋轉雙曲線

20.6 切線：建構函式，求梯度向量

20.7 法線：法向量垂直於切向量

第 21章 曲面和正定性

21.1 正定性

21.2 幾何角度看正定性

21.3 開口朝上抛物面：正定

21.4 山谷面：半正定

21.5 開口朝下抛物面：負定

21.6 山脊面：半負定

21.7 雙曲抛物面：不定

21.8 多極值曲面：局部正定性

第 22章 資料與統計

22.1 統計 + 線性代數：以鳶尾花資料為例

22.2 平均值：線性代數角度

22.3 質心：平均值排列成向量

22.4 中心化：平移

22.5 分類資料：加標籤

22.6 方差：平均值向量沒有解釋的部分

22.7 協方差和相關性係數

22.8 協方差矩陣和相關性係數矩陣

第 23章 資料空間

23.1 從資料矩陣X說起

23.2 向量空間：從SVD分解角度理解

23.3 緊湊型SVD分解：剔除零空間

23.4 幾何角度說空間

23.5 格拉姆矩陣：向量模、夾角餘弦值的集合體

23.6 標準差向量：以資料質心為起點

23.7 白話說空間：以鳶尾花資料為例

第 24章 資料分解

24.1 為什麼要分解矩陣？

24.2 QR分解：獲得正交系

24.3 Cholesky分解：找到列向量的座標

24.4 特徵值分解：獲得行空間和零空間

24.5 SVD分解：獲得四個空間

第 25章 資料應用

25.1 從線性代數到機器學習

25.2 從隨機變數的線性變換說起

25.3 單方向映射

25.4 線性回歸

25.5 多方向映射

25.6 主成分分析