AI 時代 Math 元年 - 用 Python 全精通統計及機率

姜偉生
博士FRM。勤奮的小鎮做題家，熱愛知識可視化和開源分享。
自2022年8月開始，在GitHub上開源「鳶尾花書」學習資源，截至2023年9月，已經分享4000多頁PDF、4000多幅矢量圖、約2000個代碼文件，全球讀者數以萬計。

第1篇 統計

1 機率統計全景

1.1 必備數學工具：一個線性代數小測驗

1.2 統計描述

1.3 機率

1.4 高斯

1.5 隨機

1.6 頻率派

1.7 貝氏派

1.8 橢圓三部曲

 

2 統計描述

2.1 統計兩大工具：描述、推斷

2.2 長條圖：單特徵資料分佈

2.3 散點圖：兩特徵資料分佈

2.4 有標籤資料的統計視覺化

2.5 集中度：平均值、質心

2.6 分散度：極差、方差、標準差

2.7 分位：四分位、百分位等

2.8 箱型圖：小提琴圖、分佈散點圖

2.9 中心距：平均值、方差、偏度、峰度

2.10 多元隨機變數關係：協方差矩陣、相關性係數矩陣

第 2 篇 機率

3 古典機率模型

3.1 無處不在的機率

3.2 古典機率：離散均勻機率律

3.3 回顧：巴斯卡三角和機率

3.4 事件之間的關係：集合運算

3.5 條件機率：給定部分資訊做推斷

3.6 貝氏定理：條件機率、邊緣機率、聯合機率關係

3.7 全機率定理：窮舉法

3.8 獨立、互斥、條件獨立

4 離散隨機變數

4.1 隨機：天地不仁，以萬物為芻狗

4.2 期望值：隨機變數的可能設定值加權平均

4.3 方差：隨機變數離期望距離平方的平均值

4.4 累積分佈函數（CDF）：累加

4.5 二元離散隨機變數

4.6 協方差、相關性係數

4.7 邊緣機率：偏求和，相當於降維

4.8 條件機率：引入貝氏定理

4.9 獨立性：條件機率等於邊緣獨立

4.10 以鳶尾花資料為例：不考慮分類標籤

4.11 以鳶尾花資料為例：考慮分類標籤

4.12 再談機率1：展開、折疊

5 離散分佈

5.1 機率分佈：高度理想化的數學模型

5.2 離散均勻分佈：不分厚薄

5.3 伯努利分佈：非黑即白

5.4 二項分佈：巴斯卡三角

5.5 多項分佈：二項分佈推廣

5.6 卜松分佈：建模隨機事件的發生次數

5.7 幾何分佈：滴水穿石

5.8 超幾何分佈：不放回

6 連續隨機變數

6.1 一元連續隨機變數

6.2 期望、方差和標準差

6.3 二元連續隨機變數

6.4 邊緣機率：二元PDF 偏積分

6.5 條件機率：引入貝氏定理

6.6 獨立性：比較條件機率和邊緣機率

6.7 以鳶尾花資料為例：不考慮分類標籤

6.8 以鳶尾花資料為例：考慮分類標籤

7 連續分佈

7.1 連續均勻分佈：離散均勻分佈的連續版

7.2 高斯分佈：最重要的機率分佈，沒有之一

7.3 邏輯分佈：類似高斯分佈

7.4 學生t- 分佈：厚尾分佈

7.5 對數正態分佈：源自正態分佈

7.6 指數分佈：卜松分佈的連續隨機變數版

7.7 卡方分佈：若干IID 標準正態分佈平方和

7.8 F- 分佈：和兩個服從卡方分佈的獨立隨機變數有關

7.9 Beta 分佈：機率的機率

7.10 Dirichlet 分佈：多元Beta 分佈

8 條件機率

8.1 離散隨機變數：條件期望

8.2 離散隨機變數：條件方差

8.3 離散隨機變數的條件期望和條件方差：以鳶尾花為例

8.4 連續隨機變數：條件期望

8.5 連續隨機變數：條件方差

8.6 連續隨機變數：以鳶尾花為例

8.7 再談如何分割「1」

第 3 篇 高斯

9 一元高斯分佈

9.1 一元高斯分佈：期望值決定位置，標準差決定形狀

9.2 累積機率密度：對應機率值

9.3 標準高斯分佈：期望為0，標準差為1

9.4 68-95-99.7 法則

9.5 用一元高斯分佈估計機率密度

9.6 經驗累積分佈函數

9.7 QQ 圖：分位- 分點陣圖

9.8 從距離到一元高斯分佈

10 二元高斯分佈

10.1 二元高斯分佈：看見橢圓

10.2 邊緣分佈：一元高斯分佈

10.3 累積分佈函數：機率值

10.4 用橢圓解剖二元高斯分佈

10.5 聊聊線性相關性係數

10.6 以鳶尾花資料為例：不考慮分類標籤

10.7 以鳶尾花資料為例：考慮分類標籤

11 多元高斯分佈

11.1 矩陣角度：一元、二元、三元到多元

11.2 高斯分佈：橢圓、橢球、超橢球

11.3 解剖多元高斯分佈PDF

11.4 平移→旋轉

11.5 平移→旋轉→縮放

12 條件高斯分佈

12.1 聯合機率和條件機率關係

12.2 給定X 條件下，Y 的條件機率：以二元高斯分佈為例

12.3 給定Y 條件下，X 的條件機率：以二元高斯分佈為例

12.4 多元常態條件分佈：引入矩陣運算

13 協方差矩陣

13.1 計算協方差矩陣：描述資料分佈

13.2 相關性係數矩陣：描述Z 分數分佈

13.3 特徵值分解：找到旋轉、縮放

13.4 SVD 分解：分解資料矩陣

13.5 Cholesky 分解：列向量座標

13.6 距離：歐氏距離vs 馬氏距離

13.7 幾何角度：超橢球、橢球、橢圓

13.8 合併協方差矩陣

第 4 篇 隨機

14 隨機變數的函數

14.1 隨機變數的函數：以鳶尾花為例

14.2 線性變換：投影角度

14.3 單方向投影：以鳶尾花兩特徵為例

14.4 正交系投影：以鳶尾花兩特徵為例

14.5 以橢圓投影為角度看線性變換

14.6 主成分分析：換個角度看資料

15 蒙地卡羅模擬

15.1 蒙地卡羅模擬：基於虛擬亂數發生器

15.2 估算平方根

15.3 估算積分

15.4 估算體積

15.5 估算圓周率

15.6 布豐投針估算圓周率

15.7 接受- 拒絕抽樣法

15.8 二項分佈隨機漫步

15.9 兩個服從高斯分佈的隨機變數相加

15.10 產生滿足特定相關性的隨機數

第 5 篇 頻率派

16 頻率派統計推斷

16.1 統計推斷：兩大學派

16.2 頻率學派的工具

16.3 中心極限定理：漸近於正態分佈

16.4 最大似然：雞兔比例

16.5 最大似然：以估算平均值、方差為例

16.6 區間估計：整體方差已知，平均值估計

16.7 區間估計：整體方差未知，平均值估計

16.8 區間估計：整體平均值未知，方差估計

17 機率密度估計

17.1 機率密度估計：從長條圖說起

17.2 核心密度估計：若干核心函數加權疊合

17.3 頻寬：決定核心函數的高矮胖瘦

17.4 核心函數：八種常見核心函數

17.5 二元KDE：機率密度曲面

第 6 篇 貝氏派

18 貝氏分類

18.1 貝氏定理：分類鳶尾花

18.2 似然機率：給定分類條件下的機率密度

18.3 先驗機率：鳶尾花分類佔比

18.4 聯合機率：可以作為分類標準

18.5 證據因數：和分類無關

18.6 後驗機率：也是分類的依據

18.7 單一特徵分類：基於KDE

18.8 單一特徵分類：基於高斯

19 貝氏分類進階

19.1 似然機率：給定分類條件下的機率密度

19.2 聯合機率：可以作為分類標準

19.3 證據因數：和分類無關

19.4 後驗機率：也是分類的依據

19.5 獨立：不代表條件獨立

19.6 條件獨立：不代表獨立

20 貝氏推斷入門

20.1 貝氏推斷：更貼合人腦思維

20.2 從一元貝氏公式說起

20.3 走地雞兔：比例完全不確定

20.4 走地雞兔：很可能一半一半

20.5 走地雞兔：更一般的情況

21 貝氏推斷進階

21.1 除了雞兔，農場發現了豬

21.2 走地雞兔豬：比例完全不確定

21.3 走地雞兔豬：很可能各1/3

21.4 走地雞兔豬：更一般的情況

22 馬可夫鏈蒙地卡羅

22.1 歸一化因數沒有閉式解？

22.2 雞兔比例：使用PyMC3

22.3 雞兔豬比例：使用PyMC3

第 7 篇 橢圓

23 馬氏距離

23.1 馬氏距離：考慮資料分佈的距離度量

23.2 歐氏距離：最基本的距離

23.3 標準化歐氏距離：兩個角度

23.4 馬氏距離：兩個角度

23.5 馬氏距離和卡方分佈

24 線性迴歸

24.1 再聊線性迴歸

24.2 最小平方法

24.3 最佳化問題

24.4 投影角度

24.5 線性方程組：代數角度

24.6 條件機率

24.7 最大似然估計（MLE）

25 主成分分析

25.1 再聊主成分分析

25.2 原始資料

25.3 特徵值分解協方差矩陣

25.4 投影

25.5 幾何角度看PCA

25.6 奇異值分解

25.7 最佳化問題

25.8 資料還原和誤差