統計計算

目錄
第1 章 優化算法 ......................................................................................................................... 1
1.1 誤差 ........................................................................................................................ 1
1.1.1 誤差的分類 ................................................................................................ 1
1.1.2 絕對誤差和相對誤差 ................................................................................ 2
1.1.3 算法的數值穩定性 .................................................................................... 4
1.2 方程求根和優化算法 ............................................................................................ 7
1.2.1 牛頓法求根 ................................................................................................ 7
1.2.2 爬山法求極值 .......................................................................................... 14
1.2.3 牛頓下山法求根 ...................................................................................... 15
1.2.4 牛頓法求一元函數的極值 ...................................................................... 17
1.2.5 梯度下降法 .............................................................................................. 18
第2 章 隨機數的生成方法 ....................................................................................................... 26
2.1 服從均勻分佈的隨機數的生成方法 .................................................................. 26
2.1.1 平方取中法 .............................................................................................. 26
2.1.2 線性同餘法 .............................................................................................. 27
2.1.3 混合同餘法 .............................................................................................. 29
2.1.4 乘同餘法 .................................................................................................. 31
2.1.5 素數模乘同餘法 ...................................................................................... 33
2.2 服從其他分佈的隨機數的生成方法 .................................................................. 34
2.2.1 逆變換法 .................................................................................................. 34
2.2.2 舍選抽樣法 .............................................................................................. 36
2.2.3 復合抽樣法 .............................................................................................. 43
2.3 服從常見離散型分佈的隨機數的生成方法 ...................................................... 47
2.3.1 服從離散型均勻分佈的隨機數的生成方法 .......................................... 47
2.3.2 服從幾何分佈的隨機數的生成方法 ...................................................... 49
2.3.3 服從二項分佈的隨機數的生成方法 ...................................................... 50
2.3.4 服從泊松分佈的隨機數的生成方法 ...................................................... 55
2.4 分佈間的關系 ...................................................................................................... 58
2.4.1 與正態分佈相關的分佈 .......................................................................... 58
2.4.2 與貝塔分佈相關的分佈 .......................................................................... 59
2.4.3 其他分佈 .................................................................................................. 62
2.5 服從常見連續型分佈的隨機數的生成方法 ...................................................... 62
2.5.1 服從均勻分佈的隨機數的生成方法 ...................................................... 62
2.5.2 服從指數分佈的隨機數的生成方法 ...................................................... 64
2.5.3 服從正態分佈的隨機數的生成方法 ...................................................... 66
2.5.4 服從卡方分佈的隨機數的生成方法 ...................................................... 68
第3 章 隨機模擬 ....................................................................................................................... 73
3.1 使用隨機模擬法求積分 ...................................................................................... 73
3.1.1 使用蒲豐投針方法計算圓周率 .............................................................. 73
3.1.2 隨機投點法 .............................................................................................. 74
3.1.3 使用平均值法求積分 .............................................................................. 78
3.1.4 使用重要抽樣法求積分 .......................................................................... 81
3.1.5 使用分層抽樣法求積分 .......................................................................... 85
3.2 方差縮減 .............................................................................................................. 88
3.2.1 控制變量法 .............................................................................................. 88
3.2.2 對偶變量法 .............................................................................................. 89
3.3 隨機模擬的應用 .................................................................................................. 91
3.3.1 停車的平均次數 ...................................................................................... 91
3.3.2 快遞問題 .................................................................................................. 93
3.3.3 冰激凌銷售問題 ...................................................................................... 96
3.3.4 舊筆新筆問題 .......................................................................................... 97
3.3.5 進貨問題 .................................................................................................. 99
3.3.6 迷宮問題 ................................................................................................ 101
3.4 積分的計算 ........................................................................................................ 103
3.4.1 使用Python 計算積分 ........................................................................... 103
3.4.2 使用隨機模擬法求積分 ........................................................................ 105
3.4.3 使用其他方法計算積分 ........................................................................ 108
第4 章 馬爾可夫鏈蒙特卡羅方法 ......................................................................................... 114
4.1 馬爾可夫鏈 ........................................................................................................ 114
4.1.1 馬爾可夫鏈與一步狀態轉移概率矩陣 ................................................ 114
4.1.2 多步狀態轉移概率矩陣 ........................................................................ 116
4.1.3 不可約性和遍歷性 ................................................................................ 117
4.1.4 非周期性 ................................................................................................ 120
4.2 Metropolis-Hasting 採樣 .................................................................................... 123
4.2.1 Metropolis-Hasting 算法 ........................................................................ 123
4.2.2 模擬退火算法 ........................................................................................ 138
4.2.3 使用Python 中的包計算函數的最值 ................................................... 144
4.3 Gibbs 抽樣.......................................................................................................... 146
4.4 馬爾可夫鏈蒙特卡羅方法分析 ........................................................................ 150
4.4.1 馬爾可夫鏈蒙特卡羅方法的收斂問題 ................................................ 150
4.4.2 Gelman-Rubin 檢驗 ............................................................................... 151
第5 章 EM 算法 ...................................................................................................................... 157
5.1 EM 算法概述 ..................................................................................................... 157
5.2 EM 算法應用 ..................................................................................................... 170
5.2.1 使用EM 算法估計混合正態分佈的參數 ............................................ 170
5.2.2 使用EM 算法進行k-均值聚類 ............................................................ 173
5.3 EM 算法的收斂性 ............................................................................................. 182
第6 章 回歸分析 ..................................................................................................................... 184
6.1 多元正態分佈 .................................................................................................... 184
6.1.1 隨機向量及數字特徵 ............................................................................ 184
6.1.2 n 維正態分佈 ......................................................................................... 187
6.1.3 距離 ........................................................................................................ 188
6.2 多元線性回歸 .................................................................................................... 191
6.2.1 多元線性回歸概述 ................................................................................ 191
6.2.2 建立模型 ................................................................................................ 192
6.2.3 回歸模型的檢驗 .................................................................................... 194
6.2.4 用模型進行預測 .................................................................................... 198
6.2.5 使用Python 實現線性回歸 ................................................................... 199
6.3 邏輯回歸 ............................................................................................................ 203
第7 章 分佈函數和分位數的計算 ......................................................................................... 216
7.1 連分式 ................................................................................................................ 216
7.1.1 連分式的起源 ........................................................................................ 216
7.1.2 連分式的定義和性質 ............................................................................ 217
7.1.3 計算連分式的方法 ................................................................................ 221
7.1.4 將函數展開成連分式 ............................................................................ 221
7.2 標準正態分佈分佈函數的計算 ........................................................................ 223
7.2.1 誤差函數和分佈函數 ............................................................................ 223
7.2.2 連分式展開 ............................................................................................ 225
7.2.3 使用連分式法計算標準正態分佈分佈函數的算法 ............................. 226
7.3 其他分佈的分佈函數的計算 ............................................................................ 227
7.3.1 貝塔分佈的分佈函數 ............................................................................ 227
7.3.2 卡方分佈的分佈函數 ............................................................................ 232
7.4 分位數的計算 .................................................................................................... 234
7.4.1 利用Toda 近似公式計算標準正態分佈的分位數 ............................... 234
7.4.2 計算貝塔分佈的分位數 ........................................................................ 234
7.4.3 計算t 分佈的分位數 ............................................................................. 235
7.4.4 計算F 分佈的分位數 ............................................................................ 235
7.4.5 計算卡方分佈的分位數 ........................................................................ 236
附錄A 統計圖形 ...................................................................................................................... 238
參考文獻 ..................................................................................................................................... 242