概率導論（第2版·修訂版）

【作者简介】

迪米特里?伯特瑟卡斯（Dimitri P. Bertsekas）

美国工程院院士，IEEE会士。1971年获美国麻省理工学院电子工程博士学位。长期在麻省理工学院执教，曾获得2001年度美国控制协会J. Ragazzini教育奖。他的研究领域涉及优化、控制、大规模计算、数据通信网络等，许多研究具有开创性贡献。著有《非线性规划》等十余部教材和专著，其中许多被麻省理工学院等名校用作研究生或本科生教材。

 

约翰?齐齐克利斯（John N. Tsitsiklis）

美国工程院院士，IEEE会士，麻省理工学院教授。分别于1980年、1981年、1984年在麻省理工学院获得学士、硕士、博士学位。他的研究成果颇丰，已发表学术论文上百篇。

 

【译者简介】

郑忠国

1965年研究生毕业于北京大学。曾任北京大学数学科学学院教授、博士生导师。长期从事数理统计的教学和科研工作，主要研究方向有非参数统计、可靠性统计和统计计算，发表论文近百篇。主持完成国家科研项目“不完全数据统计理论及其应用”，教育部博士点基金项目“应用统计方法研究”和“工业与医学中的应用统计研究”等。

 

童行伟

北京师范大学统计学院教授、博士生导师，主要从事生物统计、金融统计、稳健统计等领域的教学和研究工作。2000年就读于北京大学概率统计系，获得统计学博士学位。2005~2006年在美国密苏里大学哥伦比亚分校从事博士后研究工作。

第 1章　樣本空間與概率　　1

1.1 集合　　2

1.1.1 集合運算　　3

1.1.2 集合的代數　　4

1.2 概率模型　　4

1.2.1 樣本空間和事件　　5

1.2.2 選擇適當的樣本空間　　6

1.2.3 序貫模型　　6

1.2.4 概率律　　6

1.2.5 離散模型　　8

1.2.6 連續模型　　10

1.2.7 概率律的性質　　11

1.2.8 模型和現實　　13

1.3 條件概率　　16

1.3.1 條件概率是一個概率律　　17

1.3.2 利用條件概率定義概率模型　　20

1.4 全概率定理和貝葉斯準則　　25

1.5 獨立性　　30

1.5.1 條件獨立　　32

1.5.2 一組事件的獨立性　　34

1.5.3 可靠性　　35

1.5.4 獨立試驗和二項概率　　36

1.6 計數法　　38

1.6.1 計數準則　　39

1.6.2 n選k排列　　40

1.6.3 組合　　41

1.6.4 分割　　43

1.7 小結和討論　　45

1.8 習題　　46

第 2章　離散隨機變量　　62

2.1 基本概念　　62

2.2 概率質量函數　　64

2.2.1 伯努利隨機變量　　66

2.2.2 二項隨機變量　　66

2.2.3 幾何隨機變量　　67

2.2.4 泊松隨機變量　　68

2.3 隨機變量的函數　　69

2.4 期望、均值和方差　　70

2.4.1 方差、矩和隨機變量的函數的期望值規則　　72

2.4.2 均值和方差的性質　　75

2.4.3 常用隨機變量的均值和方差　　77

2.4.4 利用期望值進行決策　　79

2.5 多個隨機變量的聯合概率質量函數　　80

2.5.1 多個隨機變量的函數　　81

2.5.2 多於兩個隨機變量的情況　　83

2.6 條件　　85

2.6.1 某個事件發生的條件下的隨機變量　　85

2.6.2 給定另一個隨機變量的值的條件下的隨機變量　　87

2.6.3 條件期望　　90

2.7 獨立性　　95

2.7.1 隨機變量和事件的獨立性　　95

2.7.2 隨機變量之間的獨立性　　95

2.7.3 多個隨機變量的獨立性　　99

2.7.4 若乾個獨立隨機變量之和的方差　　99

2.8 小結和討論　　101

2.9 習題　　103

第3章　一般隨機變量　　121

3.1 連續隨機變量和概率密度函數　　121

3.1.1 期望　　125

3.1.2 指數隨機變量　　126

3.2 累積分佈函數　　128

3.3 正態隨機變量　　132

3.4 多個隨機變量的聯合概率密度函數　　138

3.4.1 聯合累積分佈函數　　141

3.4.2 期望　　141

3.4.3 多於兩個隨機變量的情況　　142

3.5 條件　　143

3.5.1 以事件為條件的隨機變量　　143

3.5.2 以另一個隨機變量為條件的隨機變量　　146

3.5.3 條件期望　　150

3.5.4 獨立性　　152

3.6 連續貝葉斯準則　　155

3.6.1 關於離散隨機變量的推斷　　156

3.6.2 基於離散觀測值的推斷　　157

3.7 小結和討論　　158

3.8 習題　　159

第4章　隨機變量的高級主題　　173

4.1 導出分佈　　173

4.1.1 線性函數　　175

4.1.2 單調函數　　177

4.1.3 兩個隨機變量的函數　　179

4.1.4 獨立隨機變量和——捲積　　183

4.1.5 捲積的圖像計算法　　186

4.2 協方差和相關　　187

4.3 再論條件期望和條件方差　　191

4.3.1 條件期望作為估計量　　193

4.3.2 條件方差　　194

4.4 矩母函數　　197

4.4.1 從矩母函數到矩　　199

4.4.2 矩母函數的可逆性　　201

4.4.3 獨立隨機變量和　　203

4.4.4 聯合分佈的矩母函數　　206

4.5 隨機數個獨立隨機變量和　　206

4.6 小結和討論　　209

4.7 習題　　210

第5章　極限理論　　224

5.1 馬爾可夫和切比雪夫不等式　　225

5.2 弱大數定律　　228

5.3 依概率收斂　　230

5.4 中心極限定理　　232

5.4.1 基於中心極限定理的近似　　233

5.4.2 二項分佈的棣莫弗－拉普拉斯近似　　235

5.5 強大數定律　　237

5.6 小結和討論　　239

5.7 習題　　240

第6章　伯努利過程和泊松過程　　249

6.1 伯努利過程　　250

6.1.1 獨立性和無記憶性　　251

6.1.2 相鄰到達間隔時間　　254

6.1.3 第k次到達的時間　　255

6.1.4 伯努利過程的分裂與合並　　256

6.1.5 二項分佈的泊松近似　　257

6.2 泊松過程　　260

6.2.1 區間內到達的次數　　262

6.2.2 獨立性和無記憶性　　264

6.2.3 相鄰到達時間　　265

6.2.4 第k次到達的時間　　266

6.2.5 泊松過程的分裂與合並　　268

6.2.6 伯努利過程和泊松過程、隨機變量和　270

6.2.7 隨機插入的悖論　　271

6.3 小結和討論　　273

6.4 習題　　274

第7章　馬爾可夫鏈　　284

7.1 離散時間馬爾可夫鏈　　284

7.1.1 路徑的概率　　287

7.1.2 n步轉移概率　　288

7.2 狀態的分類　　291

7.3 穩態性質　　294

7.3.1 長期頻率解釋　　299

7.3.2 生滅過程　　300

7.4 吸收概率和吸收的期望時間　　303

7.4.1 吸收的期望時間　　307

7.4.2 平均首訪時間及回訪時間　　308

7.5 連續時間的馬爾可夫鏈　　309

7.5.1 利用離散時間馬爾可夫鏈的近似　　312

7.5.2 穩態性質　　314

7.5.3 生滅過程　　316

7.6 小結和討論　　316

7.7 習題　　318

第8章　貝葉斯統計推斷　　340

8.1 貝葉斯推斷與後驗分佈　　344

8.2 點估計、假設檢驗、最大後驗概率準則　　350

8.2.1 點估計　　352

8.2.2 假設檢驗　　355

8.3 貝葉斯最小均方估計　　358

8.3.1 估計誤差的一些性質　　363

8.3.2 多次觀測和多參數情況　　364

8.4 貝葉斯線性最小均方估計　　365

8.4.1 一次觀測的線性最小均方估計　　365

8.4.2 多次觀測和多參數情形　　369

8.4.3 線性估計和正態模型　　369

8.4.4 線性估計的變量選擇　　370

8.5 小結和討論　　370

8.6 習題　　371

第9章　經典統計推斷　　381

9.1 經典參數估計　　383

9.1.1 估計量的性質　　383

9.1.2 最大似然估計　　384

9.1.3 隨機變量均值和方差的估計　　388

9.1.4 置信區間　　390

9.1.5 基於方差近似估計量的置信區間　　391

9.2 線性回歸　　395

9.2.1 最小二乘公式的合理性　　397

9.2.2 貝葉斯線性回歸　　399

9.2.3 多元線性回歸　　401

9.2.4 非線性回歸　　402

9.2.5 實際中的考慮　　403

9.3 簡單假設檢驗　　404

9.4 顯著性檢驗　　413

9.4.1 一般方法　　413

9.4.2 廣義似然比和擬合優度檢驗　　418

9.5 小結和討論　　421

9.6 習題　　422

索引　　433

附表　　438

標準正態分佈表　　440