概率論沉思錄 Probability Theory: The Logic of Science

埃德温·汤普森·杰恩斯（1922—1998），著名数学物理学家，曾任圣路易斯华盛顿大学和斯坦福大学教授，在统计力学和概率统计推断方面有杰出贡献。1957年发表了热力学的最大熵解释，1963年与弗雷德·卡明斯一起以完全量子化的方式模拟了电磁场中二能级原子的演化，该模型称为杰恩斯-卡明斯模型。杰恩斯大力提倡将概率论解释为逻辑的延伸。

 

廖海仁，本科毕业于清华大学物理系，北京大学空间物理学硕士。中国第22次南极科学考察队员，曾在南极中山站越冬14个月。目前从事机器学习算法研发工作，2013年全球RTB广告DSP算法大赛主要组织者之一。

第 一部分 原則和初級應用1

第 1章 合情推理2

1.1 演繹推理與合情推理2

1.2 與物理理論的類比5

1.3 思維電腦6

1.4 推理機器人7

1.5 布爾代數8

1.6 完備運算集合11

1.7 基本的合情條件16

1.8 評註18

1.8.1 普通語言與形式邏輯19

1.8.2 吹毛求疵21

第 2章 定量規則23

2.1 乘法規則23

2.2 加法規則29

2.3 定性屬性33

2.4 數值35

2.5 記號與有限集合策略41

2.6 評註42

2.6.1 主觀與客觀43

2.6.2 哥德爾定理43

2.6.3 維恩圖46

2.6.4 柯爾莫哥洛夫公理47

第3章 初等抽樣論49

3.1 無放回抽樣49

3.2 邏輯與傾向57

3.3 根據不精確信息推理61

3.4 期望63

3.5 其他形式和推廣64

3.6 作為數學工具的概率65

3.7 二項分佈66

3.8 有放回抽樣69

3.9 相關性校正72

3.10 簡化情形77

3.11 評註78

第4章 初等假設檢驗82

4.1 先驗概率82

4.2 使用二元數據檢驗二元假設85

4.3 超出二元情形的不可擴展性92

4.4 多重假設檢驗94

4.5 連續概率分佈函數102

4.6 檢驗無數假設104

4.7 簡單假設與復合假設109

4.8 評註110

4.8.1 詞源110

4.8.2 已有成就111

第5章 概率論的怪異應用113

5.1 特異功能113

5.2 斯圖爾特夫人的心靈感應能力114

5.2.1 關於正態近似115

5.2.2 回到主題116

5.3 意見分歧與趨同120

5.4 視覺感知——進化出“貝葉斯性”？ 125

5.5 海王星的發現126

5.5.1 關於備擇假設128

5.5.2 回到牛頓理論130

5.6 賽馬和天氣預報132

5.7 關於直覺的悖論136

5.8 貝葉斯法理學137

5.9 評註139

第6章 初等參數估計141

6.1 壇子問題的逆141

6.2 N和R均未知142

6.3 均勻先驗144

6.4 預測分佈146

6.5 截斷均勻先驗148

6.6 凹先驗149

6.7 二項式猴子先驗151

6.8 變化為連續參數估計154

6.9 使用二項分佈進行估計154

6.10 復合估計問題158

6.11 簡單貝葉斯估計：定量先驗信息159

6.12 定性先驗信息的影響167

6.13 先驗的選擇168

6.14 關於計算169

6.15 傑弗裡斯先驗171

6.16 全部要點173

6.17 區間估計175

6.18 方差的計算176

6.19 泛化與漸近形式177

6.20 矩形抽樣分佈180

6.21 小樣本182

6.22 數學技巧182

6.23 評註184

第7章 中心分佈、高斯分佈或正態分佈187

7.1 吸引現象187

7.2 赫歇爾–麥克斯韋推導189

7.3 高斯推導190

7.4 高斯推導的歷史重要性191

7.5 蘭登推導193

7.6 為什麽普遍使用高斯分佈？195

7.7 為什麽普遍成功？198

7.8 應該使用什麽估計量？ 199

7.9 誤差抵消201

7.10 抽樣頻率分佈之近無關性203

7.11 出色的信息傳輸效率204

7.12 其他抽樣分佈205

7.13 作為保險工具的冗餘參數206

7.14 更多一般性質207

7.15 高斯函數的捲積208

7.16 中心極限定理209

7.17 計算準確度211

7.18 高爾頓的發現213

7.19 種群動力學與達爾文進化216

7.20 蜂鳥和花的進化217

7.21 在經濟學中的應用219

7.22 木星和土星的巨大時差220

7.23 分解為高斯分佈221

7.24 埃爾米特多項式解222

7.25 傅里葉變換關系223

7.26 終有希望224

7.27 評註226

第8章 充分性與輔助性229

8.1 充分性229

8.2 費希爾充分性231

8.2.1 示例232

8.2.2 布萊克韋爾–拉奧定理...233

8.3 廣義充分性234

8.4 帶冗餘參數的充分性235

8.5 似然原理236

8.6 輔助性238

8.7 廣義輔助信息239

8.8 漸近似然：費希爾信息242

8.9 結合不同來源的證據243

8.10 合並數據245

8.11 薩姆的壞溫度計247

8.12 評註249

8.12.1 樣本重復使用的錯誤..249

8.12.2 民間定理251

8.12.3 先驗信息的作用252

8.12.4 技巧和花招252

第9章 重復實驗：概率與頻率255

9.1 物理實驗255

9.2 孤陋寡聞的機器人258

9.3 歸納推理260

9.4 是否有一般性歸納法則？ 261

9.5 重數因子264

9.6 分拆函數算法265

9.7 熵算法268

9.8 另一種視角272

9.9 熵最大化273

9.10 概率和頻率275

9.11 顯著性檢驗276

9.12 ψ和χ^2的比較282

9.13 卡方檢驗284

9.14 推廣286

9.15 哈雷的死亡率表287

9.16 評註291

9.16.1 非理性主義者291

9.16.2 迷信293

第 10章 隨機試驗物理學295

10.1 有趣的關聯295

10.2 歷史背景296

10.3 如何在拋硬幣與擲骰子中作弊298

10.4 一手牌302

10.5 一般隨機試驗304

10.6 再論歸納306

10.7 但是量子理論呢？ 307

10.8 雲層下的力學309

10.9 關於硬幣與對稱性的更多討論310

10.10 拋擲的獨立性315

10.11 無知者的傲慢318

第二部分 高級應用319

第 11章 離散先驗概率：熵原理320

11.1 一種新的先驗信息320

11.2 最小化Σp^{2}_{i}322

11.3 熵：香農定理323

11.4 沃利斯推導327

11.5 一個示例329

11.6 推廣：更嚴格的證明331

11.7 最大熵分佈的形式性質333

11.8 概念問題–頻率對應340

11.9 評註345

第 12章 無知先驗和變換群346

12.1 我們要做什麽？346

12.2 無知先驗347

12.3 連續分佈348

12.4 變換群351

12.4.1 位置和比例參數351

12.4.2 泊松率355

12.4.3 未知成功概率355

12.4.4 貝特朗問題358

12.5 評註365

第 13章 決策論：歷史背景368

13.1 推斷與決策368

13.2 丹尼爾·伯努利的建議369

13.3 保險的理論依據371

13.4 熵與效用372

13.5 誠實的天氣預報員373

13.6 對丹尼爾·伯努利和拉普拉斯的反應374

13.7 沃爾德的決策論376

13.8 最小損失參數估計380

13.9 問題的重新表述382

13.10 不同損失函數的影響385

13.11 通用決策論387

13.12 評註388

13.12.1 決策論的“客觀性” 388

13.12.2 人類社會中的損失函數391

13.12.3 傑弗裡斯先驗的新視角393

13.12.4 決策論並不基礎393

13.12.5 另一維度？ 394

第 14章 決策論的簡單應用396

14.1 定義和基礎396

14.2 充分性和信息398

14.3 損失函數和最優性能準則400

14.4 離散例子402

14.5 我們的機器人將如何做？407

14.6 歷史評述407

14.7 小部件問題409

14.7.1 階段2的解412

14.7.2 階段3的解414

14.7.3 階段4的解418

14.8 評註419

第 15章 概率論中的悖論420

15.1 悖論如何生存和發展？ 420

15.2 序列求和的簡單方式421

15.3 非聚集性422

15.4 翻滾的四面體424

15.5 有限次拋擲的解427

15.6 有限與可列可加性432

15.7 博雷爾–柯爾莫哥洛夫悖論...435

15.8 邊緣化悖論438

15.9 討論446

15.9.1 DSZ示例5 448

15.9.2 小結451

15.10 結果最終有用嗎？ 452

15.11 如何批量生產悖論453

15.12 評註454

第 16章 正統方法：歷史背景458

16.1 早期問題458

16.2 正統統計社會學459

16.3 費希爾、傑弗裡斯和奈曼461

16.4 數據前和數據後考量467

16.5 估計量的抽樣分佈468

16.6 親因果與反因果偏差470

16.7 什麽是真實的，概率還是現象？473

16.8 評註474

第 17章 正統統計學原理與病理476

17.1 信息損失476

17.2 無偏估計量477

17.3 無偏估計的病理482

17.4 抽樣方差的基本不等式484

17.5 周期性：中央公園的天氣487

17.6 貝葉斯分析492

17.7 隨機化的愚蠢496

17.8 費希爾：洛桑農業研究所的常識498

17.9 缺失數據499

17.10 時間序列中的趨勢和季節性500

17.10.1 正統方法500

17.10.2 貝葉斯方法501

17.10.3 貝葉斯和正統估計的比較504

17.10.4 改進的正統估計506

17.10.5 效果的正統準則508

17.11 一般情況509

17.12 評註514

第 18章 A_p分佈與連續法則518

18.1 舊機器人的記憶存儲518

18.2 相關性520

18.3 令人驚訝的結果521

18.4 外層和內層機器人524

18.5 應用526

18.6 拉普拉斯連續法則528

18.7 傑弗裡斯的異議530

18.8 鱸魚還是鯉魚？531

18.9 連續法則什麽時候有用？532

18.10 推廣533

18.11 證實和證據的權重535

18.12 卡爾納普的歸納法537

18.13 可交換序列中的概率與頻率539

18.14 頻率預測540

18.15 一維中子倍增542

18.15.1 頻率解543

18.15.2 拉普拉斯解544

18.16 德菲內蒂定理548

18.17 評註550

第 19章 物理測量552

19.1 條件方程的簡化552

19.2 重表述為決策問題554

19.3 欠定情形：K奇異557

19.4 超定情形：K非奇異557

19.5 結果的數值計算558

19.6 估計的精度559

19.7 評註561

第 20章 模型比較563

20.1 問題表述564

20.2 公正的法官與殘酷的現實主義者565

20.2.1 參數預先已知565

20.2.2 參數未知566

20.3 簡單性概念何在？ 567

20.4 示例：線性響應模型569

20.5 評註573

第 21章離群值與穩健性576

21.1 實驗者的困境576

21.2 穩健性578

21.3 雙模模型580

21.4 可交換選擇581

21.5 一般貝葉斯解582

21.6 確定異常值584

21.7 一個遠離值585

第 22章 通信理論導論587

22.1 理論起源587

22.2 無噪聲通道588

22.3 信息來源593

22.4 英語有統計性質嗎？ 595

22.5 已知字頻的最佳編碼597

22.6 依據二元字母頻率知識的更好編碼599

22.7 與隨機模型的關系602

22.8 噪聲通道605

附錄A 概率論的其他流派609

A.1 柯爾莫哥洛夫概率系統609

A.2 德菲內蒂概率系統614

A.3 比較概率615

A.4 對普遍可比性的反對617

A.5 關於網格理論的推測618

附錄B 數學形式與風格620

B.1 記號和邏輯層次結構620

B.2 我們的“謹慎”策略621

B.3 威廉·費勒對於測度論的態度622

B.4 克羅內克與魏爾斯特拉斯的比較624

B.5 什麽是合法數學函數？626

B.5.1 德爾塔函數628

B.5.2 不可微函數629

B.5.3 臆造的不可微函數629

B.6 無限集合計數？ 632

B.7 豪斯多夫球體悖論與數學病理學633

B.8 我應該發表什麽？ 635

B.9 數學禮儀636

附錄C 捲積和累積量639

C.1 累積量和矩的關系641

C.2 示例643

引用文獻645

參考文獻677

譯後記701

人名索引721

術語索引733