概率深度學習 使用 Python、Keras 和 TensorFlow Probability (Probabilistic Deep Learning: With Python, Keras and Tensorflow Probability)

目    錄

 

 

 

第Ⅰ部分  深度學習基礎

第1章  概率深度學習簡介  3

1.1  概率模型初探   4

1.2  初步瞭解深度學習   7

1.3  分類   10

1.3.1  傳統圖像分類方法   11

1.3.2  深度學習圖像分類方法   15

1.3.3  非概率分類   17

1.3.4  概率分類   18

1.3.5  貝葉斯概率分類   19

1.4  曲線擬合   21

1.4.1  非概率曲線擬合   21

1.4.2  概率曲線擬合   23

1.4.3  貝葉斯概率曲線擬合   25

1.5  何時使用和何時不使用深度學習   26

1.5.1  不宜使用深度學習的情況   27

1.5.2  適宜使用深度學習的情況   27

1.5.3  何時使用和何時不使用概率模型   28

1.6  你將在本書中學到什麽   28

1.7  小結   29

第2章  神經網絡架構   31

2.1  全連接神經網絡(fcNN)   32

2.1.1  人工神經網絡的生物學原型   33

2.1.2  神經網絡的實現入門   35

2.1.3  使用全連接神經網絡對圖像進行分類   48

2.2  用於圖像類數據的捲積神經網絡   56

2.2.1  捲積神經網絡架構中的主要思想   57

2.2.2  “邊緣愛好者”最小捲積神經網絡   61

2.2.3  捲積神經網絡架構的生物學起源   64

2.2.4  建立和理解捲積神經網絡   66

2.3  用於序列數據的一維捲積神經網絡   72

2.3.1  時序數據格式   73

2.3.2  有序數據有何特別之處   74

2.3.3  時間序列數據網絡架構   75

2.4  小結   77

第3章  曲線擬合原理   79

3.1  曲線擬合中的“Hello World”   81

3.2  梯度下降法   88

3.2.1  具有一個模型自由參數的損失函數   89

3.2.2  具有兩個模型自由參數的損失函數   93

3.3  深度學習中的特殊技巧   98

3.3.1  小批量梯度下降   99

3.3.2  使用隨機梯度下降改進算法來加快學習速度   100

3.3.3  自動微分   100

3.4  深度學習框架中的反向傳播   101

3.4.1  靜態圖框架   102

3.4.2  動態圖框架   112

3.5  小結   114

第Ⅱ部分  概率深度學習模型的最大似然方法

第4章  最大似然定義損失函數   117

4.1  損失函數之母——最大似然原則   118

4.2  分類問題損失函數推導   124

4.2.1  二元分類問題   125

4.2.2  兩個以上類別分類問題   133

4.2.3  負對數似然、交叉熵和K-L散度之間的關系   137

4.3  回歸問題損失函數推導   140

4.3.1  使用無隱藏層、單輸出神經網絡對輸入與輸出的線性關系進行建模   140

4.3.2  採用具有隱藏層的神經網絡對輸入與輸出的非線性關系進行建模   151

4.3.3  採用兩輸出神經網絡對異方差回歸任務進行建模   153

4.4  小結   159

第5章  基於TensorFlow概率編程的概率深度學習模型   161

5.1  不同概率預測模型的評價和比較   165

5.2  TFP概率編程概述   166

5.3  基於TFP概率編程的連續數據建模   171

5.3.1  常量方差線性回歸模型的擬合與評估   172

5.3.2  變方差線性回歸模型的擬合與評估   176

5.4  基於TFP的計數數據建模   182

5.4.1  適用於計數數據的泊松分佈   187

5.4.2  擴展泊松分佈為零膨脹泊松(ZIP)分佈   193

5.5  小結   197

第6章  “野外世界”中的概率深度學習模型   198

6.1  高級深度學習模型中的靈活概率分佈   200

6.1.1  多項式分佈作為一種靈活分佈   201

6.1.2  理解離散邏輯混合   204

6.2  案例研究：巴伐利亞公路傷亡事故   208

6.3  與流同行：標準化流(NF)簡介   210

6.3.1  標準化流的基本原理   212

6.3.2  概率變量變換   215

6.3.3  標準化流模型擬合   222

6.3.4  鏈接流以實現深度變換   224

6.3.5  高維空間變換*   229

6.3.6  流操作的網絡實現   232

6.3.7  有趣的流模型：人臉圖像採樣   239

6.4  小結   245

第Ⅲ部分  概率深度學習模型的貝葉斯方法

第7章  貝葉斯學習   249

7.1  非貝葉斯深度學習的弊端，以房間里的大象為例   250

7.2  初始貝葉斯方法   255

7.2.1  貝葉斯模型：黑客式   255

7.2.2  我們剛剛做了什麽   260

7.3  貝葉斯概率模型   261

7.3.1  貝葉斯模型訓練和預測   263

7.3.2  投擲硬幣，貝葉斯模型的“Hello World”   270

7.3.3  貝葉斯線性回歸模型回顧   282

7.4  小結   288

 

第8章  貝葉斯神經網絡   289

8.1  貝葉斯神經網絡概述   291

8.2  變分推理貝葉斯近似   293

8.2.1  深入瞭解變分推理*   294

8.2.2  變分推理簡單應用*   300

8.3  變分推理TFP實現   309

8.4  蒙特卡羅dropout貝葉斯近似   312

8.4.1  經典dropout訓練方法   313

8.4.2  在訓練和測試過程中採用蒙特卡羅dropout   317

8.5  案例研究   320

8.5.1  回歸中的外推問題   320

8.5.2  分類任務中新類別問題   326

8.6  小結   336

術語和縮寫詞的詞表   337