深度學習之圖像識別：核心算法與實戰案例（全彩版）

第1章  神經網絡與捲積神經網絡基礎 1

1.1  神經網絡的生物基礎與數學模型 1

1.1.1  神經元 1

1.1.2  感知機 3

1.1.3  多層感知機與反向傳播算法 7

1.2  捲積神經網絡基礎 11

1.2.1  捲積的概念 12

1.2.2  捲積神經網絡的基本概念 13

1.2.3  捲積神經網絡的基本結構 17

1.3  總結 21

參考文獻 22

第2章  深度學習優化基礎 23

2.1  激活函數 23

2.1.1  S型函數 24

2.1.2  ReLU函數 25

2.2  參數初始化 31

2.2.1  簡單初始化 31

2.2.2  標準初始化 31

2.2.3  Xavier與MSRA初始化 32

2.2.4  初始化方法的使用 32

2.3  標準化方法 33

2.3.1  什麽是標準化 33

2.3.2  批次標準化 34

2.3.3  層標準化 37

2.3.4  實例標準化 37

2.3.5  組標準化 38

2.3.6  權重標準化 39

2.3.7  標準化方法的自動搜索 39

2.3.8  標準化的有效性問題 39

2.4  學習率與最優化 40

2.4.1  學習率策略 40

2.4.2  梯度下降法與動量法 45

2.4.3  Adagrad算法 46

2.4.4  Adadelta與RMSprop算法 47

2.4.5  Adam算法 47

2.4.6  牛頓法、擬牛頓法與共軛梯度法 48

2.5  正則化方法與泛化 48

2.5.1  過擬合與欠擬合 49

2.5.2  參數正則化 49

2.5.3  提前停止 50

2.5.4  模型集成 51

2.5.5  訓練樣本擴充 52

2.6  深度學習主流開源框架 52

2.6.1  Caffe簡介 53

2.6.2  TensorFlow簡介 53

2.6.3  PyTorch簡介 54

2.6.4  Theano簡介 55

2.6.5  Keras簡介 55

2.6.6  MXNet簡介 55

2.6.7  Chainer簡介 56

2.7  總結 56

參考文獻 57

第3章  深度學習中的數據使用方法 60

3.1  深度學習通用數據集的發展 60

3.1.1  MNIST數據集 60

3.1.2  CIFAR10和CIFAR100數據集 61

3.1.3  PASCAL數據集 63

3.1.4  ImageNet數據集 63

3.1.5  Microsoft COCO數據集 64

3.2  常見電腦視覺任務數據集 65

3.2.1  人臉數據集 65

3.2.2  自動駕駛數據集 75

3.2.3  醫學數據集 77

3.3  數據收集、清洗與整理 81

3.3.1  數據收集 81

3.3.2  數據清洗與整理 83

3.4  數據標註 85

3.4.1  數據標註類型 85

3.4.2  數據標註方法 85

3.5  數據增強 87

3.5.1  單樣本圖像處理數據增強 88

3.5.2  多樣本圖像處理數據增強 92

3.5.3  自動化數據增強 94

3.5.4  數據生成增強 94

3.6  數據可視化 95

3.6.1  低維數據可視化 96

3.6.2  高維數據可視化 97

3.7  總結 99

參考文獻 99

第4章  圖像分類 101

4.1  圖像分類基礎 101

4.1.1  單標簽圖像分類問題 102

4.1.2  深度學習圖像分類經典模型 104

4.1.3  優化目標 108

4.1.4  評測指標 110

4.2  多標簽圖像分類 111

4.2.1  多標簽圖像分類問題 111

4.2.2  多標簽圖像分類模型 112

4.2.3  多標簽圖像分類評估指標 113

4.3  細粒度圖像分類 114

4.3.1  基於語義子區域的模型 114

4.3.2  基於高維特徵的模型 116

4.4  半監督與無監督圖像分類 117

4.4.1  基本問題與解決思路 117

4.4.2  半監督分類模型 119

4.4.3  無監督分類模型 120

4.4.4  自監督分類模型 121

4.5  其他圖像分類問題的典型難題 122

4.5.1  類別不均衡問題 122

4.5.2  樣本過少問題 123

4.5.3  零樣本識別問題 123

4.6  簡單表情圖像分類實戰 124

4.6.1  項目背景 124

4.6.2  數據預處理 126

4.6.3  網絡結構配置 128

4.6.4  基於PyTorch的項目實踐 130

4.6.5  基於Caffe的項目實踐 137

4.6.6  項目總結 146

4.7  鳥類細粒度圖像分類實戰 147

4.7.1  項目背景 147

4.7.2  模型搭建 148

4.7.3  模型訓練 151

4.7.4  項目總結 152

4.8  總結 152

參考文獻 153

第5章  目標檢測 155

5.1  目標檢測基礎 155

5.1.1  檢測窗口選擇 156

5.1.2  特徵提取 156

5.1.3  分類器 157

5.1.4  經典的V-J人臉檢測方法 159

5.1.5  評估指標 162

5.1.6  優化目標 166

5.1.7  深度學習目標檢測概述 167

5.2  深度學習二階段目標檢測方法 168

5.2.1  Selective Search與R-CNN 168

5.2.2  RoI Pooling與SPPNet 171

5.2.3  Fast R-CNN方法 172

5.2.4  Faster R-CNN方法 175

5.2.5  R-FCN方法 177

5.2.6  特徵金字塔 178

5.2.7  RoI Align簡介 178

5.2.8  級聯框架Cascade R-CNN 180

5.3  深度學習一階段目標檢測方法 180

5.3.1  YOLO v1方法 180

5.3.2  YOLO v2方法 183

5.3.3  YOLO v3方法 185

5.3.4  YOLO v4方法 186

5.3.5  YOLO v5方法 189

5.3.6  SSD方法 191

5.3.7  基於角點的檢測方法 192

5.4  YOLO v3貓臉目標檢測實戰 194

5.4.1  項目背景 194

5.4.2  數據讀取 194

5.4.3  模型搭建 199

5.4.4  優化目標 204

5.4.5  模型訓練 212

5.4.6  模型測試 212

5.4.7  項目總結 217

5.5  總結 217

參考文獻 218

第6章  圖像分割 220

6.1  圖像分割基礎 220

6.1.1  圖像分割的分類 220

6.1.2  經典的圖像分割方法 222

6.1.3  評估指標與優化目標 226

6.2  語義分割 227

6.2.1  反捲積 227

6.2.2  語義分割基本流程 229

6.2.3  語義分割經典模型 230

6.2.4  語義分割核心技術與改進 232

6.2.5  條件隨機場後處理 236

6.2.6  弱監督語義分割模型 236

6.3  Image Matting模型 237

6.3.1  基本概念 237

6.3.2  基於三值圖的模型 237

6.3.3  不基於三值圖的模型 240

6.3.4  小結 241

6.4  實例分割模型 241

6.4.1  基礎實例分割模型 241

6.4.2  二階段實例分割模型 245

6.4.3  一階段實例分割模型 246

6.4.4  小結 250

6.5  嘴唇圖像語義分割項目 251

6.5.1  項目背景 251

6.5.2  數據準備與讀取 252

6.5.3  網絡結構搭建 254

6.5.4  模型訓練 256

6.5.5  模型測試 259

6.5.6  項目總結 260

6.6  人像摳圖實戰 261

6.6.1  項目背景 261

6.6.2  數據處理與讀取 262

6.6.3  模型搭建與訓練 266

6.6.4  模型測試 270

6.6.5  項目總結 272

6.7  總結 272

參考文獻 272

第7章  模型可視化 275

7.1  模型可視化基礎 275

7.1.1  為什麽要研究模型可視化 275

7.1.2  模型可視化的研究方向 276

7.2  模型結構可視化 276

7.2.1  模型結構的定義 277

7.2.2  Graphiz可視化工具 278

7.2.3  Netron可視化工具 280

7.3  模型可視化分析 282

7.3.1  捲積參數與特徵可視化 282

7.3.2  輸入激活模式可視化 286

7.3.3  輸入區域重要性可視化 289

7.4  模型可視化分析實踐 293

7.4.1  梯度法可視化 293

7.4.2  反捲積可視化 296

7.4.3  CAM圖可視化 302

7.4.4  項目總結 305

7.5  總結 305

參考文獻 305

第8章  模型壓縮 307

8.1  輕量級模型設計 307

8.1.1  全連接層的壓縮 308

8.1.2  小捲積核的應用 309

8.1.3  捲積拆分與分組 312

8.1.4  特徵通道優化利用 316

8.1.5  小結 317

8.2  模型剪枝 318

8.2.1  模型剪枝基礎 318

8.2.2  模型稀疏學習 319

8.2.3  非結構化剪枝技術 322

8.2.4  結構化剪枝技術 324

8.2.5  小結 326

8.3  模型量化 326

8.3.1  模型量化基礎 326

8.3.2  二值量化 327

8.3.3  8bit量化 331

8.3.4  自由位寬量化 334

8.3.5  小結 335

8.4  模型蒸餾 335

8.4.1  模型蒸餾基礎 336

8.4.2  知識蒸餾框架 337

8.4.3  小結 339

8.5  結構化模型剪枝實踐 339

8.5.1  方案選擇 340

8.5.2  模型訓練 340

8.5.3  模型剪枝 343

8.5.4  小結 346

8.6  8bit模型量化實踐 346

8.6.1  方法選擇 346

8.6.2  量化算法實現 347

8.6.3  模型量化與測試 353

8.6.4  小結 356

8.7  經典模型蒸餾實踐 357

8.7.1  模型定義 357

8.7.2  模型訓練 358

8.7.3  小結 360

8.8  總結 361

參考文獻 361

第9章  模型部署與上線 365

9.1  微信小程序前端開發 365

9.1.1  小程序的技術特點與定位 365

9.1.2  Web前端基礎 367

9.1.3  小程序開發工具 369

9.1.4  小程序前端目錄 370

9.1.5  小程序前端開發 371

9.2  微信小程序服務端開發 376

9.2.1  域名註冊與管理 377

9.2.2  服務端框架簡介 377

9.2.3  算法搭建與實現 378

9.3  總結 382