深度學習教程

目錄
　　前言
　　第1章 電腦視覺任務的基礎知識 1
　　1.1 遙感圖像基礎知識 1
　　1.1.1 遙感和遙感系統 1
　　1.1.2 遙感圖像成像機制 2
　　1.1.3 遙感圖像特徵 2
　　1.2 遙感圖像融合基礎知識 4
　　1.2.1 遙感圖像融合背景 4
　　1.2.2 遙感圖像融合類型 5
　　1.2.3 遙感圖像融合實現原理 6
　　1.3 遙感圖像超分辨率任務基礎知識 12
　　1.3.1 遙感圖像超分辨率背景 12
　　1.3.2 遙感圖像超分辨率實現原理 13
　　1.4 目標檢測基礎知識 16
　　1.4.1 目標檢測任務基本原理 16
　　1.4.2 目標檢測任務常用評價指標及計算方法 18
　　1.5 目標跟蹤基礎知識 20
　　1.6 數據集 22
　　1.6.1 圖像分類常用數據集 22
　　1.6.2 目標檢測任務常用數據集 24
　　1.6.3 目標跟蹤任務常用數據集和評價標準 25
　　1.6.4 遙感圖像數據集 29
　　1.6.5 圖像隱寫數據集 30
　　1.6.6 人臉圖像數據集 31
　　1.7 數字化資源 31
　　第2章 神經網絡和捲積神經網絡基礎 32
　　2.1 神經元工作的數學表示 32
　　2.1.1 神經元工作的數學表示 32
　　2.1.2 神經元的一般化 33
　　2.2 什麽是神經網絡 34
　　2.2.1 神經網絡的結構 35
　　2.2.2 神經網絡的訓練 37
　　2.2.3 神經網絡的參數和變量 38
　　2.2.4 神經網絡的代價函數和參數訓練 39
　　2.3 隨機梯度下降 40
　　2.4 神經網絡正則化初步 45
　　2.4.1 模型選擇，欠擬合和過擬合 45
　　2.4.2 權重衰減 49
　　2.4.3 丟棄法 51
　　2.5 捲積神經網絡基礎55
　　2.5.1 捲積神經網絡的基本思想 55
　　2.5.2 捲積神經網絡的數學表示 56
　　2.5.3 捲積神經網絡的誤差反向傳播 60
　　2.6 殘差網絡 64
　　2.7 基於捲積神經網絡的視覺註意力機制 67
　　2.7.1 空間域註意力 67
　　2.7.2 通道域註意力 69
　　2.7.3 混合域註意力 72
　　2.8 數字化資源 74
　　第3章 經典捲積神經網絡結構 75
　　3.1 手寫數字識別任務75
　　3.2 圖像分類任務 77
　　3.2.1 圖像分類研究背景 77
　　3.2.2 經典捲積神經網絡結構: AlexNet 78
　　3.2.3 經典捲積神經網絡結構: ResNet 80
　　3.2.4 經典捲積神經網絡結構: GoogLeNet 84
　　3.3 數字化資源 87
　　第4章 激活函數的研究 88
　　4.1 激活函數的基本性質 88
　　4.1.1 無激活函數的神經網絡 88
　　4.1.2 配備激活函數的神經網絡 90
　　4.2 激活函數的理論分析 92
　　4.2.1 飽和激活函數 92
　　4.2.2 梯度消失和梯度爆炸問題 92
　　4.3 不可訓練的激活函數 95
　　4.3.1 經典激活函數 95
　　4.3.2 整流型激活函數 99
　　4.4 可訓練的激活函數 107
　　4.4.1 參數化標準激活函數 107
　　4.4.2 集成化激活函數 113
　　4.5 激活函數實驗分析 119
　　4.5.1 CIFAR-10/100的實驗 119
　　4.5.2 ImageNet的實驗 126
　　4.6 數字化資源 130
　　第5章 深度學習的優化算法 131
　　5.1 優化算法與深度學習 131
　　5.1.1 優化算法與深度學習的關系 131
　　5.1.2 優化算法在深度學習中的挑戰 131
　　5.2 隨機梯度下降算法 134
　　5.3 動量法 137
　　5.3.1 梯度下降的問題 137
　　5.3.2 動量法 139
　　5.3.3 指數加權移動平均 141
　　5.3.4 從指數加權移動平均來理解動量法 142
　　5.3.5 NAG算法 142
　　5.4 自適應梯度方法 145
　　5.4.1 AdaGrad算法 145
　　5.4.2 RMSProp算法 151
　　5.4.3 AdaDelta算法 155
　　5.4.4 Adam算法 157
　　5.4.5 AdaMax算法 164
　　5.5 優化算法實驗分析 166
　　5.5.1 小型機翼噪聲回歸的實驗 167
　　5.5.2 CIFAR-10的實驗 171
　　5.5.3 ImageNet的實驗 173
　　5.6 數字化資源 175
　　第6章 神經網絡的正則化 176
　　6.1 理論框架 176
　　6.2 正則化方法 178
　　6.2.1 批量歸一化 178
　　6.2.2 權重衰減 182
　　6.2.3 Dropout 185
　　6.2.4 模型集成 188
　　6.2.5 數據擴增 190
　　6.2.6 提前終止 192
　　6.2.7 標簽平滑 193
　　6.2.8 多任務學習 195
　　6.2.9 添加噪聲 195
　　6.3 知識蒸餾技術 196
　　6.3.1 知識蒸餾 196
　　6.3.2 特徵蒸餾 204
　　6.3.3 自蒸餾 209
　　6.4 數字化資源 212
　　第7章 網絡初始化方法 213
　　7.1 預備知識 213
　　7.1.1 常用隨機分佈 213
　　7.1.2 隨機變量的性質 213
　　7.2 Xavier初始化方法 214
　　7.3 Kaiming初始化方法 217
　　7.4 實驗分析 221
　　7.4.1 Xavier初始化實驗 221
　　7.4.2 Kaiming初始化實驗 223
　　7.5 數字化資源 227
　　第8章 生成對抗網絡基本原理 228
　　8.1 生成對抗網絡的基本介紹 228
　　8.1.1 生成對抗網絡的結構 228
　　8.1.2 生成對抗網絡的理論分析 230
　　8.1.3 原始生成對抗網絡 235
　　8.2 生成對抗網絡常見的模型結構 237
　　8.2.1 條件生成對抗網絡 237
　　8.2.2 深度捲積生成對抗網絡 240
　　8.2.3 漸進式增長生成對抗網絡 243
　　8.2.4 對抗自編碼器 246
　　8.3 生成對抗網絡的訓練問題 249
　　8.3.1 生成對抗網絡存在的問題 249
　　8.3.2 穩定訓練的策略 251
　　8.4 基於Wasserstein距離的生成對抗網絡 257
　　8.4.1 Wasserstein距離 257
　　8.4.2 基於Wasserstein距離的WGAN 258
　　8.5 數字化資源 261
　　第9章 基於捲積神經網絡的電腦視覺任務 262
　　9.1 遙感圖像融合任務 262
　　9.1.1 捲積神經網絡與遙感圖像融合的關系 262
　　9.1.2 遙感圖像融合評價方法與評價指標 263
　　9.1.3 基於捲積神經網絡的遙感圖像融合方法：PNN 265
　　9.1.4 基於捲積神經網絡的遙感圖像融合方法：PanNet 268
　　9.1.5 基於捲積神經網絡的遙感圖像融合方法：CLGF 272
　　9.2 遙感圖像超分辨率任務 275
　　9.2.1 捲積神經網絡與遙感圖像超分辨率的關系 275
　　9.2.2 遙感圖像超分辨率評價方法與評價指標 276
　　9.2.3 基於捲積神經網絡的超分辨率方法：SRCNN 276
　　9.2.4 基於捲積神經網絡的超分辨率方法：ESRDNN 279
　　9.3 基於捲積神經網絡的目標檢測任務 281
　　9.3.1 Two-Stage目標檢測算法 281
　　9.3.2 One-Stage目標檢測算法 287
　　9.4 基於捲積神經網絡的目標跟蹤任務 291
　　9.5 基於捲積神經網絡的圖像隱寫任務 302
　　9.6 數字化資源 320
　　第10章 生成對抗網絡的應用 321
　　10.1 基於生成對抗網絡的信息安全任務 321
　　10.1.1 基於生成對抗網絡的圖像隱寫方法：HiDDeN 321
　　10.1.2 基於生成對抗網絡的信息加密方法：ANES 328
　　10.2 基於生成對抗網絡的電腦視覺任務 336
　　10.2.1 基於生成對抗網絡的超分辨率方法：SRGAN 336
　　10.2.2 基於生成對抗網絡的遙感圖像融合方法：PSGAN 339
　　10.3 數字化資源 342
　　參考文獻 343