深度學習

徐俊剛 中國科學院大學計算機科學與技術學院教授，博士生導師，雲計算與智能信息處理實驗室（Cloud Computing & Intelligent Information Processing Lab，CCIP實驗室）主任，中國科學院大學第六屆學位評定委員會計算機與控制學位評定委員會委員，計算機科學與技術學院教學委員會委員，計算機科學與技術學院“深度學習”課程首席教授。2003年博士畢業於中國科學院軟件研究所，2005年清華大學計算機科學與技術系博士後出站。研究領域包括深度學習、自動機器學習和多模態智能分析等，主持國家科技支撐計劃課題、國家自然科學基金面上項目、北京市科技計劃課題、北京市自然科學基金面上項目等科研項目多項，發表論文100余篇。現為國家科技專家庫專家，北京市科學技術委員會、中關村科技園區管理委員會專家。目前任中國人工智能學會智能服務專業委員會常務委員，中國計算機學會人工智能與模式識別專業委員會執行委員、數據庫專業委員會執行委員和自然語言處理專業委員會執行委員。講授的“深度學習”課程被評為2021年中國科學院大學“校級優秀研究生課程”，個人榮獲2016年“中國科學院朱李月華優秀教師獎”。

目錄
序
前言
主要符號表
第1章　引言 1
1.1　深度學習的起源與發展 1
1.1.1　深度學習的起源 1
1.1.2　深度學習的發展 2
1.2　深度學習與機器學習、人工智慧的關係 4
1.2.1　人工智慧 4
1.2.2　機器學習 4
1.2.3　深度學習 5
1.3　深度學習的基本概念與典型演算法 6
1.3.1　深度學習的基本概念 6
1.3.2　典型深度學習演算法 6
1.4　深度學習的主要應用概述 12
1.4.1　深度學習在電腦視覺領域的應用 12
1.4.2　深度學習在語音處理領域的應用 13
1.4.3　深度學習在自然語言處理領域的應用 14
1.4.4　深度學習在多模態處理領域的應用 14
1.5　本書的組織架構 14
複習題 15
參考文獻 15
本章人物：Geoffrey Hinton教授 18

第2章　卷積神經網路 19
2.1　卷積神經網路的起源與發展 19
2.1.1　卷積神經網路的起源 19
2.1.2　卷積神經網路的發展 20
2.2　卷積神經網路的基本結構 21
2.2.1　卷積層 21
2.2.2　激活函數 26
2.2.3　池化層 30
2.2.4　全連接層 30
2.2.5　輸出層 30
2.3　卷積神經網路的訓練 31
2.3.1　卷積神經網路的訓練過程 31
2.3.2　池化層的訓練 31
2.3.3　卷積層的訓練 33
2.4　典型捲積神經網路 35
2.4.1　LeNet-5 35
2.4.2　AlexNet 37
2.4.3　VGGNet 39
2.4.4　GoogleNet 41
2.4.5　ResNet 42
2.5　卷積神經網路的主要應用 43
2.5.1　目標偵測 43
2.5.2　影像分割 52
2.5.3　姿態估計 56
2.5.4　人臉辨識 58
複習題 62
實驗題 62
參考文獻 63
本章人物：Yann LeCun教授 65

第3章　循環神經網路 66
3.1　循環神經網路的起源與發展 66
3.2　循環神經網路的訓練 67
3.3　長短期記憶網 70
3.4　循環神經網路的變種 73
3.4.1　GRU 73
3.4.2　雙向RNN 75
3.4.3　堆疊RNN 75
3.5　循環神經網路的典型應用 76
3.5.1　語言模型 76
3.5.2　自動文本摘要 79
3.5.3　機器閱讀理解 82
複習題 85
實驗題 86
參考文獻 86
本章人物：Jürgen Schmidhuber教授 89

第4章　Transformer 90
4.1　注意力機制 90
4.1.1　注意力機制的Encoder-Decoder結構 90
4.1.2　注意力機制的分類 92
4.2　Transformer概述 93
4.2.1　Transformer的結構 93
4.2.2　Transformer的輸入編碼 94
4.2.3　Transformer中的自註意力機制 95
4.2.4　Transformer中的其他細節 98
4.2.5　基於Transformer的大規模預訓練模型 99
4.3　GPT系列模型 99
4.3.1　GPT-1 99
4.3.2　GPT-2 101
4.3.3　GPT-3 102
4.3.4　InstructGPT和ChatGPT 103
4.4　BERT系列模型 104
4.4.1　與其他大規模預訓練模式的差異 105
4.4.2　BERT的架構與參數 105
4.4.3　BERT的輸入表示 105
4.4.4　BERT的訓練 107
4.4.5　BERT的變種 107
4.5　Swin Transformer 109
4.5.1　Swin Transformer的提出 109
4.5.2　Swin Transformer結構 109
4.5.3　Swin Transformer的滑動視窗機制 111
4.6　Transformer的主要應用 112
4.6.1　自然語言處理領域 112
4.6.2　電腦視覺領域 117
4.6.3　多模態領域 121
複習題 128
實驗題 128
參考文獻 128
本章人物：Yoshua Bengio教授 131

第5章　生成對抗網路 132
5.1　GAN的基本原理 132
5.1.1　零和賽局 132
5.1.2　GAN的基本結構 133
5.1.3　GAN的目標函數 134
5.1.4　GAN的訓練 134
5.2　GAN的最佳化與改進 135
5.2.1　限定條件最佳化 136
5.2.2　迭代式生成最佳化 138
5.2.3　結構最佳化 141
5.3　GAN的主要應用 143
5.3.1　影像生成 143
5.3.2　影像轉換 144
5.3.3　影像超解析度重建 147
5.3.4　音樂生成 148
5.3.5　異常檢測 152
複習題 156
實驗題 156
參考文獻 156
本章人物：Ian Goodfellow博士 158

第6章　深度生成模型 159
6.1　深度生成模型概述 159
6.2　Hopfield神經網路 160
6.3　玻爾茲曼機與受限玻爾茲曼機 162
6.3.1　玻爾茲曼機 162
6.3.2　受限玻爾茲曼機 163
6.4　Sigmoid信念網絡與深度信念網絡 165
6.4.1　Sigmoid信念網 165
6.4.2　深度信念網 166
6.5　深度玻爾茲曼機 167
6.6　自編碼器及其變種 169
6.6.1　自編碼器 169
6.6.2　降噪自編碼器 170
6.6.3　稀疏自編碼器 170
6.6.4　深度自編碼器 171
6.7　擴散模型 172
6.7.1　前向過程 173
6.7.2　逆向過程 174
6.7.3　DDPM的訓練 176
6.8　深度生成模型的應