破解深度學習：模型算法與實現 (核心篇)

·瞿煒，美國伊利諾伊大學人工智能博士，哈佛大學、京都大學客座教授；前中國科學院大學教授、模式識別國家重點實驗室客座研究員；國家部委特聘專家、重點實驗室學術委員會委員；國際期刊編委，多個學術期刊審稿人及國際學術會議委員。在人工智能業界擁有二十余年的技術積累和實踐經驗，曾先後在互聯網、醫療、安防、教育等行業的多家世界 500 強企業擔任高管。他是授業解惑科技有限公司的創始人，以及多家人工智能、金融公司的聯合創始人，還是一名天使投資人。憑借多年的專業積澱和卓越的行業洞察力，瞿煒博士近年來致力於人工智能教育事業的發展。作為教育博主，他擅長用通俗易懂的表達方式結合直觀生動的模型動畫，講述覆雜的人工智能理論與算法；創作的人工智能系列視頻和課程在 B 站（賬號：梗直哥丶）/知乎/GZH/視頻號（賬號：梗直哥丶）等平台深受學生們的歡迎和認可，累計訪問量超數千萬人次。

·李力，人工智能專家，長期致力於計算機視覺和強化學習領域的研究與實踐。曾在多家科技企業擔任資深算法工程師，擁有十余年行業經驗，具備豐富的技術能力和深厚的理論知識。在他的職業生涯中，李力參與並領導了眾多深度學習和強化學習的核心技術項目，有效地應用先進模型解決圖像識別、目標檢測、自然語言處理、機器人研發等多個領域的實際問題。

·楊潔，人工智能和自然語言處理領域資深應用專家，在自然語言理解、基於知識的智能服務、跨模態語言智能、智能問答系統等技術領域具有深厚的實戰背景。她曾在教育、醫療等行業的企業擔任關鍵職位，擁有十年以上的行業管理經驗，成功領導並實施了多個創新項目，擅長引領團隊將覆雜的理論轉化為實際應用，解決行業中的關鍵問題。

第 1章 復雜捲積神經網絡：捕獲精細特徵 1

1.1　AlexNet 2

1.1.1　AlexNet簡介 2

1.1.2　代碼實現 3

1.1.3　模型訓練 6

1.1.4　小結 10

1.2　VGGNet 10

1.2.1　VGGNet簡介 10

1.2.2　代碼實現 13

1.2.3　模型訓練 15

1.2.4　小結 16

1.3　批歸一化方法 16

1.3.1　批歸一化簡介 16

1.3.2　代碼實現 17

1.3.3　模型訓練 19

1.3.4　小結 20

1.4　GoogLeNet 20

1.4.1　GoogLeNet簡介 20

1.4.2　Inception結構 20

1.4.3　GoogLeNet的模型結構 21

1.4.4　代碼實現 22

1.4.5　模型訓練 25

1.4.6　小結 26

1.5　ResNet 26

1.5.1　ResNet簡介 26

1.5.2　殘差結構 27

1.5.3　ResNet模型結構 28

1.5.4　代碼實現 30

1.5.5　模型訓練 35

1.5.6　小結 36

1.6　DenseNet 36

1.6.1　DenseNet簡介 36

1.6.2　代碼實現 39

1.6.3　模型訓練 44

1.6.4　小結 44

 

第 2章 復雜循環神經網絡：為記憶插上翅膀 46

2.1　雙向RNN和深度RNN 47

2.1.1　雙向RNN 47

2.1.2　深度RNN 48

2.1.3　小結 51

2.2　RNN長期依賴問題 51

2.2.1　什麽是長期依賴 52

2.2.2　長期記憶失效原因 52

2.2.3　截斷時間步 53

2.2.4　小結 54

2.3　長短期記憶網絡及其變體 54

2.3.1　核心思想 54

2.3.2　網絡結構 55

2.3.3　遺忘門 56

2.3.4　輸入門 56

2.3.5　輸出門 57

2.3.6　門控循環單元 57

2.3.7　小結 60

2.4　四種RNN代碼實現 60

2.4.1　模型定義 60

2.4.2　模型實驗 63

2.4.3　效果對比 66

2.4.4　小結 67

 

第3章 復雜註意力神經網絡：大模型的力量 68

3.1　BERT模型 68

3.1.1　3種模型結構 69

3.1.2　詞嵌入 70

3.1.3　預訓練：掩碼語言模型 70

3.1.4　預訓練：下一句預測 71

3.1.5　微調 72

3.1.6　優缺點 73

3.1.7　小結 74

3.2　GPT系列模型 74

3.2.1　GPT-1模型思想和結構 75

3.2.2　GPT-1無監督預訓練和監督微調 76

3.2.3　GPT-1數據集和性能特點 77

3.2.4　GPT-2模型思想和結構 78

3.2.5　GPT-2 數據集和性能特點 79

3.2.6　GPT-3 模型思想和結構 80

3.2.7　基於情景學習的對話模式 80

3.2.8　GPT-3 數據集和性能特點 83

3.2.9　小結 84

3.3　T5模型 84

3.3.1　基本思想 84

3.3.2　詞表示發展史 85

3.3.3　模型結構 86

3.3.4　預訓練流程 87

3.3.5　預訓練數據集 88

3.3.6　模型版本 89

3.3.7　小結 89

3.4　ViT模型 90

3.4.1　Transformer的好處 90

3.4.2　模型結構 90

3.4.3　數據預處理 91

3.4.4　圖片塊和位置嵌入 91

3.4.5　Transformer編碼器 92

3.4.6　MLP頭 93

3.4.7　性能對比 93

3.4.8　小結 94

3.5　Swin Transformer模型 94

3.5.1　要解決的問題 95

3.5.2　模型結構 95

3.5.3　輸入預處理 97

3.5.4　四個階段 97

3.5.5　Swin Transformer塊 98

3.5.6　窗口註意力 98

3.5.7　計算復雜度分析 98

3.5.8　移動窗口多頭自註意力機制 99

3.5.9　特徵圖循環移位計算 99

3.5.10　masked MSA操作 100

3.5.11　小結 101

 

第4章 深度生成模型：不確定性的妙用 102

4.1　蒙特卡洛方法 103

4.1.1　採樣 104

4.1.2　重要性採樣 105

4.1.3　馬爾可夫鏈蒙特卡洛方法 105

4.1.4　小結 106

4.2　變分推斷方法 106

4.2.1　參數估計 107

4.2.2　問題定義 108

4.2.3　算法思路 108

4.2.4　KL散度 109

4.2.5　公式推導 109

4.2.6　高斯混合模型實例 110

4.2.7　與MCMC方法對比 111

4.2.8　小結 111

4.3　變分自編碼器 112

4.3.1　降維思想 112

4.3.2　自編碼器 112

4.3.3　VAE基本思想 114

4.3.4　隱空間可視化 117

4.3.5　神經網絡實現 117

4.3.6　重新參數化技巧 118

4.3.7　小結 119

4.4　生成對抗網絡 119

4.4.1　什麽是對抗生成思想 119

4.4.2　模型結構 120

4.4.3　判別器 121

4.4.4　生成器 121

4.4.5　訓練流程 121

4.4.6　損失函數 123

4.4.7　小結 123

4.5　擴散模型 123

4.5.1　模型對比 124

4.5.2　基本思想 124

4.5.3　前向過程 125

4.5.4　逆向過程 126

4.5.5　損失函數 128

4.5.6　損失函數的參數化 129

4.5.7　訓練流程 130

4.5.8　小結 130

4.6　深度生成模型項目實戰 131

4.6.1　代碼實現 131

4.6.2　VAE模型 132

4.6.3　GAN模型 136

4.6.4　小結 140

 

第5章 電腦視覺：讓智慧可見 141

5.1　自定義數據加載 141

5.1.1　數據加載 141

5.1.2　數據準備 142

5.1.3　ImageFolder方法 142

5.1.4　自定義數據集示例1 145

5.1.5　自定義數據集示例2 147

5.1.6　小結 150

5.2　圖像數據增強 150

5.2.1　數據增強簡介 150

5.2.2　代碼準備 150

5.2.3　常見圖像數據增強方法 153

5.2.4　小結 159

5.3　遷移學習 160

5.3.1　遷移學習簡介 160

5.3.2　ResNet預訓練模型 160

5.3.3　ViT預訓練模型 163

5.3.4　小結 165

5.4　經典電腦視覺數據集 165

5.4.1　數據集簡介 165

5.4.2　小結 169

5.5　項目實戰：貓狗大戰 170

5.5.1　項目簡介 170

5.5.2　數據準備 170

5.5.3　模型訓練 175

5.5.4　模型預測 178

5.5.5　小結 180

 

第6章 自然語言處理：人機交互懂你所說 181

6.1　詞嵌入和Word2Vec 181

6.1.1　獨熱編碼 181

6.1.2　Word2Vec 182

6.1.3　Gensim代碼實現 185

6.1.4　小結 186

6.2　詞義搜索和句義表示 186

6.2.1　文本搜索方法 186

6.2.2　正則搜索 187

6.2.3　詞義搜索 188

6.2.4　距離計算方法 189

6.2.5　句子向量 189

6.2.6　代碼實現 190

6.2.7　常見應用 192

6.2.8　小結 192

6.3　預訓練模型 193

6.3.1　預訓練和遷移學習 193

6.3.2　遷移學習族譜 194

6.3.3　大語言模型 194

6.3.4　LLM進化方向 196

6.3.5　BERT系列進化 197

6.3.6　GPT系列進化 197

6.3.7　多模態模型 199

6.3.8　存在的問題 200

6.3.9　小結 200

6.4　Hugging Face庫介紹 200

6.4.1　核心庫 200

6.4.2　官網介紹 201

6.4.3　代碼調用 204

6.4.4　小結 207

6.5　NLP數據集 207

6.5.1　預訓練數據集 208

6.5.2　下游任務數據集 209

6.5.3　數據集使用 211

6.5.4　小結 213

6.6　項目實戰：電影評論情感分析 213

6.6.1　Pipeline 213

6.6.2　模型實戰 214

6.6.3　直接微調 219

6.6.4　小結 221

 

第7章　多模態生成式人工智能：引領智能新時代 222

7.1　CLIP模型 222

7.1.1　電腦視覺研究新範式 223

7.1.2　對比學習預訓練 223

7.1.3　圖像編碼器 224

7.1.4　文本編碼器 224

7.1.5　數據收集 224

7.1.6　圖像分類 225

7.1.7　模型訓練和優缺點分析 226

7.1.8　小結 227

7.2　DALL·E系列模型 227

7.2.1　初代模型結構 227

7.2.2　dVAE模塊 228

7.2.3　Transformer模塊 229

7.2.4　圖像生成過程 230

7.2.5　DALL·E 2 模型結構 230

7.2.6　CLIP模塊 231

7.2.7　prior模塊 232

7.2.8　decoder模塊 232

7.2.9　DALL·E 2 推理過程 233

7.2.10　模型效果 233

7.2.11　局限分析 233

7.2.12　小結 234

7.3　InstructGPT模型 235

7.3.1　GPT系列回顧 235

7.3.2　指示學習和提示學習 235

7.3.3　人工反饋強化學習 236

7.3.4　訓練流程 237

7.3.5　數據集採集 238

7.3.6　監督微調 239

7.3.7　獎勵模型 239

7.3.8　強化學習 239

7.3.9　優缺點分析 240

7.3.10　小結 240

7.4　深度學習最新發展趨勢分析 240

7.4.1　趨勢1：多模態融合 241

7.4.2　趨勢2：AIGC大爆發 242

7.4.3　趨勢3：大小模型分化 243

7.4.4　趨勢4：概率分佈模型的大發展 244

7.4.5　趨勢5：深度強化學習的春天 244

7.4.6　更多展望 245

7.5　下一步學習的建議 245

7.5.1　動手實踐 245

7.5.2　PyTorch官方文檔和課程 246

7.5.3　推薦網站 246

7.5.4　多讀論文 247

7.5.5　關於強化學習 247

7.5.6　繼續加油 248