大模型原理與技術

目 錄
第1章 緒論 1
1.1 大模型基本概念 2
1.2 大模型發展歷程 4
1.2.1 從技術架構看發展歷程 5
1.2.2 從參數規模看發展歷程 6
1.2.3 從模態支持看發展歷程 6
1.2.4 從應用領域看發展歷程 6
1.3 大模型關鍵技術及訓練流程 7
1.3.1 大模型關鍵技術 7
1.3.2 大模型訓練流程 9
1.4 本書內容安排 11
1.5 思考 12
習題1 13
第2章 深度學習基礎 14
2.1 神經網絡基礎 14
2.1.1 神經網絡 14
2.1.2 捲積神經網絡 18
2.2 損失函數和優化算法 24
2.2.1 損失函數 24
2.2.2 優化算法 26
2.3 神經網絡訓練 29
2.3.1 梯度和鏈式法則 29
2.3.2 前向傳播與反向傳播 30
2.3.3 訓練神經網絡示例 32
2.4 深度學習框架 34
2.4.1 主流深度學習框架 34
2.4.2 框架選擇和優缺點比較 36
2.5 思考 37
習題2 38
第3章 自然語言處理 40
3.1 自然語言處理概述 40
3.1.1 基本任務 40
3.1.2 發展歷程 42
3.1.3 應用領域 43
3.2 詞嵌入 44
3.2.1 獨熱向量 44
3.2.2 Word2vec 45
3.2.3 代碼示例 48
3.3 循環神經網絡 50
3.3.1 循環神經網絡介紹 50
3.3.2 循環神經網絡訓練 51
3.3.3 循環神經網絡梯度問題 52
3.3.4 雙向循環神經網絡 53
3.4 長短期記憶網絡 54
3.4.1 長短期記憶網絡介紹 55
3.4.2 長短期記憶網絡應用 57
3.5 門控循環單元 61
3.5.1 門控循環單元介紹 62
3.5.2 門控循環單元應用 63
3.6 思考 67
習題3 68
第4章 大模型網絡結構 69
4.1 Transformer 69
4.1.1 註意力機制 71
4.1.2 編碼器-解碼器結構 80
4.1.3 大模型中的編碼器-解碼器結構 84
4.2 編碼器結構—BERT家族 87
4.2.1 BERT結構 87
4.2.2 預訓練策略 89
4.2.3 BERT的變體 92
4.3 解碼器結構—GPT家族 95
4.3.1 GPT結構 96
4.3.2 自回歸預訓練 98
4.3.3 後續改進 100
4.4 思考 104
習題4 105
第5章 大模型訓練與優化 106
5.1 訓練數據準備 106
5.1.1 數據獲取 106
5.1.2 數據預處理 109
5.1.3 數據增強 111
5.1.4 數據配比與課程設置 114
5.1.5 開源數據集 115
5.2 並行化和分佈式訓練 118
5.2.1 大模型訓練的挑戰 118
5.2.2 並行策略 118
5.2.3 節點間數據通信 120
5.2.4 分佈式訓練框架 123
5.3 模型壓縮 126
5.3.1 量化 127
5.3.2 剪枝 132
5.3.3 知識蒸餾 136
5.4 華為芯片助力大模型訓練與部署 138
5.4.1 Ascend AI芯片 139
5.4.2 Atlas系列硬件 139
5.4.3 異構計算架構CANN 139
5.4.4 深度學習框架MindSpore 140
5.4.5 應用使能與行業應用 140
5.5 思考 140
習題5 142
第6章 大模型微調 144
6.1 大模型微調概述 144
6.2 參數高效微調 146
6.2.1 增量式微調 146
6.2.2 指定式微調 150
6.2.3 重參數化微調 151
6.2.4 混合微調 156
6.2.5 小結 157
6.3 指令微調 158
6.3.1 指令數據集構建 159
6.3.2 指令微調階段 160
6.4 基於人類反饋的強化學習微調 161
6.4.1 獎勵建模 162
6.4.2 強化學習微調 163
6.4.3 案例講解 164
6.5 思考 166
習題6 166
第7章 大模型提示工程 168
7.1 提示工程簡介 168
7.2 零樣本提示 169
7.3 少樣本提示 176
7.4 鏈式思考提示 177
7.4.1 思維鏈提示工程概述 177
7.4.2 零樣本思維鏈 180
7.4.3 思維鏈拓展 180
7.5 思維樹提示 181
7.6 檢索增強生成 185
7.7 自動提示工程 185
7.8 思考 187
習題7 188
第8章 高效大模型策略 190
8.1 大模型效率概述 190
8.1.1 大模型效率面臨的問題 190
8.1.2 大模型效率及其評估指標 190
8.2 預算效率策略：縮放定律 192
8.3 數據效率策略 193
8.3.1 數據過濾 193
8.3.2 主動學習/重要性採樣 194
8.3.3 課程學習 194
8.4 架構效率策略 195
8.4.1 高效註意力 195
8.4.2 高效位置編碼 196
8.4.3 稀疏模型 197
8.4.4 無註意力模型 197
8.5 訓練效率策略 197
8.5.1 穩定訓練策略 198
8.5.2 混合精度訓練 198
8.5.3 並行訓練技術 199
8.5.4 內存優化 200
8.6 推理效率策略 200
8.6.1 剪枝 201
8.6.2 知識蒸餾 201
8.6.3 量化 202
8.6.4 低秩分解 202
8.7 微調效率策略 203
8.7.1 參數高效微調 203
8.7.2 數據高效調整 204
8.8 思考 204
習題8 205
第9章 單模態通用大模型 206
9.1 LLaMA：一種自然語言處理大模型 206
9.1.1 模型結構 206
9.1.2 預訓練 209
9.1.3 微調 209
9.1.4 使用方法 211
9.2 SAM：一種圖像分割大模型 211
9.2.1 概述 212
9.2.2 提示下的圖像分割任務 212
9.2.3 SAM模型架構 212
9.2.4 SA-1B：大規模掩碼數據集 216
9.2.5 SAM在各視覺任務中的應用 217
9.2.6 SAM的使用方法 218
9.3 AudioLM：讓AI為你譜曲寫歌 219
9.3.1 概述 219
9.3.2 AudioLM的組件構成 219
9.3.3 AudioLM的訓練方式 220
9.3.4 AudioLM的安裝與使用 225
9.3.5 AudioLM的推理應用 225
9.4 Zero-1-to-3：二生三維 226
9.4.1 概述 226
9.4.2 Zero-1-to-3模型結構 227
9.4.3 Zero-1-to-3的使用 229
9.5 思考 231
習題9 231
第10章 多模態通用大模型 232
10.1 多模態數據集介紹 232
10.1.1 GQA數據集 232
10.1.2 HowTo100M數據集 233
10.1.3 Conceptual-12M數據集 234
10.1.4 YT-Temporal-180M數據集 234
10.1.5 WebVid-2M數據集 234
10.1.6 ModelNet數據集 234
10.1.7 ShapeNet數據集 235
10.1.8 ScanObjectNN數據集 235
10.1.9 KITTI數據集 236
10.1.10 nuScenes數據集 236
10.1.11 Waymo數據集 237
10.2 CLIP：探索圖文結合的奧秘 238
10.2.1 概述 238
10.2.2 模型架構 239
10.2.3 訓練過程 242
10.2.4 CLIP相關應用 244
10.2.5 CLIP的不足 247
10.3 GPT-4V：大模型視覺能力的新篇章 248
10.3.1 輸入模式 248
10.3.2 工作方式 249
10.3.3 視覺語言能力 251
10.4 ImageBind：多感官統一 255
10.4.1 概述 255
10.4.2 多模態特徵編碼與對齊 256
10.4.3 數據集的靈活應用 257
10.4.4 相關應用 257
10.4.5 使用方法 258
10.5 3D-LLM：將三維世界註入大模型 260
10.5.1 三維語言數據生成 260
10.5.2 3D-LLM訓練方式 261
10.5.3 3D-LLM安裝與實現細節 263
10.5.4 3D-LLM應用圖譜 264
10.6 Sora：文生視頻 265
10.6.1 Sora為視頻生成帶來的改變 266
10.6.2 Sora的局限性與爭議 268
10.7 思考 268
習題10 269
第11章 大模型評測 271
11.1 大模型評測概述 271
11.2 知識和能力評測 272
11.2.1 問答能力 272
11.2.2 知識補全能力 272
11.2.3 推理能力 272
11.2.4 工具學習能力 274
11.3 對齊評測 274
11.3.1 倫理道德 275
11.3.2 偏見 275
11.3.3 有害內容 276
11.3.4 真實性 276
11.4 安全評測 277
11.4.1 魯棒性評測 277
11.4.2 風險評測 278
11.5 行業大模型評測 278
11.5.1 醫學 278
11.5.2 教育學 279
11.5.3 電腦科學 279
11.5.4 金融學 280
11.6 思考 280
習題11 281
第12章 大模型主要應用場景 283
12.1 大模型產業圖譜 283
12.2 大模型軍事智能應用 284
12.3 大模型教育教學應用 286
12.4 大模型醫療健康應用 288
12.5 大模型工業應用 289
12.6 大模型氣象預報應用 292
12.7 大模型測繪應用 294
12.8 思考 295
習題12 296
第13章 基於大模型的智能軟件研發 297
13.1 基於大模型的智能軟件研發框架 297
13.2 智能軟件研發中的大模型技術 298
13.2.1 常用大模型 298
13.2.2 預訓練範式 299
13.3 智能軟件研發中的下游任務 300
13.3.1 程序語言相關任務 301
13.3.2 自然語言相關任務 308
13.3.3 程序語言與自然語言交互任務 311
13.4 常用數據集 317
13.4.1 預訓練數據集 317
13.4.2 下游任務數據集 318
13.5 思考 320
習題13 321
第14章 基於大模型的航空航天裝備製造 323
14.1 大模型在大飛機製造中的應用 323
14.1.1 大飛機製造概述 323
14.1.2 設計和優化中的應用 324
14.2 大模型在航空發動機中的應用 327
14.2.1 航空發動機概述 327
14.2.2 具體應用場景 328
14.3 大模型在航空機載設備與系統中的應用 330
14.3.1 航空機載設備與系統概述 330
14.3.2 具體應用場景 330
14.4 大模型在無人機智能集群中的應用 332
14.4.1 無人機智能集群概述 332
14.4.2 具體應用場景 334
14.4.3 典型應用案例 334
14.5 思考 337
習題14 338
參考文獻 339