大模型導論

张成文，博士，北京邮电大学副教授、硕士生导师。中国人工智能学会高级会员，任中国电子商会大模型应用产业专委会秘书长、中国人工智能产业发展联盟产学研工作组副组长，中国医学装备协会人工智能和医用机器人工作委员会常委、中国教育发展战略学会人工智能与机器人专委会理事等。他在网络技术专业领域有着深入的研究，并且完成了国家科技重大专项、国家重点研发计划、国家自然科学基金等项目。专业方向包括人工智能、大数据个性化推荐、云计算、计算机视觉等。他在国内外一流期刊上发表了多篇高水平论文，并出版了多本教材和专著。

第 1章 大模型概述 1

1.1 大模型介紹 2

1.1.1 生成原理 4

1.1.2 關鍵技術 5

1.1.3 關鍵術語 10

1.2 大模型分類 11

1.2.1 按模型結構劃分 12

1.2.2 按模態劃分 12

1.2.3 按微調方式劃分 13

1.2.4 帶插件系統的大模型 13

1.3 大模型的開發流程 13

1.3.1 確定項目目標 14

1.3.2 數據準備 15

1.3.3 模型設計 16

1.3.4 模型訓練 16

1.3.5 模型部署 17

1.3.6 模型應用 17

1.4 應用場景 18

1.5 未來發展方向 20

1.5.1 AI智能體 20

1.5.2 具身智能 21

1.6 小結 22

1.7 課後習題 22

第 2章 數據預處理 23

2.1 文本數據預處理 23

2.1.1 構造方法 24

2.1.2 構造流程 26

2.1.3 處理手段 28

2.1.4 常用類庫 37

2.2 圖像數據預處理 47

2.2.1 圖像去噪 48

2.2.2 圖像重採樣 52

2.2.3 圖像增強 53

2.3 圖文對數據預處理 56

2.4 Datasets庫 58

2.4.1 安裝與配置 58

2.4.2 使用方法 58

2.5 小結 63

2.6 課後習題 64

第3章 Transformer 65

3.1 註意力機制 65

3.1.1 自註意力機制 66

3.1.2 多頭自註意力機制 68

3.2 Transformer簡介 70

3.2.1 位置編碼 70

3.2.2 整體結構 71

3.2.3 稀疏Transformer 72

3.3 Visual Transformer簡介 73

3.3.1 模型結構 74

3.3.2 與Transformer對比 75

3.4 Q-Former 75

3.5 transformers庫 77

3.5.1 基本組成 77

3.5.2 使用方法 78

3.5.3 微調實踐 83

3.6 小結 85

3.7 課後習題 86

第4章 預訓練 87

4.1 預訓練介紹 87

4.1.1 發展歷程 88

4.1.2 模型類型 88

4.1.3 掩碼預訓練 89

4.2 預訓練任務 89

4.3 應用於下游任務的方法 91

4.3.1 遷移學習 91

4.3.2 微調 91

4.4 預訓練模型的應用 92

4.5 小結 93

4.6 課後習題 93

第5章 訓練優化 94

5.1 模型訓練挑戰 94

5.2 訓練優化技術 95

5.2.1 數據並行 95

5.2.2 模型並行 97

5.2.3 流水線並行 98

5.2.4 混合精度訓練 99

5.3 訓練加速工具 100

5.3.1 DeepSpeed 100

5.3.2 Megatron-LM 103

5.3.3 Colossal-AI 104

5.3.4 BMTrain 104

5.4 小結 107

5.5 課後習題 108

第6章 模型微調 109

6.1 監督微調 110

6.2 PEFT技術 110

6.2.1 Adapter tuning 111

6.2.2 Prefix tuning 111

6.2.3 Prompt tuning 112

6.2.4 P-tuning v1 113

6.2.5 P-tuning v2 114

6.2.6 LoRA 114

6.2.7 QLoRA 115

6.3 PEFT庫 116

6.3.1 關鍵步驟 117

6.3.2 微調方法 118

6.4 小結 124

6.5 課後習題 124

第7章 模型推理 125

7.1 模型壓縮和加速技術 125

7.1.1 模型量化 126

7.1.2 知識蒸餾 127

7.1.3 模型剪枝 130

7.1.4 稀疏激活 132

7.2 推理服務提升技術 133

7.2.1 KV Cache 134

7.2.2 PagedAttention 134

7.3 小結 136

7.4 課後習題 136

第8章 PyTorch框架 137

8.1 安裝與配置 137

8.2 基礎組件 138

8.2.1 張量 138

8.2.2 CUDA張量 142

8.2.3 Autograd 144

8.2.4 DataLoader 146

8.3 構建線性回歸模型 148

8.4 構建Transformer模型 151

8.4.1 數據準備與參數設置 151

8.4.2 位置編碼 153

8.4.3 掩碼操作 154

8.4.4 註意力計算 154

8.4.5 前饋神經網絡 155

8.4.6 編碼器與解碼器 155

8.4.7 構建Transformer 157

8.4.8 模型訓練 157

8.4.9 模型測試 158

8.5 小結 158

8.6 課後習題 159

第9章 向量數據庫 160

9.1 Milvus 160

9.1.1 安裝與配置 161

9.1.2 Milvus 1.0的基本操作 162

9.1.3 Milvus 2.0的基本操作 163

9.2 Pinecone 166

9.2.1 註冊與配置 166

9.2.2 基本操作 166

9.3 Chroma 168

9.3.1 安裝與配置 168

9.3.2 基本操作 168

9.4 小結 170

9.5 課後習題 170

第 10章 前端可視化工具 171

10.1 Gradio 171

10.1.1 Gradio安裝 172

10.1.2 常用操作 172

10.1.3 Interface使用詳解 175

10.1.4 Blocks使用詳解 176

10.2 Streamlit 178

10.2.1 安裝與配置 178

10.2.2 數據展示API 180

10.2.3 控件API 182

10.2.4 頁面佈局API 184

10.2.5 狀態存儲 185

10.3 小結 185

10.4 課後習題 186

第 11章 LangChain 187

11.1 LangChain組件 187

11.1.1 Models 188

11.1.2 Prompts 188

11.1.3 Indexes 190

11.1.4 Memory 190

11.1.5 Chains 194

11.1.6 Agents 196

11.2 基礎操作 199

11.2.1 Prompts的用法 200

11.2.2 Chains的用法 201

11.2.3 Agents的用法 202

11.2.4 Memory的用法 204

11.3 進階實戰 205

11.3.1 對話式檢索問答 205

11.3.2 長短文本總結 207

11.3.3 結合向量數據庫實現問答 209

11.4 基於私域數據的問答系統 211

11.4.1 環境準備 212

11.4.2 模型測試 213

11.4.3 構建提示詞模板 213

11.4.4 生成詞向量 214

11.4.5 創建向量數據庫 216

11.4.6 構建問答系統 217

11.5 小結 219

11.6 課後習題 219

第 12章 常用開源模型的部署與微調 220

12.1 ChatGLM3模型部署與微調 220

12.1.1 環境準備 220

12.1.2 載入模型 222

12.1.3 數據準備 224

12.1.4 定義模型 228

12.1.5 模型訓練 230

12.1.6 保存模型 232

12.1.7 模型評估 232

12.2 Baichuan2模型部署與微調 233

12.2.1 環境準備 233

12.2.2 載入模型 234

12.2.3 數據準備 238

12.2.4 定義模型 241

12.2.5 模型訓練 242

12.2.6 保存模型 244

12.2.7 模型評估 245

12.3 LLaMA2模型部署與微調 247

12.3.1 模型使用申請 248

12.3.2 環境準備 248

12.3.3 載入模型 249

12.3.4 數據準備 250

12.3.5 模型訓練 251

12.3.6 保存模型 254

12.3.7 模型評估 255

12.4 小結 256

12.5 課後習題 256

參考文獻 257