生成式AI實戰基於Transformer、Stable Diffusion、LangChain和AI Agent

吕云翔，北京航空航天大学软件学院副教授。具有多年的软件开发、项目管理、计算机教学经验，对IT行业具有较全面的认识，主编畅销图书多部。目前研究领域包括软件工程、人工智能、大数据等。

前言

第 1章 生成式AI基礎 1

1.1 技術框架介紹 1

1.1.1 Python 1

1.1.2 TensorFlow 3

1.1.3 PyTorch 5

1.1.4 Hugging Face 8

1.1.5 擴展閱讀 9

1.2 常見模型介紹 9

1.2.1 判別式模型 10

1.2.2 生成式模型 10

1.3 數據和任務 11

1.3.1 數據類型 12

1.3.2 常見任務 12

1.4 小結 17

 

第 2章 Transformer和GPT模型 19

2.1 Transformer簡介 19

2.1.1 基本概念 19

2.1.2 關鍵技術 21

2.1.3 變種與擴展 22

2.1.4 資源與工具 23

2.1.5 擴展閱讀 24

2.2 GPT模型基礎 24

2.2.1 GPT模型的歷史背景 24

2.2.2 GPT模型的核心技術 26

2.2.3 擴展閱讀 26

2.3 如何使用ChatGPT 27

2.3.1 註冊ChatGPT賬號 27

2.3.2 ChatGPT操作方法 27

2.3.3 ChatGPT使用技巧 28

2.4 案例一：文本生成 29

2.4.1 初始化 29

2.4.2 加載ELI5數據集 29

2.4.3 預處理 31

2.4.4 訓練 33

2.4.5 推理 34

2.5 案例二：文本總結 36

2.5.1 安裝 36

2.5.2 加載數據集 37

2.5.3 預處理數據 40

2.5.4 微調模型 44

2.5.5 推理 46

2.6 案例三：文本分類 47

2.6.1 transformers庫 48

2.6.2 具體應用 48

2.6.3 實際應用中的挑戰 51

 

第3章 Stable Diffusion 53

3.1 Stable Diffusion簡介 53

3.1.1 軟件對比 54

3.1.2 電腦配置要求 55

3.1.3 安裝步驟 55

3.1.4 基礎操作 56

3.1.5 高級功能 58

3.2 Stable Diffusion入門 59

3.2.1 前期準備 60

3.2.2 加載Stable Diffusion 60

3.2.3 可視化Stable Diffusion的內部工作機制 64

3.2.4 Stable Diffusion理論的實際應用 66

3.2.5 Stable Diffusion的內部結構 73

3.3 Stable Diffusion的基礎應用 84

3.3.1 從文本生成圖像：用文字描繪視覺世界 84

3.3.2 圖生圖：Stable Diffusion的圖像轉換魔法 86

3.3.3 圖像編輯：用AI技術重塑視覺記憶 87

3.3.4 製作視頻：用AI賦予畫面動態生命 88

3.4 文生圖 88

3.4.1 流行的模型 89

3.4.2 配置pipeline參數 93

3.4.3 控制圖像生成 96

3.4.4 優化操作 97

3.5 圖生圖 97

3.5.1 快速入門 97

3.5.2 流行的模型 98

3.5.3 配置pipeline參數 102

3.5.4 鏈式圖像到圖像pipeline 105

3.5.5 控制圖像生成 109

3.6 圖像修復 113

3.6.1 使用Diffusers進行圖像修復 113

3.6.2 常用的模型 114

3.6.3 非特定修復的checkpoint 117

3.6.4 配置pipeline參數 122

3.6.5 串聯修復pipeline 125

3.6.6 控制圖像生成 128

3.7 小結 130

 

第4章 LangChain與AI Agent 131

4.1 LangChain與AI Agent簡介 131

4.1.1 LangChain架構 133

4.1.2 使用LangChain構建AI Agent示例 134

4.2 LangChain關鍵組件 136

4.2.1 Module I/O 137

4.2.2 Retrieval 140

4.2.3 Agent 141

4.3 LCEL入門 141

4.4 LCEL的使用示例 144

4.4.1 基礎原理 144

4.4.2 常用方式 148

4.5 RAG基礎應用 150

4.5.1 RAG架構 150

4.5.2 設置 151

4.5.3 詳細分析 153

4.6 Agent基礎應用 158

4.6.1 搭建Agent 158

4.6.2 創建工具 159

4.6.3 創建提示 159

4.6.4 構建Agent 160

4.6.5 調用Agent 160

4.7 高級RAG應用程序 161

4.7.1 高級應用示例—添加聊天記錄 162

4.7.2 構建環境 162

4.7.3 沒有聊天歷史的鏈條 163

4.7.4 情境化問題 164

4.7.5 有聊天歷史的鏈條 165

4.8 小結 167

 

第5章 生成式AI開源應用案例 169

5.1 文本轉博客 169

5.1.1 核心技術 169

5.1.2 應用與部署 173

5.2 智能填表QuickFill 174

5.2.1 頁面介紹 174

5.2.2 用戶使用指南 175

5.2.3 部署項目 176

5.3 使用Transformer處理多模態大語言模型 180

5.3.1 配置教程 181

5.3.2 使用Transformer 181

5.3.3 使用ModelScope 190

5.4 3D生成：Stable Diffusion和Generative Gaussian Splatting方法 192

5.4.1 配置流程 192

5.4.2 運行示例 193

5.4.3 關鍵原理解釋 194

5.5 視頻生成 195

5.5.1 簡介 195

5.5.2 視頻生成的原理 196

5.5.3 視頻生成實踐 197

5.5.4 視頻優化 202

5.5.5 視頻生成工具 203

5.5.6 視頻生成的挑戰 206

 

第6章 生成式AI行業應用 209

6.1 跨媒體內容創作 209

6.1.1 文本與圖像結合 209

6.1.2 文本和視頻結合 210

6.1.3 多媒體內容創作 211

6.2 商業廣告設計 212

6.2.1 創新廣告策略 213

6.2.2 定製化設計方法 213

6.3 金融應用 214

6.3.1 個性化的消費者體驗 214

6.3.2 合規 215

6.3.3 風險管理 216

6.3.4 動態預測和報告 216

6.3.5 挑戰 217

6.4 教育應用 217

6.4.1 學習體驗定製 218

6.4.2 教育內容創新 219

6.4.3 賦能教師端 219

6.4.4 AI在教育中的挑戰與局限性 219

6.5 在健康領域的應用 220

6.5.1 解決醫療資源獲取和成本的問題 220

6.5.2 應用場景 222

6.5.3 新型醫療保健公司的市場 222

 

第7章 生成式AI倫理道德 225

7.1 常見的生成式AI倫理道德

問題 225

7.1.1 質量與性能 225

7.1.2 偏見與公平性 226

7.1.3 隱私 226

7.2 數據模型角度的分析 227

7.2.1 數據泄露 227

7.2.2 內容審查/有害內容 228

7.2.3 提示註入/防禦 229

7.2.4 模型操縱 230

7.2.5 可解釋性和透明度 230

7.3 一般性解決方案 231

7.3.1 Responsible AI在大語言模型應用開發中的應用 231

7.3.2 在大語言模型中建立防護欄 231

7.3.3 構建值得信賴的AI未來 231