AI Agent 應用與項目實戰

目錄
第1 章 Agent 架構與應用 ............................................................................................ 1
1.1 初識Agent .......................................................................................................................... 1
1.1.1 感知能力 ................................................................................................................. 2
1.1.2 思考能力 ................................................................................................................. 2
1.1.3 動作能力 ................................................................................................................. 3
1.1.4 記憶能力 ................................................................................................................. 4
1.2 Agent 框架 .......................................................................................................................... 5
1.2.1 Agent 框架理念 ...................................................................................................... 5
1.2.2 常用Agent 框架 ..................................................................................................... 6
1.3 Multi-Agent 多角色協作 .................................................................................................. 12
1.3.1 SOP 拆解 ............................................................................................................... 12
1.3.2 角色扮演 ............................................................................................................... 13
1.3.3 反饋迭代 ............................................................................................................... 13
1.3.4 監督控制 ............................................................................................................... 13
1.3.5 實例說明 ............................................................................................................... 14
1.4 Agent 應用分析 ................................................................................................................ 16
1.4.1 Agent 自身場景落地 ............................................................................................ 16
1.4.2 Agent 結合RPA 場景落地 ................................................................................... 19
1.4.3 Agent 多態具身機器人 ........................................................................................ 25
∣ AI Agent 應用與項目實踐
第2 章 使用Coze 打造專屬Agent ............................................................................ 29
2.1 Coze 平臺 ......................................................................................................................... 29
2.1.1 Coze 平臺的優勢 .................................................................................................. 29
2.1.2 Coze 平臺界面 ...................................................................................................... 30
2.1.3 Coze 平臺的功能模塊 .......................................................................................... 33
2.2 Agent 的實現流程 ............................................................................................................ 34
2.2.1 Agent 需求分析 .................................................................................................... 34
2.2.2 Agent 架構設計 .................................................................................................... 35
2.3 使用Coze 平臺打造專屬的NBA 新聞助手 .................................................................. 35
2.3.1 需求分析與設計思路制定 ................................................................................... 35
2.3.2 NBA 新聞助手的實現與測試 .............................................................................. 36
2.4 使用Coze 平臺打造小紅書文案助手 ............................................................................. 55
2.4.1 需求分析與設計思路制定 ................................................................................... 55
2.4.2 小紅書文案助手的實現與測試 ........................................................................... 55
2.5 小結 ................................................................................................................................. 70
第3 章 打造專屬領域的客服聊天機器人 .................................................................... 71
3.1 客服聊天機器人概述 ....................................................................................................... 71
3.1.1 客服聊天機器人價值簡介 ................................................................................... 71
3.1.2 客服聊天機器人研發工具 ................................................................................... 72
3.2 AI 課程客服聊天機器人總體架構 ................................................................................. 74
3.2.1 前端功能設計 ....................................................................................................... 76
3.2.2 後端功能設計 ....................................................................................................... 78
3.3 AI 課程客服聊天機器人應用實例 ................................................................................. 86
第4 章 AutoGen 智能體開發框架實踐 ....................................................................... 88
4.1 AutoGen 開發環境 ........................................................................................................... 89
4.1.1 Anaconda ............................................................................................................... 89
4.1.2 PyCharm ................................................................................................................ 89
4.1.3 AutoGen Studio ..................................................................................................... 89
4.2 AutoGen Studio 案例 ....................................................................................................... 91
4.2.1 案例介紹 ............................................................................................................... 91
4.2.2 AutoGen Studio 模型配置 .................................................................................... 91
4.2.3 AutoGen Studio 技能配置 .................................................................................... 95
4.2.4 AutoGen Studio 本地化配置 .............................................................................. 117
第5 章 生成式代理——以斯坦福AI 小鎮為例 ......................................................... 131
5.1 生成式代理簡介 ............................................................................................................ 131
5.2 斯坦福AI 小鎮項目簡介 .............................................................................................. 133
5.2.1 斯坦福AI 小鎮項目背景 ................................................................................... 133
5.2.2 斯坦福AI 小鎮設計原理 ................................................................................... 133
5.2.3 斯坦福AI 小鎮典型情景 ................................................................................... 134
5.2.4 交互體驗 ............................................................................................................. 135
5.2.5 技術實現 ............................................................................................................. 136
5.2.6 社會影響 ............................................................................................................. 138
5.3 斯坦福AI 小鎮體驗 ...................................................................................................... 139
5.3.1 資源準備 ............................................................................................................. 139
5.3.2 部署運行 ............................................................................................................. 139
5.3.3 代碼解讀 ............................................................................................................. 146
5.4 生成式代理的行為和交互 ............................................................................................. 155
5.4.1 模擬個體和個體間的交流 ................................................................................. 155
5.4.2 環境交互 ............................................................................................................. 157
5.4.3 示例“日常生活中的一天” .................................................................................. 158
5.4.4 自發社會行為 ..................................................................................................... 159
5.5 生成式代理架構 ............................................................................................................ 160
5.5.1 記憶和檢索 ......................................................................................................... 161
5.5.2 反思 ..................................................................................................................... 163
5.5.3 計劃和反應 ......................................................................................................... 165
5.6 沙盒環境實現 ................................................................................................................ 167
5.7 評估 ............................................................................................................................... 169
5.7.1 評估程序 ............................................................................................................. 169
5.7.2 條件 ..................................................................................................................... 170
5.7.3 分析 ..................................................................................................................... 171
5.7.4 結果 ..................................................................................................................... 172
5.8 生成式代理的進一步探討 ............................................................................................. 173
第6 章 RAG檢索架構分析與應用 ........................................................................... 176
6.1 RAG 架構分析 ............................................................................................................... 177
6.1.1 檢索器 ................................................................................................................. 177
6.1.2 生成器 ................................................................................................................. 178
6.2 RAG 工作流程 ............................................................................................................... 178
6.2.1 數據提取 ............................................................................................................. 179
6.2.2 文本分割 ............................................................................................................. 179
6.2.3 向量化 ................................................................................................................. 180
6.2.4 數據檢索 ............................................................................................................. 181
6.2.5 註入提示 ............................................................................................................. 181
6.2.6 提交給LLM ........................................................................................................ 182
6.3 RAG 與微調和提示詞工程的比較 ............................................................................... 182
6.4 基於LangChain 的RAG 應用實踐 .............................................................................. 183
6.4.1 基礎環境準備 ..................................................................................................... 183
6.4.2 收集和加載數據 ................................................................................................. 183
6.4.3 分割原始文檔 ..................................................................................................... 184
6.4.4 數據向量化後入庫 ............................................................................................. 184
6.4.5 定義數據檢索器 ................................................................................................. 185
6.4.6 創建提示 ............................................................................................................. 185
6.4.7 調用LLM 生成回答 ........................................................................................... 185
第7 章 RAG應用案例——使用RAG 部署本地知識庫 ............................................ 188
7.1 部署本地環境及安裝數據庫 ......................................................................................... 191
7.1.1 在Python 環境中創建虛擬環境並安裝所需的庫 ............................................ 191
7.1.2 安裝phidata 庫 ................................................................................................... 191
7.1.3 安裝和配置Ollama ............................................................................................ 192
7.1.4 基於Ollama 安裝Llama 3 模型和nomic-embed-text 模型 ............................. 193
7.1.5 下載和安裝Docker 並用Docker 下載向量數據庫的鏡像 .............................. 193
7.2 代碼部分及前端展示配置 ............................................................................................. 194
7.2.1 assistant.py 代碼 .................................................................................................. 194
7.2.2 app.py 代碼 ......................................................................................................... 197
7.2.3 啟動AI 交互頁面 ............................................................................................... 203
7.2.4 前端交互功能及對應代碼 ................................................................................. 204
7.3 調用雲端大語言模型 ..................................................................................................... 212
7.3.1 配置大語言模型的API Key .............................................................................. 214
7.3.2 修改本地RAG 應用代碼 ................................................................................... 215
7.3.3 啟動並調用雲端大語言模型 ............................................................................. 217
第8 章 LLM本地部署與應用 ................................................................................... 221
8.1 硬件準備 ........................................................................................................................ 221
8.2 操作系統選擇 ................................................................................................................ 222
8.3 搭建環境所需組件......................................................................................................... 223
8.4 LLM 常用知識介紹 ....................................................................................................... 226
8.4.1 分類 ..................................................................................................................... 226
8.4.2 參數大小 ............................................................................................................. 226
8.4.3 訓練過程 ............................................................................................................. 226
8.4.4 模型類型 ............................................................................................................. 226
8.4.5 模型開發框架 ..................................................................................................... 227
8.4.6 量化大小 ............................................................................................................. 227
8.5 量化技術 ........................................................................................................................ 228
8.6 模型選擇 ........................................................................................................................ 229
8.6.1 通義千問 ............................................................................................................. 229
8.6.2 ChatGLM ............................................................................................................. 229
8.6.3 Llama ................................................................................................................... 229
8.7 模型應用實現方式......................................................................................................... 230
8.7.1 Chat ..................................................................................................................... 230
8.7.2 RAG ..................................................................................................................... 230
8.7.3 高效微調 ............................................................................................................. 230
8.8 通義千問1.5-0.5B 本地Windows 部署實踐 ................................................................ 231
8.8.1 介紹 ..................................................................................................................... 231
8.8.2 環境要求 ............................................................................................................. 231
8.8.3 依賴庫安裝 ......................................................................................................... 232
8.8.4 快速使用 ............................................................................................................. 233
8.8.5 量化 ..................................................................................................................... 235
8.9 基於LM Studio 和AutoGen Studio 使用通義千問 ..................................................... 235
8.9.1 LM Studio 介紹 ................................................................................................... 235
8.9.2 AutoGen Studio 介紹 .......................................................................................... 235
8.9.3 LM Studio 的使用 ............................................................................................... 236
8.9.4 在LM Studio 上啟動模型的推理服務 .............................................................. 238
8.9.5 啟動AutoGen Studio 服務 ................................................................................. 239
8.9.6 進入AutoGen Studio 界面 ................................................................................. 239
8.9.7 使用AutoGen Studio 配置大語言模型服務 ..................................................... 240
8.9.8 把Agent 中的模型置換成通義千問 .................................................................. 241
8.9.9 運行並測試Agent .............................................................................................. 242
第9 章 LLM與LoRA 微調策略解讀 ........................................................................ 244
9.1 LoRA 技術 ..................................................................................................................... 244
9.1.1 LoRA 簡介 .......................................................................................................... 244
9.1.2 LoRA 工作原理 .................................................................................................. 246
9.1.3 LoRA 在大語言模型中的應用 .......................................................................... 246
9.1.4 實施方案 ............................................................................................................. 247
9.2 LoRA 參數說明 ............................................................................................................. 247
9.2.1 註意力機制中的LoRA 參數選擇 ..................................................................... 247
9.2.2 LoRA 網絡結構中的參數選擇 .......................................................................... 248
9.2.3 LoRA 微調中基礎模型的參數選擇 .................................................................. 250
9.3 LoRA 擴展技術介紹 ...................................................................................................... 250
9.3.1 QLoRA 介紹 ....................................................................................................... 250
9.3.2 Chian of LoRA 方法介紹 ................................................................................... 251
9.4 大語言模型在LoRA 微調中的性能分享 ..................................................................... 251
第10 章 PEFT 微調實踐：打造醫療領域LLM ......................................................... 252
10.1 PEFT 介紹 .................................................................................................................... 252
10.2 工具與環境準備 .......................................................................................................... 253
10.2.1 工具安裝 ........................................................................................................... 253
10.2.2 環境搭建 ........................................................................................................... 256
10.3 模型微調實踐 .............................................................................................................. 265
10.3.1 模型微調整體流程 ........................................................................................... 265
10.3.2 項目目錄結構說明 ........................................................................................... 266
10.3.3 基礎模型選擇 ................................................................................................... 267
10.3.4 微調數據集構建 ............................................................................................... 268
10.3.5 LoRA 微調主要參數配置 ................................................................................ 269
10.3.6 微調主要執行流程 ........................................................................................... 271
10.3.7 運行模型微調代碼 ........................................................................................... 272
10.4 模型推理驗證 .............................................................................................................. 273
第11 章 Llama 3 模型的微調、量化、部署和應用 ................................................... 276
11.1 準備工作 ....................................................................................................................... 277
11.1.1 環境配置和依賴庫安裝 ................................................................................... 277
11.1.2 數據收集和預處理 ........................................................................................... 279
11.2 微調Llama 3 模型 ....................................................................................................... 280
11.2.1 微調的意義與目標 ........................................................................................... 280
11.2.2 Llama 3 模型下載 ............................................................................................. 280
11.2.3 使用Llama-factory 進行LoRA 微調 ............................................................... 282
11.3 模型量化 ....................................................................................................................... 294
11.3.1 量化的概念與優勢 ........................................................................................... 294
11.3.2 量化工具Llama.cpp 介紹 ................................................................................ 294
11.3.3 Llama.cpp 部署 ................................................................................................. 295
11.4 模型部署 ....................................................................................................................... 300
11.4.1 部署環境選擇 ................................................................................................... 300
11.4.2 部署流程詳解 ................................................................................................... 301
11.5 低代碼應用示例 ........................................................................................................... 302
11.5.1 搭建本地大語言模型 ....................................................................................... 302
11.5.2 搭建用戶界面 ................................................................................................... 303
11.5.3 與知識庫相連 ................................................................................................... 306
11.6 未來展望 ....................................................................................................................... 309