大模型Agent應用開發

目    錄

第1章  大規模語言模型簡介  1

1.1  大型基礎模型和大規模語言模型定義  2

1.1.1  人工智能範式轉變——基礎模型簡介  2

1.1.2  大規模語言模型簡介  5

1.2  最流行的基於transformer架構的大規模語言模型  10

1.2.1  早期實驗  11

1.2.2  transformer架構  11

1.3  訓練和評估大規模語言模型  16

1.3.1  訓練大規模語言模型  16

1.3.2  模型評估  19

1.4  基礎模型與定製模型  21

1.5  小結  23

1.6  參考文獻  23

第2章  面向人工智能應用的大規模語言模型  25

2.1  大規模語言模型如何改變軟件開發  25

2.2  Copilot系統  26

2.3  引入人工智能編排器，將大規模語言模型嵌入應用程序  30

2.3.1  人工智能編排器的主要組成部分  31

2.3.2  LangChain  33

2.3.3  Haystack  35

2.3.4  語義內核  36

2.3.5  如何選擇框架  38

2.4  小結  39

2.5  參考文獻  40

第3章  為應用選擇大規模語言模型  41

3.1  市場上最有前途的大規模語言模型  41

3.1.1  專有模型  42

3.1.2  開源模型  51

3.2  語言模型之外  56

3.3  選擇正確大規模語言模型的決策框架  60

3.3.1  考慮因素  60

3.3.2  案例研究  62

3.4  小結  63

3.5  參考文獻  63

第4章  提示工程  65

4.1  技術要求  65

4.2  提示工程的定義  66

4.3  提示工程原則  66

4.3.1  明確的指令  66

4.3.2  將復雜任務劃分為子任務  69

4.3.3  詢問理由  71

4.3.4  生成多個輸出，然後使用模型挑選最佳輸出  73

4.3.5  結尾處的重復指令  74

4.3.6  使用分隔符  76

4.4  高級技術  78

4.4.1  少樣本方法  78

4.4.2  思維鏈  81

4.4.3  ReAct  83

4.5  小結  86

4.6  參考文獻  87

第5章  在應用程序中嵌入大規模語言模型  88

5.1  技術要求  88

5.2  LangChain的簡要說明  89

5.3  開始使用LangChain  90

5.3.1  模型和提示  91

5.3.2  數據連接  93

5.3.3  記憶  99

5.3.4  鏈  101

5.3.5  智能體  105

5.4  通過Hugging Face Hub使用大規模語言模型  107

5.4.1  創建Hugging Face用戶訪問令牌  107

5.4.2  在.env文件中存儲密鑰  110

5.4.3  啟用開源大規模語言模型  110

5.5  小結  112

5.6  參考文獻  112

第6章  構建會話應用程序  113

6.1  技術要求  113

6.2  會話應用程序入門  114

6.2.1  創建普通機器人  114

6.2.2  添加記憶  116

6.2.3  添加非參數知識  119

6.2.4  添加外部工具  122

6.3  使用Streamlit開發前端  125

6.4  小結  129

6.5  參考文獻  129

第7章  使用大規模語言模型的搜索引擎和推薦引擎  130

7.1  技術要求  130

7.2  推薦系統簡介  131

7.3  現有推薦系統  132

7.3.1  K最近鄰  132

7.3.2  矩陣因式分解  133

7.3.3  神經網絡  136

7.4  大規模語言模型如何改變推薦系統  138

7.5  實現由大規模語言模型驅動的推薦系統  139

7.5.1  數據預處理  140

7.5.2  在冷啟動場景中構建QA推薦聊天機器人  143

7.5.3  構建基於內容的推薦系統  149

7.6  使用Streamlit開發前端  153

7.7  小結  156

7.8  參考文獻  156

第8章  使用結構化數據的大規模語言模型  157

8.1  技術要求  157

8.2  結構化數據的定義  158

8.3  關系數據庫入門  159

8.3.1  關系數據庫簡介  160

8.3.2  Chinook數據庫概述  161

8.3.3  如何在Python中使用關系數據庫  162

8.4  使用LangChain實現DBCopilot  166

8.4.1  LangChain智能體和SQL智能體  167

8.4.2  提示工程  170

8.4.3  添加更多工具  173

8.5  使用Streamlit開發前端  176

8.6  小結  179

8.7  參考文獻  180

第9章  使用大規模語言模型生成代碼  181

9.1  技術要求  181

9.2  為代碼選擇合適的大規模語言模型  182

9.3  代碼理解和生成  183

9.3.1  Falcon LLM  184

9.3.2  CodeLlama  187

9.3.3  StarCoder  190

9.4  像算法一樣行動  194

9.5  利用代碼解釋器  200

9.6  小結  206

9.7  參考文獻  206

第10章  使用大規模語言模型構建多模態應用  208

10.1  技術要求  208

10.2  為什麽是多模態  209

10.3  使用LangChain構建多模態智能體  211

10.4  方案1：使用Azure AI服務的開箱即用工具包  211

10.5  方案2：將單一工具整合到一個智能體中  225

10.5.1  YouTube工具和Whisper  225

10.5.2  DALL-E和文本生成  227

10.5.3  將所有工具整合在一起  229

10.6  方案3：使用序列鏈的硬編碼方法  233

10.7  三種方案的比較  236

10.8  使用Streamlit開發前端  237

10.9  小結  239

10.10  參考文獻  239

第11章  微調大規模語言模型  240

11.1  技術要求  241

11.2  微調定義  241

11.3  何時微調  244

11.4  開始微調  245

11.4.1  獲取數據集  245

11.4.2  詞元化數據  246

11.4.3  微調模型  249

11.4.4  使用評估指標  250

11.4.5  訓練和保存  253

11.5  小結  256

11.6  參考文獻  257

第12章  負責任的人工智能  258

12.1  什麽是負責任的人工智能，為什麽需要它  258

12.2  負責任的人工智能架構  260

12.2.1  模型層  260

12.2.2  元提示層  263

12.2.3  用戶界面層  264

12.3  有關負責任的人工智能的法規  267

12.4  小結  268

12.5  參考文獻  269

第13章  新興趨勢和創新  270

13.1  語言模型和生成式人工智能的最新發展趨勢  270

13.1.1  GPT-4V  271

13.1.2  DALL-E 3  272

13.1.3  AutoGen  273

13.1.4  小型語言模型  274

13.2  擁抱生成式人工智能技術的公司  275

13.2.1  Coca-Cola  275

13.2.2  Notion  275

13.2.3  Malbek  276

13.2.4  微軟  277

13.3  小結  278

13.4  參考文獻  279