大語言模型應用指南：以 ChatGPT 為起點，從入門到精通的 AI 實踐教程 (全彩)

第1篇 基礎
第1章 從人工智能的起源到大語言模型 2
1.1 人工智能的起源 2
1.1.1 機器能思考嗎 2
1.1.2 達特茅斯會議 3
1.2 什麽是機器學習 4
1.2.1 演繹推理與歸納推理 4
1.2.2 人工編程與自動編程 5
1.2.3 機器學習的過程 5
1.2.4 機器學習的分類 8
1.3 什麽是神經網絡 9
1.3.1 還原論與涌現性 9
1.3.2 神經網絡的發展歷史 10
1.3.3 神經網絡基礎 11
1.3.4 神經網絡的三要素 13
1.4 自然語言處理的發展歷程 17
1.4.1 什麽是自然語言處理 17
1.4.2 文本的向量化 18
1.4.3 神經網絡中的自監督學習 21
1.5 大語言模型 24
1.5.1 什麽是大語言模型 24
1.5.2 語言模型中的token 25
1.5.3 自回歸模型與文本生成 33
1.5.4 統一自然語言任務 41
1.5.5 大語言模型的訓練過程 44
1.5.6 大語言模型的局限性 46
第2篇 入門
第2章 交互格式 50
2.1 Completion交互格式 50
2.2 ChatML交互格式 52
2.3 Chat Completion交互格式 54
第3章 提示工程 57
3.1 什麽是提示工程 57
3.2 提示的構成 58
3.3 提示的基礎技巧 62
3.3.1 在提示的末尾重復關鍵指令 63
3.3.2 使用更清晰的語法 63
3.3.3 盡量使用示例 65
3.3.4 明確要求大語言模型回復高質量的響應 65
3.4 Chat Completion交互格式中的提示 65
3.5 提示模板與多輪對話 69
第4章 工作記憶與長短期記憶 72
4.1 什麽是工作記憶 72
4.2 減輕工作記憶的負擔 74
4.2.1 Chain-of-Thought 74
4.2.2 Self-Consistency 76
4.2.3 Least-to-Most 76
4.2.4 Tree-of-Tought和Graph -of-Tought 79
4.2.5 Algorithm-of-Tought 85
4.2.6 Chain-of-Density 88
4.3 關於大語言模型的思考能力 90
4.4 長短期記憶 91
4.4.1 什麽是記憶 91
4.4.2 短期記憶 92
4.4.3 長期記憶 105
第5章 外部工具 122
5.1 為什麽需要外部工具 122
5.2 什麽是外部工具 122
5.3 使用外部工具的基本原理 124
5.4 基於提示的工具 126
5.4.1 Self-ask 框架 126
5.4.2 ReAct 框架 128
5.4.3 改進ReAct框架 134
5.5 基於微調的工具 137
5.5.1 Toolformer 137
5.5.2 Gorilla 140
5.5.3 function calling 141
第6章 ChatGPT接口與擴展功能詳解 149
6.1 OpenAI大語言模型簡介 149
6.2 ChatGPT擴展功能原理 151
6.2.1 網頁實時瀏覽 152
6.2.2 執行Python代碼 153
6.2.3 圖像生成 154
6.2.4 本地文件瀏覽 157
6.3 Chat Completion接口參數詳解 158
6.3.1 模型響應返回的參數 158
6.3.2 向模型發起請求的參數 159
6.4 Assistants API 162
6.4.1 工具 162
6.4.2 線程 163
6.4.3 運行 163
6.4.4 Assistants API整體執行過程 164
6.5 GPTs與GPT商店 164
6.5.1 GPTs功能詳解 165
6.5.2 GPT商店介紹 172
6.5.3 案例：私人郵件助手 174
第3篇 進階
第7章 無梯度優化 184
7.1 單步優化 184
7.2 強化學習入門 188
7.3 多步優化中的預測 191
7.4 多步優化中的訓練 194
7.5 多步優化中的訓練和預測 201
第8章 自主Agent系統 210
8.1 自主Agent系統簡介 210
8.2 自主Agent系統的基本組成 211
8.3 自主Agent系統案例分析（一） 213
8.3.1 BabyAGI 213
8.3.2 AutoGPT 216
8.3.3 BeeBot 221
8.3.4 Open Interpreter 228
8.3.5 MemGPT 232
8.4 自主Agent系統案例分析（二） 243
8.4.1 CAMEL 243
8.4.2 ChatEval 246
8.4.3 Generative Agents 250
第9章 微調 262
9.1 三類微調方法 262
9.2 Transformer解碼器詳解 264
9.2.1 Transformer的原始輸入 264
9.2.2 靜態編碼和位置編碼 264
9.2.3 Transformer層 265
9.3 高效參數微調 268
9.3.1 Adapter高效微調 268
9.3.2 Prompt高效微調 269
9.3.3 LoRA高效微調 272
9.3.4 高效微調總結 274
9.4 微調RAG框架 275
9.4.1 RAG框架微調概述 275
9.4.2 數據準備和參數微調 276
9.4.3 效果評估 276
第10章 大語言模型的安全技術 280
10.1 提示註入攻擊 280
10.1.1 攻擊策略 281
10.1.2 防禦策略 284
10.2 越獄攻擊與數據投毒 285
10.2.1 沖突的目標與不匹配的泛化 285
10.2.2 對抗樣本 286
10.2.3 數據投毒 289
10.3 幻覺和偏見問題 292
10.4 為大語言模型添加水印 294
第4篇 展望
第11章 大語言模型的生態與未來 298
11.1 多模態大語言模型 298
11.1.1 什麽是多模態 298
11.1.2 GPT-4V簡介 300
11.1.3 Gemini簡介 303
11.2 大語言模型的生態系統 308
11.3 大語言模型的第一性原理：尺度定律 311
11.3.1 什麽是尺度定律 312
11.3.2 尺度定律的性質 313
11.3.3 尺度定律的未來 320
11.4 通向通用人工智能：壓縮即智能 321
11.4.1 編碼與無損壓縮 322
11.4.2 自回歸與無損壓縮 331
11.4.3 無損壓縮的極限 336
11.5 圖靈機與大語言模型：可計算性與時間復雜度 342
11.5.1 圖靈機與神經網絡 342
11.5.2 智能的可計算性 346
11.5.3 邏輯推理的時間復雜度 349
參考文獻 352