大模型應用開發極簡入門：基於 GPT-4 和 ChatGPT Developing Apps with Gpt-4 and Chatgpt: Build Intelligent Chatbots, Content Generators, and More

奥利维耶·卡埃朗（Olivier Caelen）

国际支付服务先驱Worldline公司机器学习研究员、布鲁塞尔自由大学机器学习博士，业余时间在布鲁塞尔自由大学教授机器学习课程。

 

玛丽-艾丽斯·布莱特（Marie-Alice Blete）

国际支付服务先驱Worldline公司研发部门软件架构师、数据工程师。她还负责维护开发者关系，并担任技术演讲嘉宾。

 

何文斯（译者）

大模型创业公司 Dify 产品经理、自媒体“何文斯”作者，致力于研究大模型中间件技术和AI应用工程化的实际落地。业余时间撰写大模型相关技术的科普文章，期待共同见证通用人工智能的实现。

推薦序一　學習成為善用 AI 的人 | 寶玉

推薦序二　開啟一段有趣、有啟發、 有收獲的冒險旅程 | 張路宇

推薦序三　人人都要學會和 AI 相處 | 孫志崗

推薦序四　AI 工程師：做新一輪智能革命的首批探索者 | 鄧範鑫

推薦序五　進入智能應用的新時代 | 梁宇鵬（@一樂）

推薦序六　AGI：不要旁觀，要真正參與 | 羅雲

推薦序七　不要害怕被 ChatGPT 取代，要做第 一批駕馭新技術的人 | 宜博

譯者序　沒有誰天生就是 AI 工程師 | 何文斯

前言

第 1章　初識GPT-4 和 ChatGPT 1

1.1　LLM 概述 2

1.1.1　探索語言模型和 NLP 的基礎 2

1.1.2　理解 Transformer 架構及其在 LLM 中的作用 4

1.1.3　解密 GPT 模型的標記化和預測步驟 7

1.2　GPT模型簡史：從 GPT-1 到 GPT-4 9

1.2.1　GPT-1 9

1.2.2　GPT-2 10

1.2.3　GPT-3 11

1.2.4　從 GPT-3 到 InstructGPT 12

1.2.5　GPT-3.5、Codex 和 ChatGPT 14

1.2.6　GPT-4 15

1.3　LLM 用例和示例產品 16

1.3.1　Be My Eyes 16

1.3.2　摩根士丹利 17

1.3.3　可汗學院 17

1.3.4　多鄰國 18

1.3.5　Yabble 18

1.3.6　Waymark 19

1.3.7　Inworld AI 19

1.4　警惕 AI 幻覺：限制與考慮 20

1.5　使用插件和微調優化 GPT 模型 23

1.6　小結 24

第 2章　深入瞭解 GPT-4 和 ChatGPT 的 API 25

2.1　基本概念 26

2.2　OpenAI API 提供的可用模型 27

2.3　在 OpenAI Playground 中使用 GPT 模型 29

2.4　開始使用 OpenAI Python 庫 34

2.4.1　OpenAI 訪問權限和 API 密鑰 35

2.4.2　Hello World 示例程序 36

2.5　使用 GPT-4 和 ChatGPT 38

2.5.1　ChatCompletion 端點的輸入選項 39

2.5.2　ChatCompletion 端點的輸出格式 42

2.5.3　從文本補全到函數 43

2.6　使用其他文本補全模型 46

2.6.1　Completion 端點的輸入選項 47

2.6.2　Completion 端點的輸出格式 48

2.7　考慮因素 48

2.7.1　定價和標記限制 48

2.7.2　安全和隱私 50

2.8　其他 OpenAI API 和功能 50

2.8.1　嵌入 50

2.8.2　內容審核模型 53

2.8.3　Whisper 和 DALL · E 55

2.9　小結（含速查清單） 56

第3章　使用 GPT-4 和 ChatGPT 構建應用程序 59

3.1　應用程序開發概述 59

3.1.1　管理 API 密鑰 60

3.1.2　數據安全和數據隱私 62

3.2　軟件架構設計原則 62

3.3　LLM 驅動型應用程序的漏洞 63

3.3.1　分析輸入和輸出 64

3.3.2　無法避免提示詞註入 65

3.4　示例項目 65

3.4.1　項目 1：構建新聞稿生成器 65

3.4.2　項目 2：YouTube 視頻摘要 68

3.4.3　項目 3：打造《塞爾達傳說：曠野之息》專家 71

3.4.4　項目 4：語音控制 77

3.5　小結 83

第4章　GPT-4 和 ChatGPT 的高級技巧 85

4.1　提示工程 85

4.1.1　設計有效的提示詞 86

4.1.2　逐步思考 92

4.1.3　實現少樣本學習 94

4.1.4　改善提示效果 96

4.2　微調 98

4.2.1　開始微調 99

4.2.2　使用 OpenAI API 進行微調 101

4.2.3　微調的應用 . 105

4.2.4　生成和微調電子郵件營銷活動的合成數據 107

4.2.5　微調的成本 113

4.3　小結 114

第5章　使用 LangChain 框架和插件增強 LLM 的功能 117

5.1　LangChain 框架 117

5.1.1　動態提示詞 119

5.1.2　智能體及工具 120

5.1.3　記憶 124

5.1.4　嵌入 125

5.2　GPT-4 插件 129

5.2.1　概述 130

5.2.2　API 131

5.2.3　插件清單 132

5.2.4　OpenAPI 規範 133

5.2.5　描述 135

5.3　小結 135

5.4　總結 136

術語表 137