與 AI 對話：ChatGPT 提示工程揭秘

陳崢
電子科技大學信息與軟件工程學院副教授、自然語言處理實驗室負責人，中文信息學委自然語言生成與智能寫作專委會委員。
在信息抽取、文本摘要、機器翻譯、機器問答、文本寫作、多模態內容生成等領域具有豐富的科研和實踐經驗。
於中國科學院成都計算機應用研究所獲得博士學位，先後在田納西大學、亞利桑那州立大學從事訪學研究，
發表過20餘篇論文，擁有10餘項專利，曾主持包括自然科學基金在內的多項科研項目。

目錄
1部分 基礎知識
1 ChatGPT：開啟人工智能的新時代 2
1.1 ChatGPT是什麼 2
1.2 ChatGPT的歷史 4
1.2.1 GPT-1：預訓練加微調 4
1.2.2 GPT-2：更大更強 5
1.2.3 GPT-3：能力湧現 7
1.2.4 ChatGPT：與AI對話 10
1.2.5 GPT-4：多模態 12
1.3 ChatGPT的應用場景 14
1.4 ChatGPT的局限性 17
2 從網頁到API：手把手教你使用ChatGPT  20
2.1 使用官方網站與ChatGPT進行交互 20
2.2 用API的方式訪問ChatGPT  27
2.3 使用ChatGPT的其他方式 30
3 演進之路：從語言模型到提示工程 37
3.1 什麼是語言模型 38
3.2 語言模型的發展歷程 40
3.2.1 20世紀50年代之前：雛形初現 40
3.2.2 20世紀的後五十年：由興到衰 41
3.2.3 21世紀：新時代 42
3.3 Transformer模型的結構和原理 47
3.3.1 注意力機制 47
3.3.2 自註意力機制 48
3.3.3 位置信息 49
3.3.4 縮放點乘注意力 49
3.3.5 多頭自註意力 50
3.3.6 多層自註意力 51
3.3.7 交叉注意力 51
3.3.8 完整的Transformer模型 52
3.4 語言模型的訓練 53
3.4.1 自回歸訓練 54
3.4.2 基於人工反饋的強化學習 57
3.5 提示工程 61
3.5.1 提示工程是什麼 61
3.5.2 設計良好提示的常見技巧 63
3.5.3 提示工程的重要性 70
2部分 提示工程
4 人人都能用AI：構建提示指令，化解各類難題 74
4.1 難題已攻克：AI助你跨越語言的障礙 74
4.2 不只是糾錯：AI讓語言表達更 80
4.3 文學創作新思路：人機協作讓作品更具靈感 85
4.4 新聞報導加速器：從收集素材到成稿只需幾秒 97
4.5 一問即答：AI讓信息獲取更簡單 103
4.6 專家意見何處尋：AI扮演領域專家角色為你答疑解惑 108
4.7 決策：如何讓AI給出明確回答，助你做決定 118
4.8 邏輯驅動的能力提升：數學和編程是一回事兒 122
5 從新手到專家：普通人如何成為提示工程師 131
5.1 詞法和句法分析 132
5.1.1 中文分詞 133
5.1.2 命名實體 135
5.1.3 詞性標註 137
5.1.4 依存句法分析 139
5.1.5 總結 144
5.2 信息抽取 145
5.2.1 關鍵詞提取 145
5.2.2 實體關係抽取 150
5.2.3 結構化事件抽取 153
5.2.4 總結 156
5.3 分類與聚類 157
5.3.1 文本分類 157
5.3.2 情感分析 160
5.3.3 文本聚類 164
5.3.4 總結 172
5.4 理解和問答 172
5.4.1 常識知識問答 172
5.4.2 閱讀理解問答 176
5.4.3 問題理解和意圖識別 181
5.4.4 總結 188
5.5 受控文本生成 189
5.5.1 文本摘要 189
5.5.2 文本複述 194
5.5.3 數據到文本的生成 199
5.5.4 總結 206
5.6 謠言和不實信息檢測 206
3部分 延伸討論
6 狂歡將：國產“ChatGPT”接踵而來 216
6.1 元語智能：ChatYuan  216
6.2 復旦大學：MOSS  218
6.3 百度：文心一言 219
6.4 清華大學：ChatGLM  221
6.5 其他 223
7 道阻且長：“ChatGPT”們的缺陷與局限 224
7.1 幻覺：一柄雙刃劍 224
7.2 毒性：一個社會問題 231
7.3 記憶：短期的更困難 231
7.4 多模態：到底有什麼用 234
參考文獻 242