預訓練語言模型：方法、實踐與應用
徐雙雙
商品描述
近年來，在自然語言處理領域，基於預訓練語言模型的方法已形成全新範式。本書內容分為基礎知識、預訓練語言模型，以及實踐與應用3個部分，共9章。第一部分全面、系統地介紹自然語言處理、神經網絡和預訓練語言模型的相關知識。第二部分介紹幾種具有代表性的預訓練語言模型的原理和機制（涉及註意力機制和Transformer模型），包括BERT及其變種，以及近年來發展迅猛的GPT和提示工程。第三部分介紹了基於LangChain和ChatGLM-6B的知識庫問答系統、基於大型語言模型的自然語言處理任務應用研究和大模型訓練實戰等具體應用，旨在從應用的角度加深讀者對預訓練語言模型理論的理解，便於讀者在實踐中提高技能，達到理論和實踐的統一。
本書適合電腦相關專業的學生，以及其他對預訓練語言模型感興趣的讀者閱讀。
作者簡介
自然語言處理工程師，在機器學習、深度學習和自然語言處理領域有十餘年的算法研發經驗，曾在一線大廠阿裡巴巴、京東等擔任過資深算法工程師和算法經理等職，現在在世界500強公司擔任自然語言處理團隊負責人，負責過金融和醫療領域的知識圖譜、智能問答系統、文本生成系統等企業級核心項目。
目錄大綱
目 錄
第 一部分 基礎知識
第 1章 自然語言處理介紹 2
1.1 什麽是自然語言處理 2
1.2 自然語言處理的發展歷史 2
1.3 自然語言的特性 3
1.3.1 歧義性 4
1.3.2 主觀性 4
1.3.3 創造性 4
1.3.4 社會性 5
1.4 自然語言處理的研究領域 6
1.5 自然語言處理的常規任務 6
1.5.1 機器翻譯 7
1.5.2 信息抽取 8
1.6 自然語言處理的常用工具 12
1.6.1 常用工具 12
1.6.2 PyTorch介紹 13
第 2章 神經網絡預備知識 18
2.1 神經網絡核心概念 18
2.1.1 導數和梯度 18
2.1.2 鏈式法則 20
2.1.3 損失函數 22
2.1.4 前向傳播與反向傳播 24
2.1.5 激活函數 28
2.2 神經網絡主要類型 33
2.2.1 全連接神經網絡 33
2.2.2 捲積神經網絡 34
2.2.3 循環神經網絡 36
2.2.4 長短期記憶網絡 38
2.2.5 自編碼器 40
2.2.6 生成對抗網絡 41
第3章 預訓練語言模型基礎知識 44
3.1 什麽是預訓練 44
3.2 文本表示方法的分類 45
3.3 詞袋型文本表示方法 46
3.3.1 獨熱編碼 46
3.3.2 詞袋模型 47
3.3.3 N-gram 49
3.3.4 TF-IDF 51
3.4 主題型文本表示方法 53
3.4.1 LSA 53
3.4.2 LDA 57
3.5 固定型詞向量文本表示方法 59
3.5.1 Word2Vec 59
3.5.2 GloVe 70
3.5.3 FastText 75
3.6 動態型詞向量文本表示方法 77
3.6.1 ELMo 77
3.6.2 ELMo實現 78
第二部分 預訓練語言模型
第4章 註意力機制和Transformer
模型 82
4.1 註意力機制簡介 82
4.1.1 什麽是註意力機制 82
4.1.2 自註意力機制 88
4.1.3 多頭註意力機制 95
4.2 Transformer模型 97
4.2.1 編碼器部分 98
4.2.2 解碼器部分 101
4.2.3 模型示例 104
第5章 BERT和變種BERT 110
5.1 BERT 110
5.1.1 BERT模型結構 110
5.1.2 BERT輸入表示 112
5.1.3 BERT預訓練 113
5.1.4 BERT微調訓練 117
5.1.5 模型示例 120
5.2 變種BERT 122
5.2.1 ALBERT 122
5.2.2 XLNet 123
5.2.3 RoBERTa 127
5.2.4 ELECTRA 129
5.2.5 ERNIE 132
第6章 GPT和提示工程 137
6.1 GPT系列 137
6.1.1 GPT-1 137
6.1.2 GPT-2 140
6.1.3 GPT-3 142
6.1.4 InstructGPT和ChatGPT 144
6.1.5 GPT-4 147
6.2 Prompt 148
6.2.1 什麽是提示工程 148
6.2.2 構建提示模板的方法 151
6.2.3 提示工程常用技術 152
6.2.4 提示詞應用示例 157
第三部分 實踐與應用
第7章 基於LangChain和ChatGLM-6B的知識庫問答系統 166
7.1 核心組件 166
7.1.1 LangChain 166
7.1.2 ChatGLM-6B 169
7.2 構建流程 172
7.2.1 本地知識庫構建 172
7.2.2 基於知識庫的問答系統
構建 173
7.3 趨勢與挑戰 176
7.3.1 發展趨勢 176
7.3.2 面臨的挑戰 177
第8章 基於大型語言模型的自然語言處理任務應用研究 178
8.1 文本分類任務 178
8.1.1 任務描述 178
8.1.2 提示詞設計 179
8.1.3 實現與測試 180
8.2 信息抽取任務 182
8.2.1 任務描述 182
8.2.2 提示詞設計 183
8.2.3 實現與測試 184
8.3 文本匹配任務 186
8.3.1 任務描述 187
8.3.2 提示詞設計 187
8.3.3 實現與測試 187
第9章 大模型訓練實戰 190
9.1 預訓練階段 190
9.1.1 數據準備 190
9.1.2 數據處理 191
9.1.3 詞表擴充 192
9.1.4 模型預訓練 193
9.1.5 模型效果評測 195
9.2 指令微調階段 197
9.2.1 指令微調 197
9.2.2 數據集準備 199
9.2.3 指令微調模板 202
9.3 獎勵模型 204
9.3.1 直接打分 204
9.3.2 排序打分 207
9.4 RLHF微調 211
9.4.1 流程介紹 211
9.4.2 具體實現 211
9.5 大模型評測 214
9.5.1 評測內容 214
9.5.2 評測方法 215
9.5.3 評測挑戰 216
