自然語言處理原理與應用

目錄
第一部分 理論基礎
第1章 緒論 1
1.1 基本概念 1
1.2 自然語言處理的產生與發展 2
1.3 基本問題和主要困難 3
1.3.1 自然語言處理的基本問題 3
1.3.2 自然語言處理面對的主要困難 4
1.4 深度學習在自然語言處理中的應用 5
1.4.1 深度學習概述 5
1.4.2 面向自然語言處理的深度學習方法 5
1.4.3 目前深度學習應用存在的局限及展望 6
1.5 本章小結 7
習題1 7
第2章 數學基礎 8
2.1 概率論基礎 8
2.1.1 樣本空間和概率 8
2.1.2 隨機變量 9
2.1.3 條件概率公式、全概率公式和貝葉斯公式 10
2.1.4 期望和方差 11
2.2 信息論基礎 11
2.2.1 自信息和熵 12
2.2.2 聯合熵和條件熵 13
2.2.3 互信息、相對熵和交叉熵 14
2.2.4 困惑度 14
2.2.5 噪聲通道模型 15
2.3 深度學習的數學基礎 16
2.3.1 最大似然估計 16
2.3.2 梯度分析 17
2.3.3 梯度下降法 19
2.3.4 梯度消失和梯度爆炸 19
2.4 本章小結 21
習題2 21
第3章 語言模型 22
3.1 語言模型概念及基礎理論 22
3.1.1 n元語法模型 22
3.1.2 神經概率語言模型 24
3.1.3 預訓練語言模型 24
3.2 語言模型性能評價 26
3.2.1 基於信息熵的語言模型復雜度度量 26
3.2.2 基於困惑度的語言模型復雜度度量 27
3.2.3 基於語言模型的漢語信息熵估算 28
3.3 數據平滑 28
3.3.1 問題的提出 28
3.3.2 加法平滑方法 29
3.3.3 Good-Turing估計法 29
3.3.4 Katz平滑方法 29
3.3.5 Jelinek-Mercer平滑方法 30
3.3.6 Witten-Bell平滑方法 31
3.3.7 絕對減值法 32
3.4 神經網絡語言模型 32
3.4.1 基礎模型 32
3.4.2 CNN模型 33
3.4.3 RNN模型及其變體 34
3.4.4 Attention模型 37
3.4.5 Transformer模型 40
3.5 語言模型應用舉例 44
3.5.1 BERT模型 44
3.5.2 短文本表示 46
3.5.3 Softmax回歸模型 46
3.6 本章小結 47
習題3 47
第4章 隱馬爾可夫模型與條件隨機場 49
4.1 馬爾可夫模型 49
4.1.1 馬爾可夫過程 49
4.1.2 馬爾可夫性 49
4.2 隱馬爾可夫模型 50
4.2.1 隱馬爾可夫模型的基本理論 50
4.2.2 估計問題 52
4.2.3 序列問題 54
4.2.4 參數估計問題 55
4.3 HMM應用舉例 57
4.3.1 中文分詞 57
4.3.2 詞性標註 58
4.4 條件隨機場及其應用 59
4.4.1 條件隨機場概念 59
4.4.2 條件隨機場應用 64
4.5 本章小結 67
習題4 67
第5章 詞法分析與詞性標註 68
5.1 漢語自動分詞 68
5.1.1 分詞規範問題 68
5.1.2 歧義切分問題 69
5.1.3 未登錄詞問題 69
5.1.4 漢語自動分詞的原則 70
5.1.5 分詞與詞性標註結果評估方法 71
5.2 自動分詞基本算法 72
5.2.1 最大匹配法 72
5.2.2 最短路徑方法 74
5.2.3 基於HMM的分詞方法 76
5.2.4 基於Bi-LSTM-CRF的分詞方法 80
5.3 未登錄詞識別 83
5.3.1 概述 83
5.3.2 基於決策樹的未登錄詞識別方法 85
5.3.3 基於統計和規則的未登錄詞識別方法 88
5.4 詞性標註方法 91
5.4.1 概述 91
5.4.2 基於規則的詞性標註方法 92
5.4.3 基於統計的詞性標註方法 93
5.4.4 基於深度學習的詞性標註方法 95
5.5 本章小結 97
習題5 97
第6章 語義分析 98
6.1 語義網絡 98
6.1.1 基本概念 98
6.1.2 語義標註 99
6.2 概念依存 100
6.3 詞義消歧 101
6.3.1 基本內容 101
6.3.2 理論方法 102
6.3.3 案例分析 104
6.4 詞向量表示與詞嵌入 106
6.4.1 基本內容 106
6.4.2 理論方法 107
6.4.3 案例分析 110
6.5 語義分析在華為畢昇編譯器AI調優中的應用 112
6.5.1 基本內容 112
6.5.2 理論方法 113
6.6 本章小結 114
習題6 114
第二部分 實踐應用
第7章 機器翻譯 115
7.1 機器翻譯概述 115
7.1.1 機器翻譯方法概述 115
7.1.2 機器翻譯的研究現狀 118
7.2 統計機器翻譯 119
7.2.1 基於詞的機器翻譯 119
7.2.2 基於短語的機器翻譯 129
7.2.3 基於句子的機器翻譯 135
7.3 神經機器翻譯 143
7.3.1 神經機器翻譯概述 143
7.3.2 神經機器翻譯模型 145
7.4 實戰GRU翻譯模型 147
7.4.1 基礎知識與環境配置 148
7.4.2 代碼實現 149
7.5 本章小結 153
習題7 153
第8章 文本分類、聚類和情感分析 154
8.1 文本分類 154
8.1.1 文本分類的定義 154
8.1.2 文本分類的發展 155
8.1.3 傳統文本分類的實現 155
8.1.4 基於深度學習的分類器設計 161
8.2 文本聚類 164
8.2.1 基於分層的文本聚類 165
8.2.2 基於劃分的文本聚類 166
8.3 情感分析 167
8.3.1 基於情感詞典的情感分析 167
8.3.2 基於深度學習的方面級情感分類算法 169
8.3.3 帶有Attention機制的LSTM網絡的方法 173
8.3.4 帶有Attention機制的雙向LSTM網絡的方法 175
8.4 本章小結 178
習題8 178
第9章 信息抽取 179
9.1 實體識別與抽取 179
9.1.1 命名實體識別概述 179
9.1.2 有監督學習方法實現命名實體識別 180
9.1.3 基於深度學習的NER 183
9.2 實體消歧 184
9.2.1 實體消歧概述 184
9.2.2 基於上下文相似度的實體消歧 185
9.2.3 基於實體顯著性的實體消歧 186
9.2.4 基於實體關聯度的實體消歧 187
9.3 關系抽取 187
9.3.1 基於模式匹配的關系抽取 187
9.3.2 基於深度學習的關系抽取方法 188
9.3.3 關系抽取展望 190
9.4 事件抽取 190
9.4.1 事件抽取任務定義 191
9.4.2 基於模式匹配的事件抽取實現 191
9.4.3 基於深度學習的事件抽取實現 192
9.5 本章小結 194
習題9 194
第10章 知識圖譜 195
10.1 知識圖譜發展歷史 195
10.2 知識圖譜基本概念 198
10.2.1 知識庫的概念及分類 198
10.2.2 知識庫的表示形式 199
10.3 知識圖譜的生命周期 199
10.3.1 知識建模 200
10.3.2 知識抽取 204
10.3.3 知識融合 208
10.3.4 知識存儲 210
10.3.5 知識計算 213
10.3.6 知識圖譜應用 215
10.4 知識圖譜的現有應用 216
10.4.1 語義搜索 216
10.4.2 智能問答系統 217
10.4.3 輔助決策 217
10.4.4 個性化推薦 218
10.4.5 學科知識圖譜 218
10.5 本章小結 219
習題10 220
第11章 問答系統與人機對話系統 221
11.1 問答系統 221
11.1.1 系統構成 221
11.1.2 基於信息檢索和答案選擇的混合式問答系統 223
11.2 基於大規模知識庫的問答系統 227
11.2.1 知識庫問答系統任務 228
11.2.2 基於中文知識圖譜的問答系統 229
11.3 閱讀理解式問答系統 234
11.4 對話系統 236
11.4.1 基於深度學習的多方對話系統 236
11.4.2 對話系統相關任務 239
11.5 醫學視覺問答 240
11.5.1 相關概念介紹 240
11.5.2 面向醫學數據特徵優化的視覺問答系統 241
11.6 問答系統在MindSpore框架中的應用 248
11.6.1 華為昇思MindSpore框架 248
11.6.2 DAM模型 250
11.6.3 基於MindSpore框架的DAM模型分析 252
11.6.4 所用數據集` 252
11.7 本章小結 252
習題11 253
參考文獻 254