神經機器翻譯：基礎、原理、實踐與進階

前言
數學符號
第1 章緒論1
1.1 引言. . . . . . . . . . . . . . . . . . 2
1.2 基本思想. . . . . . . . . . . . . . 6
1.2.1 基於規則的機器翻譯. . . 6
1.2.2 統計機器翻譯. . . . . . . . 7
1.2.3 神經機器翻譯. . . . . . . . 10
1.2.4 模型設計. . . . . . . . . . . 11
1.3 解碼. . . . . . . . . . . . . . . . . . 12
1.3.1 統計機器翻譯解碼. . . . . 12
1.3.2 神經機器翻譯解碼. . . . . 16
1.3.3 搜索錯誤與模型錯誤. . . 16
1.4 神經機器翻譯與統計機器翻譯對比. . . . . . . . . . . . . . 18
1.4.1 表示. . . . . . . . . . . . . . 18
1.4.2 參數. . . . . . . . . . . . . . 20
1.4.3 模型存儲. . . . . . . . . . . 21
1.4.4 模型假設或約束. . . . . . 21
1.4.5 端到端. . . . . . . . . . . . 22
1.4.6 譯文生成. . . . . . . . . . . 22
1.4.7 訓練方式. . . . . . . . . . . 23
1.4.8 魯棒性. . . . . . . . . . . . 24
1.4.9 可解釋性. . . . . . . . . . . 24
1.4.10 可干預性. . . . . . . . . . 25
1.4.11 低資源適應性. . . . . . . 25
1.4.12 對比總結. . . . . . . . . . 26
1.5 發展歷史. . . . . . . . . . . . . . 26
1.5.1 機器翻譯發展歷史. . . . . 27
1.5.2 神經機器翻譯發展歷程. . 28
1.6 應用現狀. . . . . . . . . . . . . . 29
1.6.1 維度1：通用領域vs. 垂直領域. . . . . . . . . . . . 29
1.6.2 維度2：多語種vs. 單語種30
1.6.3 維度3：雲端vs. 終端. . 31
1.6.4 維度4：在線vs. 離線. . 31
1.6.5 維度5：B 端vs. C 端. . 31
1.6.6 維度6：純文本vs. 多模態31
1.6.7 維度7：人機結合vs. 人機分離. . . . . . . . . . . . 31
1.6.8 維度8：機器翻譯+ vs.純機器翻譯. . . . . . . . . 32
1.6.9 應用現狀總結. . . . . . . . 32
1.7 本書組織. . . . . . . . . . . . . . 32
1.7.1 基礎篇. . . . . . . . . . . . 32
1.7.2 原理篇. . . . . . . . . . . . 33
1.7.3 實踐篇. . . . . . . . . . . . 34
1.7.4 進階篇. . . . . . . . . . . . 34
1.8 閱讀材料. . . . . . . . . . . . . . 34
1.9 短評：統計與規則的競爭. . 35

第I 部分基礎篇
第2 章神經網絡基礎41
2.1 神經網絡. . . . . . . . . . . . . . 42
2.1.1 神經元. . . . . . . . . . . . 42
2.1.2 激活函數. . . . . . . . . . . 45
2.1.3 神經元組織：層. . . . . . 46
2.2 神經網絡訓練. . . . . . . . . . . 48
2.2.1 損失函數. . . . . . . . . . . 49
2.2.2 隨機梯度下降. . . . . . . . 52
2.2.3 計算圖. . . . . . . . . . . . 56
2.2.4 訓練優化. . . . . . . . . . . 57
2.2.5 正則化. . . . . . . . . . . . 59
2.3 常用神經網絡簡介. . . . . . . 61
2.3.1 前饋神經網絡. . . . . . . . 61
2.3.2 卷積神經網絡. . . . . . . . 62
2.3.3 循環神經網絡. . . . . . . . 64
2.4 閱讀材料. . . . . . . . . . . . . . 70
2.5 短評：神經網絡與自然語言處理關係演變. . . . . . . . . 71

第3 章自然語言處理基礎75
3.1 語言模型. . . . . . . . . . . . . . 76
3.1.1 n-gram 語言模型. . . . . 77
3.1.2 神經語言模型. . . . . . . . 78
3.1.3 預訓練語言模型. . . . . . 80
3.2 詞嵌入. . . . . . . . . . . . . . . . 82
3.2.1 分佈表示與分佈式表示. . 82
3.2.2 靜態詞嵌入. . . . . . . . . 84
3.2.3 語境化詞嵌入. . . . . . . . 86
3.2.4 跨語言詞嵌入. . . . . . . . 88
3.3 對齊. . . . . . . . . . . . . . . . . . 90
3.3.1 文檔對齊. . . . . . . . . . . 91
3.3.2 句對齊. . . . . . . . . . . . 91
3.3.3 詞對齊. . . . . . . . . . . . 92
3.4 語言分析. . . . . . . . . . . . . . 93
3.4.1 詞法分析. . . . . . . . . . . 93
3.4.2 句法分析. . . . . . . . . . . 94
3.4.3 語義分析. . . . . . . . . . . 97
3.4.4 語篇分析. . . . . . . . . . . 98
3.5 閱讀材料. . . . . . . . . . . . . . 99
3.6 短評：自然語言處理之經驗主義與理性主義. . . . . . . 100

第II 部分原理篇
第4 章經典神經機器翻譯105
4.1 編碼器-解碼器結構. . . . . . 106
4.1.1 編碼器. . . . . . . . . . . . 108
4.1.2 解碼器. . . . . . . . . . . . 110
4.2 序列到序列學習. . . . . . . . . 112
4.3 訓練. . . . . . . . . . . . . . . . . . 114
4.4 解碼. . . . . . . . . . . . . . . . . . 114
4.4.1 採樣. . . . . . . . . . . . . . 115
4.4.2 貪心搜索. . . . . . . . . . . 115
4.4.3 柱搜索. . . . . . . . . . . . 115
4.5 閱讀材料. . . . . . . . . . . . . . 116
4.6 短評：神經機器翻譯之獨立同發現——編碼器-解
碼器vs. 序列到序列. . . . . 117

第5 章基於注意力的神經機器翻譯119
5.1 經典神經機器翻譯模型的瓶頸. . . . . . . . . . . . . . . . . . 120
5.2 注意力機制. . . . . . . . . . . . 120
5.3 注意力機制的改進. . . . . . . 124
5.3.1 全局注意力機制和局部注意力機制. . . . . . . . . 124
5.3.2 注意力覆蓋. . . . . . . . . 125
5.3.3 注意力引導訓練. . . . . . 126
5.3.4 其他改進方法. . . . . . . . 126
5.4 基於注意力的多層神經機器翻譯模型GNMT . . . . . . . 127
5.4.1 整體結構. . . . . . . . . . . 127
5.4.2 殘差連接. . . . . . . . . . . 128
5.4.3 雙向編碼器. . . . . . . . . 128
5.4.4 模型並行. . . . . . . . . . . 128
5.5 閱讀材料. . . . . . . . . . . . . . 128
5.6 短評：注意力機制與認知注意. . . . . . . . . . . . . . . . . . 129

第6 章基於卷積神經網絡的神經機器翻譯模型131
6.1 卷積編碼器. . . . . . . . . . . . 132
6.2 全卷積序列到序列模型. . . . 133
6.2.1 位置編碼. . . . . . . . . . . 134
6.2.2 卷積層結構. . . . . . . . . 134
6.2.3 多步注意力. . . . . . . . . 135
6.2.4 訓練. . . . . . . . . . . . . . 136
6.3 ByteNet . . . . . . . . . . . . . . . 137
6.3.1 編碼器--解碼器堆疊. . . 137
6.3.2 動態展開. . . . . . . . . . . 138
6.3.3 空洞卷積. . . . . . . . . . . 139
6.3.4 字符級神經機器翻譯. . . 139
6.4 閱讀材料. . . . . . . . . . . . . . 139
6.5 短評：卷積神經機器翻譯——實用性倒逼技術創新. . 140

第7 章基於自註意力的神經機器翻譯142
7.1 自註意力機制. . . . . . . . . . . 143
7.2 Transformer 模型. . . . . . . . 144
7.2.1 Transformer 模型總體架構. . . . . . . . . . . . . . 144
7.2.2 多頭注意力. . . . . . . . . 146
7.2.3 位置編碼. . . . . . . . . . . 147
7.2.4 正則化. . . . . . . . . . . . 148
7.2.5 優點分析. . . . . . . . . . . 148
7.3 自註意力改進方法. . . . . . . 149
7.3.1 相對位置編碼. . . . . . . . 149
7.3.2 平均注意力網絡. . . . . . 151
7.4 閱讀材料. . . . . . . . . . . . . . 152
7.5 短評：Transformer 帶來的自然語言處理技術革新. . . . 153

第8 章神經機器翻譯若干基礎問題及解決方案155
8.1 開放詞彙表. . . . . . . . . . . . 156
8.2 深度模型. . . . . . . . . . . . . . 160
8.3 快速解碼. . . . . . . . . . . . . . 161
8.3.1 非自回歸神經機器翻譯. . 162
8.3.2 淺層解碼器. . . . . . . . . 165
8.4 模型融合. . . . . . . . . . . . . . 165
8.5 領域適應. . . . . . . . . . . . . . 168
8.6 閱讀材料. . . . . . . . . . . . . . 171
8.7 短評：再談神經機器翻譯新思想新技術的誕生. . . . . 172

第III 部分實踐篇
第9 章數據準備175
9.1 平行語料. . . . . . . . . . . . . . 176
9.2 語料獲取. . . . . . . . . . . . . . 178
9.2.1 平行語料爬取. . . . . . . . 179
9.2.2 公開數據集. . . . . . . . . 181
9.3 數據過濾與質量評估. . . . . 182
9.3.1 噪聲類型. . . . . . . . . . . 182
9.3.2 噪聲過濾. . . . . . . . . . . 184
9.4 數據處理. . . . . . . . . . . . . . 185
9.4.1 Tokenize . . . . . . . . . . . 185
9.4.2 子詞化. . . . . . . . . . . . 186
9.5 閱讀材料. . . . . . . . . . . . . . 187
談數據對機器翻譯的重要性. . . . . . . . . . . . 187

第10 章訓練190
10.1 mini-batch 設置. . . . . . . . 191
10.1.1 小批量樣本選擇. . . . . . 191
10.1.2 小批量大小. . . . . . . . . 193
10.2 學習速率設置. . . . . . . . . . 194
10.3 隨機梯度下降算法選擇. . . 196
10.3.1 Momentum . . . . . . . . 196
10.3.2 AdaGrad . . . . . . . . . . . 197
10.3.3 AdaDelta . . . . . . . . . . 198
10.3.4 Adam . . . . . . . . . . . . 198
10.4 其他超參數選擇. . . . . . . . . 199
10.4.1 參數初始化. . . . . . . . . 199
10.4.2 隨機失活. . . . . . . . . . 200
10.4.3 模型容量. . . . . . . . . . 200
10.4.4 梯度裁剪. . . . . . . . . . 201
10.5 分佈式訓練. . . . . . . . . . . . 201
10.5.1 模型並行與數據並行. . . 202
10.5.2 同步更新與異步更新. . . 203
10.5.3 參數服務器與環狀全規約204
10.5.4 分佈式訓練開源框架. . . 205
10.6 Transformer 訓練設置. . . . 206
10.6.1 訓練數據相關設置. . . . 206
10.6.2 模型容量. . . . . . . . . . 207
10.6.3 小批量大小. . . . . . . . . 207
10.6.4 學習速率. . . . . . . . . . 207
10.6.5 分佈式訓練. . . . . . . . . 208
10.7 閱讀材料. . . . . . . . . . . . . . 208
10.8 短評：超參數設置——自動優化與實驗可複現性. . . . 209

第11 章測試212
11.1 解碼. . . . . . . . . . . . . . . . . . 213
11.1.1 解碼算法. . . . . . . . . . 213
11.1.2 譯文評分. . . . . . . . . . 214
11.1.3 檢查點平均. . . . . . . . . 216
11.2 解碼和訓練不一致. . . . . . . 217
11.3 機器翻譯評測方法. . . . . . . 219
11.3.1 人工評測. . . . . . . . . . 219
11.3.2 自動評測. . . . . . . . . . 221
11.4 錯誤分析. . . . . . . . . . . . . . 222
11.5 閱讀材料. . . . . . . . . . . . . . 224
11.6 短評：評測驅動機器翻譯研究. . . . . . . . . . . . . . . . . . 224

第12 章部署232
12.1 GPU 環境下的部署. . . . . . 233
12.1.1 壓力測試. . . . . . . . . . 234
12.1.2 負載均衡. . . . . . . . . . 234
12.1.3 請求合併. . . . . . . . . . 235
12.2 CPU 環境下的部署. . . . . . 236
12.2.1 候選詞表. . . . . . . . . . 236
12.2.2 量化運算. . . . . . . . . . 237
12.2.3 結構優化. . . . . . . . . . 239
12.3 智能終端部署. . . . . . . . . . 239
12.3.1 知識蒸餾. . . . . . . . . . 240
12.3.2 剪枝. . . . . . . . . . . . . 241
12.3.3 參數共享. . . . . . . . . . 243
12.3.4 矩陣分解. . . . . . . . . . 243
12.4 模型壓縮與計算加速. . . . . 243
12.5 閱讀材料. . . . . . . . . . . . . . 244
12.6 短評：機器翻譯工業部署. . 245

第13 章系統設計與實現250
13.1 總體設計. . . . . . . . . . . . . . 251
13.1.1 可擴展性. . . . . . . . . . 251
13.1.2 易用性. . . . . . . . . . . . 251
13.1.3 系統效率. . . . . . . . . . 252
13.2 功能設計. . . . . . . . . . . . . . 253
13.2.1 數據. . . . . . . . . . . . . 253
13.2.2 模型. . . . . . . . . . . . . 253
13.2.3 訓練. . . . . . . . . . . . . 254
13.2.4 推理. . . . . . . . . . . . . 255
13.3 開源系統. . . . . . . . . . . . . . 256
13.3.1 FAIRSEQ . . . . . . . . . . 256
13.3.2 OpenNMT . . . . . . . . . 257
13.3.3 Marian . . . . . . . . . . . . 257
13.4 FAIRSEQ 解析. . . . . . . . . . 258
13.4.1 註冊機制. . . . . . . . . . 258
13.4.2 訓練流程. . . . . . . . . . 260
13.4.3 混合精度訓練. . . . . . . 262
13.5 閱讀材料. . . . . . . . . . . . . . 263
13.6 短評：機器翻譯開源之路. . 263

第IV 部分進階篇
第14 章語篇級神經機器翻譯270
14.1 什麼是語篇. . . . . . . . . . . . 271
14.2 語篇級機器翻譯面臨的挑戰273
14.2.1 語篇級依存關係建模. . . 273
14.2.2 文檔級平行語料稀缺. . . 273
14.2.3 高計算需求. . . . . . . . . 273
14.2.4 語篇級機器翻譯評測. . . 274
14.3 語篇級機器翻譯形式化定義274
14.4 語篇級神經機器翻譯方法. . 275
14.4.1 拼接當前句子與上下文. 275
14.4.2 額外的上下文編碼器. . . 277
14.4.3 基於緩存器. . . . . . . . . 279
14.4.4 基於語篇分析. . . . . . . 280
14.4.5 基於銜接性. . . . . . . . . 281
14.4.6 優化訓練目標函數. . . . 283
14.4.7 學習句子級語境化表示. 284
14.5 面向語篇現象的機器翻譯評測數據集. . . . . . . . . . . . 287
14.6 語篇級機器翻譯評測方法. . 287
14.7 未來方向. . . . . . . . . . . . . . 288
14.8 閱讀材料. . . . . . . . . . . . . . 289
14.8.1 語篇級統計機器翻譯. . . 289
14.8.2 語篇級神經機器翻譯. . . 290
14.9 短評：神經機器翻譯達到人類同等水平了嗎. . . . . . . 291

第15 章低資源及無監督
神經機器翻譯295
15.1 低資源語言與資源稀缺挑戰296
15.2 低資源神經機器翻譯. . . . . 297
15.2.1 數據增強. . . . . . . . . . 299
15.2.2 基於樞紐語言. . . . . . . 300
15.2.3 利用單語數據. . . . . . . 303
15.3 無監督機器翻譯. . . . . . . . . 304
15.3.1 無監督跨語言詞嵌入. . . 305
15.3.2 無監督神經機器翻譯. . . 307
15.4 未來方向. . . . . . . . . . . . . . 310
15.5 閱讀材料. . . . . . . . . . . . . . 311
15.6 短評：無監督機器翻譯之美及挑戰. . . . . . . . . . . . . . 311

第16 章融合知識的神經機器翻譯314
16.1 知識與機器翻譯. . . . . . . . . 315
16.1.1 內部知識. . . . . . . . . . 315
16.1.2 外部知識. . . . . . . . . . 316
16.2 語言學知識融合. . . . . . . . . 317
16.2.1 句法知識融合. . . . . . . 317
16.2.2 語義角色知識融合. . . . 319
16.2.3 指稱知識融合. . . . . . . 321
16.3 非語言學知識融合. . . . . . . 323
16.3.1 常識知識. . . . . . . . . . 323
16.3.2 知識圖譜融合. . . . . . . 325
16.4 雙語知識融合. . . . . . . . . . 327
16.4.1 雙語詞典融合. . . . . . . 327
記憶庫融合. . . . . . 328
16.5 內部知識遷移. . . . . . . . . . 331
16.5.1 知識蒸餾. . . . . . . . . . 331
16.5.2 預訓練模型知識遷移. . . 333
16.6 未來方向. . . . . . . . . . . . . . 336
16.7 閱讀材料. . . . . . . . . . . . . . 336
16.8 短評：淺談基於知識的機器翻譯. . . . . . . . . . . . . . . . 337

第17 章魯棒神經機器翻譯341
17.1 魯棒性概述. . . . . . . . . . . . 342
17.2 對抗魯棒性. . . . . . . . . . . . 345
17.3 對抗樣本生成. . . . . . . . . . 346
17.3.1 白盒攻擊. . . . . . . . . . 347
17.3.2 黑盒攻擊. . . . . . . . . . 350
17.4 對抗訓練. . . . . . . . . . . . . . 354
17.5 數據集. . . . . . . . . . . . . . . . 355
17.5.1 自然噪聲數據集. . . . . . 356
17.5.2 人工噪聲數據集. . . . . . 356
17.6 未來方向. . . . . . . . . . . . . . 357
17.6.1 對抗攻擊. . . . . . . . . . 357
17.6.2 對抗訓練. . . . . . . . . . 357
17.6.3 後門攻擊與數據投毒. . . 358
17.6.4 分佈之外魯棒性. . . . . . 358
17.7 閱讀材料. . . . . . . . . . . . . . 358
17.8 短評：神經機器翻譯是瘋子嗎？兼談其“幻想” . . . . 360

第18 章多語言神經機器
翻譯362
18.1 基本思想與形式化定義. . . 363
18.2 多語言機器翻譯vs. 雙語機器翻譯. . . . . . . . . . . . . . 364
18.2.1 雙語機器翻譯面臨的挑戰364
18.2.2 多語言神經機器翻譯的優勢. . . . . . . . . . . . . . 365
18.3 多語言神經機器翻譯模型. . 366
18.3.1 共享. . . . . . . . . . . . . 366
18.3.2 部分共享方法. . . . . . . 368
18.3.3 完全共享方法. . . . . . . 373
18.4 訓練數據採樣方法. . . . . . . 374
18.5 大規模多語言神經機器翻譯375
18.5.1 大規模平行語料數據獲取376
18.5.2 模型設計. . . . . . . . . . 378
18.5.3 模型訓練. . . . . . . . . . 380
18.6 多語言神經機器翻譯向雙語神經機器翻譯遷移. . . . . 383
18.7 未來方向. . . . . . . . . . . . . . 385
18.7.1 如何處理數據不平衡問題385
18.7.2 如何建模不同語言之間的關係. . . . . . . . . . . . 386
18.7.3 如何在不同語言間有效共享模型參數. . . . . . . . 387
18.7.4 如何有效構建多語言神經機器翻譯大模型. . . . . 387
18.8 閱讀材料. . . . . . . . . . . . . . 388
18.9 短評：多語言機器翻譯之美389

第19 章語音與視覺多模態神經機器翻譯392
19.1 文本模態之外的機器翻譯. . 393
19.2 端到端語音翻譯. . . . . . . . . 394
19.2.1 面臨的挑戰. . . . . . . . . 397
19.2.2 模型與方法. . . . . . . . . 397
19.2.3 數據集. . . . . . . . . . . . 405
19.2.4 未來方向. . . . . . . . . . 406
19.3 視覺引導的多模態神經機器翻譯. . . . . . . . . . . . . . . . 406
19.3.1 面臨的挑戰. . . . . . . . . 408
19.3.2 模型與方法. . . . . . . . . 409
19.3.3 數據集. . . . . . . . . . . . 414
19.3.4 未來方向. . . . . . . . . . 415
19.4 閱讀材料. . . . . . . . . . . . . . 416
19.4.1 端到端語音翻譯額外閱讀材料. . . . . . . . . . . . 416
19.4.2 視覺引導的多模態神經機器翻譯額外閱讀材料. . 417
19.5 短評：預訓練技術爭議與符號奠基問題. . . . . . . . . . . 418

第20 章發展趨勢與展望427
20.1 展望. . . . . . . . . . . . . . . . . . 428
20.2 本書未覆蓋內容. . . . . . . . . 429
20.2.1 數據倫理與安全. . . . . . 429
20.2.2 偏差. . . . . . . . . . . . . 431
20.2.3 翻譯風格. . . . . . . . . . 431
20.2.4 翻譯腔. . . . . . . . . . . . 431
20.2.5 音譯. . . . . . . . . . . . . 431
20.2.6 對話翻譯. . . . . . . . . . 432
20.2.7 非參數與半參數機器翻譯432
20.3 短評：科幻中的機器翻譯與未來機器翻譯. . . . . . . . . 432
參考文獻439
索引499