知識圖譜與深度學習

劉知遠

清華大學計算機系副教授、博士生導師。
主要研究方向為表示學習、知識圖譜和社會計算。
2011年獲得清華大學博士學位，已在ACL、IJCAI、AAAI等人工智能領域的著名國際期刊和會議發表相關論文60餘篇，谷歌學術引用超過7 000次。
博士論文曾被評為清華大學優秀博士學位論文、中國人工智能學會優秀博士學位論文。
曾被評為清華大學優秀博士後，獲得過中文信息學會青年創新獎，入選《麻省理工科技評論》
“35歲以下科技創新35人”中國區榜單（MIT TR-35 China）、
中國科學技術協會青年人才托舉工程、中國計算機學會青年學者提升計劃。
多次擔任ACL、EMNLP、COLING、IJCNLP等著名國際會議的領域主席。

韓旭

清華大學計算機系博士生，主要研究方向為自然語言處理、知識圖譜、信息抽取。
在AAAI、ACL、EMNLP、COLING、NAACL等人工智能領域的著名國際會議上發表多篇論文，
是OpenKE、OpenNRE等開源項目的開發者之一。

孫茂松

清華大學計算機係長聘教授，清華大學人工智能研究院常務副院長，清華大學計算機學位評定分委員會主席。
主要研究方向為自然語言理解、中文信息處理、Web智能、社會計算和計算教育學等。
國家重點基礎研究發展計劃（“973”計劃）首席科學家，國家社會科學基金重大項目首席專家。
在重要國際刊物、國際會議、國內核心刊物上發表論文200餘篇，谷歌學術引用9 000餘次。
2013年帶領團隊成功研製並發布了全球第1個向全社會免費開放的中文慕課平台“學堂在線”，
目前註冊用戶已超過2 000萬人。
2017年領銜研製出“九歌”人工智能詩歌寫作系統，引起了社會關注。
主要兼職包括教育部教學信息化與教學方法創新指導委員會副主任委員，
互聯網教育智能技術及應用國家工程實驗室副主任，中國科學技術協會第九屆全國委員會委員，
中國中文信息學會第六屆、第七屆副理事長，《中文信息學報》主編。
2016年獲“全國優秀科技工作者”及“首都市民學習之星”稱號。

第1 章緒論.1
1.1 知識圖譜簡介2
1.2 深度學習的優勢和挑戰4
1.3 深度學習+ 知識圖譜=1 .8
1.3.1 知識的表示學習9
1.3.2 知識的自動獲取10
1.3.3 知識的計算應用13
1.4 本書結構14
1.5 本章總結14

第一篇世界知識圖譜
第2 章世界知識的表示學習19
2.1 章節引言19
2.2 相關工作20
2.2.1 知識表示學習經典模型20
2.2.2 平移模型及其拓展模型22
2.3 基於復雜關係建模的知識表示學習25
2.3.1 算法模型.25
2.3.2 實驗分析.26
2.3.3 小結32
2.4 基於關係路徑建模的知識表示學習32
2.4.1 算法模型.32
2.4.2 實驗分析.34
2.4.3 小結39
vi j 知識圖譜與深度學習
2.5 基於屬性關係建模的知識表示學習39
2.5.1 算法模型.40
2.5.2 實驗分析.41
2.5.3 小結44
2.6 融合實體描述信息的知識表示學習44
2.6.1 算法模型.45
2.6.2 實驗分析.47
2.6.3 小結54
2.7 融合層次類型信息的知識表示學習55
2.7.1 算法模型.55
2.7.2 實驗分析.57
2.7.3 小結62
2.8 融合實體圖像信息的知識表示學習62
2.8.1 算法模型.63
2.8.2 實驗分析.64
2.8.3 小結68
2.9 本章總結68

第3 章世界知識的自動獲取70
3.1 章節引言70
3.2 相關工作71
3.2.1 有監督的關係抽取模型71
3.2.2 遠程監督的關係抽取模型.72
3.3 基於選擇性注意力機制的關係抽取73
3.3.1 算法模型.74
3.3.2 實驗分析.78
3.3.3 小結82
3.4 基於關係層次注意力機制的關係抽取83
3.4.1 算法模型.83
目錄j vii
3.4.2 實驗分析.86
3.4.3 小結89
3.5 基於選擇性注意力機制的多語言關係抽取.89
3.5.1 算法模型.90
3.5.2 實驗分析.93
3.5.3 小結98
3.6 引入對抗訓練的多語言關係抽取98
3.6.1 算法模型.99
3.6.2 實驗分析.103
3.6.3 小結106
3.7 基於知識圖譜與文本互注意力機制的知識獲取.106
3.7.1 算法模型.107
3.7.2 實驗分析.112
3.7.3 小結117
3.8 本章總結118

第4 章世界知識的計算應用119
4.1 章節引言119
4.2 細粒度實體分類120
4.2.1 算法模型.120
4.2.2 實驗分析.122
4.2.3 小結129
4.3 實體對齊129
4.3.1 算法模型.129
4.3.2 實驗分析.132
4.3.3 小結135
4.4 融入知識的信息檢索.136
4.4.1 算法模型.136
4.4.2 實驗分析.138
4.4.3 小結143
viii j 知識圖譜與深度學習
4.5 本章總結143

第二篇語言知識圖譜
第5 章語言知識的表示學習147
5.1 章節引言147
5.2 相關工作148
5.2.1 詞表示學習148
5.2.2 詞義消歧.149
5.3 義原的表示學習149
5.3.1 算法模型.149
5.3.2 實驗分析.152
5.3.3 小結155
5.4 基於義原的詞表示學習156
5.4.1 算法模型.156
5.4.2 實驗分析.159
5.4.3 小結164
5.5 本章總結164

第6 章語言知識的自動獲取166
6.1 章節引言166
6.2 相關工作167
6.2.1 知識圖譜及其構建167
6.2.2 子詞和字級NLP 167
6.2.3 詞表示學習及跨語言的詞表示學習167
6.3 基於協同過濾和矩陣分解的義原預測168
6.3.1 算法模型.168
6.3.2 實驗分析.171
6.3.3 小結175
6.4 融入中文字信息的義原預測175
6.4.1 算法模型.176
目錄j ix
6.4.2 實驗分析.179
6.4.3 小結183
6.5 跨語言詞彙的義原預測183
6.5.1 算法模型.184
6.5.2 實驗分析.188
6.5.3 小結194
6.6 本章總結194

第7 章語言知識的計算應用195
7.1 章節引言195
7.2 義原驅動的詞典擴展.196
7.2.1 相關工作.196
7.2.2 任務設定.198
7.2.3 算法模型.199
7.2.4 實驗分析.202
7.2.5 小結207
7.3 義原驅動的神經語言模型.207
7.3.1 相關工作.208
7.3.2 任務設定.209
7.3.3 算法模型.210
7.3.4 實驗分析.213
7.3.5 小結219
7.4 本章總結219

第8 章總結與展望220
8.1 本書總結220
8.2 未來展望221
8.2.1 更全面的知識類型221
8.2.2 更複雜的知識結構222
8.2.3 更有效的知識獲取223
8.2.4 更強大的知識指導223
xj 知識圖譜與深度學習
8.2.5 更精深的知識推理224
8.3 結束語224
相關開源資源226
參考文獻228
後記.243