智能問答與深度學習

王海良，Chatopera聯合創始人、CEO，微軟人工智能很有價值專家。畢業於北京郵電大學，加入IBM工作四年，先後工作於軟件開發實驗室和創新中心，從2016年開始工作於創業公司，三角獸AI算法工程師，呤呤英語AI產品負責人，負責智能對話系統研發。
李卓桓，PreAngel合夥人，Plug and Play投資合夥人。擁有25年編程經驗，曾任優酷網科學家、嘰歪網創始人，水木清華BBS站長，紫霞BBS站長。Conversational AI實踐者，熱愛滑雪、跑酷、滑雪傘等極限運動。
林旭鳴，北京郵電大學模式識別實驗室研究生，目前的研究方向為深度學習、自然語言處理與機器閱讀理解。本科期間曾獲得國家獎學金，研究生期間多次在數據類競賽中取得Top 3的成績。曾在百度、滴滴出行、微軟等公司實習

1概述1 
1.1智能問答：讓機器更好地服務於人1 
1.2問答系統類型介紹2 
1.2.1基於事實的問答系統3 
1.2.2基於常見問題集的問答系統3 
1.2.3開放域的問答系統4 
1.3使用本書附帶的源碼程序4 
1.3.1安裝依賴軟件4 
1.3.2下載源碼5 
1.3.3執行示例程序5 
1.3.4聯繫我們6 
1.4全書結構6 
2機器學習基礎8 
2.1線性代數8 
2.1 .1標量、向量、矩陣和張量8 
2.1.2矩陣運算9 
2.1.3特殊類型的矩陣10 
2.1.4線性相關11 
2.1.5範數12 
2.2概率論基礎12 
2.2.1隨機變量13 
2.2. 2期望和方差13 
2.2.3伯努利分佈14 
2.2.4二項分佈14 
2.2.5泊松分佈15 
2.2.6正態分佈15 
2.2.7條件概率、聯合概率和全概率17 
2.2.8先驗概率與後驗概率18 
2.2.9邊緣概率18 
2.2.10貝葉斯公式18
2.2.11最大似然估計算法19 
2.2.12線性回歸模型20 
2.2.13邏輯斯蒂回歸模型21 
2.3信息論基礎22 
2.3.1熵23 
2.3.2聯合熵和條件熵23 
2.3.3相對熵與互信息24 
2.3.4信道和信道容量25 
2.3.5最大熵模型26 
2.3.6信息論與機器學習29 
2.4統計學習29 
2.4.1輸入空間、特徵空間與輸出空間30 
2.4.2向量表示30 
2.4.3數據集31 
2.4.4從概率到函數31 
2.4.5統計學習三要素32 
2.5隱馬爾可夫模型33 
2.5.1隨機過程和馬爾可夫鏈33 
2.5.2隱馬爾可夫模型的定義36 
2.5. 3三個基本假設及適用場景37 
2.5.4概率計算問題之直接計算39 
2.5.5概率計算問題之前向算法40 
2.5.6概率計算問題之後向算法42 
2.5.7預測問題之維特比算法45 
2.5 .8學習問題之Baum-Welch算法48 
2.6條件隨機場模型52 
2.6.1超越HMM 52 
2.6.2項目實踐55 
2.7總結59
3自然語言處理基礎60 
3.1中文自動分詞60 
3.1.1有向無環圖61 
3.1.2最大匹配算法63 
3.1.3算法評測69 
3.1.4由字構詞的方法72 
3.2詞性標註77 
3.2.1詞性標註規範77 

3.2.2隱馬爾可夫模型詞性標註79 
3.3命名實體識別81 
3.4上下文無關文法82 
3.4.1原理介紹83 
3.4.2算法淺析83 
3.5依存關係分析84 
3.5.1算法淺析85 
3.5.2項目實踐92 
3.5.3小結94 
3.6信息檢索系統95 
3.6.1什麼是信息檢索系統95 
3.6.2衡量信息檢索系統的關鍵指標95 
3.6.3理解非結構化數據97 
3.6.4倒排索引98 
3.6.5處理查詢100 
3.6.6項目實踐102 
3.6.7 Elasticsearch 103 
3.6.8小結112 
3.7問答語料113 
3.7.1 WikiQA 113 
3.7.2中文版保險行業語料庫InsuranceQA 113 
3.8總結115
4深度學習初步116 
4.1深度學習簡史116 
4.1.1感知機116 
4.1.2寒冬和復蘇117 
4.1.3走出實驗室118 
4.1.4寒冬再臨119 
4.1.5走向大規模實際應用119 
4.2基本架構120 
4.2.1神經元121 
4.2.2輸入層、隱藏層和輸出層122 
4.2.3標準符號123 
4.3神經網絡是如何學習的124 
4.3.1梯度下降124 
4.3.2反向傳播理論127 
4.3.3神經網絡全連接層的實現130 
4.3.4使用簡單神經網絡實現問答任務131 
4.4調整神經網絡超參數136 
4.4.1超參數136 
4.4.2參考建議137 
4.5卷積神經網絡與池化138 
4.5.1簡介138 
4.5.2卷積層的前向傳播139 
4.5.3池化層的前向傳播141 
4.5.4卷積層的實現141 
4.5.5池化層的實現145 
4.5.6使用卷積神經網絡實現問答任務148 
4.6循環神經網絡及其變種149 
4.6.1簡介149 
4.6.2循環神經網絡149
4.6.3長短期記憶單元和門控循環單元153 
4.6.4循環神經網絡的實現156 
4.6.5使用循環神經網絡實現問答任務159 
4.7簡易神經網絡工具包160 
5詞向量實現及應用161 
5.1語言模型161 
5.1.1評測162 
5.1.2 ARPA格式介紹162 
5.1.3項目實踐163 
5.2 One-hot表示法164 
5.3詞袋模型165 
5.4 NNLM和RNNLM 165 
5.5 word2vec 168 
5.5.1 C-BOW的原理169 
5.5. 2 Skip-gram的原理172 
5.5.3計算效率優化174 
5.5.4項目實踐179 
5.6 GloVe 189 
5.6.1 GloVe的原理189 
5.6.2 GloVe與word2vec的區別和聯繫191 
5.6.3項目實踐193 
5.7 fastText 198 
5.7.1 fastText的原理198 
5.7.2 fastText與word2vec的區別和聯繫200 
5.7.3項目實踐201 
5.8中文近義詞工具包204 
5.8.1安裝205
5.8.2接口205 
5.9總結205 
6社區問答中的QA匹配206 
6.1社區問答任務簡介206 
6.2孿生網絡模型207 
6.3 QACNN模型207 
6.3.1模型構建207 
6.3.2實驗結果214 
6.4 Decomposable Attention模型214 
6.4. 1模型介紹214 
6.4.2模型構建216 
6.5多比較方式的比較–集成模型216 
6.5.1模型介紹216 
6.5.2模型構建218 
6.6 BiMPM模型219 
6.6.1模型介紹219 
6.6.2模型構建221 
7機器閱讀理解222 
7.1完型填空型機器閱讀理解任務222 
7.1.1 CNN/Daily Mail數據集222 
7.1.2 Children's Book Test（CBT）數據集223 
7.1.3 GA Reader模型226 
7.1.4 SA Reader模型227 
7.1 .5 AoA Reader模型228 
7.2答案抽取型機器閱讀理解任務230 
7.2.1 SQuAD數據集231 
7.2.2 MS MARCO數據集232
7.2.3 TriviaQA數據集234 
7.2.4 DuReader數據集235 
7.2.5 BiDAF模型235 
7.2.6 R-Net模型237 
7.2.7 S-Net模型240 
7.3答案選擇型機器閱讀理解任務243 
7.4展望245 
參考文獻246