精通 Python 自然語言處理 (Mastering Natural Language Processing with Python)

對自然語言處理理論和算法感興趣的讀者，Python程序員對自然語言處理理論和算法感興趣的讀者，Python程序員對自然語言處理理論和算法感興趣的讀者，Python程序員

第1章字符串操作1 
1.1切分1 
1.1.1將文本切分為語句2 
1.1.2其他語言文本的切分2 
1.1.3將句子切分為單詞3 
1.1.4使用TreebankWordTokenizer執行切分4 
1.1.5使用正則表達式實現切分5 
1.2標準化8 
1.2.1消除標點符號8 
1.2.2文本的大小寫轉換9 
1.2.3處理停止詞9 
1.2.4計算英語中的停止詞10 
1.3替換和校正標識符11 
1.3.1使用正則表達式替換單詞11 
1.3.2用另一個文本替換文本的示例12 
1.3.3在執行切分前先執行替換操作12 
1.3.4處理重複字符13 
1.3.5去除重複字符的示例13 
1.3.6用單詞的同義詞替換14 
1.3.7用單詞的同義詞替換的示例15 
1.4在文本上應用Zipf定律15 
1.5相似性度量16 
1.5.1使用編輯距離算法執行相似性度量16 
1.5.2使用Jaccard係數執行相似性度量18 
1.5.3使用Smith Waterman距離算法執行相似性度量19 
1.5.4其他字符串相似性度量19 
1.6小結20 

第2章統計語言建模21 
2.1理解單詞頻率21 
2.1.1為給定的文本開發MLE2 5 
2.1.2隱馬爾科夫模型估計32 
2.2在MLE模型上應用平滑34 
2.2.1加法平滑34 
2.2.2Good Turing平滑35 
2.2.3Kneser Ney平滑40 
2.2.4Witten Bell平滑41 
2.3為MLE開發一個回退機制41 
2.4應用數據的插值以便獲取混合搭配42 
2.5通過複雜度來評估語言模型42 
2.6在語言建模中應用Metropolis—Hastings算法43 
2.7在語言處理中應用Gibbs採樣法43 
2.8小結46 

第3章形態學：在實踐中學習47 
3.1形態學簡介47 
3.2理解詞幹提取器48 
3.3理解詞形還原51 
3.4為非英文語言開發詞幹提取器52 
3.5形態分析器54 
3.6形態生成器56 
3.7搜索引擎56 
3.8小結61 

第4章詞性標註：單詞識別62 
4.1詞性標註簡介62 
默認標註67 
4.2創建詞性標註語料庫68 
4.3選擇一種機器學習算法70 
4.4涉及n—gram的統計建模72 
4.5使用詞性標註語料庫開發分塊器78 
4.6小結80 

第5章語法解析：分析訓練資料81 
5.1語法解析簡介81 
5.2Treebank建設82 
5.3從Treebank提取上下文無關文法 則87 
5.4從CFG創建概率上下文無關文法93 
5.5CYK線圖解析算法94 
5.6Earley線圖解析算法96 
5.7小結102 

第6章語義分析：意義很重要103 
6.1語義分析簡介103 
6.1.1NER簡介107 
6.1. 2使用隱馬爾科夫模型的NER系統111 
6.1.3使用機器學習工具包訓練NER117 
6.1.4使用詞性標註執行NER117 
6.2使用Wordnet生成同義詞集id119 
6.3使用Wordnet進行詞義消歧122 
6.4小結127 

第7章情感分析：我很快樂128 
7.1情感分析簡介128 
7.1.1使用NER執行情感分析134 
7.1.2使用機器學習執行情感分析134 
7.1.3NER系統的評估141 
7.2小結159 

第8章信息檢索：訪問信息160 
8.1信息檢索簡介160 
8.1.1停止詞刪除161 
8.1.2使用向量空間模型進行信息檢索163 
8.2向量空間評分及查詢操作符關聯170 
8.3使用隱性語義索引開發IR系統173 
8.4文本摘要174 
8.5問答系統176 
8.6小結177 

第9章語篇分析：理解才是可信的178 
9.1語篇分析簡介178 
9.1.1使用中心理論執行語篇分 析183 
9.1.2指代消解184 
9.2小結188 

第10章NLP系統評估：性能分析189 
10.1NLP系統評估要點189 
10.1.1NLP工具的評估（詞性標註器、詞幹提取器及形態分析器）190 
10.1 .2使用黃金數據執行解析器評估200 
10.2IR系統的評估201 
10.3錯誤識別指標202 
10.4基於詞彙搭配的指標202 
10.5基於句法匹配的指標207 
10.6使用淺層語義匹配的指標207 
10.7小結208