Python 中文自然語言處理基礎與實戰

肖剛(1968-)，博士，教授。韓山師範學院數學與統計學院院長、廣東省中小型企業大數據與智能化工程研究中心主任，華南師範大學、廣州大學兼職碩士生導師。中國醫學裝備協會磁共振成像裝備與技術專業委員會委員、廣東省生物醫學工程學會醫學信息工程分會委員、廣東省工業與應用數學學會、廣東省現場統計學會和廣東省計算數學學會理事，“泰迪杯”全國數據挖掘挑戰賽專家組成員。主要從事應用數學、數據挖掘和醫學影像學的研究工作以及創新創業競賽、數學建模競賽、數據挖掘挑戰賽的教學與指導工作。主持廣東省自然科學基金項目2項，主持廣東省教育廳項目4項。 2016年廣東省科學技術進步獎三等獎、2018年汕頭科學技術獎一等獎、2019年廣東省科學技術進步獎優秀獎以及2019年廣東省教學成果（基礎教育）一等獎主要成員。張良均。高級信息系統項目管理師，泰迪杯全國大學生數據挖掘競賽（www.tipdm.org）的發起人。華南師範大學、廣東工業大學兼職教授，廣東省工業與應用數學學會理事。兼有大型高科技企業和高校的工作經歷，主要從事大數據挖掘及其應用的策劃、研發及諮詢培訓。全國計算機技術與軟件專業技術資格（水平）考試繼續教育和CDA數據分析師培訓講師。發表數據挖掘相關論文數二十餘篇，已取得國家發明專利12項，主編圖書《神經網絡實用教程》、《數據挖掘:實用案例分析》、《MATLAB數據分析與挖掘實戰》等9本圖書，主持並完成科技項目9項。獲得SAS、SPSS數據挖掘認證及Hadoop開發工程師證書，具有電力、電信、銀行、製造企業、電子商務和電子政務的項目經驗和行業背景。

第1章 緒論
1.1 自然語言處理概述
1.1.1 NLP的發展歷程
1.1.2 NLP研究內容
1.1.3 NLP的幾個應用場景
1.1.4 NLP與人工智能技術
1.1.5 學習NLP的難點
1.2 NLP基本流程
1.2.1 語料獲取
1.2.2 語料預處理
1.2.3 文本向量化
1.2.4 模型構建
1.2.5 模型訓練
1.2.6 模型評價
1.3 NLP的開發環境
1.3.1 Anaconda安裝
1.3.2 Anaconda應用介紹
小結
課後習題
第2章 語料庫
2.1 語料庫概述
2.1.1 語料庫簡介
2.1.2 語料庫的用途
2.2 語料庫的種類與構建原則
2.2.1 語料庫的種類
2.2.2 語料庫的構建原則
2.3 NLTK
2.3.1 NLTK簡介
2.3.2 安裝步驟
2.3.3 NLTK中函數的使用
2.4 語料庫的獲取
2.4.1 獲取NLTK語料庫
2.4.2 獲取網絡在線語料庫
2.5 任務：語料庫的構建與應用
2.5.1 構建作品集語料庫
2.5.2 武俠小說語料庫分析
小結
實訓
實訓1 構建語料庫
實訓2 《七劍下天山》語料庫分析
課後習題
第3章 正則表達式
3.1 正則表達式的概念
3.1.1 正則表達式函數
3.1.2 正則表達式的元字符
3.2 任務：正則表達式的應用
3.2.1 《西遊記》字符過濾
3.2.2 自動提取人名與電話號碼
3.2.3 提取網頁標籤信息
小結
實訓
實訓1 過濾《三國志》中的字符
實訓2 提取地名與郵編
實訓3 提取網頁標籤中的文本
課後習題
第4章 中文分詞技術
4.1 中文分詞簡介
4.2 基於規則分詞
4.2.1 正向匹配法
4.2.2 逆向匹配法
4.2.3 雙向匹配法
4.3 基於統計分詞
4.3.1 n元語法模型
4.3.2 隱馬爾可夫模型相關概念
4.4 中文分詞工具jieba
4.4.1 基本步驟
4.4.2 分詞模式
4.5 任務：中文分詞的應用
4.5.1 HMM中文分詞
4.5.2 提取新聞文本中的高頻詞
小結
實訓
實訓1 使用HMM進行中文分詞
實訓2 提取文本中的高頻詞
課後習題
第5章 詞性標註與命名實體識別
5.1 詞性標註
5.1.1 詞性標註簡介
5.1.2 詞性標註規範
5.1.3 jieba詞性標註
5.2 命名實體識別
5.2.1 命名實體識別簡介
5.2.2 CRF模型
5.3 任務：中文命名實體識別
5.3.1 sklearn-crfsuite庫簡介
5.3.2 命名實體識別流程
小結
實訓 中文命名實體識別
課後習題
第6章 關鍵詞提取
6.1 關鍵詞提取技術簡介
6.2 關鍵詞提取算法
6.2.1 TF-IDF算法
6.2.2 TextRank算法
6.2.3 LSA與LDA算法
6.3 任務：自動提取文本關鍵詞
小結
實訓
實訓1 文本預處理
實訓2 使用TF-IDF算法提取關鍵詞
實訓3 使用TextRank算法提取關鍵詞
實訓4 使用LSA算法提取關鍵詞
課後習題
第7章 文本向量化
7.1 文本向量化簡介
7.2 文本離散表示
7.2.1 獨熱表示
7.2.2 BOW模型
7.2.3 TF-IDF表示
7.3 文本分佈式表示
7.3.1 Word2Vec模型
7.3.2 Doc2Vec模型
7.4 任務：文本相似度計算
7.4.1 Word2Vec詞向量的訓練
7.4.2 Doc2Vec段落向量的訓練
7.4.3 計算文本的相似度
小結
實訓
實訓1 實現基於Word2Vec模型的新聞語料詞向量訓練
實訓2 實現基於Doc2Vec模型的新聞語料段落向量訓練
實訓3 使用Word2Vec模型和Doc2Vec模型計算新聞文本的相似度
課後習題
第8章 文本分類與文本聚類
8.1 文本挖掘簡介
8.2 文本分類常用算法
8.3 文本聚類常用算法
8.4 文本分類與文本聚類的步驟
8.5 任務：垃圾短信分類
8.6 任務：新聞文本聚類
小結
實訓
實訓1 基於樸素貝葉斯的新聞分類
實訓2 食品種類安全問題聚類分析
課後習題
第9章 文本情感分析
9.1 文本情感分析簡介
9.1.1 文本情感分析的主要內容
9.1.2 文本情感分析的常見應用
9.2 情感分析的常用方法
9.2.1 基於情感詞典的方法
9.2.2 基於文本分類的方法
9.2.3 基於LDA主題模型的方法
9.3 任務：基於情感詞典的情感分析
9.4 任務：基於文本分類的情感分析
9.4.1 基於樸素貝葉斯分類的情感分析
9.4.2 基於SnowNLP庫的情感分析
9.5 任務：基於LDA主題模型的情感分析
9.5.1 數據處理
9.5.2 模型訓練
9.5.3 結果分析
小結
實訓
實訓1 基於詞典的豆瓣評論文本情感分析
實訓2 基於樸素貝葉斯算法的豆瓣評論文本情感分析
實訓3 基於SnowNLP的豆瓣評論文本情感分析
實訓4 基於LDA主題模型的豆瓣評論文本情感分析
課後習題
第10章 NLP中的深度學習技術
10.1 循環神經網絡概述
10.2 RNN