Python 數據處理與挖掘

【吴振宇】

北京航空航天大学工学博士，南京邮电大学物联网学院教师，中国指挥与控制学会认知与行为专业委员会委员，中国计算机学会网络与数据通信专业委员会委员。具有长达4年的外商投资企业软件开发经验，长期从事数据分析、人工智能、Linux编程等课程的教学工作。主要研究方向包括大数据分析与挖掘、智能驾驶等。

第 1章 Python快速入門 1

1.1　一種簡單的編程語言　2

1.1.1　Python--解釋型編程語言　2

1.1.2　Python應用　3

1.2　Python開發環境　4

1.2.1　搭建簡單的Python開發環境　4

1.2.2　功能強大的集成開發環境　6

1.2.3　交互式開發環境　6

1.3　Python中簡單的程序結構　8

1.3.1　文件是代碼的基本組成單元　8

1.3.2　模塊化地組織代碼　8

1.3.3　代碼縮進區分邏輯關系　10

1.3.4　輸入和輸出提升程序交互性　10

1.3.5　常見的Python解釋器　11

1.4　習題　12

 

第　2章 Python數據類型　13

2.1　數據類型是數據表示的基礎　14

2.1.1　Python中一切皆對象　14

2.1.2　數字類型　14

2.1.3　布爾類型　15

2.1.4　字符串類型　15

2.1.5　自定義數據類型　16

2.1.6　變量　17

2.2　語句組成邏輯結構　18

2.2.1　運算符和表達式　19

2.2.2　語句　20

2.3　控製程序的執行　21

2.3.1　順序結構　21

2.3.2　分支結構　21

2.3.3　循環結構　22

2.4　有效存儲數據　24

2.4.1　列表　25

2.4.2　元組　27

2.4.3　字典　28

2.4.4　集合　29

2.4.5　特殊運算符　30

2.5　函數實現代碼復用　31

2.5.1　自定義函數　31

2.5.2　內置函數　32

2.5.3　字符串處理函數　33

2.5.4　函數式編程　33

2.6　存儲數據　35

2.6.1　文件操作　36

2.6.2　JSON和XML　36

2.7　案例：傳感器數據分析　40

2.8　習題　42

 

第3章　Python常用模塊　43

3.1　模塊的概念　44

3.2　自定義模塊　46

3.3　正則表達式模塊　46

3.4　NumPy和SciPy模塊　50

3.4.1　NumPy　51

3.4.2　SciPy　59

3.5　Pandas庫　61

3.6　習題　71

 

第4章　Python數據獲取　73

4.1　Web的客戶端/服務器工作模式　74

4.1.1　Web數據傳輸協議　75

4.1.2　Web頁面標記語言　78

4.1.3　Web樣式設計　81

4.2　Python設計爬蟲軟件　84

4.2.1　頁面請求庫URLLib　84

4.2.2　增強的網絡請求庫Requests　88

4.2.3　頁面內容解析庫BeautifulSoup　91

4.2.4　案例：在互聯網上獲取電影評論數據　95

4.2.5　瀏覽器中模擬點擊的Selenium庫　97

4.3　多線程提升數據獲取的效率　103

4.3.1　多線程的使用方法　104

4.3.2　案例：多線程在頁面數據獲取中的應用　106

4.4　習題　109

 

第5章　Python數據挖掘基礎　111

5.1　數據挖掘的基本概念　112

5.1.1　數據挖掘中常用的術語　112

5.1.2　數據挖掘的流程　113

5.2　數據集是數據挖掘的基礎　115

5.2.1　各領域公開了大量的數據集　115

5.2.2　自定義數據　119

5.3　Python中常用的 數據挖掘庫　120

5.3.1　自然語言處理常用的NLTK庫　120

5.3.2　機器學習常用的Sklearn庫　125

5.4　習題　134

 

第6章　Python數據挖掘算法　135

6.1　數據挖掘中的分類　136

6.1.1　分類問題的基本思想　136

6.1.2　常見的分類算法　139

6.1.3　樸素貝葉斯分類算法的原理　145

6.1.4　案例：從頭實現樸素貝葉斯分類算法　146

6.2　數據挖掘中的聚類　148

6.2.1　聚類的基本思想　149

6.2.2　常見的聚類算法　152

6.2.3　K-means聚類算法的原理　168

6.2.4　案例：從頭實現K-means聚類算法　169

6.3　習題　171

 

第7章　Python大數據挖掘　173

7.1　深度學習是大數據處理的重要手段　174

7.1.1　深度學習來源於神經網絡　175

7.1.2　深度學習已有大量模型　187

7.1.3　深度學習框架提升使用效率　191

7.1.4　捲積神經網絡的工作原理　193

7.1.5　LSTM網絡的工作原理　196

7.1.6　案例：使用捲積神經網絡實現蔬菜識別系統　200

7.2　習題　204

 

第8章　Python數據可視化　207

8.1　可視化技術自然地展現數據規律　208

8.2　最為常用的Matplotlib庫　208

8.2.1　使用Matplotlib庫繪制各種圖形　211

8.2.2　Pandas庫中直接繪圖　216

8.3　Seaborn庫增強繪圖效果　219

8.4　Plotnine庫彌補可視化不足　225

8.5　案例：房價數據採集及可視化　228

8.6　習題　231

 

參考文獻　232