大數據採集、預處理與可視化（微課版）

葛继科：

西南大学博士，加拿大麦吉尔大学博士后出站，重庆科技学院教授，硕士研究生导师。主要从事人工智能、大数据应用、网络安全等方面的教学与研究工作。主讲课程包括：大数据平台与应用、大数据分析与挖掘、大数据采集与优化、人工智能、计算机网络、网络安全技术等。主持省部级教学质量工程项目1项，主持省部级教改重点项目2项、一般项目1项、教育部产学合作育人项目9项、校级教改项目4项，发表教改论文8篇。获省部级教学成果二等奖1项、校级教学成果二等奖2项。主持省部级科研项目7项，参与国家级科研项目3项、省部级5项；发表学术论文30余篇，其中SCI收录4篇、EI收录20篇、中文核心3篇，授权发明专利6项。出版教学著作《计算机网络安全技术应用探究》1部，主编《油田大数据应用技术》（石油工业出版社，2021年）、《量子人工智能引论》（西南师范大学出版社，2021年）等学术著作。

【章名目錄】

第 1章　大數據概述

第２章　Python程序設計

第３章　大數據採集

第４章　大數據預處理技術

第５章　Excel數據獲取與預處理

第６章　Python數據預處理

第７章　數據可視化技術

【詳細目錄】

第 1章　大數據概述

1.1 大數據時代　1

1.2 大數據的相關概念及特徵　2

1.2.1 大數據的概念　2

1.2.2 大數據的發展歷程　3

1.2.3 大數據的特徵　5

1.2.4 大數據的作用　6

1.2.5 大數據的應用領域　7

1.2.6 大數據的關鍵技術　8

1.3 大數據系統簡介　9

1.3.1 Hadoop生態系統　9

1.3.2 Spark生態系統　12

1.4 大數據思維　15

1.4.1 傳統思維方式　15

1.4.2 大數據思維方式　16

1.5 大數據倫理　17

1.5.1 大數據倫理的由來　17

1.5.2 大數據的倫理問題　18

1.5.3 大數據的倫理原則　21

1.6 大數據安全　22

1.6.1 數據全生命周期安全　22

1.6.2 大數據安全防護技術　23

1.7 本章小結　24

1.8 習題　24

第２章　Python程序設計

2.1 Python的安裝與運行　25

2.1.1 Python的特點　25

2.1.2 Python的下載與安裝　26

2.1.3 Python程序的運行　27

2.1.4 第三方軟件包的安裝　29

2.1.5 Python編程規範　31

2.2 數據類型與運算符　33

2.2.1 數字和字符串　33

2.2.2 列表和元組　38

2.2.3 字典和集合　42

2.2.4 運算符　44

2.3 程序控制結構　47

2.3.1 程序流程圖　47

2.3.2 順序結構　48

2.3.3 選擇結構　49

2.3.4 循環結構　51

2.4 函數與模塊　54

2.4.1 函數的使用　54

2.4.2 函數的參數傳遞　55

2.4.3 全局變量與局部變量　57

2.4.4 匿名函數　58

2.4.5 模塊　59

2.5 文件　60

2.5.1 文件的打開與關閉　60

2.5.2 文件的讀取與寫入　62

2.5.3 文件的定位　63

2.6 本章小結　63

2.7 習題　64

第３章　大數據採集

3.1 大數據採集概述　65

3.1.1 大數據採集的概念　65

3.1.2 大數據採集的數據源　66

3.1.3 大數據採集方法　67

3.1.4 大數據採集平臺　69

3.2 網絡爬蟲技術　71

3.2.1 網絡爬蟲概述　72

3.2.2 常用網絡爬蟲方法　72

3.2.3 網頁數據採集的實現　75

3.2.4 常用網絡爬蟲工具　78

3.2.5 電影評論爬取　82

3.3 數據抽取技術　85

3.3.1 數據抽取概述　85

3.3.2 Kettle簡介與其安裝　86

3.3.3 文本數據抽取　87

3.3.4 網頁數據抽取　89

3.4 案例：網絡租房信息採集　91

3.4.1 網絡爬蟲採集數據　91

3.4.2 抽取租房信息　94

3.5 本章小結　96

3.6 習題　96

第４章　大數據預處理技術

4.1 數據預處理概述　97

4.1.1 數據質量　97

4.1.2 數據預處理的主要任務　99

4.2 數據清洗　99

4.2.1 缺失值處理方法　99

4.2.2 噪聲數據處理方法　101

4.2.3 冗餘數據處理方法　105

4.2.4 數據格式與內容處理方法　106

4.3 數據集成　106

4.3.1 實體識別問題　106

4.3.2 冗餘問題　107

4.3.3 數據值沖突的檢測與處理　109

4.4 數據變換　110

4.4.1 數據規範化　110

4.4.2 通過離散化變換數據　112

4.5 數據歸約　113

4.5.1 過濾法　114

4.5.2 包裝法　115

4.5.3 嵌入法　116

4.6 數據脫敏　117

4.6.1 數據脫敏類型　117

4.6.2 數據脫敏方法　118

4.7 案例：汽車行駛工況數據預處理　119

4.7.1 案例背景　119

4.7.2 數據描述　119

4.7.3 數據預處理　120

4.8 本章小結　124

4.9 習題　125

第５章　Excel數據獲取與預處理

5.1 Excel數據獲取　126

5.1.1 獲取文本數據　126

5.1.2 獲取網站數據　128

5.1.3 獲取數據庫中的數據　130

5.2 Excel數據清洗與轉換　132

5.2.1 常用數據分析函數　132

5.2.2 刪除重復行　136

5.2.3 文本查找與替換　137

5.2.4 字符串截取　139

5.2.5 數據的轉置　140

5.2.6 數據的查詢和引用　140

5.2.7 字母與數字的轉換　142

5.3 Excel數據抽取與合並　143

5.3.1 值的抽取　144

5.3.2 數據合並　146

5.3.3 字段合並　147

5.4 案例：房價行情的對比分析　148

5.4.1 數據獲取　148

5.4.2 數據預處理與分析　149

5.5 本章小結　151

5.6 習題　151

第６章　Python數據預處理

6.1 Python數據預處理基礎　153

6.1.1 科學計算庫NumPy　153

6.1.2 數據分析庫pandas　160

6.2 數據的分組、分割、合並和變形　168

6.2.1 數據分組　168

6.2.2　數據分割　171

6.2.3　數據合並　172

6.2.4 數據變形　175

6.3 缺失值、異常值和重復值處理　177

6.3.1 缺失值處理　177

6.3.2 異常值處理　181

6.3.3 重復值處理　185

6.4 時間序列數據處理　185

6.4.1 時間序列的基本操作　186

6.4.2 固定頻率的時間序列　187

6.4.3 時間周期及其計算　188

6.5 文本數據分析　189

6.5.1 字符串處理方法　189

6.5.2 文本數據分析工具　191

6.5.3　正則表達式　194

6.5.4 文本預處理　196

6.6 案例：IMDb5000電影數據預處理　199

6.6.1 數據分析及代碼實現　199

6.6.2 完整代碼　201

6.7 本章小結　203

6.8 習題　203

第７章　數據可視化技術

7.1 數據可視化概述　205

7.1.1 數據可視化的定義　205

7.1.2 數據可視化的發展歷程　206

7.1.3 數據可視化的作用　211

7.2 數據可視化的理論基礎　212

7.2.1 數據可視化的流程　212

7.2.2 數據可視化的設計要素　213

7.2.3 數據可視化的基礎圖表　216

7.2.4 數據可視化的常見工具　219

7.3 Python數據可視化方法　221

7.3.1 Matplotlib繪制基礎圖表　221

7.3.2 seaborn繪制統計圖　229

7.3.3 wordcloud繪制詞雲圖　254

7.3.4 NetworkX繪制網絡圖　257

7.3.5 案例：重慶公開庭審數據可視化　260

7.4 pyecharts數據可視化方法　265

7.4.1 pyecharts簡介　265

7.4.2 pyecharts應用　266

7.4.3 案例：2020年東京奧運會獎牌看板　267

7.5 本章小結　278

7.6 習題　279

參考文獻　280