大數據導論

甘勇

教授、鄭州工程技術學院副校長，長期工作在教學科研一線，
主持的大學計算機和程序設計基礎課程被評為河南省精品課程、
河南省精品資源共享課，擔任教育部計算機課程教學指導委員會委員、
河南省計算機類專業和網絡空間安全專業教學指導委員會副主任，
兼任中國計算機學會理事、河南省計算機學會副理事長、
河南省計算機教育研究會副理事長。
榮獲過優秀教學成果二等獎、2項河南省優秀教學成果特等獎、3項河南省優秀教學成果二等獎。

陶紅偉

鄭州輕工業大學計算機與通信工程學院副教授、博士，
主要研究方向包括大數據分析、軟件可信度量與評估、信息安全。
主持省部級以及橫向項目5項，作為主要成員參與國家863重點項目子課題、
國家自然科學基金重大研究計劃集成項目子課題、國家863項目和國家自然科學基金項目等。

目錄
第1章大數據與數據科學/ 1
1.1大數據概述/ 1
1.1.1大數據的概念/ 2
1.1.2大數據的特徵/ 2
1.1.3大數據的結構類型/ 3
1.2大數據的發展/ 4
1.3大數據處理的挑戰/ 5
1.4數據科學的概念/ 6
1.5數據科學的由來/ 7
1.6數據科學的應用場景/ 9
1.6.1行業數據/ 9
1.6.2數據服務/ 10
小結/ 11
習題/ 11

第2章數據採集與數據預處理/ 12
2.1數據採集和數據預處理概述/ 12
2.1.1數據採集概述/ 12
2.1.2數據預處理概述/ 13
2.2數據採集技術/ 15
2.2.1網絡數據採集技術/ 15
2.2.2日誌數據採集技術/ 23
2.3數據預處理技術/ 28
2.3.1數據清洗/ 28
2.3.2數據集成/ 30
2.3.3數據變換/ 30
2.3.4數據規約/ 32
小結/ 33
習題/ 33

第3章數據存儲/ 34
3.1數據存儲概述34
3.1.1數據存儲的發展歷程/ 34
3.1.2數據存儲模型/ 36
3.2大數據存儲/ 36
3.2.1海量數據存儲關鍵技術/ 37
3.2.2分佈式文件系統/ 37
3.3分佈式數據庫/ 41
3.3.1 HBase分佈式數據庫/ 42
3.3.2 MongoDB分佈式數據庫/ 45
3.3.3 Hive分佈式數據倉庫/ 47
小結/ 49
習題/ 49

第4章大數據處理平台/ 50
4.1概述/ 50
4.2大數據的處理平台架構/ 51
4.2.1技術架構/ 51
4.2.2開源平台/ 52
4.3大數據的批量處理/ 54
4.3.1批量計算的概念/ 54
4.3. 2批量計算的軟件系統/ 55
4.4大數據的流式計算/ 63
4.4.1流式計算的概念/ 63
4.4.2流式計算的軟件系統/ 64
4.5大數據的混合處理計算/ 68
4.5.1混合處理計算的概念/ 68
4.5.2混合處理計算的軟件系統/ 69
小結/ 78
習題/ 79

第5章數據分析/ 80
5.1數據分析概述/ 80
5.1.1數據分析的概念和作用/ 80
5.1.2數據分析的類型/ 81
5.1.3數據分析的流程/ 81
5.2統計數據分析方法/ 83
5.2.1描述統計/ 83
5.2.2相關分析/ 84
5.2.3回歸分析/ 88
5.2.4主成分分析/ 92
5.3數據挖掘算法/ 96
5.3.1決策樹/ 96
5.3.2 K-Means算法/ 101
5.3.3 Apriori算法/ 106
5.3.4神經網絡/ 111
5.4數據分析工具/ 113
小結/ 114
習題/ 114

第6章數據可視化/ 117
6.1數據可視化概述/ 117
6.1.1數據可視化的基本特徵/ 119
6.1.2數據可視化的作用/ 120
6.1.3數據可視化的流程/ 123
6.2數據可視化方法/ 126
6.2.1文本可視化/ 126
6.2.2網絡可視化/ 129
6.2.3時空數據可視化/ 131
6.2.4多維數據可視化/ 134
6.3數據可視化軟件與工具/ 136
6.3.1 Excel / 137
6.3.2 NodeXL / 137
6.3.3 Processing / 138
6.3.4 R / 139
6.3.5 ECharts / 139
6.3.6 Wolfram Mathematica / 141
小結/ 141
習題/ 142

第7章數據安全與隱私/ 143
7.1大數據安全概述/ 143
7.1.1大數據安全體系結構/ 148
7.1.2大數據安全/ 150
7.2數據安全協議/ 157
7.3數據隱私/ 159
7.4數據信息共享與隱私信息融合/ 160
7.5雲環境下的大數據安全與隱私保護/ 163
小結/ 165
習題/ 165

第8章大數據應用/ 166
8.1互聯網商業應用/ 166
8.1.1用戶畫像/ 166
8.1.2大數據精準營銷/ 169
8.1.3互聯網金融/ 171
8.2行業大數據/ 173
8.2.1教育大數據/ 173
8.2.2電力大數據/ 174
8.2.3醫療大數據/ 177
8.3人工智能應用/ 179
8.3.1語音識別和機器翻譯/ 179
8.3.2共享經濟/ 180
8.3.3智慧城市/ 183
小結/ 187
習題/ 188

第9章數據思維/ 189
9.1大數據時代的挑戰/ 189
9.2大數據時代的思維變革/ 194
9.2.1第四範式/ 194
9.2.2數據的混雜性/ 195
9.2.3樣本與總體/ 196
9.2.4數據的相關關係與因果關係/ 197
9.2.5大數據與倖存者偏差/ 198
9.3大數據激發創造力/ 199
9.3.1大數據預測電影票房/ 199
9.3.2利用大數據治理紐約/ 200
9.3.3大數據助力總統競選/ 202
9.4數據科學展望/ 204
9.4. 1開放數據運動/ 204
9.4.2數據科學家所需的專業技能/ 206
9.4.3數據科學的發展前景/ 208
小結210
習題210
參考文獻/ 211