大數據導論

第1章 緒論 1
1.1　數據 1
1.1.1 數據的構成 2
1.1.2 數據的存儲容量單位 4
1.2　大數據的相關概念 4
1.2.1 大數據的概念 4
1.2.2 大數據的基本特徵 5
1.3　大數據的意義、價值與作用 6
1.3.1 大數據的意義 7
1.3.2 大數據的價值 8
1.3.3 大數據的作用 9
1.4　大數據時代的新變革 10
1.4.1 大數據帶來的思維變革 10
1.4.2 大數據帶來的社會變革 12
1.5　大數據處理的主要環節 14
1.6　大數據的安全與共享 16
1.6.1 大數據的開放與共享 16
1.6.2 大數據安全與個人隱私保護 17
1.6.3 我國大數據相關的安全政策法規 18
1.7　大數據的發展現狀與發展趨勢 20
1.7.1 大數據的發展現狀 20
1.7.2 大數據的發展趨勢 24
1.7.3 大數據時代面臨的技術挑戰 26
1.8　本章小結 27
1.9　習題 27
第2章 大數據相關技術 29
2.1　雲計算與大數據 29
2.1.1 雲計算的基本概念 29
2.1.2 雲計算的基本要素與優勢 31
2.1.3 雲計算的體系架構 33
2.1.4 雲計算的核心技術 36
2.1.5 雲計算的發展現狀與主流平臺 38
2.1.6 雲計算與大數據的關系 44
2.2　人工智能與大數據 44
2.2.1 人工智能的基本概念 45
2.2.2 人工智能的研究領域 47
2.2.3 人工智能的產業與應用 52
2.2.4 人工智能與大數據的關系 55
2.3　物聯網與大數據 56
2.3.1 物聯網的基本概念 57
2.3.2 物聯網的核心技術 59
2.3.3 物聯網的產業與應用 62
2.3.4 物聯網、雲計算、人工智能與大數據的關系 65
2.4　本章小結 66
2.5　習題 66
第3章 大數據採集與預處理 68
3.1　認識數據 68
3.1.1 數據的屬性和類型 68
3.1.2 數據的量綱 69
3.2　大數據的來源和採集途徑 70
3.2.1 大數據的來源 70
3.2.2 大數據的採集途徑 70
3.3　常用的大數據採集工具 72
3.3.1 爬山虎採集器 72
3.3.2 八爪魚採集器 74
3.3.3 基於Python的網頁抓取框架Scrapy 75
3.3.4 日誌採集工具Flume 76
3.3.5 分佈式消息服務工具Kafka 78
3.4　數據預處理 79
3.4.1 數據清洗 79
3.4.2 數據集成 83
3.4.3 數據變換 84
3.4.4 數據歸約 88
3.5　使用OpenRefine對數據進行預處理 88
3.6　本章小結 93
3.7　習題 93
第4章 大數據處理 95
4.1　大數據處理框架 95
4.1.1 主流大數據處理框架的簡介 95
4.1.2 批處理框架Hadoop簡介 98
4.1.3 流處理框架Storm簡介 101
4.1.4 混合處理框架Spark簡介 106
4.2　大數據存儲與管理 108
4.2.1 經典數據存儲與管理技術 108
4.2.2 分佈式大數據存儲與管理技術 110
4.2.3 分佈式文件系統HDFS 112
4.2.4 分佈式數據庫系統HBase 116
4.2.5 分佈式數據倉庫系統Hive 118
4.3　大數據分佈式計算 121
4.3.1 分佈式批處理框架Hadoop 121
4.3.2 分佈式流處理框架Storm 125
4.3.3 分佈式混合處理框架Spark 127
4.4　本章小結 131
4.5　習題 131
第5章 大數據分析與挖掘 133
5.1　引言 133
5.2　描述性數據分析 134
5.2.1 數據的集中趨勢度量 134
5.2.2 數據的離散趨勢度量 135
5.2.3 數據的偏態特性度量 137
5.2.4 使用Excel對數據進行描述統計 138
5.3　回歸分析 139
5.3.1 一元線性回歸模型 139
5.3.2 其他類型的回歸模型 142
5.4　關聯分析的簡介 144
5.4.1 “啤酒與尿布”的故事 144
5.4.2 常用的關聯分析算法 145
5.5　分類算法的簡介 148
5.5.1 近鄰分類算法 149
5.5.2 決策樹算法 150
5.6　聚類算法的簡介 151
5.6.1 主要的聚類算法類型 152
5.6.2 k均值聚類算法 153
5.6.3 層次聚類算法 154
5.7　分佈式數據挖掘算法 156
5.8　數據挖掘技術的典型應用 157
5.8.1 數據挖掘技術在生物信息學中的應用 157
5.8.2 數據挖掘技術在市場營銷領域中的應用 158
5.8.3 數據挖掘技術在教育領域中的應用 159
5.8.4 數據挖掘技術在金融領域中的應用 159
5.9　本章小結 160
5.10　習題 160
第6章 大數據可視化 162
6.1　引言 162
6.1.1 什麽是數據可視化 162
6.1.2 數據可視化的若乾案例 163
6.1.3 數據可視化的作用 165
6.2　數據可視化的案例 165
6.2.1 數據集的簡介 166
6.2.2 發展趨勢圖 166
6.2.3 人數分佈圖 167
6.3　圖形元素和視覺通道 168
6.4　數據可視化的常用方法 172
6.4.1 趨勢型數據可視化方法 172
6.4.2 對比型數據可視化方法 174
6.4.3 比例型數據可視化方法 176
6.4.4 分佈型數據可視化方法 178
6.4.5 文本數據可視化方法 180
6.4.6 關系網絡數據可視化方法 181
6.4.7 時空數據可視化方法 182
6.4.8 層次結構數據可視化方法 183
6.4.9 高維數據可視化方法 184
6.5　數據可視化的常用工具和軟件的簡介 185
6.5.1 FineBI數據可視化工具的簡介 186
6.5.2 Tableau數據可視化工具的簡介 190
6.5.3 Python的Matplotlib的簡介 191
6.5.4 ECharts數據可視化編程庫的簡介 193
6.6　本章小結 194
6.7　習題 195
第7章 大數據安全、開放與共享 196
7.1　大數據安全與隱私保護 196
7.1.1 大數據安全與隱私保護的概念 196
7.1.2 大數據安全與隱私保護的挑戰 198
7.1.3 大數據安全與隱私保護的策略 200
7.1.4 大數據信息安全技術的應用 201
7.2　大數據生命周期中的安全與隱私 204
7.2.1 大數據採集與傳輸中的安全與隱私 204
7.2.2 大數據存儲中的安全與隱私 206
7.2.3 大數據分析與挖掘中的安全與隱私 207
7.3　大數據開放與共享 208
7.3.1 大數據開放與共享的概念 208
7.3.2 大數據開放與共享的類別關系 209
7.3.3 大數據開放與共享的挑戰 212
7.3.4 數據孤島問題 215
7.3.5 大數據開放與共享的措施 220
7.4　大數據安全的典型案例 222
7.4.1 大數據安全與隱私泄露的典型案例 222
7.4.2 大數據開放與共享的典型案例 224
7.4.3 大數據信息安全應用的典型案例 225
7.5　本章小結 227
7.6　習題 227
第8章 大數據的行業應用 229
8.1　互聯網大數據的應用 229
8.1.1 互聯網大數據的簡介 229
8.1.2 零售業互聯網大數據的應用 232
8.1.3 房地產業互聯網大數據的應用 233
8.1.4 餐飲業互聯網大數據的應用 234
8.2　金融大數據的應用 236
8.2.1 金融大數據的簡介 236
8.2.2 銀行業金融大數據的應用 239
8.2.3 證券業金融大數據的應用 241
8.2.4 保險業金融大數據的應用 242
8.3　醫療大數據的應用 244
8.3.1 醫療大數據的簡介 244
8.3.2 臨床大數據的應用 247
8.3.3 健康管理大數據的應用 249
8.3.4 基因檢測大數據的應用 251
8.4　工業大數據的應用 252
8.4.1 工業大數據的簡介 252
8.4.2 設備故障診斷與健康管理 255
8.4.3 生產質量分析 258
8.4.4 生產效率優化 259
8.5　智慧城市大數據的應用 261
8.5.1 智慧城市大數據的簡介 261
8.5.2 智慧政務大數據 264
8.5.3 智慧環境大數據 265
8.5.4 智慧教育大數據 268
8.6　本章小結 268
8.7　習題 269
參考文獻 271