大數據導論

林子雨（1978－），男，博士，国内高校知名大数据教师，厦门大学计算机科学系副教授，厦门大学云计算与大数据研究中心创始成员，厦门大学数据库实验室负责人，中国计算机学会数据库专委会委员，中国计算机学会信息系统专委会委员，中国高校首个“数字教师”提出者和建设者。2013年开始在厦门大学开设大数据课程，建设了国内高校首个大数据课程公共服务平台，平台累计网络访问量超过1000万次，成为全国高校大数据教学知名品牌，并荣获“2018年福建省教学成果二等奖”，主持的课程《大数据技术原理与应用》获评“2018年国家精品在线开放课程”。

主讲课程：《大数据技术原理与应用》《大数据处理技术》《大数据导论》。

个人主页：http://dblab.xmu.edu.cn/post/linziyu。

E-mail: ziyulin@xmu.edu.cn。

数据库实验室网站：http://dblab.xmu.edu.cn。

建设了高校大数据课程公共服务平台（http://dblab.xmu.edu.cn/post/bigdata-teaching- platform/），为教师教学和学生学习大数据课程提供包括教学大纲、讲义PPT、学习指南、备课指南、实验指南、上机习题、授课视频、技术资料等全方位、一站式免费服务，平台每年访问量超过200万次，累计访问量超过750万次，同时提供面向高校的大数据实验平台建设方案和大数据课程师资培训服务。

第1章 大數據概述　1

1.1　數據　1

1.1.1　數據的概念　1

1.1.2　數據類型　2

1.1.3　數據組織形式　2

1.1.4　數據的使用　3

1.1.5　數據的價值　4

1.1.6　數據爆炸　4

1.2　大數據時代　5

1.2.1　第三次信息化浪潮　5

1.2.2　信息科技為大數據時代提供技術支撐　5

1.2.3　數據產生方式的變革促成大數據時代的來臨　7

1.3　大數據的發展歷程　9

1.4　世界各國的大數據發展戰略　10

1.4.1　美國　11

1.4.2　英國　11

1.4.3　法國　11

1.4.4　韓國　12

1.4.5　日本　12

1.4.6　中國　12

1.5　大數據的概念　13

1.5.1　數據量大　13

1.5.2　數據類型繁多　14

1.5.3　處理速度快　15

1.5.4　價值密度低　16

1.6　大數據的影響　16

1.6.1　大數據對科學研究的影響　16

1.6.2　大數據對社會發展的影響　18

1.6.3　大數據對就業市場的影響　19

1.6.4　大數據對人才培養的影響　19

1.7　大數據的應用　20

1.8　大數據產業　22

1.9　高校大數據專業　23

1.9.1　大數據專業的人才培養目標　24

1.9.2　畢業生就業崗位　24

1.9.3　大數據專業知識體系　25

1.9.4　大數據專業課程體系　25

1.9.5　大數據專業的編程語言　26

1.10　本章小結　28

1.11　習題　29

第2章　大數據與其他新興技術的關系　30

2.1　雲計算　30

2.1.1　雲計算的概念　30

2.1.2　雲計算的服務模式和類型　33

2.1.3　雲計算數據中心　34

2.1.4　雲計算的應用　35

2.1.5　雲計算產業　35

2.2　物聯網　36

2.2.1　物聯網的概念　36

2.2.2　物聯網的關鍵技術　37

2.2.3　物聯網的應用　39

2.2.4　物聯網產業　40

2.3　大數據與雲計算、物聯網的關系　40

2.4　大數據與人工智能　41

2.4.1　人工智能的概念　42

2.4.2　人工智能的關鍵技術　42

2.4.3　人工智能的應用　47

2.4.4　人工智能產業　51

2.4.5　大數據與人工智能的關系　54

2.5　大數據與區塊鏈　55

2.5.1　從比特幣說起　55

2.5.2　區塊鏈的原理　56

2.5.3　區塊鏈的定義　61

2.5.4　區塊鏈的應用　61

2.5.5　大數據與區塊鏈的關系　63

2.6　本章小結　64

2.7　習題　64

第3章　大數據基礎知識　66

3.1　大數據安全　66

3.1.1　傳統數據安全　67

3.1.2　大數據安全與傳統數據安全的不同　67

3.1.3　大數據安全問題　68

3.1.4　典型案例　71

3.2　大數據思維　74

3.2.1　傳統的思維方式　75

3.2.2　大數據時代需要新的思維方式　75

3.2.3　大數據思維方式　76

3.2.4　運用大數據思維的具體實例　80

3.3　大數據倫理　87

3.3.1　大數據倫理的概念　87

3.3.2　大數據倫理典型案例　88

3.3.3　大數據的倫理問題　90

3.4　數據共享　94

3.4.1　數據孤島問題　95

3.4.2　數據孤島問題產生的原因　96

3.4.3　消除數據孤島的重要意義　96

3.4.4　實現數據共享所面臨的挑戰　97

3.4.5　推進數據共享開放的舉措　98

3.4.6　數據共享案例　100

3.5　數據開放　103

3.5.1　政府開放數據的理論基礎　104

3.5.2　政府信息公開與政府數據開放的聯系與區別　106

3.5.3　政府數據開放的重要意義　107

3.6　大數據交易　109

3.6.1　大數據交易概述　109

3.6.2　大數據交易發展現狀　110

3.6.3　大數據交易平臺　111

3.7　本章小結　115

3.8　習題　115

第4章　大數據應用　117

4.1　大數據在互聯網領域的應用　117

4.1.1　什麽是推薦系統　117

4.1.2　長尾理論　118

4.1.3　推薦方法　119

4.1.4　推薦系統模型　119

4.1.5　推薦系統的應用　120

4.2　大數據在生物醫學領域的應用　121

4.2.1　流行病預測　121

4.2.2　智慧醫療　123

4.2.3　生物信息學　124

4.2.4　案例：基於大數據的綜合健康服務平臺　125

4.3　大數據在物流領域的應用　129

4.3.1　智能物流的概念　129

4.3.2　智能物流的作用　130

4.3.3　智能物流的應用　130

4.3.4　大數據是智能物流的關鍵　130

4.3.5　中國智能物流骨乾網—菜鳥　131

4.4　大數據在城市管理領域的應用　134

4.4.1　智能交通　134

4.4.2　環保監測　135

4.4.3　城市規劃　136

4.4.4　安防　136

4.4.5　疫情防控　137

4.5　大數據在金融領域的應用　138

4.5.1　高頻交易　138

4.5.2　市場情緒分析　139

4.5.3　信貸風險分析　139

4.5.4　大數據徵信　140

4.6　大數據在汽車領域的應用　142

4.7　大數據在零售領域的應用　143

4.7.1　發現關聯購買行為　143

4.7.2　客戶群體細分　144

4.7.3　供應鏈管理　145

4.8　大數據在餐飲領域的應用　145

4.8.1　餐飲領域擁抱大數據　145

4.8.2　餐飲O2O　146

4.9　大數據在電信領域的應用　147

4.10　大數據在能源領域的應用　148

4.11　大數據在體育和娛樂領域的應用　149

4.11.1　訓練球隊　149

4.11.2　投拍影視作品　150

4.11.3　預測比賽結果　151

4.12　大數據在安全領域的應用　152

4.12.1　大數據與國家安全　152

4.12.2　應用大數據技術防禦網絡攻擊　152

4.12.3　警察應用大數據工具預防犯罪　153

4.13　大數據在政府領域的應用　154

4.14　大數據在日常生活中的應用　155

4.15　本章小結　156

4.16　習題　157

第5章　數據採集與預處理　158

5.1　數據採集　158

5.1.1　數據採集的概念　158

5.1.2　數據採集的三大要點　159

5.1.3　數據採集的數據源　159

5.1.4　數據採集方法　160

5.1.5　網絡爬蟲　162

5.2　數據清洗　166

5.2.1　數據清洗的內容　167

5.2.2　數據清洗的註意事項　168

5.3　數據轉換　168

5.3.1　數據轉換策略　168

5.3.2　平滑處理　169

5.3.3　規範化處理　171

5.4　數據脫敏　172

5.4.1　數據脫敏原則　172

5.4.2　數據脫敏方法　173

5.5　本章小結　173

5.6　習題　173

第6章　數據存儲與管理　175

6.1　傳統的數據存儲與管理技術　175

6.1.1　文件系統　175

6.1.2　關系數據庫　175

6.1.3　數據倉庫　177

6.1.4　並行數據庫　178

6.2　大數據時代的數據存儲與管理技術　179

6.2.1　分佈式文件系統　179

6.2.2　NewSQL和NoSQL數據庫　179

6.2.3　雲數據庫　181

6.3　大數據處理架構Hadoop　182

6.3.1　Hadoop特性　182

6.3.2　Hadoop生態系統　183

6.4　分佈式文件系統HDFS　185

6.4.1　HDFS的設計目標　186

6.4.2　HDFS體系結構　187

6.5　NoSQL數據庫　187

6.5.1　鍵值數據庫　188

6.5.2　列族數據庫　189

6.5.3　文檔數據庫　190

6.5.4　圖數據庫　190

6.6　雲數據庫　191

6.6.1　雲數據庫的概念　191

6.6.2　雲數據庫的特性　192

6.6.3　雲數據庫與其他數據庫的關系　193

6.6.4　代表性雲數據庫產品　194

6.7　分佈式數據庫HBase　194

6.7.1　從Bigtable說起　195

6.7.2　HBase簡介　195

6.7.3　HBase數據模型　196

6.7.4　HBase系統架構　197

6.8　Google Spanner　198

6.9　本章小結　199

6.10　習題　199

第7章　數據處理與分析　201

7.1　數據處理與分析的概念　201

7.1.1　數據分析與數據挖掘　201

7.1.2　數據分析與數據處理　202

7.1.3　大數據處理與分析　202

7.2　機器學習和數據挖掘算法　203

7.2.1　概述　203

7.2.2　分類　204

7.2.3　聚類　204

7.2.4　回歸分析　205

7.2.5　關聯規則　206

7.2.6　協同過濾　206

7.3　大數據處理與分析技術　207

7.3.1　技術分類　207

7.3.2　流計算　209

7.3.3　圖計算　211

7.4　大數據處理與分析代表性產品　212

7.4.1　分佈式計算框架MapReduce　213

7.4.2　數據倉庫Hive　214

7.4.3　數據倉庫Impala　216

7.4.4　基於內存的分佈式計算框架Spark　216

7.4.5　機器學習框架TensorFlowOnSpark　232

7.4.6　流計算框架Storm　233

7.4.7　流計算框架Flink　235

7.4.8　大數據編程框架Beam　237

7.4.9　查詢分析系統Dremel　239

7.5　本章小結　240

7.6　習題　240

第8章　數據可視化　242

8.1　可視化概述　242

8.1.1　什麽是數據可視化　242

8.1.2　可視化的發展歷程　243

8.1.3　可視化的重要作用　243

8.2　可視化圖表　245

8.3　可視化工具　246

8.3.1　入門級工具　246

8.3.2　信息圖表工具　246

8.3.3　地圖工具　248

8.3.4　時間線工具　249

8.3.5　高級分析工具　250

8.4　可視化典型案例　250

8.4.1　全球黑客活動　250

8.4.2　互聯網地圖　251

8.4.3　編程語言之間的影響力關系圖　252

8.4.4　世界國家健康與財富之間的關系　252

8.4.5　3D可視化互聯網地圖App　253

8.5　本章小結　253

8.6　習題　254

第9章　大數據分析綜合案例　255

9.1　案例任務　255

9.2　系統設計　256

9.2.1　系統總體設計　256

9.2.2　數據庫設計　256

9.2.3　系統網站設計　257

9.2.4　算法設計　258

9.3　技術選擇　261

9.4　系統實現　262

9.5　案例所需知識和技能　263

9.6　本章小結　263

9.7　習題　263

參考文獻　264