大數據導論

林子雨（1978－），男，博士，國內高校知名大數據教師，廈門大學計算機科學系副教授，廈門大學雲計算與大數據研究中心創始成員，廈門大學數據庫實驗室負責人，中國計算機學會數據庫專委會委員，中國計算機學會信息系統專委會委員，中國高校首個「數字教師」的提出者和建設者。自2013年起在廈門大學開設大數據課程，建設了國內高校首個大數據課程公共服務平台，該平台累計網絡訪問量超過1000萬次，成為全國高校大數據教學的知名品牌，並榮獲「2018年福建省教學成果二等獎」。其主持的課程《大數據技術原理與應用》被評為「2018年國家精品在線開放課程」。

主講課程：《大數據技術原理與應用》《大數據處理技術》《大數據導論》

個人主頁：http://dblab.xmu.edu.cn/post/linziyu
E-mail：ziyulin@xmu.edu.cn
數據庫實驗室網站：http://dblab.xmu.edu.cn

建設了高校大數據課程公共服務平台（http://dblab.xmu.edu.cn/post/bigdata-teaching-platform/），為教師教學和學生學習大數據課程提供包括教學大綱、講義PPT、學習指南、備課指南、實驗指南、上機習題、授課視頻、技術資料等全方位、一站式免費服務。該平台每年訪問量超過200萬次，累計訪問量超過750萬次，同時還提供面向高校的大數據實驗平台建設方案和大數據課程師資培訓服務。

第1章 大數據概述　1

1.1　數據　1

1.1.1　數據的概念　1

1.1.2　數據類型　2

1.1.3　數據組織形式　2

1.1.4　數據的使用　3

1.1.5　數據的價值　4

1.1.6　數據爆炸　4

1.2　大數據時代　5

1.2.1　第三次信息化浪潮　5

1.2.2　信息科技為大數據時代提供技術支撐　5

1.2.3　數據產生方式的變革促成大數據時代的來臨　7

1.3　大數據的發展歷程　9

1.4　世界各國的大數據發展戰略　10

1.4.1　美國　11

1.4.2　英國　11

1.4.3　法國　11

1.4.4　韓國　12

1.4.5　日本　12

1.4.6　中國　12

1.5　大數據的概念　13

1.5.1　數據量大　13

1.5.2　數據類型繁多　14

1.5.3　處理速度快　15

1.5.4　價值密度低　16

1.6　大數據的影響　16

1.6.1　大數據對科學研究的影響　16

1.6.2　大數據對社會發展的影響　18

1.6.3　大數據對就業市場的影響　19

1.6.4　大數據對人才培養的影響　19

1.7　大數據的應用　20

1.8　大數據產業　22

1.9　高校大數據專業　23

1.9.1　大數據專業的人才培養目標　24

1.9.2　畢業生就業崗位　24

1.9.3　大數據專業知識體系　25

1.9.4　大數據專業課程體系　25

1.9.5　大數據專業的編程語言　26

1.10　本章小結　28

1.11　習題　29

第2章　大數據與其他新興技術的關系　30

2.1　雲計算　30

2.1.1　雲計算的概念　30

2.1.2　雲計算的服務模式和類型　33

2.1.3　雲計算數據中心　34

2.1.4　雲計算的應用　35

2.1.5　雲計算產業　35

2.2　物聯網　36

2.2.1　物聯網的概念　36

2.2.2　物聯網的關鍵技術　37

2.2.3　物聯網的應用　39

2.2.4　物聯網產業　40

2.3　大數據與雲計算、物聯網的關系　40

2.4　大數據與人工智能　41

2.4.1　人工智能的概念　42

2.4.2　人工智能的關鍵技術　42

2.4.3　人工智能的應用　47

2.4.4　人工智能產業　51

2.4.5　大數據與人工智能的關系　54

2.5　大數據與區塊鏈　55

2.5.1　從比特幣說起　55

2.5.2　區塊鏈的原理　56

2.5.3　區塊鏈的定義　61

2.5.4　區塊鏈的應用　61

2.5.5　大數據與區塊鏈的關系　63

2.6　本章小結　64

2.7　習題　64

第3章　大數據基礎知識　66

3.1　大數據安全　66

3.1.1　傳統數據安全　67

3.1.2　大數據安全與傳統數據安全的不同　67

3.1.3　大數據安全問題　68

3.1.4　典型案例　71

3.2　大數據思維　74

3.2.1　傳統的思維方式　75

3.2.2　大數據時代需要新的思維方式　75

3.2.3　大數據思維方式　76

3.2.4　運用大數據思維的具體實例　80

3.3　大數據倫理　87

3.3.1　大數據倫理的概念　87

3.3.2　大數據倫理典型案例　88

3.3.3　大數據的倫理問題　90

3.4　數據共享　94

3.4.1　數據孤島問題　95

3.4.2　數據孤島問題產生的原因　96

3.4.3　消除數據孤島的重要意義　96

3.4.4　實現數據共享所面臨的挑戰　97

3.4.5　推進數據共享開放的舉措　98

3.4.6　數據共享案例　100

3.5　數據開放　103

3.5.1　政府開放數據的理論基礎　104

3.5.2　政府信息公開與政府數據開放的聯系與區別　106

3.5.3　政府數據開放的重要意義　107

3.6　大數據交易　109

3.6.1　大數據交易概述　109

3.6.2　大數據交易發展現狀　110

3.6.3　大數據交易平臺　111

3.7　本章小結　115

3.8　習題　115

第4章　大數據應用　117

4.1　大數據在因特網領域的應用　117

4.1.1　什麽是推薦系統　117

4.1.2　長尾理論　118

4.1.3　推薦方法　119

4.1.4　推薦系統模型　119

4.1.5　推薦系統的應用　120

4.2　大數據在生物醫學領域的應用　121

4.2.1　流行病預測　121

4.2.2　智慧醫療　123

4.2.3　生物信息學　124

4.2.4　案例：基於大數據的綜合健康服務平臺　125

4.3　大數據在物流領域的應用　129

4.3.1　智能物流的概念　129

4.3.2　智能物流的作用　130

4.3.3　智能物流的應用　130

4.3.4　大數據是智能物流的關鍵　130

4.3.5　中國智能物流骨乾網—菜鳥　131

4.4　大數據在城市管理領域的應用　134

4.4.1　智能交通　134

4.4.2　環保監測　135

4.4.3　城市規劃　136

4.4.4　安防　136

4.4.5　疫情防控　137

4.5　大數據在金融領域的應用　138

4.5.1　高頻交易　138

4.5.2　市場情緒分析　139

4.5.3　信貸風險分析　139

4.5.4　大數據徵信　140

4.6　大數據在汽車領域的應用　142

4.7　大數據在零售領域的應用　143

4.7.1　發現關聯購買行為　143

4.7.2　客戶群體細分　144

4.7.3　供應鏈管理　145

4.8　大數據在餐飲領域的應用　145

4.8.1　餐飲領域擁抱大數據　145

4.8.2　餐飲O2O　146

4.9　大數據在電信領域的應用　147

4.10　大數據在能源領域的應用　148

4.11　大數據在體育和娛樂領域的應用　149

4.11.1　訓練球隊　149

4.11.2　投拍影視作品　150

4.11.3　預測比賽結果　151

4.12　大數據在安全領域的應用　152

4.12.1　大數據與國家安全　152

4.12.2　應用大數據技術防禦網絡攻擊　152

4.12.3　警察應用大數據工具預防犯罪　153

4.13　大數據在政府領域的應用　154

4.14　大數據在日常生活中的應用　155

4.15　本章小結　156

4.16　習題　157

第5章　數據採集與預處理　158

5.1　數據採集　158

5.1.1　數據採集的概念　158

5.1.2　數據採集的三大要點　159

5.1.3　數據採集的數據源　159

5.1.4　數據採集方法　160

5.1.5　網絡爬蟲　162

5.2　數據清洗　166

5.2.1　數據清洗的內容　167

5.2.2　數據清洗的註意事項　168

5.3　數據轉換　168

5.3.1　數據轉換策略　168

5.3.2　平滑處理　169

5.3.3　規範化處理　171

5.4　數據脫敏　172

5.4.1　數據脫敏原則　172

5.4.2　數據脫敏方法　173

5.5　本章小結　173

5.6　習題　173

第6章　數據存儲與管理　175

6.1　傳統的數據存儲與管理技術　175

6.1.1　文件系統　175

6.1.2　關系數據庫　175

6.1.3　數據倉庫　177

6.1.4　並行數據庫　178

6.2　大數據時代的數據存儲與管理技術　179

6.2.1　分佈式文件系統　179

6.2.2　NewSQL和NoSQL數據庫　179

6.2.3　雲數據庫　181

6.3　大數據處理架構Hadoop　182

6.3.1　Hadoop特性　182

6.3.2　Hadoop生態系統　183

6.4　分佈式文件系統HDFS　185

6.4.1　HDFS的設計目標　186

6.4.2　HDFS體系結構　187

6.5　NoSQL數據庫　187

6.5.1　鍵值數據庫　188

6.5.2　列族數據庫　189

6.5.3　文檔數據庫　190

6.5.4　圖數據庫　190

6.6　雲數據庫　191

6.6.1　雲數據庫的概念　191

6.6.2　雲數據庫的特性　192

6.6.3　雲數據庫與其他數據庫的關系　193

6.6.4　代表性雲數據庫產品　194

6.7　分佈式數據庫HBase　194

6.7.1　從Bigtable說起　195

6.7.2　HBase簡介　195

6.7.3　HBase數據模型　196

6.7.4　HBase系統架構　197

6.8　Google Spanner　198

6.9　本章小結　199

6.10　習題　199

第7章　數據處理與分析　201

7.1　數據處理與分析的概念　201

7.1.1　數據分析與數據挖掘　201

7.1.2　數據分析與數據處理　202

7.1.3　大數據處理與分析　202

7.2　機器學習和數據挖掘算法　203

7.2.1　概述　203

7.2.2　分類　204

7.2.3　聚類　204

7.2.4　回歸分析　205

7.2.5　關聯規則　206

7.2.6　協同過濾　206

7.3　大數據處理與分析技術　207

7.3.1　技術分類　207

7.3.2　流計算　209

7.3.3　圖計算　211

7.4　大數據處理與分析代表性產品　212

7.4.1　分佈式計算框架MapReduce　213

7.4.2　數據倉庫Hive　214

7.4.3　數據倉庫Impala　216

7.4.4　基於內存的分佈式計算框架Spark　216

7.4.5　機器學習框架TensorFlowOnSpark　232

7.4.6　流計算框架Storm　233

7.4.7　流計算框架Flink　235

7.4.8　大數據編程框架Beam　237

7.4.9　查詢分析系統Dremel　239

7.5　本章小結　240

7.6　習題　240

第8章　數據可視化　242

8.1　可視化概述　242

8.1.1　什麽是數據可視化　242

8.1.2　可視化的發展歷程　243

8.1.3　可視化的重要作用　243

8.2　可視化圖表　245

8.3　可視化工具　246

8.3.1　入門級工具　246

8.3.2　信息圖表工具　246

8.3.3　地圖工具　248

8.3.4　時間線工具　249

8.3.5　高級分析工具　250

8.4　可視化典型案例　250

8.4.1　全球黑客活動　250

8.4.2　因特網地圖　251

8.4.3　編程語言之間的影響力關系圖　252

8.4.4　世界國家健康與財富之間的關系　252

8.4.5　3D可視化因特網地圖App　253

8.5　本章小結　253

8.6　習題　254

第9章　大數據分析綜合案例　255

9.1　案例任務　255

9.2　系統設計　256

9.2.1　系統總體設計　256

9.2.2　數據庫設計　256

9.2.3　系統網站設計　257

9.2.4　算法設計　258

9.3　技術選擇　261

9.4　系統實現　262

9.5　案例所需知識和技能　263

9.6　本章小結　263

9.7　習題　263

參考文獻　264