大數據通識教程（微課版）數字文明與數字治理

史麒豪，浙江大学计算机科学与技术专业博士，学科博士后。长期从事社交影响力传播、图传播算法与博弈论研究，已在ICDE,AAAI,WWW,CIKM,ICDM 等相关国际顶级会议与KBS，ESWA，Neurocomputing等高水平SCI 期刊发表十余篇文章。同时长期担任AAAI，KDD，TNNLS，TKDE等国际会议与期刊的审稿人。主持和参与了多项国家级、省部级课题及企业、政府信息化项目。其中作为项目负责人，主持国家自然科学基金项目1项。作为课题骨干，参与获2018 年浙江省科学技术一等奖的省部级课题1项。 扬武剑 男，副教授，浙大城市学院城市大脑研究院院长助理，浙大城市学院城市数字治理创新班负责人。 主要从事城市数字治理、人工智能、电子商务等领域学术理论和关键技术研究，主持主参科研项目多项，其中国家级2项，省部级6项，重大横向8项，发表SCI/EI收录论文10多篇，科研成果获浙江省科技进步奖三等奖2项、华夏建设科学技术奖三等奖2项。主持教育部产学合作协同育人项目2项、省级虚拟仿真实验教学项目1项，获学校教学质量奖20多次。主编出版高等院校实践类教程《电子商务概论》和高等院校“十二五”规划教材《电子商务实务》

【導讀案例】“數字文明”到底是個什麽文明？ 1

1.1　數字勞動推動數字文明　4

1.2　大數據時代　5

1.2.1　天文學——信息爆炸的起源　6

1.2.2　爆發式增長的數據量　7

1.2.3　大數據的定義　9

1.2.4　用3V描述大數據特徵　9

1.2.5　廣義的大數據　11

1.3　大數據結構類型　12

1.4　大數據的發展　13

1.4.1　硬件性價比提高與軟件技術進步　13

1.4.2　雲計算的普及　14

1.4.3　大數據作為BI的進化形式　14

1.4.4　從交易數據到交互數據　15

【習題】　16

【導讀案例】數字文明如何作答四問？　19

2.1　什麽是數字化　21

2.1.1　數字化的概念　21

2.1.2　從歷史發展看數字化　23

2.1.3　從技術層面看數字化　25

2.1.4　數字化的意義　26

2.2　數字化轉型　26

2.2.1　購物流程的變化　27

2.2.2　信息化與數字化　27

2.2.3　數字化企業解決方案　28

2.3　數字孿生　29

2.3.1　數字孿生的原理　29

2.3.2　數據孿生基本組成　30

2.3.3　數字孿生的研究　31

2.3.4　數字孿生與數字生產線　31

2.4　數字經濟　34

2.4.1　數字經濟的概念　34

2.4.2　數字經濟的要素　35

2.4.3　數字經濟的研究　36

【習題】　37

【導讀案例】購物網站的推薦系統　40

3.1　大數據思維　43

3.2　轉變之一：樣本=總體　44

3.2.1　小數據時代的隨機採樣　45

3.2.2　全數據模式：樣本=總體　47

3.3　轉變之二：接受數據的混雜性　48

3.3.1　允許不精確　48

3.3.2　大數據簡單算法與小數據復雜算法　50

3.3.3　紛繁的數據越多越好　51

3.3.4　混雜性是標準途徑　52

3.4　轉變之三：數據的相關關系　53

3.4.1　關聯物，預測的關鍵　53

3.4.2　“是什麽”，而不是“為什麽”　55

3.4.3　通過因果關系瞭解世界　56

3.4.4　通過相關關系瞭解世界　57

【習題】　58

【導讀案例】準確預測地震　59

4.1　大數據的跨界年度　60

4.1.1　商業動機和驅動力　61

4.1.2　企業的大數據行動　62

4.1.3　數據驅動的企業文化　63

4.2　將信息變成競爭優勢　65

4.2.1　數據價格下降而需求上升　66

4.2.2　大數據應用程序興起　66

4.2.3　企業構建大數據戰略　67

4.3　大數據營銷　68

4.3.1　像媒體公司一樣思考　68

4.3.2　面對新的機遇與挑戰　69

4.3.3　自動化營銷　70

4.3.4　創建高容量和高價值內容　71

4.3.5　用投資回報率評價營銷效果　71

4.4　內容創作與眾包　72

【習題】　73

【導讀案例】大數據變革公共衛生　76

5.1　大數據與循證醫學　78

5.2　大數據帶來的醫療新突破　80

5.2.1　量化自我，關註個人健康　80

5.2.2　可穿戴的個人健康設備　81

5.2.3　大數據時代的醫療信息　83

5.2.4　CellMiner，對抗癌症的新工具　84

5.3　醫療信息數字化　86

5.4　搜索：超級大數據的最佳夥伴　88

5.5　數據決策的崛起　89

5.5.1　數據輔助診斷　90

5.5.2　你考慮過……了嗎　90

5.5.3　大數據分析使數據決策崛起　92

【習題】　92

【導讀案例】城市大腦是這樣煉成的　95

6.1　智慧交通駛入快車道　98

6.1.1　導航和感知更精準　99

6.1.2　機場管理更精細　99

6.1.3　數字航道動態監測　100

6.1.4　創新驅動賦能增效　101

6.2　城市大腦建設　102

6.2.1　對城市大腦的認識　102

6.2.2　城市大腦產生根源和背景　103

6.2.3　城市大腦的未來目標　104

6.2.4　城市大腦的重要性　105

6.3　大數據——智慧城市的“核心”　105

6.3.1　城市大腦與數據可視化　106

6.3.2　城市大腦與數據共享　106

6.3.3　大數據驅動城市大腦　106

6.4　城市大數據治理　107

6.4.1　數據治理內容　107

6.4.2　數據治理類型　108

6.4.3　元數據管理　110

6.4.4　數據治理方案　111

6.4.5　數據治理模型　112

6.4.6　數據治理工具　113

【習題】　113

【導讀案例】南丁格爾“極區圖”　116

7.1　數據與可視化　118

7.1.1　數據的可變性　118

7.1.2　數據的不確定性　120

7.1.3　數據的背景信息　120

7.1.4　打造最好的可視化效果　122

7.2　數據與圖形　122

7.2.1　數據與走勢　123

7.2.2　視覺信息的科學解釋　124

7.3　視覺分析　125

7.3.1　熱點圖　125

7.3.2　時間序列圖　126

7.3.3　網絡圖　126

7.3.4　空間數據制圖　127

7.4　實時可視化　128

7.5　數據可視化的運用　128

【作　業】　130

【導讀案例】葡萄酒的品質　133

8.1　什麽是預測分析　137

8.1　1 預測分析的作用　138

8.1.2　數據具有內在預測性　140

8.1.3　定量分析與定性分析　140

8.2　統計分析　141

8.2.1　A/B測試　141

8.2.2　相關性分析　142

8.2.3　回歸性分析　143

8.3　數據挖掘　144

8.4　大數據分析生命周期　145

8.4.1　商業案例評估　145

8.4.2　數據標識　146

8.4.3　數據獲取與過濾　147

8.4.4　數據提取　147

8.4.5　數據驗證與清理　148

8.4.6　數據聚合與表示　149

8.4.7　數據分析　150

8.4.8　數據可視化　150

8.4.9　分析結果的使用　151

【習題】　151

【導讀案例】什麽是開源？　154

9.1　開源技術商業支援　156

9.2　Hadoop基礎　157

9.2.1　Hadoop的由來　157

9.2.2　Hadoop的優勢　158

9.3　分佈式處理　159

9.3.1　分佈式系統　159

9.3.2　分佈式文件系統　160

9.3.3　並行與分佈式數據處理　160

9.3.4　分佈式存儲　161

9.4　NoSQL數據庫　161

9.4.1　主要特徵　162

9.4.2　鍵-值存儲　164

9.4.3　文檔存儲　165

9.4.4　列簇存儲　166

9.4.5　圖存儲　167

9.4.6　與RDBMS的主要區別　168

9.5　NewSQL數據庫　169

【習題】　170

【導讀案例】數字經濟時代雲發展趨勢　173

10.1　與數字化相關的技術　175

10.2　雲計算概述　177

10.2.1　雲計算定義　177

10.2.2　雲基礎設施　179

10.3　計算虛擬化　180

10.4　網絡虛擬化　181

10.4.1　網卡虛擬化　181

10.4.2　虛擬交換機　182

10.4.3　接入層虛擬化　182

10.4.4　覆蓋網絡虛擬化　183

10.4.5　軟件定義網絡（SDN）　183

10.5　存儲虛擬化　184

10.6　雲計算服務形式　185

10.6.1　雲計算的服務層次　185

10.6.2　大數據與雲相輔相成　186

10.6.3　雲的挑戰　187

10.7　大數據與雲計算　187

【習題】　188

【導讀案例】大數據與人工智能的關系　191

11.1　人工智能概述　192

11.2　機器學習基礎　193

11.2.1　機器學習的定義　194

11.2.2　基本結構　195

11.2.3　研究領域　196

11.3　機器學習分類　196

11.3.1　基於學習策略分類　196

11.3.2　基於知識表示形式分類　197

11.3.3　按應用領域分類　198

11.3.4　按學習形式分類　198

11.4　神經網絡與深度學習　201

11.4.1　人工神經網絡的特徵　201

11.4.2　深度學習的意義　202

11.4.3　深度學習的方法　203

11.4.4　深度學習的實現　205

11.5　機器學習與深度學習　207

【習題】　208

【導讀案例】中國《個人信息保護法》施行　211

12.1　大數據的安全問題　213

12.1.1　採集匯聚安全　213

12.1.2　存儲處理安全　214

12.1.3　共享使用安全　215

12.2　大數據的管理維度　216

12.3　大數據的安全體系　216

12.3.1　安全技術體系　217

12.3.2　大數據安全治理　218

12.3.3　大數據安全測評　218

12.3.4　大數據安全運維　218

12.3.5　以數據為中心的安全要素　219

12.4　大數據倫理與法規　220

12.4.1　大數據的倫理問題　220

12.4.2　大數據的倫理規則　221

12.4.3　數據安全法施行　222

【習題】　223

【導讀案例】得數據者得天下　226

13.1　計算思維　229

13.1.1　計算思維的概念　229

13.1.2　計算思維的作用　230

13.1.3　計算思維的特點　232

13.2　數據工程師的社會責任　233

13.2.1　職業化和道德責任　233

13.2.2　ACM職業道德責任　234

13.2.3　軟件工程師道德基礎　235

13.3　數據科學與職業技能　236

13.3.1　數據科學重要技能　236

13.3.2　重要數據科學技能　237

13.3.3　技能因職業角色而異　238

13.3.4　大數據生態系統關鍵角色　240

【習題】　241

【導讀案例】加快建立完善數據產權制度　244

14.1　連接開放數據　245

14.1.1　LOD運動　246

14.1.2　利用開放數據的創業型公司　247

14.2　大數據資產的崛起　248

14.2.1　數據市場的興起　248

14.2.2　不同的商業模式　248

14.2.3　將原創數據變為增值數據　249

14.2.4　大數據催生新的應用程序　249

14.2.5　在大數據“空白”中提取最大價值　250

14.3　大數據發展趨勢　250

14.3.1　信息領域的突破性發展　251

14.3.2　未來發展趨勢的專家預測　252

14.4　大數據技術展望　254

14.4.1　數據管理仍然很難　254

14.4.2　數據孤島繼續激增　254

14.4.3　流媒體分析的突破　255

14.4.4　技術發展帶來技能轉變　255

14.4.5　“快速數據”和“可操作數據”　256

14.4.6　預測分析將數據轉化為預測　256

【習題】　257

【導讀案例】“數字文明”到底是個什麽文明？　1

1.1　數字勞動推動數字文明　4

1.2　大數據時代　5

1.2.1　天文學——信息爆炸的起源　6

1.2.2　爆發式增長的數據量　7

1.2.3　大數據的定義　9

1.2.4　用3V描述大數據特徵　9

1.2.5　廣義的大數據　11

1.3　大數據結構類型　12

1.4　大數據的發展　13

1.4.1　硬件性價比提高與軟件技術進步　13

1.4.2　雲計算的普及　14

1.4.3　大數據作為BI的進化形式　14

1.4.4　從交易數據到交互數據　15

【習題】　16

【導讀案例】數字文明如何作答四問？　19

2.1　什麽是數字化　21

2.1.1　數字化的概念　21

2.1.2　從歷史發展看數字化　23

2.1.3　從技術層面看數字化　25

2.1.4　數字化的意義　26

2.2　數字化轉型　26

2.2.1　購物流程的變化　27

2.2.2　信息化與數字化　27

2.2.3　數字化企業解決方案　28

2.3　數字孿生　29

2.3.1　數字孿生的原理　29

2.3.2　數據孿生基本組成　30

2.3.3　數字孿生的研究　31

2.3.4　數字孿生與數字生產線　31

2.4　數字經濟　34

2.4.1　數字經濟的概念　34

2.4.2　數字經濟的要素　35

2.4.3　數字經濟的研究　36

【習題】　37

【導讀案例】購物網站的推薦系統　40

3.1　大數據思維　43

3.2　轉變之一：樣本=總體　44

3.2.1　小數據時代的隨機採樣　45

3.2.2　全數據模式：樣本=總體　47

3.3　轉變之二：接受數據的混雜性　48

3.3.1　允許不精確　48

3.3.2　大數據簡單算法與小數據復雜算法　50

3.3.3　紛繁的數據越多越好　51

3.3.4　混雜性是標準途徑　52

3.4　轉變之三：數據的相關關系　53

3.4.1　關聯物，預測的關鍵　53

3.4.2　“是什麽”，而不是“為什麽”　55

3.4.3　通過因果關系瞭解世界　56

3.4.4　通過相關關系瞭解世界　57

【習題】　58

【導讀案例】準確預測地震　59

4.1　大數據的跨界年度　60

4.1.1　商業動機和驅動力　61

4.1.2　企業的大數據行動　62

4.1.3　數據驅動的企業文化　63

4.2　將信息變成競爭優勢　65

4.2.1　數據價格下降而需求上升　66

4.2.2　大數據應用程序興起　66

4.2.3　企業構建大數據戰略　67

4.3　大數據營銷　68

4.3.1　像媒體公司一樣思考　68

4.3.2　面對新的機遇與挑戰　69

4.3.3　自動化營銷　70

4.3.4　創建高容量和高價值內容　71

4.3.5　用投資回報率評價營銷效果　71

4.4　內容創作與眾包　72

【習題】　73

【導讀案例】大數據變革公共衛生　76

5.1　大數據與循證醫學　78

5.2　大數據帶來的醫療新突破　80

5.2.1　量化自我，關註個人健康　80

5.2.2　可穿戴的個人健康設備　81

5.2.3　大數據時代的醫療信息　83

5.2.4　CellMiner，對抗癌症的新工具　84

5.3　醫療信息數字化　86

5.4　搜索：超級大數據的最佳夥伴　88

5.5　數據決策的崛起　89

5.5.1　數據輔助診斷　90

5.5.2　你考慮過……了嗎　90

5.5.3　大數據分析使數據決策崛起　92

【習題】　92

【導讀案例】城市大腦是這樣煉成的　95

6.1　智慧交通駛入快車道　98

6.1.1　導航和感知更精準　99

6.1.2　機場管理更精細　99

6.1.3　數字航道動態監測　100

6.1.4　創新驅動賦能增效　101

6.2　城市大腦建設　102

6.2.1　對城市大腦的認識　102

6.2.2　城市大腦產生根源和背景　103

6.2.3　城市大腦的未來目標　104

6.2.4　城市大腦的重要性　105

6.3　大數據——智慧城市的“核心”　105

6.3.1　城市大腦與數據可視化　106

6.3.2　城市大腦與數據共享　106

6.3.3　大數據驅動城市大腦　106

6.4　城市大數據治理　107

6.4.1　數據治理內容　107

6.4.2　數據治理類型　108

6.4.3　元數據管理　110

6.4.4　數據治理方案　111

6.4.5　數據治理模型　112

6.4.6　數據治理工具　113

【習題】　113

【導讀案例】南丁格爾“極區圖”　116

7.1　數據與可視化　118

7.1.1　數據的可變性　118

7.1.2　數據的不確定性　120

7.1.3　數據的背景信息　120

7.1.4　打造最好的可視化效果　122

7.2　數據與圖形　122

7.2.1　數據與走勢　123

7.2.2　視覺信息的科學解釋　124

7.3　視覺分析　125

7.3.1　熱點圖　125

7.3.2　時間序列圖　126

7.3.3　網絡圖　126

7.3.4　空間數據制圖　127

7.4　實時可視化　128

7.5　數據可視化的運用　128

【作　業】　130

【導讀案例】葡萄酒的品質　133

8.1　什麽是預測分析　137

8.1　1 預測分析的作用　138

8.1.2　數據具有內在預測性　140

8.1.3　定量分析與定性分析　140

8.2　統計分析　141

8.2.1　A/B測試　141

8.2.2　相關性分析　142

8.2.3　回歸性分析　143

8.3　數據挖掘　144

8.4　大數據分析生命周期　145

8.4.1　商業案例評估　145

8.4.2　數據標識　146

8.4.3　數據獲取與過濾　147

8.4.4　數據提取　147

8.4.5　數據驗證與清理　148

8.4.6　數據聚合與表示　149

8.4.7　數據分析　150

8.4.8　數據可視化　150

8.4.9　分析結果的使用　151

【習題】　151

【導讀案例】什麽是開源？　154

9.1　開源技術商業支援　156

9.2　Hadoop基礎　157

9.2.1　Hadoop的由來　157

9.2.2　Hadoop的優勢　158

9.3　分佈式處理　159

9.3.1　分佈式系統　159

9.3.2　分佈式文件系統　160

9.3.3　並行與分佈式數據處理　160

9.3.4　分佈式存儲　161

9.4　NoSQL數據庫　161

9.4.1　主要特徵　162

9.4.2　鍵-值存儲　164

9.4.3　文檔存儲　165

9.4.4　列簇存儲　166

9.4.5　圖存儲　167

9.4.6　與RDBMS的主要區別　168

9.5　NewSQL數據庫　169

【習題】　170

【導讀案例】數字經濟時代雲發展趨勢　173

10.1　與數字化相關的技術　175

10.2　雲計算概述　177

10.2.1　雲計算定義　177

10.2.2　雲基礎設施　179

10.3　計算虛擬化　180

10.4　網絡虛擬化　181

10.4.1　網卡虛擬化　181

10.4.2　虛擬交換機　182

10.4.3　接入層虛擬化　182

10.4.4　覆蓋網絡虛擬化　183

10.4.5　軟件定義網絡（SDN）　183

10.5　存儲虛擬化　184

10.6　雲計算服務形式　185

10.6.1　雲計算的服務層次　185

10.6.2　大數據與雲相輔相成　186

10.6.3　雲的挑戰　187

10.7　大數據與雲計算　187

【習題】　188

【導讀案例】大數據與人工智能的關系　191

11.1　人工智能概述　192

11.2　機器學習基礎　193

11.2.1　機器學習的定義　194

11.2.2　基本結構　195

11.2.3　研究領域　196

11.3　機器學習分類　196

11.3.1　基於學習策略分類　196

11.3.2　基於知識表示形式分類　197

11.3.3　按應用領域分類　198

11.3.4　按學習形式分類　198

11.4　神經網絡與深度學習　201

11.4.1　人工神經網絡的特徵　201

11.4.2　深度學習的意義　202

11.4.3　深度學習的方法　203

11.4.4　深度學習的實現　205

11.5　機器學習與深度學習　207

【習題】　208

【導讀案例】中國《個人信息保護法》施行　211

12.1　大數據的安全問題　213

12.1.1　採集匯聚安全　213

12.1.2　存儲處理安全　214

12.1.3　共享使用安全　215

12.2　大數據的管理維度　216

12.3　大數據的安全體系　216

12.3.1　安全技術體系　217

12.3.2　大數據安全治理　218

12.3.3　大數據安全測評　218

12.3.4　大數據安全運維　218

12.3.5　以數據為中心的安全要素　219

12.4　大數據倫理與法規　220

12.4.1　大數據的倫理問題　220

12.4.2　大數據的倫理規則　221

12.4.3　數據安全法施行　222

【習題】　223

【導讀案例】得數據者得天下　226

13.1　計算思維　229

13.1.1　計算思維的概念　229

13.1.2　計算思維的作用　230

13.1.3　計算思維的特點　232

13.2　數據工程師的社會責任　233

13.2.1　職業化和道德責任　233

13.2.2　ACM職業道德責任　234

13.2.3　軟件工程師道德基礎　235

13.3　數據科學與職業技能　236

13.3.1　數據科學重要技能　236

13.3.2　重要數據科學技能　237

13.3.3　技能因職業角色而異　238

13.3.4　大數據生態系統關鍵角色　240

【習題】　241

【導讀案例】加快建立完善數據產權制度　244

14.1　連接開放數據　245

14.1.1　LOD運動　246

14.1.2　利用開放數據的創業型公司　247

14.2　大數據資產的崛起　248

14.2.1　數據市場的興起　248

14.2.2　不同的商業模式　248

14.2.3　將原創數據變為增值數據　249

14.2.4　大數據催生新的應用程序　249

14.2.5　在大數據“空白”中提取最大價值　250

14.3　大數據發展趨勢　250

14.3.1　信息領域的突破性發展　251

14.3.2　未來發展趨勢的專家預測　252

14.4　大數據技術展望　254

14.4.1　數據管理仍然很難　254

14.4.2　數據孤島繼續激增　254

14.4.3　流媒體分析的突破　255

14.4.4　技術發展帶來技能轉變　255

14.4.5　“快速數據”和“可操作數據”　256

14.4.6　預測分析將數據轉化為預測　256

【習題】　257