大數據技術及應用教程（第2版）

目錄

第一部分大數據基礎知識

第1章大數據時代3

1.1數據時代3

1.1.1大數據時代的到來3

1.1.2數據、信息與知識的演進3

1.1.3數據6

1.2大數據8

1.2.1什麽是大數據8

1.2.2大數據發展歷史與現狀9

1.2.3大數據產業10

1.3大數據技術基礎10

1.3.1傳統的大數據處理流程10

1.3.2大數據核心技術11

1.3.3大數據技術分類12

1.3.4大數據分析的方法理論14

1.4大數據的社會價值15

1.5大數據的商業應用16

1.5.1商業大數據的類型和價值挖掘方法16

1.5.2大數據的十大商業應用場景17

1.5.3成為“大數據企業”19

1.6大數據應用案例: 《非誠勿擾》男女嘉賓牽手數據分析19

習題與思考題23

第2章大數據系統的基本架構24

2.1大數據系統總體架構24

2.2大數據技術框架25

2.3大數據技術進展27

2.3.1典型的大數據技術棧28

2.3.2大數據技術生態28

2.4大數據應用案例: 在“北上廣”打拼是怎樣一種體驗30

習題與思考題34

〖3〗大數據技術及應用教程(第2版)目錄〖3〗第二部分大數據理論與技術

第3章大數據系統輸入39

3.1大數據採集過程及數據來源39

3.1.1大數據採集來源39

3.1.2大數據採集過程40

3.2大數據採集方法40

3.3大數據導入/預處理42

3.3.1大數據導入/預處理的過程42

3.3.2數據清洗的過程44

3.3.3數據清洗與數據採集技術46

3.3.4基於大數據的數據預處理47

3.4數據集成49

3.4.1數據集成的概念49

3.4.2數據集成面臨的問題49

3.5數據變換49

3.5.1異構數據分析50

3.5.2異構數據交換策略51

3.5.3異構數據交換技術52

3.6大數據應用案例: 電影《爸爸去哪兒》大賣有前兆嗎54

習題與思考題61

第4章大數據系統處理63

4.1雲計算63

4.1.1雲計算系統的體系結構63

4.1.2雲計算的核心技術64

4.1.3雲計算的主要服務形式68

4.1.4大數據平臺的作用69

4.2大數據存儲70

4.2.1海量數據的存儲需求71

4.2.2海量數據存儲技術71

4.2.3雲存儲72

4.2.4NoSQL非結構化數據庫73

4.2.5數據倉庫74

4.3大數據計算模式與處理系統75

4.3.1數據計算75

4.3.2聚類算法77

4.3.3數據集成77

4.3.4數據處理語言81

4.4大數據應用案例: 北京人在哪兒上班和睡覺82

習題與思考題85

第5章大數據系統輸出87

5.1數據的查詢87

5.1.1在常規數據庫查詢結構化數據87

5.1.2大數據時代的數據搜索87

5.1.3數據庫與信息檢索技術的比較89

5.2網絡數據索引與查詢技術90

5.2.1搜索引擎技術概述90

5.2.2Web搜索引擎的工作原理91

5.3大數據索引和查詢技術94

5.3.1大數據索引和查詢94

5.3.2大數據處理索引工具MapReduce94

5.3.3相似性搜索工具96

5.4數據展現與交互98

5.4.1數據可視化98

5.4.2知識圖譜103

5.5大數據應用案例: 上海的房子都被誰買走了105

習題與思考題109

第6章大數據分析與數據挖掘111

6.1大數據分析及其應用111

6.1.1數據處理和分析的發展111

6.1.2大數據分析面對的數據類型113

6.1.3大數據分析與處理方法114

6.1.4數據分析的步驟114

6.1.5大數據分析的應用116

6.2數據挖掘技術119

6.2.1數據挖掘的定義119

6.2.2利用數據挖掘進行數據分析的常用方法120

6.2.3數據挖掘的功能121

6.2.4數據挖掘的流程122

6.2.5數據挖掘的應用124

6.3商業智能與數據分析125

6.3.1商業智能技術輔助決策的發展125

6.3.2商業智能系統架構125

6.3.3商業智能的技術體系125

6.3.4商務智能=數據+分析+決策+利益127

6.4大數據營銷業務模型128

6.4.1大數據對業務模式的影響128

6.4.2大數據營銷的定義與特點129

6.4.3網絡營銷大數據實際操作132

6.4.4大數據營銷方法135

6.5基於社會媒體的分析預測技術139

6.5.1基於空間大數據的社會感知139

6.5.2基於社會媒體的預測技術142

6.5.3基於消費意圖挖掘的預測144

6.5.4基於事件抽取的預測146

6.5.5基於因果分析的預測147

6.6大數據應用案例: 用大數據看風水——以星巴克和海底撈的選址為例150

習題與思考題153

第7章大數據隱私與安全155

7.1大數據面臨的安全問題155

7.2大數據安全與隱私保護的關鍵技術159

7.2.1基於大數據的威脅發現技術159

7.2.2基於大數據的認證技術160

7.2.3基於大數據的數據真實性分析161

7.2.4大數據與“安全即服務”162

7.3大數據安全的防護策略162

7.4大數據應用案例: 數據解讀城市——北京本地人VS外地人163

習題與思考題172

第三部分大數據前沿技術及應用

第8章大數據前沿技術及應用概述175

8.1大數據技術發展趨勢175

8.2機器學習177

8.2.1機器學習的定義和例子177

8.2.2機器學習的範圍179

8.2.3機器學習的算法181

8.2.4機器學習的應用——大數據186

8.3深度學習188

8.3.1深度學習的概念188

8.3.2深度學習的應用190

8.4人工智能191

8.4.1大數據時代的人工智能192

8.4.2人工智能的應用範例192

8.4.3人工智能概念與分類195

8.5大數據應用案例： 神經網絡——阿爾法圍棋（AlphaGo）196

第四部分行 業 案 例

第9章行業案例研究203

9.1銀行業應用203

9.1.1大數據時代: 銀行如何玩轉數據挖掘203

9.1.2中國工商銀行客戶關系管理案例205

9.1.3銀行風險管理208

9.2保險業應用212

9.2.1保險業擁抱大數據時代或帶來顛覆性變革212

9.2.2保險欺詐識別214

9.3證券期貨應用215

9.3.1安徽省使用大數據監管證券期貨215

9.3.2大數據分析挖出基金“老鼠倉”的啟示216

9.4金融行業應用217

9.4.1大數據決定互聯網金融未來217

9.4.2移動大數據在互聯網金融反欺詐領域的應用220

9.5大數據應用案例: 網民睡眠面面觀222

參考文獻224