大數據平臺架構

1章 大數據平台架構概述 1

1.1 大數據平台的產生與應用 1

1.1.1 大數據平台的產生 1

1.1.2 大數據平台的應用 2

1.2 大數據平台架構 4

1.3 大數據處理系統經典架構 7

1.3.1 什麼是Lambda架構 7

1.3.2 Lambda架構 8

1.3.3 Kappa架構 10

1.3.4 適用場景 10

2章 大數據與Hadoop  12

2.1 Hadoop簡介 12

2.1.1 Hadoop起源 12

2.1.2 Hadoop特點 13

2.1.3 Hadoop版本 13

2.2 Hadoop生態系統 14

2.2.1 Hadoop生態系統概況 15

2.2.2 Hadoop生態系統組成詳解 16

2.3 Hadoop應用案例 21

2.3.1 Hadoop應用案例1：全球大市沃爾瑪 21

2.3.2 Hadoop應用案例2：全球大拍賣網站eBay  21

2.3.3 Hadoop應用案例3：全球大信用卡公司Visa  22

2.4 Hadoop在國內的現狀與未來 22

2.4.1 國內早的Hadoop交流平台：Hadoop in China  22

2.4.2 國內Hadoop發展現狀 22

2.4.3 國內Hadoop前景展望 25

3章 開始使用Hadoop集 26

3.1 Hadoop初探 26

3.1.1 使用Hadoop的先決條件 26

3.1.2 安裝環境 27

3.1.3 安裝並運行Hadoop  29

3.1.4 運行模式 30

3.1.5 Hadoop單機模式 31

3.1.6 Hadoop偽分佈式模式 32

3.1.7 Hadoop完全分佈式模式 36

3.1.8 Hadoop命令手冊解讀 39

3.2 HDFS基礎和權限管理 45

3.2.1 HDFS特點 45

3.2.2 HDFS基本構成 46

3.2.3 HDFS使用原理 47

3.2.4 HDFS權限管理 48

3.3 MapReduce Job開發、運行與管理 49

3.3.1 為什麼需要MapReduce  49

3.3.2 MapReduce 1.X和MapReduce 2.X  49

3.3.3 MapReduce開發 55

3.3.4 MapReduce運行與管理 58

3.4 YARN管理 62

3.4.1 YARN簡介 62

3.4.2 主要組件 64

3.4.3 ResourceManager組件 65

3.4.4 deManager組件 65

3.4.5 ApplicationMaster組件 66

3.4.6 Container組件 66

3.4.7 應用提交過程分析 66

4章 Hadoop集性能優化和維護 69

4.1 集常用配置文件解讀 69

4.1.1 配置文件 70

4.1.2 Hadoop核心配置文件core-site.ml  71

4.2 HDFS配置優化 78

4.2.1 dfsadmin  81

4.2.2 SecondaryNamede  82

4.2.3 Rebalance與機架感知 83

4.2.4 安全模式、fsck、升級與回滾 84

4.2.5 集與環境優化 85

4.3 MapReduce配置優化 86

4.3.1 Job配置 86

4.3.2 其他 91

4.4 YARN配置優化 91

4.4.1 YARN  91

4.4.2 Capacity Scheduler  92

4.4.3 Queue Properties  94

5章 高可用配置 97

5.1 架構 97

5.2 使用NFS共享存儲 98

5.3 Quorum-based存儲+ZooKeeper  99

5.4 QJM  100

5.5 使用ZooKeeper進行自動故障轉移 101

5.6 部署與配置 102

6章 Hadoop其他組件 106

6.1 HBase介紹 106

6.1.1 概述 106

6.1.2 特點 107

6.1.3 架構 108

6.1.4 工作原理 108

6.1.5 安裝與運行 110

6.1.6 基礎作 112

6.2 Hive介紹 113

6.2.1 概述 113

6.2.2 特點 114

6.2.3 數據結構 114

6.2.4 架構 115

6.2.5 工作原理 116

6.2.6 安裝與運行 116

6.3 Pig介紹 118

6.3.1 概述 118

6.3.2 特點 119

6.3.3 運行模式 119

6.3.4 安裝與運行 120

6.4 Sqoop介紹 121

6.4.1 概述 121

6.4.2 版本介紹 122

6.4.3 特點 122

6.4.4 安裝與運行 123

6.4.5 工作原理 123

7章 SQL  125

7.1 SQL介紹 125

7.2 NewSQL介紹 126

7.3 SQL應用場景 127

7.4 能承受海量壓力的鍵值型數據庫：Redis  128

7.5 處理非結構化數據的利器：MongoDB  128

7.6 圖數據庫：Neo4j  130

7.6.1 什麼是圖 130

7.6.2 什麼是圖數據庫 130

7.6.3 Neo4j簡介 130

8章 Spark生態系統 132

8.1 Spark在大數據生態中的定位 132

8.1.1 Spark簡介 132

8.1.2 Spark系統定位 135

8.1.3 基本術語 136

8.2 Spark主要模塊介紹 138

8.2.1 Spark Core  138

8.2.2 Spark SQL  146

8.2.3 Spark Streaming  149

8.2.4 GraphX  150

8.2.5 MLlib  154

8.3 Spark部署模型介紹 156

9章 Spark SQL實戰案例 158

9.1 Spark SQL前世今生 158

9.1.1 大數據背景 158

9.1.2 Spark和Spark SQL的產生 159

9.1.3 版本更迭 159

9.2 RDD、DataFrame及Dataset  160

9.2.1 Spark SQL基礎 161

9.2.2 Dataset、DataFrame、RDD的區別 167

9.3 使用外部數據源 168

9.3.1 讀寫文件 168

9.3.2 .parquet文件 169

9.3.3 ORC文件 174

9.3.4 JSON Dataset  174

9.4 連接Metastore  174

9.4.1 Hive table  174

9.4.2 和不同版本的Hive Metastore交互 175

9.4.3 JDBC連接其他數據庫 176

9.5 自定義函數 178

9.5.1 聚合函數——非標準化類型（UnTyped）UADF開發 178

9.5.2 類型安全的自定義聚合函數——Type-safe的UDAF  180

9.6 Spark SQL與Spark Thrift server  183

9.6.1 分佈式SQL引擎 183

9.6.2 HiveServer2服務 184

9.7 Spark SQL 優化 185

9.7.1 內存緩存數據 185

9.7.2 SQL查詢中的Broadcast Hint  186

9.7.3 持久化RDD，選擇存儲級別 186

9.7.4 數據序列化選擇 188

9.7.5 內存管理 189

9.7.6 其他考慮 192

10章 Spark Streaming  195

10.1 Spark Streaming架構 195

10.2 DStream的特點 196

10.3 DStream的作 197

10.3.1 DStream的輸入作 197

10.3.2 DStream的轉換作 199

10.4 StatefulRDD和windowRDD實戰 201

10.4.1 StatelessRDD無狀態轉化作 201

10.4.2 StatefulRDD有狀態轉化作 206

10.5 Kafka+Spark Steaming實戰 212

10.5.1 搭建Kafka環境 212

10.5.2 代碼編寫 213

10.6 Spark Streaming的優化 220

11章 數據同步收集 224

11.1 從關係數據庫同步數據到HDFS  224

11.1.1 Sqoop  225

11.1.2 DataX  226

11.2 Sqoop的使用 228

11.2.1 安裝 228

11.2.2 MySQL環境驅動配置 229

11.2.3 導入數據 230

11.3 數據清洗 234

12章 任務調度系統設計 239

12.1 初識任務調度 239

12.2 幾種相對成熟的Java調度系統選擇 242

12.2.1 Timer和TimerTask  242

12.2.2 ScheduledThreadPoolEecutor  244

12.2.3 Quartz  245

12.2.4 jcrontab  245

12.2.5 相對成熟的調度工具和開源產品 246

12.3 Quartz的介紹 250

12.3.1 Quartz的儲備知識 251

12.3.2 Quartz的基本使用 251

12.3.3 Trigger的選擇 252

12.3.4 JobStore  255

12.3.5 完整的例子 257

12.4 開源工具XXL-Job  258

12.4.1 搭建項目 258

12.4.2 運行項目 260

12.4.3 項目簡單使用 263

12.4.4 高級使用和使用建議 267

13章 調度系統選擇 274

13.1 常用調度系統及對比 274

13.1.1 Oozie簡介 274

13.1.2 Azkaban簡介 275

13.1.3 Airflow簡介 276

13.1.4 調度系統對比 277

13.2 Airflow基本架構設計 278

13.2.1 設計原則 278

13.2.2 Airflow的服務構成 278

13.2.3 依賴關係的解決 280

13.2.4 工作原理 280

13.3 Airflow任務調度系統的安裝配置及使用 281

13.3.1 安裝 281

13.3.2 配置 282

13.3.3 使用 285

13.4 Airflow自定義DAG的使用 286

14章 數據安全管理 292

14.1 HDFS層面的訪問權限及安全模式 292

14.1.1 HDFS權限管理 292

14.1.2 HDFS安全模式 293

14.1.3 ACL概念介紹 294

14.2 保障敏感數據的安全性 295

14.3 應用層面的安全性保障 297

15章 大數據面臨的挑戰、發展趨勢及典型案例 300

15.1 大數據面臨的問題與挑戰 300

15.1.1 大數據潛在的危害 300

15.1.2 開放與隱私如何平衡 301

15.1.3 大數據人才的缺乏 302

15.2 大數據發展趨勢 302

15.2.1 大數據與電子商務 303

15.2.2 大數據與醫療 303

15.2.3 大數據與人工智能 304

15.2.4 工業大數據云平台 304

15.3 典型大數據平台案例 304

15.3.1 阿里雲數加 304

15.3.2 華為Fusion Insight大數據平台 305

15.3.3 三一重工Witsight工業大數據平台 307