分散式運算、雲端運算與大數據 第2版

目錄
前言
第1章　分散式計算概論　1
1.1　分散式計算的概念　1
1.1.1　定義　1
1.1.2　優缺點　1
1.2　分散式計算模式　2
1.2.1　單機計算　3
1.2.2　並行計算　3
1.2.3　網路計算　4
1.2.4　對等計算　4
1.2.5　集群計算　5
1.2.6　網格計算　5
1.2.7　雲端運算　6
1.2.8　霧計算　6
1.2.9　邊緣運算　7
1.2.10　移動邊緣運算　8
1.2.11　行動雲端運算　9
1.2.12　大數據計算　10
1.2.13　無伺服器計算　11
1.3　分散式基礎問題與理論　12
1.3.1　拜占庭將軍問題　12
1.3.2　Paxos演算法　14
1.3.3　ACID原則　14
1.3.4　CAP定理　15
1.3.5　BASE理論　17
1.4　 經典分散式計算系統　18
1.4.1　 WWW　18
1.4.2　 SETI@home　19
1.4.3　BOINC　19
1.4.4　OpenStack　20
1.4.5　Hadoop　21
1.4.6　Spark　24
1.4.7　Kubernetes　25
1.4.8　其他分散式計算系統　26
習題　28
參考文獻　28
第2章　分散式計算程式設計基礎　30
2.1　進程間通訊　30
2.1.1　進程間通訊的概念　30
2.1.2　IPC原型與範例　31
2.2　Socket程式設計　32
2.2.1　Socket概述　32
2.2.2　流式Socket 程式設計　33
2.3　RMI程式設計　39
2.3.1　RMI概述　39
2.3.2　RMI基本分散式應用　40
2.4　P2P編程　48
習題　56
參考文獻　57
第3章?Web原理與應用開發　58
3.1?HTTP　58
3.1.1?WWW服務　58
3.1.2?TCP/IP　58
3.1.3?HTTP的原理　59
3.2?Web開發技術簡介　63
3.2.1?HTML　63
3.2.2?JavaScript　66
3.2.3?CSS　70
3.2.4?XML　72
3.2.5?動態網頁技術　78
3.3?CGI　82
3.3.1?CGI的原理　82
3.3.2?Web表單　84
3.4?Web會話　86
3.4.1?Cookie機制　 87
3.4.2?Session機制　92
3.5?Applet　97
3.6?Servlet　101
3.7?SSH框架與應用開發　106
3.7.1?SSH簡介　106
3.7.2?Struts　107
3.7.3?Spring　112
3.7.4?Hibernate　114
3.7.5　基於SSH的應用開發案例　116
習題　127
參考文獻　131
第4章　雲端運算原理與技術　132
4.1　雲端運算概論　132
4.1.1　雲端運算的起源　132
4.1.2　雲端運算的概念與定義　133
4.1.3　雲端運算的分類　134
4.2　雲端運算關鍵技術　137
4.2.1　體系結構　137
4.2.2　資料儲存　137
4.2.3　計算模型　137
4.2.4　資源調度　138
4.2.5　虛擬化　148
4.3　谷歌雲端運算　149
4.3.1　GFS　149
4.3.2　MapReduce　150
4.3.3　BigTable　151
4.3.4　Dremel　154
4.4　亞馬遜雲端運算　157
4.4.1　亞馬遜雲端平台儲存架構　157
4.4.2　EC2、S3、SimpleDB等組件　159
4.5　阿里雲端運算　164
4.5.1　阿里雲雲平台　164
4.5.2　飛天分散式作業系統　164
4.6　華為雲端運算　167
4.6.1　華為雲端公有架構　167
4.6.2　華為雲擎天架構　170
習題　172
參考文獻　173
第5章　雲端運算程式實作　175
5.1　CloudSim體系結構與API　175
5.1.1　CloudSim體系結構　175
5.1.2　CloudSim 3.0 API　181
5.2　CloudSim環境建置與使用方法　184
5.2.1　環境配置　184
5.2.2　運行範例程式　184
5.3　CloudSim擴充程式設計　187
5.3.1　調度策略的擴展　188
5.3.2　模擬核心程式碼　190
5.3.3　平台重編譯　194
5.4　CloudSim的程式設計實踐　195
5.4.1　CloudSim任務調度程式設計　195
5.4.2　CloudSim網路程式設計　200
5.4.3　CloudSim能耗編程　203
5.4.4　CloudSim容器編程　214
5.4.5　CloudSimEx　218
5.5　OpenStack程式實作　219
5.5.1　OpenStack體系結構　219
5.5.2　OpenStack程式設計範例　221
習題　228
參考文獻　229
第6章　雲端儲存技術　231
6.1　儲存基礎知識　231
6.1.1　儲存組網形態　231
6.1.2　RAID　235
6.1.3　磁碟熱備　242
6.1.4　快照　243
6.1.5　資料分級儲存的概念　244
6.2　雲端儲存的概念與技術原理　245
6.2.1　分散式儲存　245
6.2.2　儲存虛擬化　252
6.3　對象儲存技術　255
6.3.1　物件儲存架構　255
6.3.2　傳統區塊儲存與物件儲存　256
6.3.3　對象　256
6.3.4　物件儲存系統的組成　258
習題　260
參考文獻　260
第7章　雲原生技術　261
7.1　雲原生的概念與架構　261
7.1.1　雲原生的概念　261
7.1.2　雲原生的架構　261
7.2　雲端原生關鍵技術　262
7.2.1　微服務　262
7.2.2　容器　266
7.2.3　Kubernetes　269
7.2.4　服務網格　272
7.3　雲端原生應用程式開發　274
7.3.1　實例概述　274
7.3.2　系統設計　274
7.3.3　系統實現　279
7.3.4　Spring Cloud的使用實例　282
7.3.5　持續整合與部署　288
7.4　雲原生技術特色　293
7.4.1　雲原生應用程式的12要素　293
7.4.2　雲原生應用程式與傳統應用的差異　297
習題　300
參考文獻　300
第8章　雲端運算安全技術與標準　302
8.1　雲端運算安全的概念與現況分析　302
8.1.1　雲端運算安全的概念　302
8.1.2　雲端運算安全現況分析　303
8.2　雲端運算安全技術　306
8.2.1　身分認證技術　307
8.2.2　門禁控制技術　309
8.2.3　網路隔離技術　311
8.2.4　遠端存取技術　312
8.2.5　端點防護技術　314
8.2.6　資料加密技術　314
8.3　雲端運算技術標準　315
8.3.1　國際雲端運算組織及技術標準　315
8.3.2　國內雲端運算技術標準　317
習題　321
參考文獻　321
第9章　大數據技術與程式設計　323
9.1　大數據產生的背景與大數據概述　323
9.1.1　大數據產生的背景　323
9.1.2　大數據的定義　323
9.1.3　大數據的5V特徵　324
9.1.4　大數據發展趨勢　325
9.2　大數據處理關鍵技術　326
9.2.1　大數據採集　326
9.2.2　大資料預處理　327
9.2.3　大資料儲存及管理　330
9.2.4　大資料分析及挖掘　331
9.2.5　大數據展現及應用　332
9.3　大數據計算模式　335
9.3.1　MapReduce　335
9.3.2　Spark　340
9.3.3　流式計算　347
9.4　基於Hadoop的大數據程式設計實踐　353
9.4.1　Hadoop環境的搭建　353
9.4.2　基於MapReduce的程式實例（HDFS）　358
9.4.3　基於MapReduce的程式實例（HBase）　364
9.5　基於Spark的大數據程式設計實踐　368
9.5.1　基於Spark的程式實例　368
9.5.2　Spark的RDD程式實作　373
習題　377
參考文獻　377
第10章　即時醫療大數據分析案例　378
10.1　案例背景與需求概述　378
10.1.1　背景介紹　378
10.1.2　基本需求　378
10.2　設計方案　379
10.2.1　ETL　380
10.2.2　非格式化儲存　380
10.2.3　流處理　380
10.2.4　訓練模型與結果預測　381
10.3　環境準備　381
10.3.1　節點規劃　381
10.3.2　軟體選用　382
10.4　實作方法　383
10.4.1　使用Kettle、Sqoop等ETL工具將資料導入HDFS　383
10.4.2　基於Spark Streaming開發Kafka連接器組件　390
10.4.3　基於Spark MLlib開發資料探勘組件　396
10.5　不足與擴展　400
習題　401
參考文獻　401
第11章　保險大數據分析案例　402
11.1　案例背景與需求概述　402
11.1.1　背景介紹　402
11.1.2　基本需求　402
11.2　設計方案　405
11.2.1　基於GraphX的平行家譜挖掘演算法　405
11.2.2　基於分片技術的隨機森林演算法　408
11.2.3　基於記憶體計算的FP-Growth關聯規則挖掘演算法　410
11.3　環境準備　411
11.4　實作方法　416
11.4.1　基於GraphX的平行家譜挖掘　417
11.4.2　基於分片技術的隨機森林模型使用者推薦　419
11.4.3　基於FP-Growth關聯規則挖掘演算法的迴歸檢定　425
11.4.4　結果可視化　430
11.5　不足與擴展　435
習題　436
參考文獻　437