雲計算與大數據技術(第2版·微課視頻·題庫版)
呂雲翔 鐘巧靈 柏燕崢 許鴻智 張璐 王佳瑋 韓雪婷 仇善召 杜宸洋
- 出版商: 清華大學
- 出版日期: 2023-07-01
- 定價: $419
- 售價: 8.5 折 $356
- 語言: 簡體中文
- ISBN: 7302631646
- ISBN-13: 9787302631644
-
相關分類:
大數據 Big-data
下單後立即進貨 (約4週~6週)
相關主題
商品描述
目錄大綱
資源下載
目錄
第一部分雲計算理論與技術
第1章雲計算概論
1.1什麽是雲計算
1.2雲計算的產生背景
1.3雲計算的發展歷史
1.4如何學好雲計算
1.5小結
習題
第2章雲計算基礎
2.1分佈式計算
2.2雲計算的基本概念
2.3分佈式計算和雲計算的區別與聯系
2.4雲計算的關鍵技術
2.4.1分佈式海量數據存儲
2.4.2虛擬化技術
2.4.3雲管理平臺技術
2.4.4並行編程技術
2.4.5數據管理技術
2.5雲交付模型
2.5.1SaaS
2.5.2PaaS
2.5.3IaaS
2.5.4基本雲交付模型的比較
2.6雲部署模式
2.6.1公有雲
2.6.2私有雲
2.6.3混合雲
2.7雲計算的優勢與挑戰
2.8典型的雲應用
2.8.1雲存儲
2.8.2雲服務
2.8.3雲物聯
2.9雲計算與大數據
2.10小結
習題
第3章雲電腦制
3.1雲基礎設施機制
3.1.1虛擬網絡邊界
3.1.2虛擬服務器
3.1.3雲存儲設備
3.1.4就緒環境
3.2雲管理機制
3.2.1遠程管理系統
3.2.2資源池化管理
3.2.3服務等級協議管理系統
3.2.4計費管理系統
3.2.5資源備份
3.2.6雲監控
3.2.7自動化運維
3.2.8服務模板管理
3.2.9雲CMDB及流程管理
3.2.10服務目錄管理
3.2.11租戶及用戶管理
3.2.12容量規劃及管理
3.3特殊雲機制
3.3.1自動伸縮監聽器
3.3.2負載均衡器
3.3.3故障轉移系統
3.3.4資源集群
3.3.5多設備代理
3.3.6狀態管理數據庫
3.4小結
習題
第4章虛擬化
4.1虛擬化簡介
4.1.1什麽是虛擬化
4.1.2虛擬化的發展歷史
4.1.3虛擬化帶來的好處
4.2虛擬化的分類
4.2.1服務器虛擬化
4.2.2網絡虛擬化
4.2.3存儲虛擬化
4.2.4應用虛擬化
4.2.5技術比較
4.3系統虛擬化
4.4虛擬化與雲計算
4.5開源技術
4.5.1Xen
4.5.2KVM
4.5.3OpenVZ
4.6虛擬化未來的發展趨勢
4.7小結
習題
第5章雲計算的應用
5.1概述
5.2亞馬遜公司的彈性計算雲
5.2.1開放的服務
5.2.2靈活的工作模式
5.2.3帶來的好處
5.3Microsoft Azure
5.3.1簡介
5.3.2Microsoft Azure的架構
5.3.3Microsoft Azure服務平臺
5.3.4開發步驟
5.4谷歌公司的雲計算平臺與應用
5.4.1MapReduce分佈式編程環境
5.4.2分佈式大規模數據庫管理系統BigTable
5.4.3谷歌的雲應用
5.5阿裡雲
5.5.1簡介
5.5.2阿裡雲的主要產品
5.6IBM公司的藍雲雲計算平臺
5.6.1藍雲雲計算平臺中的虛擬化
5.6.2藍雲雲計算平臺中的存儲結構
5.7清華大學的透明計算平臺
5.8小結
習題
第二部分大數據理論與技術
第6章大數據概念和發展背景
6.1什麽是大數據
6.2大數據的特點
6.3大數據的發展
6.4大數據的應用
6.5小結
習題
第7章大數據系統架構概述
7.1總體架構概述
7.1.1總體架構設計原則
7.1.2總體架構參考模型
7.2運行架構概述
7.2.1物理架構
7.2.2集成架構
7.2.3安全架構
7.3主流大數據系統廠商
7.3.1Cloudera
7.3.2Hortonworks
7.3.3亞馬遜
7.3.4谷歌
7.3.5微軟
7.3.6阿裡雲數加平臺
7.4小結
習題
第8章分佈式通信與協同
8.1數據編碼傳輸
8.1.1數據編碼概述
8.1.2LZSS算法
8.1.3Snappy壓縮庫
8.2分佈式通信系統
8.2.1遠程過程調用
8.2.2消息隊列
8.2.3應用層多播通信
8.2.4Hadoop IPC應用
8.3分佈式協同系統
8.3.1Chubby鎖服務
8.3.2ZooKeeper
8.3.3ZooKeeper在HDFS高可用中使用
8.4小結
習題
第9章大數據存儲
9.1大數據存儲技術的發展
9.2海量數據存儲的關鍵技術
9.2.1數據分片與路由
9.2.2數據復制與一致性
9.3重要數據結構和算法
9.3.1Bloom Filter
9.3.2LSM樹
9.3.3Merkle哈希樹
9.3.4Cuckoo哈希
9.4分佈式文件系統
9.4.1文件存儲格式
9.4.2GFS
9.4.3HDFS
9.5分佈式數據庫NoSQL
9.5.1NoSQL數據庫概述
9.5.2KV數據庫
9.5.3列式數據庫
9.5.4圖數據庫
9.5.5文檔數據庫
9.6HBase數據庫搭建與使用
9.6.1HBase偽分佈式運行
9.6.2HBase分佈式運行
9.7大數據存儲技術的趨勢
9.8小結
習題
第10章分佈式處理
10.1CPU多核和POSIX Thread
10.2MPI並行計算框架
10.3Hadoop MapReduce
10.4Spark
10.5數據處理技術的發展
10.6小結
習題
第11章Hadoop MapReduce解析
11.1Hadoop MapReduce架構
11.2Hadoop MapReduce與高性能計算、網格計算的區別
11.3MapReduce工作機制
11.3.1Map
11.3.2Reduce
11.3.3Combine
11.3.4Shuffle
11.3.5Speculative Task
11.3.6任務容錯
11.4應用案例
11.4.1WordCount
11.4.2WordMean
11.4.3Grep
11.5MapReduce的缺陷與不足
11.6小結
習題
第12章Spark解析
12.1Spark RDD
12.2Spark與MapReduce對比
12.3Spark工作機制
12.3.1DAG工作圖
12.3.2Partition
12.3.3Lineage容錯方法
12.3.4內存管理
12.3.5數據持久化
12.4數據讀取
12.4.1HDFS
12.4.2Amazon S3
12.4.3HBase
12.5應用案例
12.5.1日誌挖掘
12.5.2判別西瓜好壞
12.6Spark的發展趨勢
12.7小結
習題
第13章流計算
13.1流計算概述
13.2流計算與批處理系統對比
13.3Storm流計算系統
13.4Samza流計算系統
13.5集群日誌文件實時分析
13.6流計算的發展趨勢
13.7小結
習題
第14章集群資源管理與調度
14.1集群資源統一管理系統
14.1.1集群資源管理概述
14.1.2Apache YARN
14.1.3Apache Mesos
14.1.4Google Omega
14.2資源管理模型
14.2.1基於slot的資源表示模型
14.2.2基於最大最小公平原則的資源分配模型
14.3資源調度策略
14.3.1調度策略概述
14.3.2Capacity Scheduler調度
14.3.3Fair Scheduler調度
14.4YARN上運行計算框架
14.4.1MapReduce on YARN
14.4.2Spark on YARN
14.4.3YARN程序設計
14.5小結
習題
第15章機器學習
15.1機器學習概述
15.1.1關鍵術語
15.1.2機器學習的分類
15.1.3機器學習的模型構造過程
15.2監督學習
15.2.1線性回歸
15.2.2邏輯斯特回歸
15.2.3最小近鄰法
15.2.4線性判別分析法
15.2.5樸素貝葉斯分類算法
15.2.6決策樹分類算法
15.2.7支持向量機分類算法
15.3非監督學習
15.3.1劃分式聚類方法
15.3.2層次化聚類方法
15.3.3基於密度的聚類方法
15.4強化學習
15.4.1強化學習VS監督學習和非監督學習
15.4.2強化學習問題描述
15.4.3強化學習問題分類
15.5神經網絡和深度學習
15.5.1感知器模型
15.5.2前饋神經網絡
15.5.3捲積神經網絡
15.5.4其他類型結構的神經網絡
15.6案例: 銀行貸款用戶篩選
15.7小結
習題
第三部分綜 合 實 踐
第16章實驗: AWS
16.1實驗一: 創建一個EC2實例
16.2實驗二: 創建一個彈性高可用的博客
16.3實驗三: 使用S3來實現靜態網站
16.4實驗四: AWS關系型數據庫入門
16.5實驗五: AWS大數據系列平臺
16.6實驗六: AWS計算存儲網絡基礎入門
16.7實驗七: AWS上的Kubernetes創建、管理及DevOps
第17章實驗: 阿裡雲
17.1實驗一: 創建阿裡雲服務器
17.2實驗二: 配置SSH遠程連接
17.3實驗三: 安裝Python環境
17.4實驗四: 部署並啟動Django服務
第18章實驗: Docker
18.1Docker的核心概念
18.2實驗一: Docker的安裝
18.3實驗二: 容器操作
18.4實驗三: 搭建一個Docker應用棧
18.5實驗四: 實現私有雲
第19章實驗: Hadoop、HDFS、MapReduce、Spark
19.1Hadoop
19.1.1實驗一: 構建虛擬機網絡
19.1.2實驗二: 大數據環境安裝
19.2HDFS
19.2.1實驗一: 文件創建與讀/寫
19.2.2實驗二: 文件上傳
19.2.3實驗三: 文件下載
19.2.4實驗四: 使用字符流讀取數據
19.2.5實驗五: 刪除文件
19.2.6實驗六: 刪除文件夾
19.2.7實驗七: 自定義數據輸入流
19.3MapReduce
19.3.1實驗一: 合並去重
19.3.2實驗二: PageRank算法
19.4Spark
19.4.1實驗一: 安裝Spark
19.4.2實驗二: 使用Spark Shell編寫代碼
19.4.3實驗三: 使用Java編寫Spark應用程序
第20章案例: 基於Docker的雲計算服務平臺搭建
20.1方案介紹
20.1.1雲平臺總體架構
20.1.2網絡架構
20.1.3集群架構
20.1.4性能監控
20.1.5Docker架構
20.1.6鏡像架構
20.2系統分析
20.2.1優點
20.2.2局限性
20.2.3應用場景
20.3門戶界面
20.3.1註冊
20.3.2登錄
20.3.3用戶主界面
20.3.4管理員界面
20.4服務器Docker配置
第21章案例: 使用Spark實現數據統計分析及性能優化
21.1系統架構
21.1.1總體方案
21.1.2詳細設計
21.1.3優化設計
21.2具體實現
21.2.1數據獲取
21.2.2數據可視化
21.3性能優化
21.3.1讀取優化
21.3.2查詢優化
21.3.3Spark參數級優化
第22章實驗: 基於OpenStack和Hadoop的大數據分析
22.1實驗一: OpenStack安裝準備
22.2實驗二: OpenStack在線安裝
22.3實驗三: 初始化OpenStack中的環境
22.4實驗四: 搭建OpenStack中的虛擬機
22.5實驗五: 大數據分析案例
參考文獻