Hadoop大數據平臺技術與應用

孫風棟，大連東軟信息學院教授，主講Oracle數據庫管理與開發、數據庫原理與應用、大數據技術等課程，研究方向是數據庫系統及其應用、數據挖掘、大數據應用等。

第1章大數據技術與Hadoop概述
1．1大數據技術概述
1．1．1大數據技術發展
1．1．2大數據基本特徵
1．1．3大數據關鍵技術
1．1．4大數據技術應用
1．2 Hadoop概述
1．2．1 Hadoop簡介
1．2．2 Hadoop核心組件
1．2．3 Hadoop生態圈組件
1．2．4 Hadoop架構
本章小結
思考題與習題

第2章Hadoop平台和開發環境的安裝與配置
2．1 Hadoop平台安裝準備
2．1．1 VMware安裝與配置
2．1．2 Ubuntu安裝與配置
2．1．3網絡配置
2．2 Hadoop偽分佈式集群安裝與配置
2 ．2．1創建用戶hadoop
2．2．2修改主機名與域名映射
2．2．3 SSH免密碼登錄設置
2．2．4安裝Java環境
2．2．5偽分佈式集群安裝與配置
2． 3 Eclipse開發環境安裝與配置
2．3．1 Maven安裝與配置
2．3．2 Eclipse安裝與配置
2．3．3 Eclipse中Maven設置
本章小結
思考題與習題

第3章分佈式文件系統
3．1 HDFS概述
3．1．1 HDFS架構
3．1．2 HDFS設計目標
3．1．3 HDFS高可用架構
3．1．4 HDFS架構的優劣性
3．2 HDFS工作機制
3．2．1 HDFS數據存儲策略
3．2．2 HDFS數據讀取策略
3．2．3 HDFS數據錯誤與恢復
3．2．4 HDFS數據讀寫過程
3．3 HDFS Shell管理
3． 3．1 HDFS文件操作命令
3．3．2 HDFS系統管理命令
3．3．3 HDFS Shell操作實例
3．4 HDFS Java開發
3．4．1 HDFS Java程序設計基礎
3．4．2 HDFS程序設計流程
3．4．3常用HDFS Java API
3．4．4 HDFS開發實例
本章小結
思考題與習題

第4章MapReduce
4．1 MapReduce概述
4．1．1 MapReduce簡介
4．1．2 MapReduce計算模型
4．1 ．3 MapReduce編程模型
4．2 MapReduce架構
4．2．1 MapReduce V1架構
4．2．2 MapReduce V2架構
4．3 MapReduce編程組件
4．3．1 MapReduce編程流程
4．3．2 InputFormat
4．3．3 InputSplit
4．3．4 RecordReader
4．3．5 Mapper
4．3． 6 Shuffle
4．3．7 Reducer
4．3．8 OutputFormat
4．3．9序列化與反序列化
4．4 WordCount程序設計實例
4．4．1準備輸入文件
4．4．2創建Maven工程
4． 4．3配置Maven工程
4．4．4程序設計
4．4．5工程打包、部署與運行
4．4．6定制WordCount程序設計
4．5 MapReduce開發典型案例
4．5．1數據去重
4． 5．2數據排序
4．5．3計算平均值
4．6網站瀏覽量統計分析
本章小結
思考題與習題

第5章分佈式數據庫HBase
5．1 HBase概述
5．1．1 HBase簡介
5．1． 2 HBase特性
5．1．3 HBase適用場景
5．2 HBase數據模型
5．2．1 HBase基本概念
5．2．2概念視圖
5．2．3物理視圖
5．3 HBase體系結構
5．4 HBase安裝與配置
5．4．1 HBase運行模式
5 ．4．2 HBase安裝準備
5．4．3 HBase偽分佈式集群安裝與配置
5．5 HBase Shell
5．5．1 HBase Shell簡介
5．5．2 General命令組
5．5．3 DDL命令組
5 ．5．4 DML命令組
5．5．5查詢過濾器
5．6 HBase程序設計
5．6．1 HBase Java API簡介
5．6．2 Hbase表管理程序設計
5．6．3 HBase數據操作程序設計
5．6．4 HBase Filter API
5．7 HBase與MapReduce融合
5．7．1 HBase與MapReduce融合概述
5．7．2 HBase MapReduce Java API
5．7．3 HBase MapReduce程序設計
5．8 HBase學生成績分析
5．8．1任務描述
5．8．2導入原始數據到HBase
5．8．3統計學生平均成績
本章小結
思考題與習題

第6章數據倉庫Hive
6．1 Hive基礎
6．1．1 Hive簡介
6．1．2 Hive系統架構
6．1．3 Hive工作原理
6．1．4 Hive數據存儲模型
6 ．1．5 Hive數據類型
6．1．6 Hive數據存儲格式
6．2 Hive安裝與配置
6．2．1安裝MySQL
6．2．2 Hive安裝與配置過程
6．3 Beeline
6．3．1 Beeline簡介
6．3．2 Beeline基本操作
6．4 Hive DDL操作
6．4．1 Hive數據庫管理
6．4．2 Hive表管理
6．4．3視圖管理
6．5 Hive DML操作
6．6 Hive數據查詢
6．6．1 Hive SELECT基本語法
6．6．2無條件查詢
6．6．3有條件查詢
6．6．4查詢統計
6．6．5分組查詢
6．6．6子查詢
6．6．7連接查詢
6．6．8排序
6．6．9合併操作
6．6．10複合類型數據查詢
6．7 Hive內置函數
6．7．1數學函數
6．7．2集合函數
6．7．3類型轉換函數
6．7．4日期函數
6．7．5條件函數
6．7．6字符串函數
6．7．7內置聚合函數
6．7．8內置表生成函數
6．7．9窗口函數
6．7．10其他函數
6．7．11詞頻統計實例
6．8 Hive高級應用
6．8．1用戶自定義函數
6．8．2 Hive與HBase整合
6．9 Hive程序設計
本章小結
思考題與習題

第7章數據遷移工具Sqoop
7．1 Sqoop概述
7．2 Sqoop安裝與配置
7．3 Sqoop常用命令
7．4 Sqoop數據導入
7．4．1 Sqoop命令參數
7．4．2數據從MySQL導入HDFS
7．4．3數據從MySQL導入Hive
7．4．4數據從MySQL導入HBase
7．5 Sqoop數據導出
7．5．1 Sqoop export命令參數
7．5．2從HDFS導出數據到MySQL
7．5．3從Hive導出數據到MySQL
7．5．4中文亂碼問題
本章小結
思考題與習題

第8章數據採集工具Flume
8．1 Flume概述
8．1．1 Flume簡介
8．1．2 Flume架構
8．2 Flume安裝與配置
8．3 Flume組件
8．3．1 Source組件
8．3．2 Channel組件
8．3．3 Sink組件
8．3．4 Interceptor組件
8．3．5 Selector組件
8．3．6 Sink Processor
8．4 Flume數據採集案例與實施
8．4．1實時採集本地文件到HDFS
8．4．2多源與多目的地數據採集
本章小結
思考題與習題

第9章網站日誌分析
9．1需求分析
9．1．1網站日誌分析的必要性
9．1．2網站日誌數據說明
9．1．3網站日誌分析KPI指標
9．2方案設計
9．3數據採集
9．4數據預處理
9．5數據分析
9．6數據分析結果導出及可視化
本章小結
思考題與習題

第10章Hadoop與HBase分佈式集群安裝與配置
10．1 Hadoop分佈式集群安裝與配置
10．2 HBase分佈式集群安裝與配置
本章小結
思考題與習題
參考文獻