大數據平臺運維（初級）

紫光股份旗下新華三集團作為數字化解決方案領導者，致力於成為客戶業務創新，數字化轉型最可信賴的合作夥伴。
新華三擁有計算，存儲，網絡，5G，安全等全方位的數字化基礎設施整體能力，
提供雲計算，大數據，人工智能，工業互聯網，信息安全，智能聯接，新安防，
邊緣計算等內部的一站式數字化解決方案，以及端到端的技術服務。
同時，新華三也是HPE？服務器，存儲和技術服務的中國**提供商。

目錄
第一部分大數據平台安裝
第1章平台操作系統的使用3
1．1 Linux操作系統概述3
1．1．1 Linux操作系統的起源3
1．1．2 Linux操作系統的特點4
1．1． 3 Linux操作系統的應用場景5
1．1．4 Linux版本6
1．2 Linux常用命令7
1．2．1文件與目錄操作7
1．2．2用戶操作9
1．2．3文本操作10
1 ．2．4系統操作11
1．3 Linux操作系統用戶信息14
1．3．1用戶和組14
1．3．2文件類型和權限15
1．4本章小結17

第2章Hadoop平台安裝18
2． 1 Hadoop概述18
2．1．1 Hadoop的起源18
2．1．2 Hadoop的生態圈19
2．1．3 Hadoop的版本21
2．1．4 Hadoop的優點22
2．1．5 Hadoop的應用場景22
2．1．6 Hadoop的運行模式23
2．2 Hadoop的核心組件23
2．2．1 HDFS 23
2．2．2 MapReduce 26
2．2．3 YARN 28
2．3平台操作系統環境設置29
2．3．1配置Linux操作系統基礎環境30
2．3．2安裝Java環境32
2．4安裝Hadoop軟件35
2．4．1獲取Hadoop安裝包35
2．4．2安裝Hadoop軟件35
2．4．3修改目錄所有者和所有者組36
2．5安裝單機版Hadoop系統36
2．5．1配置Hadoop配置文件37
2．5． 2測試Hadoop本地模式的運行37
2．6本章小結38

第3章平台基礎環境配置39
3．1集群網絡連接39
3．1．1實驗環境下的大數據Hadoop平台集群網絡39
3．1．2生產環境下的大數據Hadoop平台集群網絡40
3．2 SSH無密碼登錄41
3．2．1 SSH簡介41
3．2．2 SSH特點介紹41
3．2．3非對稱加密機制42
3．2． 4 SSH安全機制42
3．2．5 SSH基於口令的安全驗證43
3．2．6基於密鑰的安全驗證43
3．3集群網絡配置44
3．3．1實驗環境下的集群網絡配置44
3．3．2生產環境下的集群網絡配置44
3．4 SSH無密碼驗證配置47
3．4．1生成SSH密鑰47
3．4．2交換SSH密鑰49
3．4．3驗證SSH無密碼登錄50
3．5本章小結51

第二部分大數據平台配置
第4章Hadoop文件參數配置55
4．1 Hadoop配置文件說明55
4．1．1 Hadoop環境配置55
4．1．2 Hadoop守護進程環境配置56
4．1．3 Hadoop配置參數格式57
4．1．4獲得Hadoop集群全部配置信息57
4．2在master節點上安裝Hadoop 58
4．3配置hdfs-site．xml文件參數58
4．4配置core-site．xml文件參數59
4．5配置mapred-site．xml 60
4．6配置yarn-site．xml 61
4．7 Hadoop其他相關配置62
4．8本章小結63

第5章Hadoop集群運行64
5．1 Hadoop運行狀態64
5．2配置Hadoop格式化68
5．3查看Java進程69
5．4查看HDFS的報告70
5．5使用瀏覽器查看節點狀態71
5．6停止Hadoop 74
5．7本章小結74

第三部分大數據平台組件的安裝與配置
第6章Hive組件的安裝與配置77
6．1 Hive相關知識77
6．2 Hive組件架構78
6．3下載和解壓安裝文件79
6．3．1基礎環境和安裝準備79
6．3．2解壓安裝文件79
6．4設置Hive環境80
6．4．1卸載MariaDB數據庫80
6．4．2安裝MySQL數據庫80
6．4．3配置Hive組件85
6．5初始化Hive元數據87
6．6啟動Hive 89
6．7本章小結89

第7章HBase組件的安裝與配置90
7．1 HBase相關知識90
7．2 HBase功能應用91
7．3 HBase組件設置92
7．4 HBase安裝與配置94
7．5 HBase常用Shell命令98
7．6本章小結101

第8章ZooKeeper組件的安裝與配置102
8．1 ZooKeeper相關知識102
8．1．1 ZooKeeper的重要概念103
8．1．2 ZooKeeper的特點104
8．2 ZooKeeper選項設置104
8．3 ZooKeeper角色選舉105
8．4下載和安裝ZooKeeper 105
8．5 ZooKeeper的配置選項106
8．5．1 master節點配置106
8． 5．2 slave節點配置106
8．5．3系統環境變量配置106
8．6啟動ZooKeeper 107
8．7本章小結107

第9章Sqoop組件的安裝與配置108
9．1 Sqoop相關知識108
9．2 Sqoop的功能應用109
9．2．1 Sqoop架構109
9．2．2 Sqoop導入原理109
9．2．3 Sqoop導出原理110
9．3下載和解壓Sqoop 112
9．4配置Sqoop環境112
9．5啟動Sqoop 113
9．6 Sqoop模板命令114
9．7 Sqoop組件應用116
9．8本章小結117

第10章Flume組件的安裝與配置118
10．1 Flume相關知識118
10．2 Flume功能應用119
10．2．1 Flume功能119
10．2．2 Flume結構119
10．3 Flume組件設置119
10．4下載和解壓Flume 120
10．5 Flume組件部署121
10．6使用Flume發送和接收信息121
10．7本章小結122

第四部分大數據平台實施
第11章大數據平台實施方案的理解125
11．1系統實施方案概述125
11．1．1方案概述125
11．1．2項目實施思路126
11．1．3項目實施流程126
11． 2確認客戶需求127
11．2．1確認需求分析準備127
11．2．2進行確認需求調研127
11．2．3系統詳細需求分析129
11．3編寫大數據平台實施方案129
11．3．1大數據平台規劃129
11．3．2大數據平台部署131
11．3．3項目實施計劃131
11．3．4項目實施人員132
11．4執行實施方案過程133
11．4．1實施內容133
11 ．4．2實施流程133
11．5系統測試133
11．6項目驗收135
11．7本章小結135

第12章客戶培訓方案的製定136
12．1培訓方案概述136
12．2客戶培訓方案要點137
12．2．1培訓目標137
12．2．2培訓對象138
12．2．3培訓形式139
12． 2．4培訓內容139
12．2．5培訓計劃140
12．3文檔製作工具140
12．3．1製作甘特圖140
12．3．2製作WBS圖143
12．4大數據平台操作演示145
12 ．4．1演示內容選取145
12．4．2演示的步驟146
12．4．3演示的技巧147
12．4．4演示注意事項148
12．5本章小結148

第五部分大數據平台監控
第13章大數據平台監控命令151
13．1大數據平台運行狀態151
13．1．1大數據平台主機系統狀態152
13．1．2大數據平台Hadoop狀態153
13．2大數據平台資源狀態153
13． 2．1 YARN資源狀態154
13．2．2 HDFS資源狀態154
13．2．3 HBase狀態155
13．2．4 Hive狀態155
13．3大數據平台服務狀態156
13．3．1 ZooKeeper服務狀態156
13．3．2 Sqoop服務狀態157
13．3．3 Flume服務狀態157
13．4通過命令監控大數據平台的運行狀態157
13 ．4．1通過命令查看大數據平台狀態157
13．4．2通過命令查看Hadoop狀態165
13．5通過命令監控大數據平台的資源狀態166
13．5．1通過命令查看YARN狀態166
13．5 ．2通過命令查看HDFS狀態167
13．5．3通過命令查看HBase狀態168
13．5．4通過命令查看Hive狀態171
13．6通過命令監控大數據平台的服務狀態174
13．6．1通過命令查看ZooKeeper狀態174
13．6．2通過命令查看Sqoop狀態178
13．6．3通過命令查看Flume狀態180
13．7本章小結181

第14章大數據平台監控界面和報表182
14．1大數據平台常用組件182
14．2通過界面監控大數據平台的運行狀態183
14．2．1通過界面查看大數據平台狀態183
14．2．2通過界面查看Hadoop狀態183
14．3通過界面監控大數據平台的資源狀態185
14．3．1通過界面監控YARN的狀態185
14．3．2通過界面監控HDFS狀態186
14 ．3．3通過界面監控HBase的狀態188
14．3．4通過界面監控Hive的狀態189
14．4本章小結193

第15章日誌和告警信息監控194
15．1大數據平台日誌信息194
15．1 ．1 Hadoop日誌簡介194
15．1．2大數據平台主機日誌信息195
15．2大數據平台告警信息196
15．3查看大數據平台日誌信息196
15．3．1查看大數據平台主機日誌196
15 ．3．2在Hadoop MapReduce Jobs中查看日誌信息203
15．3．3通過用戶界面查看Hadoop日誌205
15．3．4通過命令查看Hadoop日誌207
15．3．5查看HBase日誌209
15．3．6查看Hive日誌210
15．4查看大數據平台告警信息211
15．4．1查看大數據平台主機告警信息211
15．4．2查看Hadoop告警信息213
15．4．3查看HBase告警信息215
15．4．4查看Hive告警信息218
15．5本章小結220

第六部分大數據運維綜合實戰案例
第16章大數據平台及組件的安裝與部署223
16．1項目背景223
16．2項目實施目標223
16．3 Hadoop全分佈部署224
16．3．1 Hadoop全分佈部署流程224
16．3．2 Hadoop全分佈部署要求224
16．3．3 Hadoop部署操作步驟225
16．3．4 Hadoop集群驗證226
16．4 Sqoop組件部署228
16．4．1 Sqoop組件部署流程228
16．4．2 Sqoop組件部署要求228
16．4．3 Sqoop部署操作步驟229
16．4．4 Sqoop數據傳輸驗證229
16．5 Hive組件部署231
16．5．1 Hive組件部署流程231
16． 5．2 Hive組件部署要求231
16．5．3 Hive部署操作步驟232
16．5．4 Hive組件驗證232
16．6本章小結233
第17章大數據平台的運行與應用234
17．1項目背景234
17．2項目實施目標234
17．3大數據平台業務處理流程235
17．4大數據平台業務處理系統應用236
17．4．1生產環境數據導入大數據平台236
17．4．2業務處理層數據清洗分析237
17．4．3運行業務處理相關清洗任務245
17．4．4數據進入數據倉庫252
17． 4．5業務應用層大數據分析254
17．4．6數據倉庫數據導出數據訪問層255
17．4．7數據訪問層大數據可視化257
17．5本章小結259

第18章大數據運維基本問題案例集260
18．1大數據平台問題分析處理流程260
18．2解決基礎環境的基本問題案例261
18．2．1權限配置問題261
18．2．2 SELinux問題262
18．2．3 Hadoop安全模式問題262
18．2．4主機名配置造成問題263
18．3解決組件配置的基本問題案例264
18．3．1 Hive組件異常問題264
18．3．2 Sqoop組件異常問題267
18．3．3 HBase組件異常問題268
18．3．4 ZooKeeper組件異常問題268
18．4解決平台啟動的基本問題案例269
18．4．1 HDFS服務啟動問題269
18．4．2 NameNode格式化異常問題270
18．4．3 DataNode進程啟動問題271
18．4．4 SecondaryNameNode啟動問題273
18．5解決平台運行的基本問題案例274
18．6本章小結275
附錄虛擬化軟件的使用276
A．1虛擬機的概念、用途及常用軟件276
A．1．1虛擬機的概念276
A．1．2虛擬機的用途278
A．1．3常用虛擬機軟件279
A．2 H3C CAS雲計算管理平台280
A．2．1 H3C CAS雲計算管理平台簡介280
A．2．2創建虛擬機282
A．2．3修改虛擬機硬件配置284
A．2．4基於CAS雲平台使用虛擬機285
A．2．5刪除虛擬機286
A．3 H3C教學與實踐管理平台287
A．3．1 H3C教學與實踐管理平台簡介287
A．3．2預習287
A．3．3上課學習289
A．3．4鞏固學習效果292
A．3．5完成學習295
A．4小結296