走近大數據

段雲峰
北京郵電大學CTI技術研究中心博士生，長期從事CTI領域技術研究。現任職於中國移動通信集團公司研究開發中心。承擔了國內很大電信運營商的數據倉庫和大數據中心的設計和建設、運營工作，積累了多年的大數據領域的實際工作經驗。帶領相關的團隊，從系統創建到系統運營，開發了很多大數據領域的各種應用，積累了國內的大數據在大企業建設、運營方面的經驗。

應用”——搜索引擎109 
3.9.1搜索引擎簡介109
3.9.2搜索什麼？——適用場景110 
3.9.3產品簡介110 
3.9.4技術關注點111 
3.10資源隔離的利器——容器的應用111 
3.10.1獨立的集裝箱——容器簡介112 
3.10.2容器與虛擬機的區別113 
3.10.3集裝箱能用在哪裡？——容器應用場景114 
3.10.4如何部署？——Docker實施建議115 
第4章大數據如何顯示分析結果？——數據分析與數據可視化119 
4.1收集大數據就是為了分析——數據分析120 
4.1.1分析方法有哪些？——數據分析簡介120 
4.1.2數據分析的過程——適用場景123 
4.1.3分析工具有哪些？——典型產品123 
4.1.4什麼最火？——深度學習典型產品125 
4.2大數據也要學習“包裝”技術——數據可視化129 
4.2.1如何讓數據更美觀？——數據可視化簡介129 
4.2.2什麼時候數據需要美化？——適用場景130 
4.2.3美化數據結果的工具——典型產品130 
第5章如何構建開放的大數據平台？——大數據開放平台構建133 
5.1為什麼要開放？——概述134 
5.1.1開放是趨勢——大數據開放平台的意義134 
5.1.2誰在使用開放平台？——大數據開放平台主要角色135
5.1.3開放哪些內容？——大數據開放平台開放的內容與範圍135 
5.2看看別人家的平台——大數據開放平台參考架構137 
5.3開放哪些內容？——基礎能力的開放138 
5.3.1自己採集所需——數據採集能力開放138 
5.3.2自己存儲數據——數據存儲能力開放140 
5.3.3自己決定處理方式——數據處理能力開放142 
5.3. 4自己決定展現形式——展現能力開放144 
5.4把管理權力也開放出去——數據管理能力的開放145 
5.4.1自己設計作業任務——任務調度能力開放145 
5.4.2自己編排數據字典——元數據管理能力開放148 
5.4.3自己管理自己的數據質量——數據質量管理能力開放149 
5.4.4自己承擔安全員——數據安全管理能力開放149 
5.4.5能提供哪些服務？——服務目錄能力開放150 
5.5如何管理系統？——平台管理151 
5.5.1系統有什麼料？——資源管理152 
5.5.2如何調度作業？——負載管理152 
5.5.3資源如何分配——配額管理153 
5.5.4能否計費？——計量管理153 
5.6 “眾人拾柴火焰高”——開發者門戶154 
5.6.1 “你是誰？”——註冊認證154 
5.6.2 “來個廚房”——資源申請155
5.6.3 “再來二斤牛肉、一壺好酒”——數據申請156 
5.6.4 “吃飽喝足”——開發上線157 
第6章安全無小事——大數據安全159 
6.1安全很重要— —大數據安全概述160 
6.2非法入侵——數據訪問安全161 
6.2.1你有權限嗎？——用戶認證161 
6.2.2誰可以訪問？——用戶管理164 
6.2.3我授權給你——用戶授權166 
6.3數據加密？——數據服務安全169 
6.3.1屏蔽隱私內容——數據脫敏169 
6.3.2追查洩露者——數字水印170 
6.3.3有口令嗎？——安全令牌管理171 
6.3.4全程防護——服務攻擊檢測171 
6.4數據存在保險箱就安全嗎？——數據存儲安全173 
6.4.1看不懂的天書——加密173 
6.4.2不能接觸——數據隔離174 
第7章建設之後，運維工作更重要——大數據運維管理平台177 
7.1如何構建運維環境——大數據運維管理平台簡介178 
7.2功能點有哪些——大數據運維管理平台功能介紹178 
7.2.1用戶管理179 
7.2.2節點管理179 
7.2.3組件管理180 
7.2. 4監控與告警管理181 
7.2.5日誌管理181
7.3運維產品有哪些——典型產品182 
7.3.1產品列表182 
7.3.2 Ambari產品介紹183 
7.3.3實施建議184 
第8章數據質量管理185 
8.1數據質量信息存儲186 
8.2數據質量監控平台186 
8.2 .1採集管理187 
8.2.2規則管理188 
8.2.3告警管理193 
8.2.4申告處理195 
8.2.5知識總結196 
8.2.6質量報告197 
8.2.7任務調度197 
8.3數據質量應用功能198 
附錄A某公司大數據系統建設案例201 
附錄B SH公司大數據PaaS平台實施經驗215 
附錄C FJ公司關於大數據高速路況實時監測項目實施經驗221 
附錄D其他公司大數據案例229 
附錄E D-Docker技術原理241