騰訊大數據構建之道

前言
第1章打造騰訊大數據平台 1
1.1 騰訊大數據的緣起 3
1.2 騰訊大數據的構建理念 5
1.3 騰訊大數據的總體架構 7
第2章數據實時採集平台 11
2.1 接入層挑戰 12
2.2 接入管理層TDManager  14
2.3 數據採集 17
2.4 數據總線 23
2.5 消息中間件 30
2.6 數據分揀 40
2.7 接入層展望 44
第3章分佈式存儲平台 46
3.1 文件存儲HDFS  47
3.2 統一存儲Ceph  62
3.3 下一代大數據存儲Ozone  77
3.4 KV存儲HBase  88
第4章分佈式計算平台 99
4.1 批處理MapReduce  100
4.2 批處理Spark  107
4.3 批處理漂移計算SuperSQL  123
4.4 流處理Flink  146
4.5 SQL數據倉庫Hive  165
4.6 任務調度 175
第5章數據分析引擎 184
5.1 關係型OLAP：騰訊實時多維分析平台 185
5.2 關係型OLAP：ClickHouse  200
5.3 多維OLAP：Kylin  211
5.4 多維OLAP：Druid  222
第6章資源調度平台 234
6.1 Yarn項目背景 235
6.2 調度器性能優化 241
6.3 集群的高可用性 244
6.4 多資源維度彈性管理 254
第7章數據治理體系 261
7.1 元數據 262
7.2 數據資產管理 271
7.3 大數據安全 283
第8章機器學習平台 298
8.1 圖智能平台 299
8.2 Angel  310
8.3 聯邦學習 333
第9章數據內容挖掘 350
9.1 概覽 351
9.2 廣告內容挖掘 352
9.3 用戶畫像數據體系 365
9.4 用戶畫像構建方法 366
9.5 數據內容挖掘與 379
9.6 數據內容挖掘與AI創作 380
第10章大數據平台運營 384
10.1 大數據服務規劃 385
10.2 大數據平台治理 393
10.3 自動化運維體系構建 397
10.4 平台運營成本優化 404
10.5 大數據運營分析與應用體系 408
第11章大數據平台產品設計 410
11.1 TBDS大數據處理套件 411
11.2 Oceanus實時流式數據處理平台 419
11.3 ideX數據分析與探索挖掘工具 425
11.4 智能鈦TI機器學習平台 429
第12章企業級容器雲平台GaiaStack  438
12.1 GaiaStack產品背景和目標 439
12.2 GaiaStack架構和技術特點 446
12.3 GaiaStack核心技術 454
第13章大數據應用服務 503
13.1 智能客服機器人 504
13.2 移動推送 526
13.3 數據可視化產品小馬BI  535
參考文獻 549