中台落地手記 — 業務服務化與數據資產化

前言
第1章  總體規劃1
1.1  統一內部認識1
1.2  把握外部環境2
1.3  中台具體建設思路3
1.3.1  阿里巴巴中台建設思路拆解3
1.3.2  企業組織變革5
1.3.3  業務與數據邏輯架構設計7
1.4  運營中台規劃與設計8
1.4.1  運營中檯面臨的幾個典型痛點8
1.4.2  行業規範與趨勢8
1.4.3  運營中台前期準備情況9

第2章  業務服務化建設11
2.1  多種方法梳理業務11
2.2  領域驅動（DDD）業務建模13
2.2.1  領域驅動建模介紹13
2.2.2  業務架構設計16
2.3  業務服務化帶來的效益19
2.4  服務提供者20
2.5  服務消費者21
2.6  服務管理者22
2.7  運營中台業務服務化設計26
2.7.1  梳理各業務線流程26
2.7.2  定義業務領域28
2.7.3  確定聚合與聚合根28
2.7.4  確定限界上下文29

第3章  微服務解決方案31
3.1  RPC框架：Apache Dubbo32
3.1.1  架構分層剖析32
3.1.2  核心流程介紹33
3.1.3  關鍵生態組件介紹34
3.1.4  Dubbo使用舉例35
3.2  Spring框架：Spring Cloud40
3.2.1  網關平台40
3.2.2  服務註冊與發現41
3.2.3  配置管理41
3.2.4  負載均衡42
3.2.5  服務保護43
3.2.6  鏈路追踪44
3.2.7  安全控制44
3.3  微服務難點剖析45
3.3.1  網絡延遲45
3.3.2  分佈式事務46
3.3.3  分佈式計算48
3.4  服務網格Service Mesh50
3.5  無服務架構Serviceless51
3.6  運營中台基於微服務技術搭建業務中台52
3.6.1  微服務劃分52
3.6.2  整體微服務架構53
3.6.3  緩存方案54
3.6.4  搜索方案57
3.6.5  通信方案58
3.6.6  SPI與插件化方案59

第4章  收集各類數據62
4.1  多渠道收集數據64
4.2  多數據結構收集數據65
4.3  收集工具介紹66
4.3.1  Apache Flume66
4.3.2  Apache Sqoop67
4.3.3  Alibaba DataX71
4.3.4  爬蟲系統工具74
4.3.5  Apache Kafka76
4.3.6  Alibaba Canal83
4.4  運營中台數據收集過程92

第5章  數據預處理94
5.1  數據標準建立95
5.2  數據建模子系統95
5.2.1  關係型數據建模95
5.2.2  數據倉庫建模96
5.2.3  非關係型數據建模99
5.2.4  通用建模步驟99
5.3  元數據管理子系統101
5.3.1  元數據的內涵101
5.3.2  元數據管理的意義102
5.3.3  元數據管理開源方案：Apache Atlas102
5.4  數據質量控制子系統104
5.4.1  數據質量維度度量104
5.4.2  數據質量控制方案105
5.4.3  數據質量管理開源方案：Apache Griffin106
5.5  運營中台數據預處理107
5.5.1  建立內部數據標準107
5.5.2  與業務模型對應的數據模型子系統108
5.5.3  自研元數據管理子系統110
5.5.4  自研數據質量控制子系統112

第6章  數據湖和數據倉庫數據處理113
6.1  數據倉庫113
6.1.1  數據倉庫分層113
6.1.2  數據倉庫分類114
6.2  數據湖與大數據116
6.2.1  Lambda架構116
6.2.2  Kappa架構117
6.2.3  大數據平台118
6.3  開源數據湖方案：Apache Hudi119
6.3.1  Hudi存儲120
6.3.2  Hudi讀取122
6.4  運營中台數據倉庫和數據湖的建設情況123
6.4.1  基於Hive的離線數據倉庫123
6.4.2  基於Kylin的準實時數據倉庫125
6.4.3  基於Flink+TiDB的實時數據倉庫126
6.4.4  基於Hudi的數據湖建設127

第7章  數據計算開發130
7.1  離線計算130
7.1.1  MapReduce經典計算引擎130
7.1.2  Apache Spark內存計算引擎132
7.2  在線計算137
7.2.1  事務優先類引擎137
7.2.2  非事務優先類引擎143
7.2.3  預計算類引擎151
7.3  流式計算154
7.3.1  無狀態計算引擎：Apache Storm154
7.3.2  有狀態計算引擎：Apache Flink156
7.4  運營中台數據資產化過程163
7.4.1  典型問題解決方案165
7.4.2  性能調優168

第8章  深入挖掘業務數據174
8.1  利用機器學習進行數據挖掘174
8.1.1  監督學習175
8.1.2  非監督學習176
8.1.3  強化學習177
8.2  機器學習通用步驟177
8.2.1  數據清洗處理178
8.2.2  特徵工程179
8.2.3  對模型進行訓練182
8.2.4  評估模型的泛化程度184
8.2.5  模型保存及導入185
8.3  運營中台業務數據挖掘188
8.3.1  客戶數據挖掘：分類營銷188
8.3.2  安全數據挖掘：運行事件預測190

第9章  安全措施192
9.1  安全體系範疇192
9.1.1  平台安全192
9.1.2  數據安全193
9.1.3  隱私安全194
9.2  大數據平台安全開源方案：Apache Ranger195
9.3  運營中台安全措施197
9.3.1  運營中台安全告警系統199
9.3.2  運營中台兩地三中心數據容災方案199

第10章  中台運營及周邊203
10.1  運營中的運維：維護優勢203
10.2  運營中的營收：提升價值204
10.3  各類中台形態204
10.3.1  數據中台204
10.3.2  業務中台205
10.3.3  AI中台206
10.4  運營中台的運營規劃207
後記208