DM8數據中心解決方案——達夢數據交換平臺

張勝，博士，國防科技大學信息通信學院副教授，長期從事數據工程、數據管理等領域的教學與科研，主編參編《數據工程理論與技術》《軍事信息管理》《作戰數據管理技術基礎》《達夢數據庫應用基礎》《達夢數據庫SQL指南》等多部專著，先後獲軍隊科技進步獎三等獎4項。

入門篇
第1章概述2
1．1數據交換基本概念2
1．1．1數據交換概念模型2
1．1．2數據交換技術的發展3
1．2數據交換體系結構4
1．2．1數據交換模式4
1．2．2數據交換體系組成6
1．3達夢數據交換平台簡介7
1．3．1組成及功能7
1．3．2技術架構10
1．3．3特點11

第2章安裝與配置13
2．1安裝與卸載13
2．1．1 Windows操作系統中的安裝13
2．1．2 Linux操作系統中的安裝21
2．1．3升級安裝23
2．1．4卸載24
2．1．5常見問題與註意事項25
2．2系統配置27
2．2．1啟動與停止系統服務27
2．2．2服務器配置30
2．2．3元數據庫配置31
2．2．4集群配置33
2．2．5數據總線服務配置34
2．2．6 Web監控服務配置35
2．2．7查看許可證信息36
2．2．8監聽服務器日誌信息37
2．2．9日誌參數配置37

第3章快速入門38
3．1設計器界面38
3．1．1設計器啟動38
3．1．2界面簡介40
3．2基本操作40
3．2．1設計40
3．2．2運行43
3．3入門示例44
3．3．1示例說明44
3．3．2創建數據源45
3．3．3創建工程50
3．3．4設計轉換51
3．3．5設計作業62
3．3．6查看運行日誌66

基礎篇
第4章數據源管理68
4．1關係型數據庫68
4．1．1關係型數據庫概述68
4．1．2添加表70
4．1．3添加視圖70
4．1．4添加SQL查詢71
4．1．5表73
4．2文本文件79
4．2．1文本文件描述79
4．2．2文本文件選項配置說明79
4．2．3文本文件詳細說明79
4．3 CSV文件80
4．3．1 CSV文件描述80
4．3．2 CSV文件選項配置說明80
4．4 Excel文件80
4．4．1 Excel文件描述80
4．4．2 Excel文件選項配置說明81
4．5 XML文件81
4．5．1 XML文件描述81
4．5．2 XML文件選項配置說明81
4．5．3 XML文件示例描述82
4．6數據集文件83
4．6．1數據集文件描述83
4．6．2數據集文件選項配置說明83
4．7 DBF文件84
4．7．1 DBF文件描述84
4．7．2 DBF文件選項配置說明84
4．8 JSON文件84
4．8．1 JSON文件描述84
4．8．2 JSON文件選項配置說明84
4．8．3 JSON文件示例描述85
4．9 HDFS文件86
4．9．1 HDFS文件描述86
4．9．2 HDFS文件選項配置說明86
4．10 AVRO文件86
4．10．1 AVRO文件描述86
4．10．2 AVRO文件選項配置說明87
4．11 JMS文件87
4．11． 1 JMS文件描述87
4．11．2 JMS文件選項配置說明87
4．11．3 JMS文件示例描述87
4．12 WebSphere MQ 89
4．12．1 WebSphere MQ描述89
4．12．2 WebSphere MQ選項配置說明89
4．13 Kafka 89
4．13．1 Kafka描述89
4．13．2 Kafka選項配置說明89
4．14 WebService 90
4．14．1 WebService描述90
4．14 ．2 WebService選項配置說明90
4．15 LDAP 90
4．15．1 LDAP描述90
4．15．2 LDAP選項配置說明90
4．15．3 LDAP示例描述91
4．15．4添加LDAP DN數據集91
4．16 Mail數據源91
4．16．1 Mail數據源描述91
4．16．2 Mail數據源選項配置說明92
4．16．3 Mail數據源示例描述92
4．16．4添加Mail數據集93
4．17 MongoDB數據源94
4．17．1 MongoDB數據源描述94
4．17．2 MongoDB數據源選項配置說明94
4．17．3 MongoDB數據源示例描述94
4．17．4添加MongoDB數據集94
4．18 Elasticsearch數據源95
4．18．1 Elasticsearch數據源描述95
4．18．2 Elasticsearch數據源選項配置說明95
4．18．3 Elasticsearch數據源示例描述96
4．18．4添加Elasticsearch類型96
4．19 Hbase數據源97
4．19．1 Hbase數據源描述97
4 ．19．2 Hbase數據源選項配置說明97
4．19．3 Hbase數據源示例描述98
4．19．4添加Hbase表98
4．20導出元數據99
4．20．1導出元數據描述99
4． 20．2導出元數據選項配置說明99
4．20．3導出元數據示例描述99
4．21導出數據101
4．21．1導出數據描述101
4．21．2導出數據選項配置說明101
4．21 ．3導出數據示例描述101

第5章轉換103
5．1轉換概述103
5．1．1轉換功能描述103
5．1．2轉換選項配置說明103
5．2轉換通用配置104
5．2．1輸出配置104
5．2．2高級屬性配置109
5．2．3數據條數111
5．2．4文件切分112
5．2．5文件處理113
5．2．6文件選擇114
5．2．7自動分錶116
5．2．8流程運行統計117
5．3數據讀取118
5．3．1讀取表/視圖118
5．3．2 SQL查詢120
5．3．3讀取增量表122
5．3．4讀取文本文件124
5．3．5讀取CSV文件125
5．3．6讀取Excel文件127
5．3．7讀取XML文件128
5．3．8讀取數據集文件129
5．3．9讀取JMS數據131
5．3．10讀取WebService數據133
5．3．11讀取LDAP數據134
5．3．12讀取Mail數據135
5．3．13讀取隨機數據136
5．3．14讀取自定義數據源138
5．3．15讀取DBF文件141
5．3．16讀取JSON文件141
5．3． 17讀取MongoDB數據142
5．3．18讀取WebSphere MQ數據143
5．3．19讀取網絡輸入數據143
5．4數據轉換143
5．4．1數據清洗轉換143
5．4．2聯合155
5．4．3數據集查找157
5．4．4數據質量檢測159
5．4．5 SQL腳本159
5．4．6設置變量161
5．4．7排序162
5．4．8刪除重複行164
5．4．9行數據抽樣165
5．4．10自定義轉換166
5．4．11聚合167
5．4．12列轉行168
5．4．13行轉列170
5．4．14系統命令171
5．4．15數據脫敏171
5．4．16連接172
5．5數據裝載172
5．5．1表裝載172
5．5．2增量表裝載174
5．5．3緩慢變化維表裝載176
5．5．4文本文件裝載181
5．5．5 CSV文件裝載182
5．5．6 Excel文件裝載183
5．5．7 XML文件裝載185
5．5．8數據集文件裝載186
5．5．9 JMS裝載187
5．5． 10 WebService裝載188
5．5．11 DBF文件裝載190
5．5．12 JSON文件裝載191
5．5．13 MongoDB裝載192
5．5．14 WebSphere MQ裝載192
5．5．15 Kafka裝載192
5．5．16 Elasticsearch裝載193
5．5．17網絡輸出193
5．6快速裝載194
5．6．1 DM8快速裝載194
5．6．2 Greenplum快速裝載195
5． 6．3 Oracle快速裝載197
5．6．4 MySQL快速裝載198
5．6．5 Infobright快速裝載199
5．6．6 Mariadb快速裝載200
5．6．7 Hive快速裝載200
5．7文件同步201
5 ．7．1文件源201
5．7．2文件目的203
5．7．3文件同步示例203

第6章作業206
6．1作業概述206
6．1．1作業功能描述206
6．1．2作業選項配置說明206
6．2作業通用配置207
6．2．1高級屬性207
6．2．2循環執行208
6．3引用209
6．3．1引用轉換210
6．3．2引用作業210
6． 4腳本211
6．4．1 Java腳本212
6．4．2 SQL腳本213
6．4．3設置變量214
6．5文件操作216
6．5．1基本文件操作216
6．5．2壓縮217
6．5．3解壓縮218
6．5．4遠程文件同步219
6．6實用工具221
6．6．1發送郵件221
6．6．2 OS命令223
6．6．3 DLL調用224
6．6．4 Ant 225
6．6．5休眠227
6．6．6數據校驗228
6．7系統維護230
6．7．1清除日誌230
6．7．2刷新緩存231

第7章函數與變量233
7．1函數233
7．1．1函數定義233
7．1．2函數類型與作用域234
7．2變量234
7．2．1變量定義234
7．2．2變量類型與作用域235
7．2．3節點變量235
7．2．4局部變量237
7．3表達式237
7 ．4使用嵌入式表達式238
7．5數據類型239

第8章調度與監控241
8．1調度241
8．1．1新建調度241
8．1．2設置調度243
8．1．3調度引擎245
8．2監控246
8．2．1監控後台流程246
8．2．2查詢歷史日誌247
8．2．3清除歷史日誌249
8． 2．4實時告警250
8．2．5歷史告警251
8．2．6清除告警251

第9章權限與版本管理252
9．1權限概述252
9．1．1功能權限252
9．1．2對象權限253
9．2角色255
9．3用戶256
9．3．1用戶概述256
9．3．2啟用/禁用用戶257
9．3．3重置密碼257
9．4版本管理258
9．4．1備份當前版本258
9．4．2自動備份258
9．4．3手動備份259
9．4．4查看歷史版本259
9．4．5清除歷史版本260
9．4．6還原刪除對象261

高級篇
第10章增量數據抽取264
10．1增量數據抽取原理264
10．1．1增量數據抽取方式264
10．1．2 DMETL增量數據表267
10．2增量數據同步設計269
10．2．1添加增量數據集269
10．2．2配置增量表數據抽取270
10．2．3配置增量表數據裝載271
10．2．4配置“首次同步時同步基表數據”與“設為首次同步” 271
10．3增量數據同步和增量方式配置示例274
10．3．1觸發器方式同步示例274
10．3．2其他增量方式配置示例278

第11章達夢數據交換集群283
11．1集群概述283
11．1．1體系結構283
11．1．2集群特性284
11．2集群安裝配置與管理287
11．2．1集群安裝287
11．2．2集群主從節點配置287
11．2．3集群管理291
11．3轉換和作業集群配置293
11．3．1轉換流程消息順序293
11．3．2轉換組件集群配置294
11．3．3作業組件集群配置295
11．3．4組件對集群的支持296

第12章數據質量檢測297
12．1數據質量檢測規則管理297
12．1．1數據質量規則297
12．1． 2數據質量視圖298
12．2數據質量檢測配置299
12．3數據質量檢測統計304

第13章Web監控與數據總線309
13．1 Web監控309
13．1．1 Web監控安裝309
13．1．2 Web監控配置309
13．1．3 Web監控功能311
13．2數據總線319
13．2．1 DMETL數據總線概述319
13．2．2基於數據總線的數據交換320

第14章自定義轉換和數據源開發329
14．1自定義轉換和數據源開發概述329
14．2開發環境搭建330
14．2．1開發環境要求330
14．2．2開發條件準備331
14．3自定義轉換開發334
14．3．1自定義轉換開發目標334
14．3．2自定義轉換開發步驟335
14．3．3自定義轉換應用343
14．4自定義數據源開發348
14．4．1自定義數據源開發目標348
14．4．2自定義數據源開發步驟348
14 ．4．3使用自定義數據源352

第15章ETL接口編程354
15．1 DMETL API概述354
15．2接口編程示例355
15．2．1數據遷移編程示例355
15．2．2數據操作查詢編程示例359
15．2．3調度操作編程示例362
15．2．4查詢語句修改編程示例363

附錄A系統函數365
A．1數學函數365
A．2字符串函數369
A．3日期時間函數374
A．4判斷函數376
A．5數據轉換函數376
A．6其他函數378

附錄B系統變量381
B．1系統運行變量381
B．2其他系統變量381

附錄C日期時間格式382

附錄D數字格式385