大數據治理：理論與方法

王宏志 哈爾濱工業大學計算機科學與技術學院教授、博士生導師，英才學院副院長，美國加州大學歐文分校博士後,微軟亞洲研究院鑄星計劃訪問學者，青年龍江學者。其研究方向為大數據管理與分析、數據庫系統、工業大數據等。在VLDB, SIGMOD等國內外重要會議和期刊發表學術論文200餘篇，出版學術專著三本,其論文被SCI收錄80餘次，他引1800餘次，授權發明專利22項。獲得微軟學者、中國優秀數據庫工程師、IBM博士英才等稱號，獲得黑龍江省自然科學一等獎和教育部高等學校科技進步一等獎各一項，獲黑龍江省青年科技獎、寶鋼優秀教師獎、CSC-IBM獎教金。先後主持國家自然科學基金重點項目、國家支撐計劃課題、國家博士後特別資助等10餘個項目。其主講的MOOC課程“大數據算法”獲批第一批全國精品在線開放課程。中國計算機學會傑出會員，中國計算機學會哈爾濱分部主席、ACM SIGMOD中國秘書長、教育部高等學校計算機類專業教學指導委員會計算機系統專家委員會委員、中國數據庫專業委員會常務委員、黑龍江省數據科學與大數據技術專業委員會副主任委員、中國大數據專家委員會委員、哈爾濱工業大學計算學部校友會秘書長、ACM數據科學學科標準編寫組專家、黑龍江省“頭雁團隊”成員。

第1 章　大數據治理的背景和基本概念………………………………………………… 1
1． 1　大數據治理的定義………………………………………………………… 2
1． 2　大數據治理的應用………………………………………………………… 3
1． 2． 1　大數據治理的任務…………………………………………………… 3
1． 2． 2　數據治理與數據管理的區別…………………………………………… 4
1． 2． 3　大數據治理的典型案例……………………………………………… 4
1． 3　大數據治理的挑戰………………………………………………………… 7
1． 3． 1　大數據的發展和現狀………………………………………………… 7
1． 3． 2　當下面臨的挑戰……………………………………………………… 8
1． 4　本書的主要內容…………………………………………………………… 9
第2 章　數據架構管理……………………………………………………………… 11
2． 1　數據架構概述…………………………………………………………… 12
2． 2　IBM 數據架構參考模型………………………………………………… 13
2． 2． 1　邏輯層……………………………………………………………… 14
2． 2． 2　垂直層……………………………………………………………… 16
2． 3　企業數據架構參考模型………………………………………………… 17
2． 4　CESI 大數據參考架構模型……………………………………………… 18
2． 5　大數據技術參考架構…………………………………………………… 19
2． 6　數據湖(Data Lake) …………………………………………………… 20
2． 7　面向大數據的數據架構實現…………………………………………… 21
2． 7． 1　Hadoop ……………………………………………………………… 21
2． 7． 2　Storm ……………………………………………………………… 23
2． 7． 3　Spark ……………………………………………………………… 24
2． 7． 4　三種架構的比較分析………………………………………………… 25
2． 8　數據架構設計原則……………………………………………………… 25
第3 章　元數據管理………………………………………………………………… 27
3． 1　元數據概述……………………………………………………………… 28
3． 1． 1　定義………………………………………………………………… 28
3． 1． 2　組織方式…………………………………………………………… 29
3． 1． 3　作用和意義………………………………………………………… 31
3． 2　業務元數據……………………………………………………………… 32
3． 2． 1　意義………………………………………………………………… 32
3． 2． 2　概念………………………………………………………………… 33
3． 2． 3　實踐要點…………………………………………………………… 34
3． 3　技術元數據……………………………………………………………… 34
3． 3． 1　意義………………………………………………………………… 34
3． 3． 2　概念………………………………………………………………… 35
3． 3． 3　實踐要點…………………………………………………………… 36
3． 4　元數據管理……………………………………………………………… 36
3． 4． 1　元數據管理方案…………………………………………………… 37
3． 4． 2　元數據標準和規範………………………………………………… 39
3． 4． 3　元數據管理的成熟度………………………………………………… 40
第4 章　主數據管理………………………………………………………………… 42
4． 1　概述……………………………………………………………………… 43
4． 1． 1　主數據的概念……………………………………………………… 43
4． 1． 2　主數據的類型……………………………………………………… 44
4． 1． 3　主數據管理的基本思路……………………………………………… 44
4． 2　主數據管理系統………………………………………………………… 45
4． 2． 1　主數據管理的架構設計……………………………………………… 46
4． 2． 2　主數據管理的核心功能……………………………………………… 50
4． 2． 3　主數據管理的實現風格……………………………………………… 50
4． 3　主數據管理的成熟度…………………………………………………… 52
第5 章　大數據集成………………………………………………………………… 56
5． 1　數據集成的基本概念…………………………………………………… 57
5． 1． 1　數據集成的定義…………………………………………………… 57
5． 1． 2　數據集成的分類…………………………………………………… 58
5． 1． 3　數據集成的難點…………………………………………………… 59
5． 2　傳統數據集成…………………………………………………………… 60
5． 2． 1　聯邦數據庫系統…………………………………………………… 61
5． 2． 2　中間件集成………………………………………………………… 62
5． 2． 3　數據倉庫…………………………………………………………… 63
5． 3　傳統數據集成的關鍵技術……………………………………………… 65
5． 3． 1　模式匹配…………………………………………………………… 65
5． 3． 2　數據映射…………………………………………………………… 66
5． 4　跨界數據集成…………………………………………………………… 67
5． 4． 1　基於階段的集成…………………………………………………… 67
5． 4． 2　基於特徵的集成…………………………………………………… 68
5． 4． 3　基於語義的集成…………………………………………………… 68
第6 章　數據質量管理……………………………………………………………… 71
6． 1　概述……………………………………………………………………… 72
6． 1． 1　數據質量定義……………………………………………………… 72
6． 1． 2　數據質量問題……………………………………………………… 74
6． 2　缺失值填充……………………………………………………………… 76
6． 2． 1　什麼是缺失值……………………………………………………… 76
6． 2． 2　缺失值處理方法…………………………………………………… 77
6． 2． 3　缺失值處理例析…………………………………………………… 79
6． 3　實體識別與真值發現…………………………………………………… 81
6． 3． 1　什麼是實體識別…………………………………………………… 81
6． 3． 2　基於規則的實體識別方法…………………………………………… 81
6． 3． 3　什麼是真值發現…………………………………………………… 84
6． 3． 4　真值發現方法……………………………………………………… 85
6． 5　錯誤檢測與修復………………………………………………………… 85
6． 5． 1　格式內容清洗……………………………………………………… 85
6． 5． 2　邏輯錯誤清洗……………………………………………………… 86
6． 5． 3　非需求數據清洗…………………………………………………… 87
6． 6　面向大數據的數據清洗………………………………………………… 87
6． 6． 1　大數據清洗的探索………………………………………………… 87
6． 6． 2　時間序列錯誤清洗………………………………………………… 88
6． 6． 3　基於眾包的數據清洗………………………………………………… 90
第7 章　數據標準化………………………………………………………………… 92
7． 1　數據標準化概述………………………………………………………… 93
7． 1． 1　數據標準…………………………………………………………… 93
7． 1． 2　數據標準管理……………………………………………………… 94
7． 1． 3　企業數據標準化…………………………………………………… 95
7． 2　數據標準化例析………………………………………………………… 95
7． 2． 1　工業大數據………………………………………………………… 95
7． 2． 2　信息技術元數據註冊系統…………………………………………… 97
第8 章　數據資產化………………………………………………………………… 98
8． 1　數據資產管理概述……………………………………………………… 99
8． 1． 1　數據資產…………………………………………………………… 99
8． 1． 2　數據資產管理……………………………………………………… 100
8． 2　數據資產發現與評估…………………………………………………… 101
8． 2． 1　數據資產發現……………………………………………………… 101
8． 2． 2　數據資產評估……………………………………………………… 102
8． 3　數據交易與數據定價…………………………………………………… 103
8． 3． 1　數據交易………………………………………………………… 103
8． 3． 2　數據定價………………………………………………………… 106
8． 4　拓展： 大數據拍賣模型………………………………………………… 107
8． 4． 1　問題背景………………………………………………………… 107
8． 4． 2　基本拍賣模型……………………………………………………… 107
8． 4． 3　擴展的Vickrey 拍賣模型…………………………………………… 108
8． 4． 4　擴展的序貫拍賣模型……………………………………………… 111
第9 章　　數據安全與隱私保護………………………………………………… 114
9． 1　概述……………………………………………………………………… 115
9． 1． 1　基本概念………………………………………………………… 115
9． 1． 2　數據安全與數據管理生命週期……………………………………… 116
9． 2　數據安全存儲、傳輸與訪問…………………………………………… 117
9． 2． 1　加密存儲和傳輸…………………………………………………… 117
9． 2． 2　訪問控制………………………………………………………… 120
9． 3　數據安全檢索與處理…………………………………………………… 121
9． 3． 1　安全檢索………………………………………………………… 121
9． 3． 2　安全處理………………………………………………………… 124
9． 4　隱私保護………………………………………………………………… 125
9． 4． 1　基本概念………………………………………………………… 125
9． 4． 2　數據脫敏………………………………………………………… 127
9． 4． 3　k-匿名…………………………………………………………… 128
9． 2． 4　差分隱私………………………………………………………… 130