國之重器出版工程 大數據存儲技術

陳康
清華大學計算機系研究員，主要從事分佈式系統、存儲系統、大數據系統方面的研究工作。
發表學術論文50餘篇，曾獲得國家技術發明獎二等獎、中國電子學會科學技術獎科技進步特等獎和一等獎、中創軟件人才獎等獎項。

武永衛
清華大學計算機系教授，主要從事並行與分佈式系統方面的研究工作。
發表學術論文100餘篇，入選國家“萬人計劃”科技創新領軍人才，曾獲得國家科學技術進步獎二等獎、國家技術發明獎二等獎、中國電子學會科學技術獎科技進步特等獎和一等獎等獎項。

余宏亮
清華大學計算機系副研究員，主要從事並行系統、分佈式系統、存儲系統方面的研究工作。
發表學術論文40餘篇，曾獲得國家科學技術進步獎二等獎、國家技術發明獎二等獎、中國電子學會科學技術獎技術發明一等獎、高等學校科學研究優秀成果獎科學技術進步獎一等獎等獎項。

張廣艷
清華大學計算機係長聘副教授、博士生導師，主要從事大數據存儲與分析的理論和方法研究，包括大數據計算、存儲系統與分佈式處理等方面。
研究得到包括國家傑出青年科學基金、國家重點研發計劃、973計劃和863計劃等多項國家科研項目的支持。
發表學術論文40餘篇，近5年以第一發明人獲得美國發明專利授權1項、中國發明專利授權7項。

第1章 緒論 001
1．1 大數據存儲系統簡介 002
1．2 大數據存儲的基本形式 003
1．3 大數據存儲的關鍵技術 006
1．4 本書的組織 008

第 2章 分佈式文件系統 011
2．1 文件系統的結構與擴展 012
2．1．1 文件系統的名字空間與數據讀寫 012
2．1．2 文件系統的擴展方式 016
2．2 分佈式文件系統的結構 021
2．2．1 分佈式文件系統的運行環境與特性保證 021
2．2．2 典型的單一名字空間的分佈式文件系統 027
2．3 分佈式文件系統的關鍵技術討論 030
2．3．1 關於性能的討論 030
2．3．2 關於可靠性方面的討論 033
2．3．3 關於一致性方面的討論 038
2．3．4 其他特性討論 042
2．4 本章小結 046
參考文獻 047

第3章 分佈式鍵值對存儲 049
3．1 鍵值對存儲概述 050
3．2 分佈式鍵值對存儲的實現 055
3．3 通過查找表存儲有序的鍵值對 061
3．4 本章小結 067
參考文獻 067

第4章 面向社區共享的網絡文件共享系統 069
4．1 面向社區共享的用戶管理模型 071
4．2 社區共享對多根多版本文件系統的需求 079
4．3 多根多版本文件系統的元數據管理 081
4．4 多根多版本文件系統的優化方法 086
4．5 MeePo的設計與實現 091
4．6 實驗與評價 099
4．7 本章小結 103
參考文獻 104

第5章 存儲容災系統 105
5．1 容災系統簡介 106
5．2 存儲容災系統的技術體係與現狀 107
5．3 容災系統的標準建設 113
5．4 國內的存儲容災系統建設 114
5．5 並行化高效容災備份與恢復系統 121
5．5．1 系統結構與設計 121
5．5．2 基於系統虛擬化的一致檢查點技術 123
5．5．3 基於IPG的一致檢查點 129
5．5．4 基於即插即用設備的OS透明轉換機制 132
5．5．5 並行恢復中競爭的處理機制 132
5．5．6 並行恢復中的頁緩衝管理方法 133
5．5．7 系統實現 134
5．5．8 實際系統的恢復測試實驗結果 135
5．6 異地應用層容災系統 139
5．6．1 異地應用層容災的運行環境 139
5．6．2 應用層虛擬化 141
5．6．3 應用層容災的系統總體結構 143
5．應用層容災虛擬化容器的系統實現 147
5．6．5 應用層容災中數據同步與恢復的實現 160
5．6．6 應用層容災系統的實際效果評測 166
5．7 本章小結 171
參考文獻 171

第6章 大數據存儲系統的刪冗 175
6．1 大數據存儲刪冗技術簡介 176
6．1．1 刪冗的一般流程 177
6．1．2 二級存儲刪冗挑戰 179
6．1．3 刪冗系統的分類和現狀 180
6．1．4 現有的相關存儲數據刪冗系統與技術 184
6．2 重複數據刪除技術在雲存儲系統中的應用與優化 192
6．2．1 AegeanStore的設計與實現 192
6．2．2 文件系統服務的設計與實現 201
6．2．3 AegeanStore中重複數據刪除技術的優化 206
6．2．4 AegeanStore的效果測試與評價 215
6．3 高效主存儲內嵌刪冗系統的設計與實現 218
6．3．1 主存儲刪冗存在的挑戰 219
6．3．2 現有的主內存刪冗方案 221
6．3．3 主存儲內嵌刪冗系統PDFS的技術選擇分析 224
6．3．4 主存儲內嵌刪冗系統PDFS的設計與實現 235
6．3．5 實驗與評價 244
本章小結 255
參考文獻 256

第7章 大數據存儲糾刪碼技術與優化 259
7．1 大數據存儲的糾刪碼技術 260
7．2 糾刪碼相關技術與工作 261
7．2．1 糾刪碼技術簡介 261
7．2．2 RS編碼相關工作 263
7．2．3 HDFS 268
7．3 高效糾刪碼編碼方法CaCo 272
7．3．1 準備柯西矩陣 273
7．3．2 求調度 275
7．3．3 選擇優化調度方案 276
7．4 高效糾刪碼編碼方法的應用 277
7．4．1 原型實現 277
7．4．2 本地編碼中的應用 279
7．4．3 雲存儲系統中的應用 280
7．5 高效糾刪碼編碼方法的性能評價 282
7．5．1 選擇框架實驗測試 282
7．5．2 數據編碼性能測試 286
7．6 本章小結 290
參考文獻 290