數據存儲架構與技術

舒继武

清华大学长聘教授，闽江学院院长国家杰出青年科学基金获得者，教育部“长江学者”特聘教授，IEEE Fellow，中国计算机学会会士。兼任中国计算机学会理事、信息存储专委会主任，北京信息灾备技术产业联盟副理事长。主要研究信息存储系统、数据存储可靠性与安全。担任“十五”国家863计划重大专项招标课题“新型网络服务器系统”的负责人、十一五”国家863计划信息领域“海量存储系统关键技术”重大项目总体专家组副组长、“十二五”国家863计划信息领域“面向大数据的先进存储结构及关键技术”主题项目首席专家、“十三五”国家重点研发计划项目“TB级持久性内存存储技术与系统”的项目负责人。在FAST、SOSP、OSDI、USENIX ATC、EuroSys、ASPLOS、MICRO、SC、SIGMOD、VLDB等重委会议和ACMIEEE Transaction系列期刊发表学术论文百余篇。获国家科学技术进步奖二等奖和国家技术发明奖二等奖各1次、省部级一等奖5次，获华为2020年奥林帕斯奖。

第 1 章 數據存儲的背景

1.1　數據存儲的重要性　001

1.2　數據存儲的目標　002

1.2.1　高性能　002

1.2.2　高易用性　004

1.2.3　高可靠性　005

1.2.4　其他目標　006

參考文獻　007

第　2 章 存儲盤與存儲介質　008

2.1　磁盤　009

2.1.1　磁盤的組成與結構　009

2.1.2　磁盤性能　011

2.1.3　磁盤固件　013

2.2　SSD　017

2.2.1　快閃內存單元與結構　018

2.2.2　FTL　022

2.3　主存　025

2.3.1　DRAM 組成與結構　025

2.3.2　DRAM 刷新　029

2.3.3　內存控制器　030

2.3.4　非易失存儲器　031

2.4　其他存儲介質　034

2.4.1　光存儲　034

2.4.2　磁帶　035

2.5　本章小結　036

參考文獻　037

第　3 章 存儲陣列　038

3.1　硬件架構　039

3.1.1　整機架構　039

3.1.2　控制器模塊　040

3.1.3　接口模塊　041

3.1.4　硬盤框和硬盤單元　042

3.1.5　散熱模塊　043

3.2　軟件架構　043

3.2.1　RAID 子系統　044

3.2.2　緩存鏡像子系統　050

3.3　高性能與高可靠設計　053

3.3.1　應用場景　053

3.3.2　高可靠冗餘切換子系統　055

3.3.3　高性能集群子系統　058

3.3.4　重定向寫與垃圾回收技術　060

3.4　本章小結　062

參考文獻　063

第　4 章 存儲協議　064

4.1　SCSI 協議　064

4.1.1　SCSI 協議概述　064

4.1.2　SCSI 服務模型　065

4.1.3　SCSI 指令集　068

4.1.4　SCSI 讀寫流程解析　068

4.2　SCSI 鏈路承載協議　069

4.2.1　SAS 協議　069

4.2.2　FC 協議　071

4.2.3　iSCSI 協議　073

4.3　NVMe 協議　075

4.3.1　NVMe 設備模型　076

4.3.2　NVMe 隊列模型　078

4.3.3　NVMe 指令集　079

4.3.4　NVMe over PCI-e　080

4.4　NVMe over Fabrics　082

4.4.1　NVMe over RDMA　083

4.4.2　NVMe over TCP　086

4.4.3　NVMe over FC　088

4.5　內存互連協議　089

4.5.1　CXL 概述　091

4.5.2　CXL 類型 1　092

4.5.3　CXL 類型 2　093

4.5.4　CXL 類型 3　094

4.6　本章小結　095

參考文獻　095

第　5 章 鍵值存儲　097

5.1　基本操作　097

5.2　鍵值索引　098

5.2.1　散列索引　098

5.2.2　B+樹索引　101

5.2.3　LSM 樹索引　102

5.3　數據佈局　107

5.3.1　原地更新的數據組織　107

5.3.2　日誌結構的數據組織　108

5.4　崩潰一致性　109

5.4.1　WAL　109

5.4.2　影子頁　110

5.5　本章小結　110

參考文獻　111

第　6 章 文件系統　112

6.1　文件系統基本操作　112

6.2　文件系統實現　114

6.2.1　一個簡單的文件系統　114

6.2.2　命名空間管理　119

6.2.3　存儲管理　120

6.3　文件系統實例：ext2　124

6.4　本章小結　126

參考文獻　127

第　7 章 網絡存儲體系結構　128

7.1　DAS　128

7.2　NAS　129

7.2.1　架構特點　130

7.2.2　網絡文件協議　130

7.2.3　應用場景　131

7.3　SAN　132

7.3.1　架構特點　132

7.3.2　核心組件　133

7.3.3　應用場景　134

7.3.4　NAS 與 SAN 對比　134

7.4　對象存儲　134

7.4.1　架構特點　135

7.4.2　核心組件　135

7.5　並行存儲　136

7.5.1　架構特點　137

7.5.2　關鍵技術　138

7.6　P2P 存儲　139

7.6.1　架構特點　139

7.6.2　關鍵技術　140

7.6.3　應用場景　142

7.7　雲存儲　142

7.7.1　架構特點　143

7.7.2　應用場景　144

7.8　存儲虛擬化　146

7.8.1　基本概念　146

7.8.2　關鍵技術　148

7.9　軟件定義存儲　149

7.9.1　基本概念　149

7.9.2　代表性系統　151

7.9.3　關鍵挑戰　152

7.10　超融合架構　152

7.10.1　基本概念　153

7.10.2　關鍵技術　154

7.10.3　代表性系統　155

7.10.4　概念對比　156

7.11　本章小結　156

參考文獻　157

第　8 章 分佈式存儲系統　159

8.1　分佈式存儲系統的典型架構　159

8.2　分佈式存儲系統的關鍵衡量指標　160

8.2.1　性能　160

8.2.2　可擴展性　161

8.2.3　一致性　161

8.2.4　可用性　162

8.3　分佈式鍵值存儲系統　163

8.3.1　典型分佈式鍵值存儲系統　164

8.3.2　分佈式鍵值存儲系統關鍵技術　169

8.4　分佈式對象存儲系統　171

8.4.1　典型分佈式對象存儲系統　171

8.4.2　分佈式對象存儲系統關鍵技術　177

8.5　分佈式塊存儲系統　178

8.5.1　典型分佈式塊存儲系統　178

8.5.2　分佈式塊存儲系統關鍵技術　181

8.6　分佈式文件系統　182

8.6.1　典型分佈式文件系統　182

8.6.2　分佈式文件系統關鍵技術　191

8.7　本章小結　193

參考文獻　193

第　9 章 存儲可靠性　196

9.1　存儲可靠性概述　196

9.1.1　可靠性指標及其計算方法　196

9.1.2　可靠性分層設計　197

9.1.3　可靠性與可用性的區別　198

9.2　硬盤可靠性　199

9.2.1　硬盤出錯特徵分析　199

9.2.2　硬盤故障預警和監測　201

9.2.3　面向環境因素的硬盤可靠性設計　205

9.3　快閃內存介質可靠性　206

9.3.1　快閃內存介質錯誤源　207

9.3.2　快閃內存可靠性優化關鍵技術　209

9.4　糾刪碼技術　212

9.4.1　多副本原理　212

9.4.2　糾刪碼原理　212

9.4.3　典型的糾刪碼介紹及分析　216

9.4.4　糾刪碼技術發展趨勢　225

9.5　分佈式存儲系統可靠性　229

9.5.1　數據冗餘技術　230

9.5.2　故障恢復技術　231

9.5.3　數據一致性協議　232

9.5.4　負載均衡技術　232

9.6　本章小結　233

參考文獻　233

第　10 章 存儲安全　242

10.1　理念和安全體系　243

10.2　系統安全　244

10.2.1　硬件安全　244

10.2.2　容器安全　246

10.2.3　系統韌性　248

10.3　數據安全　248

10.3.1　數據加密　248

10.3.2　數據完整　251

10.3.3　權限管理　255

10.3.4　數據安全銷毀　256

10.3.5　數據安全計算　258

10.4　安全管理　260

10.4.1　系統訪問控制（認證管理）　260

10.4.2　用戶身份和訪問管理　264

10.4.3　證書管理和密鑰管理　265

10.4.4　網絡安全管理　271

10.5　本章小結　272

參考文獻　273

第　11 章 數據保護　277

11.1　數據保護背景　277

11.1.1　數據保護標準　278

11.1.2　數據保護技術特點　280

11.2　數據保護技術　281

11.2.1　鏡像　281

11.2.2　快照　284

11.2.3　克隆　285

11.3　數據保護場景　286

11.3.1　備份　287

11.3.2　歸檔　292

11.3.3　容災　296

11.4　本章小結　307

參考文獻　307

第　12 章 存儲維護　309

12.1　概述　309

12.2　預防性維護　309

12.2.1　硬盤健康預測　310

12.2.2　容量趨勢預測　312

12.2.3　性能異常檢測　313

12.2.4　性能潮汐分析　313

12.3　糾正性維護　314

12.3.1　主動問題處理　314

12.3.2　升級　315

12.3.3　擴容　318

第　13 章 存儲解決方案　321

13.1　運營商行業解決方案　321

13.1.1　運營商大數據解決方案　322

13.1.2　運營商 BOM 域生產業務備份　324

13.2　政務融合存儲資源池解決方案　326

13.2.1　場景需求　327

13.2.2　融合資源池解決方案　327

13.3　金融行業容災解決方案　328

13.3.1　場景需求　328

13.3.2　容災建設需求　330

13.3.3　兩地三中心容災解決方案　330

13.4　醫療行業解決方案　331

13.4.1　場景需求　332

13.4.2　PACS 影像系統存儲解決方案　332

13.5　教育行業解決方案　333

13.5.1　場景需求　334

13.5.2　教育科研高性能計算和數據分析　334

第　14 章 存儲技術趨勢與發展　336

14.1　快閃內存存儲系統　336

14.1.1　OC SSD　337

14.1.2　ZNS SSD　338

14.2　存內計算　342

14.2.1　近存計算　342

14.2.2　存算一體化　343

14.3　持久性內存　345

14.3.1　文件系統　345

14.3.2　鍵值存儲系統　347

14.3.3　分佈式存儲系統　349

14.4　在網存儲　350

14.4.1　在網數據協調　351

14.4.2　在網數據調度　352

14.4.3　在網數據緩存　353

14.5　智能存儲　353

14.5.1　AI for Storage　354

14.5.2　Storage for AI　356

14.6　邊緣存儲　359

14.6.1　邊緣存儲設備　359

14.6.2　邊緣存儲 I/O 棧　360

14.6.3　邊緣數據組織與檢索　361

14.7　區塊鏈存儲　363

14.7.1　區塊鏈存儲系統簡介　363

14.7.2　區塊鏈存儲系統優化　364

14.8　分離式數據中心架構　365

14.8.1　背景　365

14.8.2　架構特點及關鍵技術　366

14.8.3　未來趨勢　370

14.9　高密度新型存儲　371

14.9.1　疊瓦式磁性存儲　371

14.9.2　高密光存儲　372

14.9.3　DNA 存儲　373

14.10　本章小結　374

參考文獻　374