數據存儲架構與技術（第2版）（特殊版本）

清华大学长聘教授，闽江学院院长，国家杰出青年基金获得者，“长江学者”特聘教授，IEEE Fellow，中国计算机学会(CCF)会士，兼任CCF理事、北京信息灾备技术产业联盟副理事长等，曾任CCF信息存储专委会主任。主要研究信息存储系统、智能存储系统、数据存储可靠性与安全等。担任“十五”国家863计划重大专项课题“新型网络服务器系统”的负责人、“十一五”国家863计划信息领域“海量存储系统关键技术”重大项目总体专家组副组长、“十二五”国家863计划信息领域“面向大数据的先进存储结构及关键技术”主题项目首席专家、“十三五”国家重点研发计划项目“TB级持久性内存存储技术与系统”的项目负责人。主持研制出海量存储网络系统TH-MSNS、软硬件协同闪存存储系统TH-SSS、分布式持久性内存存储系统TH-DPMS、智能存算一体系统TH-iSSD，成果发表在FAST、SOSPOSDI、USENIX ATC、EuroSys、ASPLOS、MICRO、ISCA、HPCA、SC、SIGMOD等重要会议和ACM/EEE Trans系列期刊。按CSRankings.org统计，近5年(2019-2023)在操作系统领域高水平会议(SOSP、OSDI、FAST、USENIX ATC.EuroSys)上发表的论文数居世界第二，获国家科学技术进步奖二等奖和国家技术发明奖二等奖各1次、省部级一等奖5次，获华为奥林帕斯奖等。

第 1 章 數據存儲的背景 001

1.1　數據存儲的重要性　001

1.2　數據存儲的目標　002

1.2.1　高性能　002

1.2.2　高易用性　003

1.2.3　高可靠性　004

1.2.4　其他目標　005

參考文獻　005

第　2 章 存儲盤與存儲介質　007

2.1　磁盤　007

2.1.1　磁盤的組成與結構　008

2.1.2　磁盤性能　009

2.1.3　磁盤固件　011

2.2　SSD　014

2.2.1　快閃內存單元與結構　015

2.2.2　FTL　017

2.3　主存　020

2.3.1　DRAM 組成與結構　020

2.3.2　DRAM 刷新　023

2.3.3　內存控制器　024

2.3.4　非易失性存儲器　024

2.4　其他存儲介質　027

2.4.1　光存儲　027

2.4.2　磁帶　028

2.5　本章小結　028

2.6　思考題　029

參考文獻　029

第　3 章 存儲陣列　030

3.1　硬件架構　030

3.1.1　整機架構　031

3.1.2　控制器模塊　031

3.1.3　接口模塊　032

3.1.4　硬盤框和硬盤單元　033

3.1.5　散熱模塊　033

3.2　軟件架構　034

3.2.1　RAID 子系統　034

3.2.2　緩存鏡像子系統　040

3.3　高性能與高可靠性設計　042

3.3.1　應用場景　042

3.3.2　高可靠性冗餘切換子系統　043

3.3.3　高性能集群子系統　045

3.3.4　重定向寫與垃圾回收技術　047

3.4　本章小結　049

3.5　思考題　049

參考文獻　049

第　4 章 存儲協議　050

4.1　SCSI 協議　050

4.1.1　SCSI 協議概述　050

4.1.2　SCSI 服務模型　051

4.1.3　SCSI 指令集　053

4.1.4　SCSI 讀寫流程解析　053

4.2　SCSI 鏈路承載協議　054

4.2.1　SAS 協議　054

4.2.2　FC 協議　056

4.2.3　iSCSI 協議　057

4.3　NVMe 協議　059

4.3.1　NVMe 設備模型　059

4.3.2　NVMe 隊列模型　060

4.3.3　NVMe 指令集　062

4.3.4　NVMe over PCI-e　062

4.4　NVMe over Fabrics　064

4.4.1　NVMe over RDMA　065

4.4.2　NVMe over TCP　067

4.4.3　NVMe over FC　068

4.5　內存互連協議　070

4.5.1　CXL 協議概述　071

4.5.2　CXL 類型 1　072

4.5.3　CXL 類型 2　073

4.5.4　CXL 類型 3　074

4.6　本章小結　074

4.7　思考題　075

參考文獻　075

第　5 章 鍵值存儲　077

5.1　基本操作　077

5.2　鍵值索引　078

5.2.1　散列索引　078

5.2.2　B+樹索引　080

5.2.3　LSM 樹索引　081

5.3　數據佈局　085

5.3.1　原地更新的數據組織　085

5.3.2　日誌結構的數據組織　085

5.4　崩潰一致性　086

5.4.1　WAL　086

5.4.2　影子頁　087

5.5　本章小結　087

5.6　思考題　087

參考文獻　088

第　6 章 文件系統　089

6.1　文件系統的基本操作　089

6.2　文件系統實現　090

6.2.1　一個簡單的文件系統　091

6.2.2　命名空間管理　094

6.2.3　存儲管理　095

6.3　文件系統實例：ext2　098

6.4　本章小結　100

6.5　思考題　100

參考文獻　100

第　7 章 網絡存儲體系結構　101

7.1　DAS　101

7.2　NAS　102

7.2.1　架構特點　102

7.2.2　網絡文件協議　103

7.2.3　應用場景　104

7.3　SAN　104

7.3.1　架構特點　104

7.3.2　核心組件　105

7.3.3　應用場景　106

7.3.4　NAS 與 SAN 對比　106

7.4　對象存儲　106

7.4.1　架構特點　106

7.4.2　核心組件　107

7.5　並行存儲　108

7.5.1　架構特點　108

7.5.2　關鍵技術　108

7.6　P2P 存儲　109

7.6.1　架構特點　110

7.6.2　關鍵技術　110

7.6.3　應用場景　111

7.7　雲存儲　112

7.7.1　架構特點　113

7.7.2　應用場景　113

7.8　存儲虛擬化　115

7.8.1　基本概念　115

7.8.2　關鍵技術　116

7.9　軟件定義存儲　117

7.9.1　基本概念　117

7.9.2　代表性系統　118

7.9.3　關鍵挑戰　119

7.10　超融合架構　120

7.10.1　基本概念　120

7.10.2　關鍵技術　121

7.10.3　代表性系統　121

7.10.4　概念對比　122

7.11　本章小結　122

7.12　思考題　123

參考文獻　123

第　8 章 分佈式存儲系統　125

8.1　分佈式存儲系統的典型架構　125

8.2　分佈式存儲系統的關鍵衡量指標　126

8.2.1　性能　126

8.2.2　可擴展性　126

8.2.3　一致性　126

8.2.4　可用性　128

8.3　分佈式鍵值存儲系統　128

8.3.1　典型分佈式鍵值存儲系統　129

8.3.2　分佈式鍵值存儲系統關鍵技術　132

8.4　分佈式對象存儲系統　134

8.4.1　典型分佈式對象存儲系統　134

8.4.2　分佈式對象存儲系統關鍵技術　138

8.5　分佈式塊存儲系統　139

8.5.1　典型分佈式塊存儲系統　139

8.5.2　分佈式塊存儲系統關鍵技術　142

8.6　分佈式文件系統　142

8.6.1　典型分佈式文件系統　143

8.6.2　分佈式文件系統關鍵技術　150

8.7　本章小結　151

8.8　思考題　151

參考文獻　151

第　9 章 存儲可靠性　153

9.1　存儲可靠性概述　153

9.1.1　可靠性指標及其計算方法　153

9.1.2　可靠性分層設計　154

9.1.3　可靠性與可用性的區別　155

9.2　硬盤可靠性　155

9.2.1　硬盤出錯特徵分析　155

9.2.2　硬盤故障預警和監測　157

9.2.3　面向環境因素的硬盤可靠性設計　160

9.3　快閃內存介質可靠性　161

9.3.1　快閃內存介質錯誤源　161

9.3.2　快閃內存可靠性優化關鍵技術　163

9.4　糾刪碼技術　165

9.4.1　多副本原理　165

9.4.2　糾刪碼原理　165

9.4.3　典型的糾刪碼介紹及分析　168

9.4.4　糾刪碼技術發展趨勢　176

9.5　分佈式存儲系統可靠性　180

9.5.1　數據冗餘技術　180

9.5.2　故障恢復技術　181

9.5.3　數據一致性協議　181

9.5.4　負載均衡技術　182

9.6　本章小結　182

9.7　思考題　182

參考文獻　183

第　10 章 存儲安全　189

10.1　理念和安全體系　189

10.2　系統安全　190

10.2.1　硬件安全　190

10.2.2　容器安全　192

10.2.3　系統韌性　193

10.3　數據安全　194

10.3.1　數據加密　194

10.3.2　數據完整　196

10.3.3　權限管理　199

10.3.4　數據安全銷毀　200

10.3.5　數據安全計算　201

10.4　安全管理　203

10.4.1　系統訪問控制（認證管理）　203

10.4.2　用戶身份和訪問管理　206

10.4.3　證書管理和密鑰管理　207

10.4.4　網絡安全管理　211

10.5　本章小結　212

10.6　思考題　212

參考文獻　213

第　11 章 數據保護　216

11.1　數據保護背景　216

11.1.1　數據保護標準　216

11.1.2　數據保護技術特點　218

11.2　數據保護技術　219

11.2.1　鏡像　219

11.2.2　快照　222

11.2.3　克隆　223

11.3　數據保護場景　223

11.3.1　備份　224

11.3.2　歸檔　228

11.3.3　容災　231

11.4　本章小結　240

11.5　思考題　240

參考文獻　240

第　12 章 存儲維護　242

12.1　概述　242

12.2　預防性維護　242

12.2.1　硬盤健康預測　243

12.2.2　容量趨勢預測　244

12.2.3　性能異常檢測　245

12.2.4　性能潮汐分析　245

12.3　糾正性維護　246

12.3.1　主動問題處理　246

12.3.2　升級　246

12.3.3　擴容　249

12.4　思考題　251

參考文獻　252

第　13 章 存儲解決方案　253

13.1　運營商行業解決方案　253

13.1.1　運營商大數據解決方案　253

13.1.2　運營商 BOM 域生產業務備份　255

13.2　政務融合存儲資源池解決方案　257

13.2.1　場景需求　257

13.2.2　融合資源池解決方案　258

13.3　金融行業容災解決方案　259

13.3.1　場景需求　259

13.3.2　容災建設需求　260

13.3.3　兩地三中心容災解決方案　260

13.4　醫療行業解決方案　261

13.4.1　場景需求　261

13.4.2　PACS 影像系統存儲解決方案　262

13.5　教育行業解決方案　262

13.5.1　場景需求　263

13.5.2　教育科研高性能計算和數據分析　263

13.6　思考題　264

參考文獻　264

第　14 章 存儲技術趨勢與發展　265

14.1　快閃內存存儲系統　265

14.1.1　OC SSD　266

14.1.2　ZNS SSD　267

14.2　存內計算　269

14.2.1　近存計算　270

14.2.2　存算一體化　270

14.3　持久性內存　272

14.3.1　文件系統　272

14.3.2　鍵值存儲系統　273

14.3.3　分佈式存儲系統　275

14.4　在網存儲　276

14.4.1　在網數據協調　276

14.4.2　在網數據調度　277

14.4.3　在網數據緩存　278

14.5　智能存儲　278

14.5.1　AI for Storage　278

14.5.2　Storage for AI　280

14.6　邊緣存儲　282

14.6.1　邊緣存儲設備　283

14.6.2　邊緣存儲 I/O 棧　284

14.6.3　邊緣數據組織與檢索　284

14.7　區塊鏈存儲　285

14.7.1　區塊鏈存儲系統簡介　286

14.7.2　區塊鏈存儲系統優化　286

14.8　分離式數據中心架構　287

14.8.1　背景　287

14.8.2　架構特點及關鍵技術　288

14.8.3　未來趨勢　291

14.9　高密度新型存儲　292

14.9.1　疊瓦式磁性存儲　292

14.9.2　高密光存儲　293

14.9.3　DNA 存儲　293

14.10　本章小結　294

14.11　思考題　294

參考文獻　295

縮略語表　301