CXL 體系結構：高速互連的原理解析與實踐

李仁剛，正高級工程師，就職於浪潮電子信息產業股份有限公司。存儲產業技術創新戰略聯盟秘書長，科技部科技創新2030——新一代人工智能重大項目首席科學家 / 項目負責人，中國電腦學會理事。主要從事電腦體系結構、集成電路、人工智能等前沿技術研究，以及多元異構計算系統研製工作。

 

王彥偉，高級工程師，就職於浪潮電子信息產業股份有限公司，CCF 網絡與數據通信專委會執行委員。主要從事異構計算以及加速器、服務器等系統研製工作。曾獲中國電腦學會技術發明一等獎，中國電子學會技術發明二等獎。

 

黃偉，資深研究員，就職於浪潮電子信息產業股份有限公司。主要從事異構計算、人工智能、算力網絡等技術研究。獲發明專利授權 9 項，發表論文 7 篇。

第 一篇　CXL概述

第 1章　CXL起源與發展　3

1.1　CXL的產生背景　3

1.1.1　新型應用需求飛速增長　3

1.1.2　多元化計算架構需求旺盛　4

1.1.3　PCIe鞭長莫及　4

1.2　相關互連協議的提出　6

1.3　CXL的提出與發展　7

1.4　CXL的應用場景　8

1.5　小結　9

第 2章　CXL基礎知識　10

2.1　PCIe體系結構　10

2.1.1　PCIe架構　10

2.1.2　PCIe的層次結構　13

2.1.3　PCIe配置擴展　15

2.1.4　PCIe設備的初始化　19

2.2　緩存一致性　20

2.2.1　緩存一致性問題的誘因　20

2.2.2　MESI簡介　21

2.3　小結　22

第3章　CXL系統架構　23

3.1　CXL互連架構簡介　23

3.2　CXL子協議　24

3.2.1　CXL.io　24

3.2.2　CXL.cache　24

3.2.3　CXL.mem　26

3.3　CXL設備　27

3.3.1　Type 1設備　28

3.3.2　Type 2設備　28

3.3.3　Type 3設備　30

3.3.4　多邏輯設備　30

3.3.5　CXL設備擴展和CXL Fabric　30

3.4　CXL核心組件　31

3.4.1　Flex總線　31

3.4.2　Flit　33

3.4.3　DCOH　33

3.4.4　HDM　34

3.4.5　交換機　34

3.5　CXL總線層次結構總覽　37

3.6　小結　38

第4章　CXL產品簡介　39

4.1　CXL處理器　41

4.1.1　第四代英特爾至強可擴展處理器　41

4.1.2　AMD EPYC 9004處理器　41

4.2　內存　41

4.2.1　三星CMM-D　41

4.2.2　海力士CMM-DDR5　42

4.2.3　瀾起科技CXL內存擴展控制器芯片M88MX5891　43

4.3　CXL SSD　43

4.4　CXL交換芯片　44

4.5　CXL FPGA板卡　45

4.5.1　Agilex 7 FPGA　45

4.5.2　Intel Agilex 7 FPGA開發套件　46

4.5.3　浪潮F26A　47

4.6　CXL控制器IP　48

4.7　浪潮G7系列服務器　49

4.8　小結　51

第二篇　CXL體系結構

第5章　CXL事務層　55

5.1　核心概念　55

5.1.1　內存　55

5.1.2　緩存行的歸屬　57

5.2　CXL事務層協議　58

5.2.1　CXL.io事務層　58

5.2.2　CXL.cache事務層　59

5.2.3　CXL.mem事務層　60

5.3　CXL事務層架構　60

5.3.1　CXL事務層概念映射關系　61

5.3.2　CXL事務層硬件邏輯架構　62

5.4　CXL.cache事務層詳解　63

5.4.1　CXL.cache Read請求　63

5.4.2　CXL.cache Read0請求　64

5.4.3　CXL.cache Write請求　64

5.4.4　CXL.cache Read0-Write請求　65

5.4.5　CXL.cache H2D請求　65

5.5　CXL.mem事務層詳解　66

5.5.1　CXL.mem M2S請求　66

5.5.2　反向無效機制　67

5.6　CXL Type 1/Type 2主機請求HDM流程　67

5.6.1　主機緩存讀設備內存　68

5.6.2　主機獨占讀設備內存　69

5.6.3　主機無緩存讀設備內存　69

5.6.4　主機獨占設備內存（無數據）　70

5.6.5　主機刷新設備緩存　71

5.6.6　主機弱有序寫設備　71

5.6.7　主機無效緩存寫設備　72

5.6.8　主機緩存寫設備　73

5.7　CXL Type 1/Type 2設備請求HDM流程　73

5.7.1　設備讀HDM-D　73

5.7.2　設備讀HDM-DB　74

5.7.3　設備寫HDM-D（Host Bias）　75

5.7.4　設備寫HDM-DB　77

5.7.5　設備寫HDM（僅內部實現）　78

5.8　CXL Type 1/Type 2設備請求主機內存流程　79

5.8.1　設備讀主機內存　79

5.8.2　設備寫主機內存　79

5.9　CXL Type 3主機請求HDM流程　80

5.9.1　主機讀HDM-H　80

5.9.2　主機寫HDM-H　81

5.10　小結　82

第6章　CXL鏈路層/物理層　83

6.1　核心概念　84

6.1.1　Flit　84

6.1.2　流量控制　84

6.1.3　錯誤檢查　85

6.2　CXL鏈路層/物理層架構　85

6.3　CXL鏈路層詳解　86

6.3.1　CXL鏈路層簡介　86

6.3.2　CXL.io鏈路層　86

6.3.3　CXL.cache/mem鏈路層　88

6.4　CXL仲裁/復用詳解　95

6.5　CXL物理層詳解　96

6.5.1　CXL物理層簡介　96

6.5.2　有序集塊和數據塊　98

6.5.3　CXL物理層幀結構　99

6.5.4　鏈路訓練　108

6.6　小結　108

第7章　CXL交換技術　110

7.1　CXL交換機分類　110

7.1.1　單VCS交換機　110

7.1.2　多VCS交換機　111

7.2　交換機的配置和組成　114

7.2.1　CXL交換機的初始化　114

7.2.2　CXL交換機埠的綁定和解綁　118

7.2.3　MLD埠的PPB和vPPB行為　123

7.3　CXL協議的解碼和轉發　123

7.3.1　CXL.io　123

7.3.2　CXL.cache　124

7.3.3　CXL.mem　124

7.4　Fabric管理器API　125

7.4.1　CXL Fabric管理　125

7.4.2　Fabric管理模型　125

7.4.3　CXL交換機管理　126

7.4.4　MLD組件管理　127

7.4.5　系統操作的管理要求　128

7.4.6　Fabric管理API　132

7.5　CXL Fabric架構　137

7.5.1　CXL Fabric架構應用示例　138

7.5.2　全局架構附加內存　141

7.5.3　HBR和PBR交換機之間的互操作性　150

7.5.4　跨越Fabric的虛擬層次　154

7.6　小結　155

第8章　CXL設備的復位、管理和初始化　156

8.1　CXL系統復位概述　156

8.1.1　CXL設備復位類型　156

8.1.2　對CXL與PCIe復位行為差異 　157

8.2　CXL系統復位進入流程　158

8.3　CXL設備睡眠狀態進入流程　159

8.4　功能級復位　160

8.5　緩存管理　161

8.6　CXL復位　161

8.6.1　對易失性HDM的影響 　163

8.6.2　軟件行為　163

8.6.3　CXL復位和請求重試　164

8.7　全局持久性刷新　164

8.7.1　主機和交換機職責　165

8.7.2　設備職責　165

8.7.3　能量預算　167

8.8　熱插拔　168

8.9　軟件枚舉　170

8.10　小結　170

第三篇　CXL工程實踐

第9章　CXL相關系統軟件　173

9.1　BIOS　174

9.2　ACPI　176

9.2.1　ACPI簡介　176

9.2.2　ACPI表訪問工具IASL　178

9.3　Linux與CXL驅動程序　180

9.3.1　cxl/acpi　181

9.3.2　cxl/pci　183

9.3.3　cxl/mem　186

9.3.4　cxl/port　188

9.3.5　cxl/core　188

9.4　CXL內存資源工具　192

9.4.1　內存性能測試工具　192

9.4.2　設備管理工具mxcli　198

9.5　小結　199

第 10章　基於FPGA的CXL應用開發　200

10.1　R-Tile CXL IP　200

10.2　CXL BFM　201

10.3　CXL內存擴展　202

10.3.1　FPGA工程設計　202

10.3.2　功能模擬　203

10.3.3　性能測試　205

10.4　CXL GPGPU　209

10.4.1　Vortex GPGPU　209

10.4.2　FPGA工程設計　210

10.4.3　RTL功能模擬　211

10.5　小結　212

第四篇　CXL發展趨勢和展望

第 11章　CXL的發展趨勢　215

11.1　技術創新和性能提升　215

11.2　標準化和生態建設　216

11.3　安全性和可靠性　217

11.4　小結　218

第 12章　CXL的創新展望　219

12.1　CXL推進內存和存儲的融合　219

12.2　CXL拓展邊緣計算和物聯網　220

12.3　CXL結合領域專用架構　220

12.4　小結　221