VMware vSAN 超融合企業應用實戰

王春海

河北經貿大學信息技術學院實驗中心實驗師，MCSE、MCDBA、信息系統項目管理師。
對組建大、中型廣域網與局域網有相當豐富的經驗，在網絡維護、網絡故障解決、
網絡安全、數據恢復和企業虛擬化等方面有獨到的見解。
同時，在IT媒體發表上百篇文章，出版多種虛擬機方面的圖書。
獲獎信息2009～2018年度MVP（連續10年微軟*有價值專家） 
2008年十大IT圖書*佳原創作者（51CTO、《中國圖書商報》和中國互動出版網）
 2010與2011年十大傑出IT博客（51CTO） Windows Server 2012雲創意大賽“創新應用類”個人*越獎  
 

目錄：  
1 VMware虛擬化基礎知識1  
1.1傳統數據中心1  
1.2使用本地存儲的服務器虛擬化3  
1.3使用共享存儲的服務器虛擬化（傳統架構） 4  
1.4使用vSAN存儲的服務器虛擬化（超融合架構） 5  
1.5 vSAN基礎知識6  
1.6通過已有vSAN群集理解vSAN數據存儲9  
1.7 vSAN的功能與主要特點15  
1.7.1標準vSAN群集15  
1.7.2故障域解決機架級故障16  
1.7.3延伸群集17  
1.7.4 vSAN6.1支持Oracle RAC和WSFC群集技術18  
1.7.5 vSAN與傳統存儲的區別19  
1.7 .6 vSAN的許可方式19  
1.7.7共享存儲與vSAN數據存儲方式對比20  
1.8 vSAN不同版本與新增功能介紹22  
1.8.1 Virtual SAN 6.0新增功能23  
1.8.2 Virtual SAN 6.1新增功能23  
1.8 .3 Virtual SAN 6.2新增功能24  
1.8.4 Virtual SAN 6.5新增功能25  
1.8.5 VMware vSAN 6.6新增功能25  
1.8.6 VMware vSAN 6.6.1新增功能26  
1.8.7 VMware vSAN 6.7新增功能27  
1.8.8 VMware vSAN 6.7 U1新增功能29  
1.8.9 VMware vSAN 6.7 U3新增功能30 
 
2 vSphere虛擬化數據中心產品選型32  
2.1傳統數據中心服務器、存儲、交換機的選擇32  
2.1.1服務器的選擇33  
2.1.2服務器與存儲的區別38  
2.1 .3存儲的規劃40  
2.1.4 IBM常見存儲參數43  
2.1.5網絡及交換機的選擇44  
2.2 vSAN架構硬件選型與使用的注意事項45  
2.2.1 vSAN主機選擇的注意事項46  
2.2.2使用vSAN硬件快速參考指南48  
2.2.3 vSAN ReadyNode 50  
2.2.4 VMware兼容性指南中閃存設備性能與持久性分級53  
2.2.5 vSAN項目中交換機的選擇58  
2.3 vSphere版本與客戶端的選擇62  
2.3.1 vSphere產品版本的選擇62  
2.3.2 vSphere管理客戶端62  
2.3.3 vCenter Server版本問題65  
2.3.4 vSphere產品的升級65  
2.4 ESXi引導設備的選擇66  
2.4.1將ESXi安裝在SATA DOM設備中67  
2.4.2將ESXi安裝在雙SD卡套件中68  
2.4.3將ESXi安裝在M.2 SSD 68  
2.4.4將ESXi安裝在本地硬盤68  
2.4.5安裝或升級ESXi的注意事項69  
2.4.6 UEFI與LEGACY引導問題70  
2.4.7 vSAN中系統盤與vSAN磁盤模式問題71 
 
3安裝VMware ESXi 6.7 72  
3.1 vSphere產品概述72  
3.1.1 ESXi概述72  
3.1.2 vSphere產品與版本73  
3.1.3 ESXi系統需求74  
3.2在VMware Workstation虛擬機中安裝ESXi 75  
3.2.1實驗環境概述77  
3.2.2配置VMware Workstation 15的虛擬機79  
3.2.3在VMware Workstation中創建ESXi虛擬機80  
3.2.4在虛擬機中安裝ESXi 6.7 83  
3.3在普通PC中安裝ESXi 86  
3.3.1在PC中安裝ESXi的注意事項86  
3.3.2下載ESXi網卡驅動程序87  
3.3.3下載RAID卡驅動程序89  
3.3.4使用ESXi-Customizer-PS集成驅動程序到ESXi 6.7.0 90  
3.3.5在PC中安裝ESXi 95  
3.4 ESXi控制台配置97  
3.4.1進入控制台界面97  
3.4.2修改管理員密碼98  
3.4.3配置管理網絡99  
3.4.4啟用ESXi Shell與SSH 101  
3.4.5恢復系統配置102  
3.4.6 ESXi的關閉與重啟102
  
4 vSAN項目中RAID卡與交換機配置103  
4.1 Dell服務器H730 RAID卡配置（適用於vSAN） 103  
4.2為聯想x3650 M5配置JBOD模式（適用於vSAN） 107  
4.2.1某4節點標準vSAN群集案例107  
4.2.2安裝硬盤擴展背板108  
4.2.3移除RAID卡緩存模塊並啟用JBOD模式109  
4.2.4將磁盤配置為JBOD模式112  
4.2.5設置引導磁盤112  
4.2.6將ESXi安裝到300GB的磁盤113  
4.3聯想x3850 X6移除緩存模塊並配置JBOD模式114  
4.4 H3C 6900服務器RAID卡配置115  
4.4.1設置JBOD模式116  
4.4.2在Advanced Controller Properties中允許JBOD模式119  
4.4.3設置引導磁盤121  
4.5 vSAN中網絡規劃與交換機配置122  
4.5.1某4節點混合架構vSAN群集網絡配置示例124  
4.5.2某8節點全閃存架構vSAN群集網絡配置示例126  
4.5.3為交換機配置堆疊方式128  
4.5.4 2台華為S5720S-LI-28P-AC配置示例129  
4.5.5修改堆疊端口配置命令130  
4.5.6將華為交換機配置為NTP 131  
4.6關於華為交換機的MTU數值介紹133  
4.6.1華為S5700系列交換機默認是1600 133  
4.6.2華為S5720S系列交換機默認是9216 134  
4.6.3修改華為交換機的MTU數據134  
4.6.4為vSAN流量啟用巨型幀支持134
  
5單台主機組建vSAN 138  
5.1 vSAN群集組成方式138  
5.2 vCenter Server與vSAN的關係139  
5.3單節點主機部署vSAN 139  
5.3.1實驗環境介紹140  
5.3.2在實驗機中安裝ESXi 141  
5.3.3以強制置備方式安裝vCenterServer Appliance 143  
5.3.4登錄vCenter Server 148  
5.4 vCenter Server首要配置153  
5.4.1信任vCenter Server根證書153  
5.4.2為vSphere分配許可證157  
5.4.3修改SSO與root賬戶密碼過期策略158  
5.4.4使用root賬戶管理vCenter Server 159  
5.4.5 vSAN數據存儲與存儲提供程序160  
5.5單台主機實驗應用162  
5.5.1創建虛擬機存儲策略162  
5.5.2啟用vMotion與vSAN流量165  
5.5.3創建虛擬機使用FTT=0的虛擬機存儲策略166  
5.5.4安裝VMRC控制台167  
5.5.5在虛擬機中安裝操作系統169  
5.5.6從模板置備虛擬機172  
5.5.7虛擬網絡174  

6組建標準vSAN群集176  
6.1某5節點標準vSAN群集實驗環境介紹176  
6.1.1實驗主機配置176  
6.1.2實驗主機網絡配置177  
6.1.3 vCenter與ESXi的IP地址規劃181  
6.2安裝ESXi與vCenter Server 182  
6.2.1安裝ESXi45主機182  
6.2.2安裝其他主機183  
6.2.3安裝vCenter Server Appliance 6.7 185  
6.2.4添加主機到vCenter Server 188  
6.3啟用vSAN群集191  
6.3.1創建分佈式交換機191  
6.3.2為分佈式交換機分配上行鏈路192  
6.3.3創建分佈式端口組194  
6.3.4修改MTU為9000 195  
6.3.5為vSAN流量添加VMkernel 196  
6.3.6向標準vSAN群集中添加磁盤組199  
6.3.7將ESXi主機批量退出維護模式200  
6.3.8修復vCenter Server Appliance 201  
6.4 vSAN群集後續配置202  
6.4.1卸載並刪除系統卷本地存儲202  
6.4.2修復CVE-2018-3646提示204  
6.4.3啟用HA、DRS與EVC 208  
6.5理解虛擬機存儲策略211  
6.5.1 vSAN存儲策略參數211  
6.5.2添加虛擬機存儲策略219  
6.5.3部署虛擬機應用虛擬機存儲策略222  
6.5.4查看虛擬磁盤RAID方式223  
6.5.5修改虛擬機存儲策略225  
6.6為生產環境配置業務虛擬機227  
6.6.1在虛擬交換機中添加端口組227  
6.6.2為企業規劃虛擬機模板229  
6.6.3創建自定義規範234  
6.6.4從模板定制置備虛擬機239  
6.6.5在虛擬機運行期間擴展內存、 CPU與硬盤空間243  
6.6.6為虛擬機分配外設245  
6.6.7將虛擬機與主機對應246  
6.6.8修復不能啟動的虛擬機247  
6.6.9附加已經存在的虛擬機硬盤250  
6.6.10資源池252  
6.7 vCenter Server Appliance管理與維護257  
6.7.1 FTP服務器的準備257  
6.7.2導出vCenter Server Appliance備份258  
6.7.3從備份恢復vCenter Server Appliance 259  
6.7.4重新安裝vCenter Server Appliance 264  
6.7.5將ESXi主機添加到新的vCenter Server 266  
6.7.6重新配置分佈式交換機269  
6.7.7更新ESXi主機配置274  
6.8 vSAN日常檢查與維護276  
6.8.1啟用性能服務276  
6.8.2日常檢查280  
6.8.3使用iSCSI目標服務282  
6.8.4橫向擴展-向vSAN群集中添加節點主機289  
6.8.5縱向擴展-為vSAN群集中的節點主機添加容量磁盤295  
6.8.6更換故障磁盤298  
6.8.7 vSAN群集收縮-移除節點主機308  
6.9權限管理310  
6.9.1創建本地用戶賬戶312  
6.9.2全局只讀管理員賬戶313  
6.9.3資源池超級管理員賬戶315  
6.9.4資源池管理員賬戶318  
6.10 vSphere與vSAN的升級319  
6.10.1添加與更換內存、CPU 319  
6.10.2硬盤添加或更換319  
6.10.3 vSphere環境升級319  
6.10.4 vCenter Server HA 320  
6.10.5重新安裝vSAN群集中的ESXi主機324  

7從物理機遷移到虛擬機328  
7.1 P2V方式介紹328  
7.2使用vCenter Converter遷移Windows物理機到虛擬機330  
7.2.1在Windows上本地安裝vCenter Converter 331  
7.2.2遷移本地Windows物理機到虛擬機332  
7.2.3使用同步更改功能338  
7.3遷移Cent OS物理機到虛擬機342  
7.4使用備份恢復軟件遷移物理機到虛擬機347  
7.4.1在要遷移的物理機上安裝Veritas System Recovery軟件348  
7.4.2製作SSR恢復磁盤鏡像349  
7.4.3使用SSR備份物理機351  
7.4.4從備份恢復到虛擬機353  
7.4.5修復引導環境358  
7.4.6製作SSR啟動U盤360  
7.4.7使用SSR恢復磁盤備份物理機361  

8虛擬機備份與恢復365  
8.1數據備份概述365  
8.1.1勒索病毒影響數據安全365  
8.1.2有備無患365  
8.1.3備份產品與備份位置的選擇366  
8.1.4備份服務器的選擇366  
8.2 Veeam Backup & Replication功能概述368  
8.2.1備份功能368  
8.2.2恢復功能369  
8.2.3複製功能370  
8.2.4 Veeam Backup & Replication部署方案370  
8.2.5 Veeam Backup & Replication架構373  
8.3備份與恢復功能377  
8.3.1實驗環境介紹378  
8.3.2備份服務器配置378  
8.3.3在Windows操作系統中安裝Veeam 9.5 379  
8.3.4添加vSphere到清單384  
8.3.5創建vSphere備份任務387  
8.3. 6使用應用程序感知功能391  
8.3.7恢復虛擬機：即時恢復396  
8.3.8恢復虛擬機：正常恢復404  
8.3.9應用程序恢復：恢復SQL Server數據庫文件407  
8.3.10恢復Active Directory對象411  
8.3. 11恢復文件414  
8.3.12安裝備份代理416  
8.4使用虛擬機複製功能（局域網環境） 421  
8.4.1 VM複製介紹421  
8.4.2創建複製任務422  
8.4.3使用副本故障轉移和故障回复427  
8.5故障處理436  
8.5.1刪除備份任務並移除vCenter Server 437  
8.5.2恢復vCenter Server 439  
8.5.3添加備份任務並映射備份數據442  
8.5.4重新安裝Veeam後導入備份444  

9使用vSAN延伸群集組建雙機熱備系統447  
9.1基於2節點直連的雙機熱備系統組成概述447  
9.1.1使用共享存儲組成的虛擬化447  
9.1.2使用vSAN存儲組成的虛擬化448  
9.2組建2節點直連的vSAN延伸群集449  
9.2.1實驗環境介紹449  
9.2.2 vCenter Server與ESXi的IP地址規劃450  
9.2.3在Dell T630服務器安裝ESXi 451  
9.2.4在見證主機安裝ESXi 453  
9.2. 5安裝vCenter Server Appliance 454  
9.2.6將主機添加到vCenter Server 455  
9.2.7部署見證虛擬機457  
9.2.8為2節點直連vSAN群集配置網絡462  
9.2.9為節點主機啟用vSAN見證流量465  
9.2. 10啟用vSAN延伸群集466  
9.3創建虛擬機與配置FT 471  
9.3.1 FT的工作方式471  
9.3.2為VMware ESXi主機配置網絡471  
9.3.3使用vSphere Client為虛擬機啟用FT 473  
9.4在2節點直連延伸群集中演示主機故障476  
9.4.1查看虛擬機的現狀476  
9.4.2斷開172.18.96.31主機的電源477  
9.4.3查看狀態478  
9.4.4向運行虛擬機複製數據479  
9.4.5主機全部斷電480  
9.5見證主機故障與更改見證主機481  
9.5.1關閉見證虛擬機模擬見證主機故障482  
9.5.2安裝新的見證虛擬機483  
9.5.3更改見證主機484  
9.5.4修復組件487  
9.6將2節點直連vSAN延伸群集升級到標準vSAN群集488  
9.6.1為新主機配置網絡489  
9.6.2禁用vSAN延伸群集491  

10使用vSAN延伸群集組建雙活數據中心495  
10.1使用vSAN延伸群集實現雙活數據中心概述495  
10.1.1存儲鏡像實現數據的冗餘495  
10.1.2故障域與延伸群集概述496  
10.1.3詳解允許的故障數主要級別與允許的故障數輔助級別498  
10.1.4再談故障域500  
10.2雙活數據中心網絡規劃示例500  
10.2.1路由與交換機配置501  
10.2 .2為*選站點ESXi主機添加靜態路由502  
10.2.3為輔助站點ESXi主機添加靜態路由502  
10.2.4為見證站點ESXi主機添加靜態路由503  
10.3安裝配置雙活數據中心503  
10.3.1添加節點主機並配置vSAN流量504  
10.3.2配置vSAN延伸群集506  
10.4為延伸群集的虛擬機應用PFTT與SFTT策略509  
10.4.1創建虛擬機存儲策略509  
10.4.2為虛擬機應用虛擬機存儲策略511  
10.4.3查看虛擬機在主機的放置情況512  
10.4.4從vSAN延伸群集切換到標準vSAN群集515  
10.5在同一機房配置故障域防止機架級故障518  
10.5.1準備標準vSAN群集520  
10.5.2創建故障域522  

11企業虛擬化應用案例526  
11.1某高校實驗室vSAN應用案例526  
11.1.1準備服務器並安裝ESXi 527  
11.1.2配置HA及EVC問題528  
11.1.3添加另外2台服務器到vSAN群集530  
11.2某連鎖機構vSAN應用案例532  
11.2.1項目概述533  
11.2.2網絡拓撲與交換機連接配置534  
11.2.3安裝配置主要步驟534  
11.2.4評估閃存設備的生命週期535  
11.2.5項目兩年後升級擴容538  
11.2.6現有網絡架構及遷移方案539  
11.2.7升級過程與操作步驟540  
11.3某商務諮詢公司基於vSAN的Horizo​​n虛擬桌面應用548  
11.3.1服務器概述548  
11.3 .2已安裝配置好環境介紹550  
11.3.3項目總結553  
11.4某數據測試中心全閃存vSAN應用554  
11.4.1服務器配置與交換機連接說明555  
11.4.2 ESXi安裝配置主要截圖555  
11.4.3添加ESXi主機到vSAN群集並配置vSAN流量558  
11.4.4為vSAN群集添加磁盤組559  
11.4.5配置vCenter HA 562  
11.4.6虛擬機延遲很大的故障解決564  
11.5某企業2節點直連vSAN延伸群集569 
 
12 vSphere升級與維護572  
12.1 vCenter Server版本要高於ESXi版本572  
12.1.1服務器斷電重啟後vSAN狀態出錯572  
12.1.2 ESXi版本不一致導致無法加入群集574  
12.2重新啟動vCenter Server Appliance服務576  
12.2.1啟動vCenter Server Appliance所有服務577  
12.2.2介紹vCenter Server Appliance的服務577  
12.2.3由於日期不對導致vCenterServer服務無法啟動580  
12.2.4啟動Inventory Service時出現“憑據無效LDAP錯誤49”的解決方法581  
12.3常用vSphere esxcli命令585  
12.3.1 esxcli vsan network list 586  
12.3.2 esxcli network ip interface ipv4 get 587  
12.3.3 esxcli network ip interface list 587  
12.3.4 vmkping 587  
12.3.5 esxcli network ip neighbor list 588  
12.3. 6 esxcli network diag ping 588  
12.3.7 esxcli vsan network ip 588  
12.4了解vSphere版本號與安裝程序文件589  
12.4.1 vSphere正式版本591  
12.4.2修補版本591  
12.4.3安裝程序文件名592  
12.5從vCenter Server Appliance 6.5.0升級到6.7.0 592  
12.6從vCenter Server Appliance 6.7.0 U2升級到6.7.0 U3 597  
12.7 ESXi主機升級600  
12.7.1使用ESXi安裝光盤升級ESXi 600  
12.7.2使用zip文件升級ESXi 601