1、 DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name FusionCube DOCPROPERTY ProductVersion 6.0 DOCPROPERTY DocumentName 技術白皮書 (虛擬化)前言概述本文檔介紹了華為FusionCube 6.0版本 虛擬化場景的產品價值、產品架構、高性能、線性擴展、系統安全以及系統可靠性。讀者對象本文檔主要適用于以下工程師：營銷工程師技術支持工程師維護工程師符號約定在本文中可能出現下列標志，它們所代表的含義如下。符號說明表示如不避免則將會導致死亡或嚴重傷害的具有高等級風險的危害。表示

2、如不避免則可能導致死亡或嚴重傷害的具有中等級風險的危害。表示如不避免則可能導致輕微或中度傷害的具有低等級風險的危害。用于傳遞設備或環境安全警示信息。如不避免則可能會導致設備損壞、數據丟失、設備性能降低或其它不可預知的結果。“須知”不涉及人身傷害。對正文中重點信息的補充說明。“說明”不是安全警示信息，不涉及人身、設備及環境傷害信息。目 錄 TOC h z t 標題 1,1,標題 2,2,標題 3,3, 標題 4,4, 標題 5,5, 標題 7,1, 標題 8,2, 標題 9,3, Heading1 No Number,1,Appendix heading 1,1,Appendix heading

3、 2,2,Appendix heading 3,3,Appendix heading 4,4,Appendix heading 5,5, Heading 1,1,Heading 2,2,Heading 3,3, Heading 4,4, Heading 5,5, Heading 7,1,Heading 8,2,Heading 9,3 HYPERLINK l _Toc256000000 前言 PAGEREF _Toc256000000 h ii HYPERLINK l _Toc256000001 1 產品概述 PAGEREF _Toc256000001 h 1 HYPERLINK l _Toc2

4、56000002 2 產品價值 PAGEREF _Toc256000002 h 2 HYPERLINK l _Toc256000003 3 產品架構 PAGEREF _Toc256000003 h 3 HYPERLINK l _Toc256000004 3.1 FusionSphere場景架構 PAGEREF _Toc256000004 h 4 HYPERLINK l _Toc256000005 3.1.1 架構 PAGEREF _Toc256000005 h 4 HYPERLINK l _Toc256000006 3.1.2 典型配置 PAGEREF _Toc256000006 h 5 HY

5、PERLINK l _Toc256000007 3.1.3 組網 PAGEREF _Toc256000007 h 6 HYPERLINK l _Toc256000008 3.1.4 工作原理 PAGEREF _Toc256000008 h 7 HYPERLINK l _Toc256000009 3.2 Vmware場景架構 PAGEREF _Toc256000009 h 8 HYPERLINK l _Toc256000010 3.2.1 架構 PAGEREF _Toc256000010 h 8 HYPERLINK l _Toc256000011 3.2.2 典型配置 PAGEREF _Toc2

6、56000011 h 8 HYPERLINK l _Toc256000012 3.2.3 組網 PAGEREF _Toc256000012 h 10 HYPERLINK l _Toc256000013 3.2.4 工作原理 PAGEREF _Toc256000013 h 10 HYPERLINK l _Toc256000014 4 分布式存儲 PAGEREF _Toc256000014 h 14 HYPERLINK l _Toc256000015 4.1 架構概述 PAGEREF _Toc256000015 h 14 HYPERLINK l _Toc256000016 4.2 關鍵業務流程 P

7、AGEREF _Toc256000016 h 17 HYPERLINK l _Toc256000017 4.2.1 數據路由 PAGEREF _Toc256000017 h 17 HYPERLINK l _Toc256000018 4.2.2 IO路徑 PAGEREF _Toc256000018 h 18 HYPERLINK l _Toc256000019 4.2.3 Cache機制 PAGEREF _Toc256000019 h 19 HYPERLINK l _Toc256000020 4.3 存儲管理 PAGEREF _Toc256000020 h 21 HYPERLINK l _Toc2

8、56000021 4.3.1 存儲集群管理 PAGEREF _Toc256000021 h 21 HYPERLINK l _Toc256000022 4.3.2 存儲服務化 PAGEREF _Toc256000022 h 21 HYPERLINK l _Toc256000023 4.4 數據冗余 PAGEREF _Toc256000023 h 22 HYPERLINK l _Toc256000024 4.4.1 多副本 PAGEREF _Toc256000024 h 22 HYPERLINK l _Toc256000025 4.4.2 Erasure Code PAGEREF _Toc2560

9、00025 h 22 HYPERLINK l _Toc256000026 4.5 特性介紹 PAGEREF _Toc256000026 h 23 HYPERLINK l _Toc256000027 4.5.1 SCSI/iSCSI塊接口 PAGEREF _Toc256000027 h 23 HYPERLINK l _Toc256000028 4.5.2 精簡配置 PAGEREF _Toc256000028 h 25 HYPERLINK l _Toc256000029 4.5.3 重刪壓縮 PAGEREF _Toc256000029 h 26 HYPERLINK l _Toc256000030

10、4.5.4 快照 PAGEREF _Toc256000030 h 28 HYPERLINK l _Toc256000031 4.5.5 鏈接克隆 PAGEREF _Toc256000031 h 29 HYPERLINK l _Toc256000032 4.5.6 多資源池 PAGEREF _Toc256000032 h 30 HYPERLINK l _Toc256000033 4.5.7 QoS PAGEREF _Toc256000033 h 30 HYPERLINK l _Toc256000034 4.5.8 存儲雙活 PAGEREF _Toc256000034 h 31 HYPERLINK

11、 l _Toc256000035 4.5.9 存儲異步復制 PAGEREF _Toc256000035 h 32 HYPERLINK l _Toc256000036 5 硬件設備平臺 PAGEREF _Toc256000036 h 34 HYPERLINK l _Toc256000037 5.1 機架服務器平臺 PAGEREF _Toc256000037 h 34 HYPERLINK l _Toc256000038 5.1.1 1288H V5機架服務器 PAGEREF _Toc256000038 h 34 HYPERLINK l _Toc256000039 5.1.2 2288H V5機架服

12、務器 PAGEREF _Toc256000039 h 35 HYPERLINK l _Toc256000040 5.1.3 2488H V5機架服務器 PAGEREF _Toc256000040 h 36 HYPERLINK l _Toc256000041 5.1.4 ARM機架服務器 PAGEREF _Toc256000041 h 37 HYPERLINK l _Toc256000042 5.1.5 OEM第三方機架服務器 PAGEREF _Toc256000042 h 38 HYPERLINK l _Toc256000043 5.2 E9000刀片服務器平臺 PAGEREF _Toc256

13、000043 h 38 HYPERLINK l _Toc256000044 5.2.1 E9000機框 PAGEREF _Toc256000044 h 38 HYPERLINK l _Toc256000045 5.2.2 E9000刀片 PAGEREF _Toc256000045 h 39 HYPERLINK l _Toc256000046 5.2.3 高性能交換板 PAGEREF _Toc256000046 h 41 HYPERLINK l _Toc256000047 6 安裝部署和運維管理 PAGEREF _Toc256000047 h 45 HYPERLINK l _Toc2560000

14、48 6.1 自動化部署 PAGEREF _Toc256000048 h 45 HYPERLINK l _Toc256000049 6.1.1 FusionCube Builder PAGEREF _Toc256000049 h 45 HYPERLINK l _Toc256000050 6.1.2 系統初始化 PAGEREF _Toc256000050 h 47 HYPERLINK l _Toc256000051 6.1.3 設備自動發現 PAGEREF _Toc256000051 h 48 HYPERLINK l _Toc256000052 6.2 統一運維管理 PAGEREF _Toc25

15、6000052 h 48 HYPERLINK l _Toc256000053 6.2.1 業務發放管理 PAGEREF _Toc256000053 h 49 HYPERLINK l _Toc256000054 6.2.2 一鍵式運維 PAGEREF _Toc256000054 h 50 HYPERLINK l _Toc256000055 6.2.3 Call Home PAGEREF _Toc256000055 h 54 HYPERLINK l _Toc256000056 7 性能和可擴展性 PAGEREF _Toc256000056 h 55 HYPERLINK l _Toc25600005

16、7 7.1 系統高性能 PAGEREF _Toc256000057 h 55 HYPERLINK l _Toc256000058 7.1.1 分布式I/O環 PAGEREF _Toc256000058 h 55 HYPERLINK l _Toc256000059 7.1.2 分布式SSD Cache加速 PAGEREF _Toc256000059 h 56 HYPERLINK l _Toc256000060 Read/Write Cache PAGEREF _Toc256000060 h 57 HYPERLINK l _Toc256000061 大塊Pass Throught PAGEREF

17、_Toc256000061 h 59 HYPERLINK l _Toc256000062 7.1.3 硬件加速 PAGEREF _Toc256000062 h 59 HYPERLINK l _Toc256000063 7.2 線性擴展 PAGEREF _Toc256000063 h 60 HYPERLINK l _Toc256000064 7.2.1 存儲平滑擴容 PAGEREF _Toc256000064 h 61 HYPERLINK l _Toc256000065 7.2.2 性能線性擴展 PAGEREF _Toc256000065 h 61 HYPERLINK l _Toc2560000

18、66 7.2.3 一鍵式擴容 PAGEREF _Toc256000066 h 62 HYPERLINK l _Toc256000067 7.3 FusionCube分布式存儲相對于傳統SAN的性能優勢 PAGEREF _Toc256000067 h 63 HYPERLINK l _Toc256000068 7.3.1 更高的性能 PAGEREF _Toc256000068 h 63 HYPERLINK l _Toc256000069 7.3.2 線性Scale-up/Scale-out PAGEREF _Toc256000069 h 64 HYPERLINK l _Toc256000070 7

19、.3.3 大池POOL PAGEREF _Toc256000070 h 65 HYPERLINK l _Toc256000071 7.3.4 SSD Cache vs SSD Tier PAGEREF _Toc256000071 h 66 HYPERLINK l _Toc256000072 8 系統可靠性 PAGEREF _Toc256000072 h 68 HYPERLINK l _Toc256000073 8.1 數據可靠性 PAGEREF _Toc256000073 h 68 HYPERLINK l _Toc256000074 8.1.1 塊存儲集群可靠性 PAGEREF _Toc256

20、000074 h 68 HYPERLINK l _Toc256000075 8.1.2 數據一致性 PAGEREF _Toc256000075 h 68 HYPERLINK l _Toc256000076 8.1.3 數據冗余保護 PAGEREF _Toc256000076 h 69 HYPERLINK l _Toc256000077 8.1.4 快速數據重建 PAGEREF _Toc256000077 h 70 HYPERLINK l _Toc256000078 8.1.5 數據存儲多路徑 PAGEREF _Toc256000078 h 70 HYPERLINK l _Toc25600007

21、9 8.2 硬件可靠性 PAGEREF _Toc256000079 h 71 HYPERLINK l _Toc256000080 8.3 系統亞健康增強 PAGEREF _Toc256000080 h 71 HYPERLINK l _Toc256000081 8.4 備份與恢復 PAGEREF _Toc256000081 h 74 HYPERLINK l _Toc256000082 8.5 容災恢復 PAGEREF _Toc256000082 h 76 HYPERLINK l _Toc256000083 8.5.1 雙活解決方案 PAGEREF _Toc256000083 h 76 HYPER

22、LINK l _Toc256000084 8.5.2 異步復制解決方案 PAGEREF _Toc256000084 h 77 HYPERLINK l _Toc256000085 9 系統安全 PAGEREF _Toc256000085 h 78 HYPERLINK l _Toc256000086 9.1 系統安全威脅 PAGEREF _Toc256000086 h 78 HYPERLINK l _Toc256000087 9.2 總體安全框架 PAGEREF _Toc256000087 h 79 HYPERLINK l _Toc256000088 9.2.1 網絡安全 PAGEREF _Toc

23、256000088 h 80 HYPERLINK l _Toc256000089 9.2.2 應用安全 PAGEREF _Toc256000089 h 81 HYPERLINK l _Toc256000090 權限管理 PAGEREF _Toc256000090 h 81 HYPERLINK l _Toc256000091 Web安全 PAGEREF _Toc256000091 h 81 HYPERLINK l _Toc256000092 數據庫加固 PAGEREF _Toc256000092 h 81 HYPERLINK l _Toc256000093 日志管理 PAGEREF _Toc25

24、6000093 h 82 HYPERLINK l _Toc256000094 9.2.3 主機安全 PAGEREF _Toc256000094 h 82 HYPERLINK l _Toc256000095 操作系統加固 PAGEREF _Toc256000095 h 82 HYPERLINK l _Toc256000096 9.2.4 數據安全 PAGEREF _Toc256000096 h 82 HYPERLINK l _Toc256000097 數據加密 PAGEREF _Toc256000097 h 83產品概述隨著數據不斷增長以及互聯網業務的興起，新興業務的激增、業務數據呈現幾何倍數增

25、加，傳統服務器+存儲的架構已經無法很好滿足業務發展需求，分布式、云化技術應運而生。越來越多的企業采用虛擬化與云計算技術來構建IT系統，提升IT系統的資源利用率以及縮短業務上線周期。但在應用過程中，企業面臨如下挑戰：虛擬平臺部署和管理復雜，運維費用仍然維持增長趨勢。安裝部署復雜，硬件來自多廠商，規劃、部署、調優需要豐富的經驗支撐。多廠商設備，售后支持界面多，解決問題慢。系統龐大（不同廠商硬件設備維護、虛擬平臺管理），維護難度大。企業越來越關注成本控制、業務敏捷、風險管控，希望能擁有總成本低、新業務的上線時間快、資源可彈性伸縮、安全可靠、高性能的IT系統。華為FusionCube是一個開放的、可擴

26、展的系統，具有計算/存儲/網絡融合、預集成、高性能、高可靠、高安全、業務自動化快捷部署、統一管理、資源智能彈性伸縮、運維簡單的特點，可幫助客戶業務快速上線，快速實現不同云應用的部署，同時降低維護管理的難度。產品價值FusionCube遵循開放架構標準，集成服務器、分布式存儲及網絡交換機為一體，無需外置存儲設備，并預集成了分布式存儲引擎、虛擬化平臺及管理軟件，資源可按需調配、線性擴展。主要價值如下：融合FusionCube實現了計算、存儲和網絡資源的融合：硬件融合：計算存儲網絡高度集成，線性擴容。管理融合：統一運維管理，提高資源利用率，降低OPEX費用。應用融合：針對應用業務模型，軟硬件深度調優

27、，實現性能提升。簡單FusionCube實現了預安裝、預集成和預驗證、上電后的設備自動發現、統一的維護管理，端到端的簡化了業務交付：簡化安裝：硬件預置安裝，軟件預置集成，設備進場后開箱即用。簡捷交付：設備上電自動發現，參數自動配置，實現業務快速上線。簡單維護：統一界面管理，故障主動排查，簡化日常運維。優化FusionCube通過采用業界領先硬件，以及分布式存儲軟件，為應用提供最優的業務體驗：存儲優化：通過內置分布式存儲，為數據庫應用提供了高并發、高吞吐量的存儲服務。網絡優化：支持25GE網絡，提供高帶寬的交換網絡開放FusionCube是基于開放的超融合架構構建的基礎設施平臺，不綁定特定的上層

28、應用，可以為業界主流虛擬化平臺、數據庫等提供計算、存儲和網絡資源：兼容主流虛擬化平臺（FusionSphere，VMware vSphere）。一套系統同時支持物虛擬化和數據庫混合部署。產品架構華為FusionCube總體架構主要由：硬件平臺、分布式存儲軟件、安裝部署和運維管理平臺、虛擬化平臺以及相應的備份容災方案，其中虛擬化平臺支持華為自研的FusionSphere虛擬化平臺以及Vmware虛擬化平臺。另外,FusionSpere場景下，FusionCube支持混合部署方案，在支持FusionSphere虛擬化平臺外還能同時支持物理節點部署，為系統數據庫提供相應的計算、存儲和網絡資源。華為F

29、usionCube總體架構詳細構成如下圖所示：華為FusionCube總體架構華為FusionCube總體架構組件說明名稱說明FusionCube CenterFusionCube的管理軟件，管理其中的虛擬化資源、硬件資源，提供系統監控管理和運維管理等功能。FusionCube Builder提供現場快速安裝部署FusionCube系統軟件，可用于現場更換虛擬化平臺軟件或者更新版本。FusionCube分布式存儲使用分布式存儲技術，通過合理有序組織服務器的本地硬盤，提供高性能高可靠的塊存儲業務。虛擬化平臺支持華為自研FusionSphere虛擬化平臺和Vmware虛擬化平臺，提供系統虛擬化管理

30、平臺。備份軟件用于備份系統業務虛擬化，主要包括自研的備份軟件eBackup和第三備份軟件Veeam、CV、愛數等主流備份軟件。容災軟件提供基于存儲雙活和存儲異步復制的容災方案，容災軟件主要采用自研BCManager和UltraVR硬件平臺服務器使用1288H V5/2288H V5/2488H V5機架服務器，支持計算、存儲、交換、電源模塊化設計，計算和存儲節點按需混配，計算、存儲都在服務器內部署完成，支持GPU，SSD PCIe等IO加速擴展，支持豐富的交換模塊10GE/IB，根據業務要求靈活配置。FusionCube遵循開放架構標準，融合服務器、分布式存儲及網絡交換機為一體，并預集成了分布

31、式存儲引擎、虛擬化平臺及管理軟件，資源可按需調配、線性擴展。 HYPERLINK l _ZH-CN_TOPIC_0207594211 o 3.1 FusionSphere場景架構 HYPERLINK l _ZH-CN_TOPIC_0207594330 o 3.2 Vmware場景架構FusionSphere場景架構FusionCube 6.0版本中FusionSphere虛擬化場景采用KVM虛擬化架構，系統主要由華為自研硬件平臺或兼容適配的第三方服務器、FusionCube分布式存儲系統、FusionSphere虛擬化平臺以及FusionCube Center管理平臺構成，其中FusionCu

32、be Builder提供相應額軟件安裝操作。配套軟件eBackup、Veeam、UltraVR等可以給系統提供備份、容災等高級特性。架構在FusionSphere虛擬化的部署中，FusionCube分布式存儲軟件直接部署在Hypervisor內核中，節點的HDD和SSD Cache存儲介質通過FusionCube分布式存儲軟件構造成系統共享的存儲池資源，同時FusionSphere虛擬化平臺將節點的計算資源虛擬提供給節點上的業務虛擬機使用。根據節點提供的功能特性差異，又分為管理融合節點、存儲融合節點、計算節點和物理數據庫節點，詳細的節點架構如下圖：Fusionsphere場景節點架構Fusio

33、nSphere場景各類節點說明名稱說明部署原則MCNA（管理節點）具有管理功能的節點，其上部署了VRM、FCC/FSM等管理虛擬機。同時也可提供存儲和計算功能必須部署2個。SCNA（存儲計算節點）具有存儲、計算功能的節點。提供FusionCube分布式存儲HDD磁盤以及SSD Cache存儲資源以及虛擬化計算資源根據需要部署1個多個。CNA（計算節點）具有計算功能的節點。只能提供虛擬化計算資源根據需要部署0個多個。DBN（數據庫節點）物理部署節點，可提供系統數據庫計算資源根據需要部署0個多個。典型配置FusionCube 6.0版本中FusionSphere虛擬化場景可支持大容量的HDD+SS

34、D Cache混合部署場景以及高性能的全SSD部署場景。具體的場景配置具體如下：混合部署場景節點典型配置：配置項典型配置說明服務器類型機架服務器/刀片服務器/高密服務器等服務器根據客戶對機柜空間、磁盤大小、密度、PCIE網卡數量等選擇合適的服務器類型；機架服務器：優勢為靈活，支持各類硬盤類型，預留多個PCIE槽位，支持GPU卡。不足是空間占用大；刀片服務器：優勢為集成度高，可支持計算、存儲、網絡集成在一個機柜內。不足是只支持2.5寸硬盤，單節點容量偏小，節點網卡配置固定；高密服務器：優勢為存儲計算密度高，4U4或2U4節點，節點支持2塊系統盤以及3.5或2.5寸硬盤類型；不足是后置PCIE槽位

35、不足，且不支持GPU卡；CPU/內存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/內存配置根據客戶的業務規格和配置可以動態調整配置，提供更多的計算資源磁盤2T/4T/6T/8T SATA盤，1.2T/1.8T/2.4T SAS盤操作系統盤默認為2*600GB SAS盤FusionCube分布式存儲要求SATA/SAS盤必須要采用3副本或者EC配比為N+2及以上的冗余策略。FusionCube分布式存儲在部署過程中會占用3個節點上的一塊磁盤用于存放ZK元數據。Cache華為自研NVME SSD V5盤或卡；華為自研S

36、AS SSD V5盤；系統的cache大小可根據客戶業務壓力靈活配置，一般默認配置為800GB NVME SSD V5盤/卡，緩存主存比建議=3%；Cache類型出華為自研的NVME SSD和SAS SSD外，還可支持Intel、三星、鎂光等完成兼容性驗證的SAS/SATA SSD盤。網卡2*10GE+2*10GE默認推薦管理、業務共用2*10GE網口，存儲網絡平面獨占2*10GE網口，如果配置了容災，則建議再增加2*10GE網口用于復制網絡平面。全閃存部署場景節點典型配置：配置項典型配置說明服務器類型機架服務器/刀片服務器/高密服務器等根據客戶對機柜空間、磁盤大小、密度、PCIE網卡數量等選

37、擇合適的服務器類型；機架服務器：優勢為靈活，支持各類硬盤類型，預留多個PCIE槽位，支持GPU卡。不足是空間占用大；刀片服務器：優勢為集成度高，可支持計算、存儲、網絡集成在一個機柜內。不足是只支持2.5寸硬盤，單節點容量偏小，節點網卡配置固定；高密服務器：優勢為存儲計算密度高，4U4或2U4節點，節點支持2塊系統盤以及3.5或2.5寸硬盤類型；不足是后置PCIE槽位不足。CPU/內存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/內存配置根據客戶的業務規格和配置可以動態調整配置，提供更多的計算資源。磁盤ES3000

38、NVME SSD V5盤； ES3000 SAS SSD V5盤操作系統盤為2*480GB SATA SSD盤或2*600GB SAS盤FusionCube分布式存儲默認全閃存場景采用2副本或者EC配比為N+2以上的冗余策略，客戶如果要求更高的可靠性也可采用三副本（成本更高）。全閃存磁盤默認采用華為自研盤，推薦采用3DWPD磁盤，業務寫入數據量不大場景下，可采用1DWPD磁盤。全閃存場景下，分布式存儲ZK元數據放在操作系統磁盤空間上，為滿足ZK元數據的性能要求，操作系統推薦采用480GB SATA SSD盤，5節點以上可采用600GB SAS盤（ZK元數據與管理VM不在同節點上）。網卡2*10

39、GE+2*10GE默認推薦管理、業務共用2*10GE網口，存儲網絡平面獨占2*10GE網口，如果配置了容災，則建議再增加2*10GE網口用于復制網絡平面。組網華為FusionCube 6.0版本FusionSphere場景的系統組網包含：管理平面、存儲平面、業務平面、BMC平面以及容災涉及的復制、仲裁平面。詳細的組網情況如下：FusionSphere場景系統組網圖通信平面類型說明介紹：管理平面：FusionCube系統的管理網絡平面，用于系統的業務操作和運維管理，支持TCP/IP協議，支持GE/10GE組網，可以與業務平面共網卡，通過VLAN隔離；存儲平面：FusionCube分布式存儲節點間

40、數據讀寫操作網絡平面，支持TCP/IP協議、RDMA協議，支持10GE/25GE組網，建議獨占網卡，網口配置active-backup模式的網口聚合；業務平面：客戶業務通信網絡平面，支持TCP/IP協議，支持GE/10GE組網，可以與管理平面共網卡，通過VLAN隔離；BMC平面：服務器設備管理平面，訪問FusionCube系統服務器設備的運維管理平臺；復制平面：容災方案中，主備站點間的數據同步網絡平面，支持TCP/IP協議，支持GE/10GE組網，建議系統獨占網卡，避免與其他網絡平面爭搶資源；工作原理業務IO流程FusionSphere場景下，業務虛擬機部署在主機KVM虛擬化平臺上，存儲采用的

41、FusionCube分布式存儲資源，虛擬機IO通過SCSI協議，直接與運行在Hypervisor內核中的分布式存儲軟件進行數據交互，詳細業務IO流程參考REF _fig128091439154315 r h圖3-4。FusionSphere場景業務IO流程圖FusionSphere場景下的節點架構IO路徑短，效率更高。業務管理與運維FusionSphere場景下，FusionCube HCI系統支持系統預安裝集成能力，系統在出廠時已將系統硬件BIOS和磁盤RAID配置、虛擬化平臺、管理軟件、分布式存儲軟件預安裝在節點內，客戶在接到產品后，上電后可以在短短的幾十分鐘內完成系統的配置、初始化。客戶

42、完成系統初始化后，即可在系統行發放業務虛擬機使用。在FusionCube Center管理頁面上，支持業務虛擬機的創建以及虛擬機生命周期的管理，支持對系統硬件、存儲、計算資源、虛擬機等監控管理，將系統各個組件的告警匯總統一上報管理，提供系統的一鍵式運維能力，包括：一鍵式擴容、升級、日志收件、健康巡檢等。虛擬化平臺一些高級特性或配置可通過單點登錄的方式跳轉至虛擬化管理平臺FusionCompute頁面進行操作，如：計算集群的創建配置、DVS創建和配置、虛擬機高級特性配置等非常用操作。Vmware場景架構FusionCube 6.0版本中Vmware虛擬化場景采用ESXi虛擬化架構，系統主要由華為

43、自研硬件平臺或兼容適配的第三方服務器、FusionCube分布式存儲系統、ESXi虛擬化平臺以及FusionCube Center管理平臺構成，其中FusionCube Builder提供相應額軟件安裝操作。配套軟件eBackup、Veeam、BCManager、SRM等可以給系統提供備份、容災等高級特性。架構在VMware虛擬化的部署中，FusionCube分布式存儲軟件部署在控制器虛擬機（CVM）中，節點的HDD和SSD Cache存儲介質通過VMDirectPath I/O直通給CVM上，然后通過FusionCube分布式存儲軟件將HDD和SSD Cache構造成系統共享的存儲池資源，同

44、時Esxi虛擬化平臺將節點的計算資源虛擬提供給節點上的業務虛擬機使用。根據節點提供的功能特性差異，又分為管理融合節點、存儲融合節點和計算節點，詳細的節點架構如下圖：Vmware場景各類節點說明名稱說明部署原則MCNA（管理節點）具有管理功能的節點，其上CVM部署了FCC/FSM等管理進程。同時也可提供存儲和計算功能必須部署2個。SCNA（存儲計算節點）具有存儲、計算功能的節點。提供FusionCube分布式存儲HDD磁盤以及SSD Cache存儲資源以及虛擬化計算資源根據需要部署1個多個。CNA（計算節點）具有計算功能的節點。只能提供虛擬化計算資源根據需要部署0個多個。典型配置FusionCu

45、be 6.0版本中Vmware虛擬化場景可支持大容量的HDD+SSD Cache混合部署場景以及高性能的全SSD部署場景。具體的場景配置具體如下：混合部署場景節點典型配置：配置項典型配置說明服務器類型高密服務器等(停止銷售)/機架服務器根據客戶對機柜空間、磁盤大小、密度、PCIE網卡數量等選擇合適的服務器類型；機架服務器：優勢為最靈活，支持各類硬盤類型，預留多個PCIE槽位，支持GPU卡,需要配套兩張RAID卡或M.2組RAID1。不足是空間占用大；高密服務器：優勢為存儲計算密度高，4U4或2U4節點，節點支持2塊系統盤以及3.5寸或2.5寸主存盤，前置PPCIE槽位配置SSD Cache以及

46、M.2卡，后置PCIE槽位不足（2個8X槽位），不支持GPU卡。CPU/內存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/內存配置根據客戶的業務規格和配置可以動態調整配置，提供更多的計算資源。磁盤2T/4T/6T/8T SATA盤，1.2T/1.8T/2.4T SAS盤操作系統盤默認為2*600GB SAS盤FusionCube分布式存儲要求SATA/SAS盤必須要采用3副本或者EC配比為N+2以上的冗余策略，SAS盤可采用2副本、三副本或者EC配比為N+2以上的冗余策略。Cache華為自研SAS SSD V5盤；

47、Intel NVME系統的cache大小可根據客戶業務壓力靈活配置，一般默認配置為1600GB NVME SSD V5盤；默認要求緩存主存比=3%。網卡2*10GE+2*10GE默認推薦管理、業務共用2*10GE網口，存儲網絡平面獨占2*10GE網口，如果配置了容災，則建議再增加2*10GE網口用于復制網絡平面。全閃存部署場景節點典型配置：配置項典型配置說明服務器類型機架服務器/刀片服務器（停止銷售）/高密服務器（停止銷售）根據客戶對機柜空間、磁盤大小、密度、PCIE網卡數量等選擇合適的服務器類型；機架服務器：優勢為靈活，支持各類硬盤類型，預留多個PCIE槽位，支持GPU卡。不足是空間占用大；

48、刀片服務器：優勢為集成度高，可支持計算、存儲、網絡集成在一個機柜內。不足是只支持2.5寸硬盤，單節點容量偏小，節點網卡配置固定；高密服務器：優勢為存儲計算密度高，4U4或2U4節點，節點支持2塊系統盤以及3.5或2.5寸硬盤類型；不足是后置PCIE槽位不足CPU/內存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/內存配置根據客戶的業務規格和配置可以動態調整配置，提供更多的計算資源磁盤Intel NVME； ES3000 SAS SSD V5盤操作系統盤為2*480GB SATA SSD盤或2*600GB SAS盤F

49、usionCube分布式存儲默認全閃存場景采用2副本或者EC配比為N+2以上的冗余策略，客戶如果要求更高的可靠性也可采用三副本（成本更高）。全閃存場景下，分布式存儲ZK元數據放在操作系統磁盤空間上，為滿足ZK元數據的性能要求，操作系統推薦采用480GB SATA SSD盤，5節點以上可采用600GB SAS盤（ZK元數據與管理VM不在同節點上）。網卡2*10GE+2*10GE默認推薦管理、業務共用2*10GE網口，存儲網絡平面獨占2*10GE網口，如果配置了容災，則建議再增加2*10GE網口用于復制網絡平面。組網華為FusionCube 6.0版本Vmware場景的系統組網包含：管理平面、存儲

50、平面、業務平面、BMC平面以及容災涉及的復制、仲裁平面。詳細的組網情況如下：Vmware場景系統組網圖通信平面類型說明介紹：管理平面：FusionCube系統的管理網絡平面，用于系統的業務操作和運維管理，支持TCP/IP協議，支持GE/10GE組網，可以與業務平面共網卡，通過VLAN隔離；存儲平面：FusionCube分布式存儲節點間數據讀寫操作網絡平面，支持TCP/IP協議、RDMA協議，支持10GE/25GE組網，建議獨占網卡，網口配置active-backup模式的網口聚合；業務平面：客戶業務通信網絡平面，支持TCP/IP協議，支持GE/10GE組網，可以與管理平面共網卡，通過VLAN隔

51、離；BMC平面：服務器設備管理IP平面，訪問FusionCube系統服務器設備的運維管理；復制平面：容災方案中，主備站點間的數據同步網絡平面，支持TCP/IP協議，支持GE/10GE組網，建議系統獨占網卡，避免與其他網絡平面爭搶資源；仲裁平面：容災雙活方案中，業務站點與仲裁站點之間的網絡通信平面，支持支持TCP/IP協議，支持GE/10GE組網。工作原理業務IO流程Vmware場景下，FusionCube分布式存儲軟件部署在控制器虛擬機（CVM）中，節點的HDD和SSD Cache存儲介質通過VMDirectPath I/O直通給CVM上，通過FusionCube分布式存儲軟件將HDD和SSD

52、 Cache構造成系統共享的存儲池資源，存儲通過ISCSI協議將卷設備掛載到主機上供業務虛擬機使用。詳細業務IO流程參考下圖：Vmware場景業務IO流程圖Vmware場景下分布式存儲軟件運行在CVM上，IO路徑更長。業務管理和運維Vmware場景下，FusionCube HCI系統在出廠時已將系統硬件BIOS和磁盤RAID配置，客戶在接收產品上電后，可以通過FusionCube Builder安裝工具快速完成安裝部署的參數設置，完成Esxi、CVM虛擬機OS、FusionCube Center管理平臺、分布式存儲軟件安裝等系統的軟件安裝。完成系統安裝部署后，客戶在FusionCube Cen

53、ter管理平臺界面上對系統進行配置、然后完成系統的整體初始化。系統需要接入vCenter進行管理，如果客戶已有vCenter，則可以直接將系統接入即可，如果客戶沒有，則可以在系統上部署vCenter管理虛擬機，再將系統接入到vCenter上。日常業務管理運維過程中，客戶業務管理發放統一在vCenter上進行操作，客戶在vCenter Server上進行創建管理虛擬機，主機集群等虛擬化平臺相關操作管理也均在vCenter上操作。系統的運維管理則統一在FusionCube Center上操作，系統會將硬件設備、存儲的告警匯總上報管理，但不包含Esxi虛擬化平臺的錯誤告警，由vCenter Serv

54、er進行管理。FusionCube Center可以提供系統的一鍵式運維能力，包括：一鍵式擴容、日志收件、健康巡檢等。支持Vmware VAAIVAAI是“vStorage APIs for Array Integration”的縮寫，VMWare為提升虛擬化的性能將一系列與存儲相關的操作卸載到存儲設備提出了一系列API標準，需要存儲設備按規范實現這些API。FusionCube分布式存儲實現了以下特性的API：Copy offloadCopy offload 也被稱作Full Copy 或Clone Blocks。當虛擬機克隆或根據模板創建虛擬機時，涉及到大量數據塊的拷貝。通過Copy of

55、fload，不需要在ESXi服務器端進行拷貝，而是在存儲端離線進行，從而降低ESXi服務器端資源開銷。也可用在存儲vMotion場景。Copy offload 示意圖Block Zeroing創建虛擬機時對虛擬磁盤立即清零是比較安全的，且后續使用性能沒有性能下降。通過Block Zeroing 大大減少ESXi主機與存儲設備間的交互。Block Zeroing 示意圖Automatic Test and Set(ATS)VMFS文件系統允許多主機對同一共享邏輯卷的并發訪問，這是vMotion運行的必要條件。VMFS有一個內置的安全機制，防止虛擬機被超過一臺的主機同時運行或修改。 vSphere

56、采用“SCSI預留”作為其傳統文件鎖定機制，這種方式在某項存儲相關的指令操作期間，比如增量快照增長或發生時，均使用 “RESERVE SCSI”命令鎖定整個邏輯卷。這有助于防止沖突，不過也拖延了存儲工作的完成，因為主機必須等待邏輯卷的解鎖命令 “RELEASE SCSI”才能繼續寫入。使用ATS命令是一種硬件輔助的鎖定機制，可以離線地對存儲陣列 加鎖，這樣就可以對個別磁盤數據塊而非整個邏輯卷。這樣可以使得余下的邏輯卷在鎖定期間繼續被主機訪問，十分有助于避免性能下降。該功能同時通過VMFS 數據存儲，允許同一集群中部署更多的主機，以及更多的虛擬主機部署在同一個邏輯卷上。Automatic Tes

57、t and Set 示意圖UNMAP/Reclaim commandVMFS 是文件系統，而下層為塊。當刪除或遷移虛擬機后，VMFS端看空間大，而下層未做實際的空間回收。當存儲層提供API供VMFS調用，ESXi通過該接口通知下層回收空間。下層實現接口后，當虛擬機從一個DataStore遷走或刪除立即調用該接口，陣列上的空間立即被回收。UNMAP 示意圖分布式存儲FusionCube內置分布式存儲為業務提供存儲服務，FusionCube分布式存儲提供是塊存儲設備，采用獨特的并行架構、創新的緩存算法、自適應的數據分布算法，既消除了熱點也提高了性能，并且能夠以超快的重建時間實現自動化自修復，提供卓

58、越的可用性和可靠性。線性擴展和彈性FusionCube分布式存儲采用全分布式DHT架構，將所有元數據按規則分布在各節點，避免了元數據瓶頸，支持線性擴展。FusionCube分布式存儲采用了獨特的數據分塊切片技術，以及基于DHT Hash的數據路由算法，可以將卷的數據均勻的分散到較大的資源池故障域范圍內，使得每個卷可以獲得更大的IOPS和MBPS性能，也使得每個硬件資源的負載相對均衡。高性能FusionCube分布式存儲免鎖化調度的IO軟件子系統，徹底解決了分布式鎖沖突，使得IO路徑上無需進行任何鎖操作和元數據查詢，IO路徑短、時延低；分布式的無狀態機頭，可以充分發揮各個硬件節點的能力，大大提升

59、了系統的并發IOPS和并發MBPS。同時FusionCube分布式存儲采用分布式的SSD cache技術，配合大容量的SAS/SATA盤做主存，使得系統的性能可以具備SSD的性能和SAS/SATA的容量。高可靠性FusionCube分布式存儲支持多種數據冗余保護機制，如2副本、3副本、EC等；在此基礎上，FusionCube分布式存儲支持設置靈活的數據可靠性策略，允許將不同的副本放在不同的服務器上，保證在服務器故障的情況下，數據仍然不丟失、仍然可訪問。同時采用對有效數據分片進行數據的冗余保護，在硬盤、服務器故障的時候，能夠對有效數據進行并行重建，1TB硬盤的重建時間小于30分鐘，大大增強系統的

60、可靠性。豐富的存儲高級功能精簡配置，當用戶對卷進行寫操作時才分配實際物理空間，來為用戶提供比物理存儲資源更多的虛擬存儲資源。卷快照，將用戶的邏輯卷數據在某個時間點的狀態保存下來，作為快照點；快照不限次數且性能不下降。鏈接克隆，基于增量快照提供鏈接克隆，一個快照可以創建出多個克隆卷，各個克隆卷剛創建出來時的數據內容與快照中的數據內容一致，后續對于克隆卷的修改不會影響到原始的快照和其他克隆卷。 HYPERLINK l _ZH-CN_TOPIC_0207594150 o 4.1 架構概述 HYPERLINK l _ZH-CN_TOPIC_0207594178 o 4.2 關鍵業務流程 HYPERLI