1、 DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name FusionCube DOCPROPERTY ProductVersion 6.0 DOCPROPERTY DocumentName 技術(shù)白皮書 (數(shù)據(jù)庫)前言概述本文檔華為FusionCube 6.0版本數(shù)據(jù)庫基礎(chǔ)設(shè)施的產(chǎn)品價(jià)值、產(chǎn)品架構(gòu)、高性能、線性擴(kuò)展、系統(tǒng)安全以及系統(tǒng)可靠性。讀者對(duì)象本文檔主要適用于以下工程師：營銷工程師技術(shù)支持工程師維護(hù)工程師符號(hào)約定在本文中可能出現(xiàn)下列標(biāo)志，它們所代表的含義如下。符號(hào)說明表示如不避免則將會(huì)導(dǎo)致死亡或嚴(yán)重傷害的具有高等級(jí)風(fēng)險(xiǎn)的危害。表示如不

2、避免則可能導(dǎo)致死亡或嚴(yán)重傷害的具有中等級(jí)風(fēng)險(xiǎn)的危害。表示如不避免則可能導(dǎo)致輕微或中度傷害的具有低等級(jí)風(fēng)險(xiǎn)的危害。用于傳遞設(shè)備或環(huán)境安全警示信息。如不避免則可能會(huì)導(dǎo)致設(shè)備損壞、數(shù)據(jù)丟失、設(shè)備性能降低或其它不可預(yù)知的結(jié)果?！绊氈辈簧婕叭松韨?。對(duì)正文中重點(diǎn)信息的補(bǔ)充說明。“說明”不是安全警示信息，不涉及人身、設(shè)備及環(huán)境傷害信息。目 錄 TOC h z t 標(biāo)題 1,1,標(biāo)題 2,2,標(biāo)題 3,3, 標(biāo)題 4,4, 標(biāo)題 5,5, 標(biāo)題 7,1, 標(biāo)題 8,2, 標(biāo)題 9,3, Heading1 No Number,1,Appendix heading 1,1,Appendix heading 2

3、,2,Appendix heading 3,3,Appendix heading 4,4,Appendix heading 5,5, Heading 1,1,Heading 2,2,Heading 3,3, Heading 4,4, Heading 5,5, Heading 7,1,Heading 8,2,Heading 9,3 HYPERLINK l _Toc83362492 前言 PAGEREF _Toc83362492 h ii HYPERLINK l _Toc83362493 1 產(chǎn)品概述 PAGEREF _Toc83362493 h 1 HYPERLINK l _Toc8336249

4、4 2 產(chǎn)品價(jià)值 PAGEREF _Toc83362494 h 2 HYPERLINK l _Toc83362495 3 產(chǎn)品架構(gòu) PAGEREF _Toc83362495 h 3 HYPERLINK l _Toc83362496 3.1 節(jié)點(diǎn)架構(gòu) PAGEREF _Toc83362496 h 4 HYPERLINK l _Toc83362497 3.2 典型配置 PAGEREF _Toc83362497 h 5 HYPERLINK l _Toc83362498 3.3 組網(wǎng) PAGEREF _Toc83362498 h 7 HYPERLINK l _Toc83362499 4 分布式存儲(chǔ) P

5、AGEREF _Toc83362499 h 8 HYPERLINK l _Toc83362500 4.1 架構(gòu)概述 PAGEREF _Toc83362500 h 9 HYPERLINK l _Toc83362501 4.2 關(guān)鍵業(yè)務(wù)流程 PAGEREF _Toc83362501 h 12 HYPERLINK l _Toc83362502 4.2.1 數(shù)據(jù)路由 PAGEREF _Toc83362502 h 12 HYPERLINK l _Toc83362503 4.2.2 IO路徑 PAGEREF _Toc83362503 h 13 HYPERLINK l _Toc83362504 4.2.3

6、Cache機(jī)制 PAGEREF _Toc83362504 h 15 HYPERLINK l _Toc83362505 4.3 存儲(chǔ)管理 PAGEREF _Toc83362505 h 17 HYPERLINK l _Toc83362506 4.3.1 存儲(chǔ)集群管理 PAGEREF _Toc83362506 h 17 HYPERLINK l _Toc83362507 4.3.2 存儲(chǔ)服務(wù)化 PAGEREF _Toc83362507 h 17 HYPERLINK l _Toc83362508 4.4 數(shù)據(jù)冗余 PAGEREF _Toc83362508 h 18 HYPERLINK l _Toc833

7、62509 4.4.1 多副本 PAGEREF _Toc83362509 h 18 HYPERLINK l _Toc83362510 4.4.2 Erasure Code PAGEREF _Toc83362510 h 18 HYPERLINK l _Toc83362511 4.5 特性介紹 PAGEREF _Toc83362511 h 19 HYPERLINK l _Toc83362512 4.5.1 SCSI/iSCSI塊接口 PAGEREF _Toc83362512 h 19 HYPERLINK l _Toc83362513 4.5.2 精簡配置 PAGEREF _Toc83362513

8、h 21 HYPERLINK l _Toc83362514 4.5.3 重刪壓縮 PAGEREF _Toc83362514 h 22 HYPERLINK l _Toc83362515 4.5.4 快照 PAGEREF _Toc83362515 h 24 HYPERLINK l _Toc83362516 4.5.5 鏈接克隆 PAGEREF _Toc83362516 h 26 HYPERLINK l _Toc83362517 4.5.6 多資源池 PAGEREF _Toc83362517 h 26 HYPERLINK l _Toc83362518 4.5.7 QoS PAGEREF _Toc83

9、362518 h 27 HYPERLINK l _Toc83362519 5 硬件設(shè)備平臺(tái) PAGEREF _Toc83362519 h 28 HYPERLINK l _Toc83362520 5.1 機(jī)架服務(wù)器平臺(tái) PAGEREF _Toc83362520 h 28 HYPERLINK l _Toc83362521 5.1.1 1288H V5機(jī)架服務(wù)器 PAGEREF _Toc83362521 h 28 HYPERLINK l _Toc83362522 5.1.2 2288H V5機(jī)架服務(wù)器 PAGEREF _Toc83362522 h 29 HYPERLINK l _Toc8336252

10、3 5.1.3 2488H V5機(jī)架服務(wù)器 PAGEREF _Toc83362523 h 30 HYPERLINK l _Toc83362524 5.1.4 ARM機(jī)架服務(wù)器 PAGEREF _Toc83362524 h 31 HYPERLINK l _Toc83362525 5.2 E9000刀片服務(wù)器平臺(tái) PAGEREF _Toc83362525 h 32 HYPERLINK l _Toc83362526 5.2.1 E9000機(jī)框 PAGEREF _Toc83362526 h 32 HYPERLINK l _Toc83362527 5.2.2 E9000刀片 PAGEREF _Toc83

11、362527 h 33 HYPERLINK l _Toc83362528 5.2.3 高性能交換板 PAGEREF _Toc83362528 h 35 HYPERLINK l _Toc83362529 6 安裝部署和運(yùn)維管理 PAGEREF _Toc83362529 h 37 HYPERLINK l _Toc83362530 6.1 自動(dòng)化部署 PAGEREF _Toc83362530 h 37 HYPERLINK l _Toc83362531 6.1.1 FusionCube Builder PAGEREF _Toc83362531 h 37 HYPERLINK l _Toc83362532

12、 6.1.2 系統(tǒng)初始化 PAGEREF _Toc83362532 h 39 HYPERLINK l _Toc83362533 6.1.3 設(shè)備自動(dòng)發(fā)現(xiàn) PAGEREF _Toc83362533 h 40 HYPERLINK l _Toc83362534 6.2 統(tǒng)一運(yùn)維管理 PAGEREF _Toc83362534 h 41 HYPERLINK l _Toc83362535 6.2.1 一鍵式運(yùn)維 PAGEREF _Toc83362535 h 42 HYPERLINK l _Toc83362536 6.2.2 Call Home PAGEREF _Toc83362536 h 45 HYPER

13、LINK l _Toc83362537 7 性能和可擴(kuò)展性 PAGEREF _Toc83362537 h 46 HYPERLINK l _Toc83362538 7.1 系統(tǒng)高性能 PAGEREF _Toc83362538 h 46 HYPERLINK l _Toc83362539 7.1.1 分布式I/O環(huán) PAGEREF _Toc83362539 h 46 HYPERLINK l _Toc83362540 7.1.2 分布式SSD Cache加速 PAGEREF _Toc83362540 h 47 HYPERLINK l _Toc83362541 Read/Write Cache PAGE

14、REF _Toc83362541 h 48 HYPERLINK l _Toc83362542 大塊Pass Throught PAGEREF _Toc83362542 h 50 HYPERLINK l _Toc83362543 7.1.3 硬件加速 PAGEREF _Toc83362543 h 51 HYPERLINK l _Toc83362544 7.2 線性擴(kuò)展 PAGEREF _Toc83362544 h 52 HYPERLINK l _Toc83362545 7.2.1 存儲(chǔ)平滑擴(kuò)容 PAGEREF _Toc83362545 h 52 HYPERLINK l _Toc83362546

15、7.2.2 性能線性擴(kuò)展 PAGEREF _Toc83362546 h 53 HYPERLINK l _Toc83362547 7.2.3 一鍵式擴(kuò)容 PAGEREF _Toc83362547 h 54 HYPERLINK l _Toc83362548 7.3 FusionCube分布式存儲(chǔ)相對(duì)于傳統(tǒng)SAN的性能優(yōu)勢 PAGEREF _Toc83362548 h 55 HYPERLINK l _Toc83362549 7.3.1 更高的性能 PAGEREF _Toc83362549 h 55 HYPERLINK l _Toc83362550 7.3.2 線性Scale-up/Scale-out

16、 PAGEREF _Toc83362550 h 56 HYPERLINK l _Toc83362551 7.3.3 大池POOL PAGEREF _Toc83362551 h 58 HYPERLINK l _Toc83362552 7.3.4 SSD Cache vs SSD Tier PAGEREF _Toc83362552 h 59 HYPERLINK l _Toc83362553 8 系統(tǒng)可靠性 PAGEREF _Toc83362553 h 61 HYPERLINK l _Toc83362554 8.1 數(shù)據(jù)可靠性 PAGEREF _Toc83362554 h 61 HYPERLINK

17、l _Toc83362555 8.1.1 塊存儲(chǔ)集群可靠性 PAGEREF _Toc83362555 h 61 HYPERLINK l _Toc83362556 8.1.2 數(shù)據(jù)一致性 PAGEREF _Toc83362556 h 62 HYPERLINK l _Toc83362557 8.1.3 數(shù)據(jù)冗余保護(hù) PAGEREF _Toc83362557 h 62 HYPERLINK l _Toc83362558 8.1.4 快速數(shù)據(jù)重建 PAGEREF _Toc83362558 h 63 HYPERLINK l _Toc83362559 8.2 硬件可靠性 PAGEREF _Toc833625

18、59 h 64 HYPERLINK l _Toc83362560 8.3 管理可靠性 PAGEREF _Toc83362560 h 64 HYPERLINK l _Toc83362561 8.4 系統(tǒng)亞健康增強(qiáng) PAGEREF _Toc83362561 h 64 HYPERLINK l _Toc83362562 9 系統(tǒng)安全 PAGEREF _Toc83362562 h 69 HYPERLINK l _Toc83362563 9.1 系統(tǒng)安全威脅 PAGEREF _Toc83362563 h 69 HYPERLINK l _Toc83362564 9.2 總體安全框架 PAGEREF _Toc

19、83362564 h 70 HYPERLINK l _Toc83362565 9.2.1 網(wǎng)絡(luò)安全 PAGEREF _Toc83362565 h 71 HYPERLINK l _Toc83362566 9.2.2 應(yīng)用安全 PAGEREF _Toc83362566 h 72 HYPERLINK l _Toc83362567 權(quán)限管理 PAGEREF _Toc83362567 h 72 HYPERLINK l _Toc83362568 Web安全 PAGEREF _Toc83362568 h 72 HYPERLINK l _Toc83362569 數(shù)據(jù)庫加固 PAGEREF _Toc833625

20、69 h 73 HYPERLINK l _Toc83362570 日志管理 PAGEREF _Toc83362570 h 73 HYPERLINK l _Toc83362571 9.2.3 主機(jī)安全 PAGEREF _Toc83362571 h 74 HYPERLINK l _Toc83362572 操作系統(tǒng)加固 PAGEREF _Toc83362572 h 74 HYPERLINK l _Toc83362573 9.2.4 數(shù)據(jù)安全 PAGEREF _Toc83362573 h 74 HYPERLINK l _Toc83362574 數(shù)據(jù)加密 PAGEREF _Toc83362574 h 7

21、4 HYPERLINK l _Toc83362575 10 兼容性 PAGEREF _Toc83362575 h 76 HYPERLINK l _Toc83362576 10.1 數(shù)據(jù)庫兼容性 PAGEREF _Toc83362576 h 76產(chǎn)品概述隨著數(shù)據(jù)不斷增長以及互聯(lián)網(wǎng)業(yè)務(wù)的興起，新興業(yè)務(wù)的激增、業(yè)務(wù)數(shù)據(jù)呈現(xiàn)幾何倍數(shù)增加，傳統(tǒng)服務(wù)器+存儲(chǔ)的架構(gòu)已經(jīng)無法很好滿足業(yè)務(wù)發(fā)展需求，分布式、云化技術(shù)應(yīng)運(yùn)而生。越來越多的企業(yè)采用虛擬化與云計(jì)算技術(shù)來構(gòu)建IT系統(tǒng)，提升IT系統(tǒng)的資源利用率以及縮短業(yè)務(wù)上線周期。但在應(yīng)用過程中，企業(yè)面臨如下挑戰(zhàn)：管理復(fù)雜，運(yùn)維費(fèi)用仍然維持增長趨勢。安裝部署復(fù)雜，硬件來自

22、多廠商，規(guī)劃、部署、調(diào)優(yōu)需要豐富的經(jīng)驗(yàn)支撐。多廠商設(shè)備，售后支持界面多，解決問題慢。系統(tǒng)龐大（不同廠商硬件設(shè)備維護(hù)、虛擬平臺(tái)管理），維護(hù)難度大。企業(yè)越來越關(guān)注成本控制、業(yè)務(wù)敏捷、風(fēng)險(xiǎn)管控，希望能擁有總成本低、新業(yè)務(wù)的上線時(shí)間快、資源可彈性伸縮、安全可靠、高性能的IT系統(tǒng)。華為FusionCube是一個(gè)開放的、可擴(kuò)展的系統(tǒng)，具有計(jì)算/存儲(chǔ)/網(wǎng)絡(luò)融合、預(yù)集成、高性能、高可靠、高安全、業(yè)務(wù)自動(dòng)化快捷部署、統(tǒng)一管理、資源智能彈性伸縮、運(yùn)維簡單的特點(diǎn)，可幫助客戶業(yè)務(wù)快速上線，快速實(shí)現(xiàn)不同云應(yīng)用的部署，同時(shí)降低維護(hù)管理的難度。產(chǎn)品價(jià)值FusionCube遵循開放架構(gòu)標(biāo)準(zhǔn)，集成服務(wù)器、分布式存儲(chǔ)及網(wǎng)絡(luò)交換機(jī)

23、為一體，無需外置存儲(chǔ)設(shè)備，并預(yù)集成了分布式存儲(chǔ)引擎及管理軟件，資源可按需調(diào)配、線性擴(kuò)展。主要價(jià)值如下：融合FusionCube實(shí)現(xiàn)了計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的融合：硬件融合：計(jì)算存儲(chǔ)網(wǎng)絡(luò)高度集成，線性擴(kuò)容。管理融合：統(tǒng)一運(yùn)維管理，提高資源利用率，降低OPEX費(fèi)用。應(yīng)用融合：針對(duì)應(yīng)用業(yè)務(wù)模型，軟硬件深度調(diào)優(yōu)，實(shí)現(xiàn)性能提升。簡單FusionCube實(shí)現(xiàn)了預(yù)集成和預(yù)驗(yàn)證、上電后的設(shè)備自動(dòng)發(fā)現(xiàn)、統(tǒng)一的維護(hù)管理，端到端的簡化了業(yè)務(wù)交付：簡化安裝：提供快速安裝工具，一鍵完成系統(tǒng)軟件安裝。簡捷交付：設(shè)備上電自動(dòng)發(fā)現(xiàn)，參數(shù)自動(dòng)配置，實(shí)現(xiàn)業(yè)務(wù)快速上線。簡單維護(hù)：統(tǒng)一界面管理，故障主動(dòng)排查，簡化日常運(yùn)維。優(yōu)化Fusi

24、onCube通過采用業(yè)界領(lǐng)先硬件，以及分布式存儲(chǔ)軟件，為應(yīng)用提供最優(yōu)的業(yè)務(wù)體驗(yàn)：存儲(chǔ)優(yōu)化：通過內(nèi)置分布式存儲(chǔ)，為數(shù)據(jù)庫應(yīng)用提供了高并發(fā)、高吞吐量的存儲(chǔ)服務(wù)。網(wǎng)絡(luò)優(yōu)化：支持100Gbps InfiniBand，提供業(yè)界最快的交換網(wǎng)絡(luò)開放FusionCube DB是開放的數(shù)據(jù)庫基礎(chǔ)設(shè)施平臺(tái)，不綁定特定的上層應(yīng)用，可以為業(yè)界主流數(shù)據(jù)庫等提供計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源：開放高效的平臺(tái)，兼容Oracle RAC、IBM DB2、GuassDB、人大金倉、Mysql、IBM informix等各種主流商用數(shù)據(jù)庫。產(chǎn)品架構(gòu)華為FusionCube DB總體架構(gòu)主要由：硬件平臺(tái)、分布式存儲(chǔ)軟件、安裝部署和運(yùn)維管理平

25、臺(tái)構(gòu)成，可提供Oracle RAC、DB2、GuassDB、人大金倉、Mysql、Informix等數(shù)據(jù)庫相應(yīng)的運(yùn)行資源。華為FusionCube DB總體架構(gòu)詳細(xì)構(gòu)成如下圖所示：華為FusionCube DB總體架構(gòu)華為FusionCube DB總體架構(gòu)組件說明名稱說明FusionCube CenterFusionCube的管理軟件，管理其中的虛擬化資源、硬件資源，提供系統(tǒng)監(jiān)控管理和運(yùn)維管理等功能。FusionCube Builder提供現(xiàn)場快速安裝部署FusionCube系統(tǒng)軟件，可用于現(xiàn)場更換虛擬化平臺(tái)軟件或者更新版本。FusionStorage使用分布式存儲(chǔ)技術(shù)，通過合理有序組織服務(wù)器

26、的本地硬盤，提供高性能高可靠的塊存儲(chǔ)業(yè)務(wù)。硬件平臺(tái)服務(wù)器使用E9000/X6800/X6000/機(jī)架服務(wù)器，支持計(jì)算、存儲(chǔ)、交換、電源模塊化設(shè)計(jì)，計(jì)算和存儲(chǔ)節(jié)點(diǎn)按需混配，計(jì)算、存儲(chǔ)都在服務(wù)器內(nèi)部署完成，支持GPU，SSD PCIe等IO加速擴(kuò)展，支持豐富的交換模塊IB，根據(jù)業(yè)務(wù)要求靈活配置。華為FusionCube DB是華為公司IT產(chǎn)品線的旗艦產(chǎn)品。FusionCube遵循開放架構(gòu)標(biāo)準(zhǔn)，融合服務(wù)器、分布式存儲(chǔ)及網(wǎng)絡(luò)交換機(jī)為一體，無需外置存儲(chǔ)設(shè)備，并預(yù)集成了分布式存儲(chǔ)引擎及管理軟件，資源可按需調(diào)配、線性擴(kuò)展。 HYPERLINK l _ZH-CN_TOPIC_0207594089 o 3.1

27、節(jié)點(diǎn)架構(gòu) HYPERLINK l _ZH-CN_TOPIC_0207594082 o 3.2 典型配置 HYPERLINK l _ZH-CN_TOPIC_0207593979 o 3.3 組網(wǎng)節(jié)點(diǎn)架構(gòu)在FusionCube DB場景下，分布式存儲(chǔ)與數(shù)據(jù)業(yè)務(wù)分離部署在不同的節(jié)點(diǎn)上，根據(jù)節(jié)點(diǎn)提供的功能特性差異，又分為管理節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)和物理數(shù)據(jù)庫節(jié)點(diǎn)。存儲(chǔ)軟件部署在存儲(chǔ)節(jié)點(diǎn)OS內(nèi)，節(jié)點(diǎn)的HDD和SSD Cache存儲(chǔ)介質(zhì)通過FusionCube分布式存儲(chǔ)軟件構(gòu)造成系統(tǒng)共享的存儲(chǔ)池資源；計(jì)算節(jié)點(diǎn)上部署存儲(chǔ)軟件塊設(shè)備機(jī)頭，提供數(shù)據(jù)庫存儲(chǔ)資源；管理節(jié)點(diǎn)上部署FusionCube Center管

28、理平臺(tái)，提供系統(tǒng)的管理運(yùn)維能力，詳細(xì)的節(jié)點(diǎn)架構(gòu)如下圖：FusionCube DB場景節(jié)點(diǎn)架構(gòu)FusionCube場景各類節(jié)點(diǎn)說明名稱說明部署原則MCNA（管理節(jié)點(diǎn)）具有管理功能的節(jié)點(diǎn)，其上部署了FusionCube Center管理平臺(tái)。必須部署1個(gè)。SNA（存儲(chǔ)節(jié)點(diǎn)）具有存儲(chǔ)功能的節(jié)點(diǎn)。提供FusionCube分布式存儲(chǔ)HDD磁盤以及SSD Cache存儲(chǔ)資源。根據(jù)需要部署3個(gè)多個(gè)。DBN（數(shù)據(jù)庫節(jié)點(diǎn)）物理部署節(jié)點(diǎn)，可提供系統(tǒng)數(shù)據(jù)庫計(jì)算資源根據(jù)需要部署1個(gè)多個(gè)。典型配置FusionCube 6.0版本可支持大容量的HDD+SSD Cache混合部署場景以及高性能的全SSD部署場景。具體的場景

29、配置具體如下：混合部署場景節(jié)點(diǎn)典型配置：配置項(xiàng)典型配置說明服務(wù)器類型V5機(jī)架服務(wù)器/E9000 V5刀片服務(wù)器(停止銷售)根據(jù)客戶對(duì)機(jī)柜空間、磁盤大小、密度、PCIE網(wǎng)卡數(shù)量等選擇合適的服務(wù)器類型；機(jī)架服務(wù)器：最靈活，支持各類硬盤類型，預(yù)留多個(gè)PCIE槽位。但空間占用大；E9000刀片：集成度高，可支持計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)集成在一個(gè)E9000機(jī)柜內(nèi)，但只支持2.5寸HDD以及NVME SSD盤，單節(jié)點(diǎn)容量偏小，節(jié)點(diǎn)網(wǎng)卡配置固定；CPU/內(nèi)存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/內(nèi)存配置根據(jù)客戶的業(yè)務(wù)規(guī)格和配置可

30、以動(dòng)態(tài)調(diào)整配置，提供更多的計(jì)算資源磁盤2T/4T/6T/8T SATA盤，1.2T/1.8T/2.4T SAS盤操作系統(tǒng)盤默認(rèn)為2*600GB SAS盤FusionCube分布式存儲(chǔ)要求SATA盤必須要采用3副本或者EC配比為N+2以上的冗余策略，SAS盤可采用2副本、三副本或者EC配比為N+2以上的冗余策略。Cache華為自研NVME SSD V5盤或卡；華為自研SAS SSD V5盤；系統(tǒng)的cache大小可根據(jù)客戶業(yè)務(wù)壓力靈活配置，一般默認(rèn)配置為2*3200GB NVME SSD V5盤/卡；Cache類型出華為自研的NVME SSD和SAS SSD外，還可支持Intel、三星、鎂光等完成

31、兼容性驗(yàn)證的SAS/SATA SSD盤。網(wǎng)卡2*GE/10GE+2*10GE+4*100Gb IB（計(jì)算）2*GE/10GE+2*100Gb IB（存儲(chǔ)）計(jì)算和存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)網(wǎng)絡(luò)平面默認(rèn)采用IB網(wǎng)卡；管理平面默認(rèn)采用GE/10GE網(wǎng)卡；計(jì)算節(jié)點(diǎn)業(yè)務(wù)平面根據(jù)實(shí)際的業(yè)務(wù)網(wǎng)絡(luò)需求配置一張或多張10GE網(wǎng)卡。全閃存部署場景節(jié)點(diǎn)典型配置：配置項(xiàng)典型配置說明服務(wù)器類型V5機(jī)架服務(wù)器/E9000 V5刀片服務(wù)器（停止銷售）根據(jù)客戶對(duì)機(jī)柜空間、磁盤大小、密度、PCIE網(wǎng)卡數(shù)量等選擇合適的服務(wù)器類型；機(jī)架服務(wù)器：最靈活，支持各類硬盤類型，預(yù)留多個(gè)PCIE槽位,但空間占用大；E9000刀片：集成度高，可支持計(jì)算、存

32、儲(chǔ)、網(wǎng)絡(luò)集成在一個(gè)E9000機(jī)柜內(nèi)，但只支持2.5寸HDD以及NVME SSD盤，單節(jié)點(diǎn)容量偏小，節(jié)點(diǎn)網(wǎng)卡配置固定；CPU/內(nèi)存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/內(nèi)存配置根據(jù)客戶的業(yè)務(wù)規(guī)格和配置可以動(dòng)態(tài)調(diào)整配置，提供更多的計(jì)算資源磁盤ES3000 NVME SSD V5盤； ES3000 SAS SSD V5盤操作系統(tǒng)盤為2*480GB SATA SSD盤或2*600GB SAS盤FusionCube分布式存儲(chǔ)默認(rèn)全閃存場景采用2副本或者EC配比為N+2以上的冗余策略，客戶如果要求更高的可靠性也可采用三

33、副本（）。全閃存磁盤默認(rèn)采用華為自研盤，推薦采用3DWPD磁盤，業(yè)務(wù)寫入數(shù)據(jù)量不大場景下，可采用1DWPD磁盤。網(wǎng)卡2*GE/10GE+2*10GE+4*100Gb IB（計(jì)算）2*GE/10GE+2*100Gb IB（存儲(chǔ)）計(jì)算和存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)網(wǎng)絡(luò)平面默認(rèn)采用IB網(wǎng)卡；管理平面默認(rèn)采用GE/10GE網(wǎng)卡；計(jì)算節(jié)點(diǎn)業(yè)務(wù)平面根據(jù)實(shí)際的業(yè)務(wù)網(wǎng)絡(luò)需求配置一張或多張10GE網(wǎng)卡。組網(wǎng)華為FusionCube 6.0版本的系統(tǒng)組網(wǎng)包含：管理平面、存儲(chǔ)平面、業(yè)務(wù)平面、BMC平面。詳細(xì)的組網(wǎng)情況如下：FusionCube DB 場景系統(tǒng)組網(wǎng)圖通信平面類型說明介紹：管理平面：FusionCube系統(tǒng)的管理網(wǎng)絡(luò)平

34、面，用于系統(tǒng)的業(yè)務(wù)操作和運(yùn)維管理，支持TCP/IP協(xié)議，支持GE/10GE組網(wǎng)；存儲(chǔ)平面：FusionCube分布式存儲(chǔ)節(jié)點(diǎn)間數(shù)據(jù)讀寫操作網(wǎng)絡(luò)平面，支持IRDMA協(xié)議，支持IB組網(wǎng)，獨(dú)占IB網(wǎng)卡；數(shù)據(jù)庫心跳默認(rèn)復(fù)用存儲(chǔ)IB網(wǎng)絡(luò)平面，支持IPOIB，默認(rèn)為UDP方式，支持RDS協(xié)議（華為自編譯，且驅(qū)動(dòng)版本有一定約束，不推薦使用）；業(yè)務(wù)平面：客戶業(yè)務(wù)通信網(wǎng)絡(luò)平面，支持TCP/IP協(xié)議，支持GE/10GE組網(wǎng)，根據(jù)業(yè)務(wù)帶寬要求，配置一張或多上10GE網(wǎng)卡；BMC平面：服務(wù)器設(shè)備管理IP平面，訪問FusionCube系統(tǒng)服務(wù)器設(shè)備的運(yùn)維管理；分布式存儲(chǔ)FusionCube內(nèi)置分布式存儲(chǔ)為業(yè)務(wù)提供存儲(chǔ)服

35、務(wù)，F(xiàn)usionCube分布式存儲(chǔ)提供是塊存儲(chǔ)設(shè)備，采用獨(dú)特的并行架構(gòu)、創(chuàng)新的緩存算法、自適應(yīng)的數(shù)據(jù)分布算法，既消除了熱點(diǎn)也提高了性能，并且能夠以超快的重建時(shí)間實(shí)現(xiàn)自動(dòng)化自修復(fù)，提供卓越的可用性和可靠性。線性擴(kuò)展和彈性FusionCube分布式存儲(chǔ)采用全分布式DHT架構(gòu)，將所有元數(shù)據(jù)按規(guī)則分布在各節(jié)點(diǎn)，避免了元數(shù)據(jù)瓶頸，支持線性擴(kuò)展。FusionCube分布式存儲(chǔ)采用了獨(dú)特的數(shù)據(jù)分塊切片技術(shù)，以及基于DHT Hash的數(shù)據(jù)路由算法，可以將卷的數(shù)據(jù)均勻的分散到較大的資源池故障域范圍內(nèi)，使得每個(gè)卷可以獲得更大的IOPS和MBPS性能，也使得每個(gè)硬件資源的負(fù)載相對(duì)均衡。高性能FusionCube分布

36、式存儲(chǔ)免鎖化調(diào)度的IO軟件子系統(tǒng)，徹底解決了分布式鎖沖突，使得IO路徑上無需進(jìn)行任何鎖操作和元數(shù)據(jù)查詢，IO路徑短、時(shí)延低；分布式的無狀態(tài)機(jī)頭，可以充分發(fā)揮各個(gè)硬件節(jié)點(diǎn)的能力，大大提升了系統(tǒng)的并發(fā)IOPS和并發(fā)MBPS。同時(shí)FusionCube分布式存儲(chǔ)采用分布式的SSD cache技術(shù)，配合大容量的SAS/SATA盤做主存，使得系統(tǒng)的性能可以具備SSD的性能和SAS/SATA的容量。高可靠性FusionCube分布式存儲(chǔ)支持多種數(shù)據(jù)冗余保護(hù)機(jī)制，如2副本、3副本、EC等；在此基礎(chǔ)上，F(xiàn)usionCube分布式存儲(chǔ)支持設(shè)置靈活的數(shù)據(jù)可靠性策略，允許將不同的副本放在不同的服務(wù)器上，保證在服務(wù)器故

37、障的情況下，數(shù)據(jù)仍然不丟失、仍然可訪問。同時(shí)采用對(duì)有效數(shù)據(jù)分片進(jìn)行數(shù)據(jù)的冗余保護(hù)，在硬盤、服務(wù)器故障的時(shí)候，能夠?qū)τ行?shù)據(jù)進(jìn)行并行重建，1TB硬盤的重建時(shí)間小于30分鐘，大大增強(qiáng)系統(tǒng)的可靠性。豐富的存儲(chǔ)高級(jí)功能精簡配置，當(dāng)用戶對(duì)卷進(jìn)行寫操作時(shí)才分配實(shí)際物理空間，來為用戶提供比物理存儲(chǔ)資源更多的虛擬存儲(chǔ)資源。卷快照，將用戶的邏輯卷數(shù)據(jù)在某個(gè)時(shí)間點(diǎn)的狀態(tài)保存下來，作為快照點(diǎn)；快照不限次數(shù)且性能不下降。鏈接克隆，基于增量快照提供鏈接克隆，一個(gè)快照可以創(chuàng)建出多個(gè)克隆卷，各個(gè)克隆卷剛創(chuàng)建出來時(shí)的數(shù)據(jù)內(nèi)容與快照中的數(shù)據(jù)內(nèi)容一致，后續(xù)對(duì)于克隆卷的修改不會(huì)影響到原始的快照和其他克隆卷。卷的靈活劃分，可以根據(jù)整

38、個(gè)業(yè)務(wù)實(shí)際需求，靈活創(chuàng)建卷，且卷的大小不受物理磁盤空間的限制，單卷最大支持256TB。 HYPERLINK l _ZH-CN_TOPIC_0207593985 o 4.1 架構(gòu)概述 HYPERLINK l _ZH-CN_TOPIC_0207594063 o 4.2 關(guān)鍵業(yè)務(wù)流程 HYPERLINK l _ZH-CN_TOPIC_0207594039 o 4.3 存儲(chǔ)管理 HYPERLINK l _ZH-CN_TOPIC_0207594099 o 4.4 數(shù)據(jù)冗余 HYPERLINK l _ZH-CN_TOPIC_0207594103 o 4.5 特性介紹架構(gòu)概述FusionCube分布式存儲(chǔ)采

39、用分布式集群控制技術(shù)和DHT路由技術(shù)，提供分布式存儲(chǔ)功能特性。FusionCube分布式存儲(chǔ)功能架構(gòu)如REF _fig64797827 r h圖4-1所示。FusionCube分布式存儲(chǔ)功能框架圖系統(tǒng)描述類型描述業(yè)務(wù)系統(tǒng)訪問接入用于應(yīng)用訪問存儲(chǔ)系統(tǒng)的標(biāo)準(zhǔn)訪問接口，支持SCSI/iSCSI標(biāo)準(zhǔn)訪問接口協(xié)議卷特性層卷提供各種特性，如快照，克隆，遷移，異步復(fù)制，雙活等企業(yè)級(jí)特性，均在此層實(shí)現(xiàn)索引層用于數(shù)據(jù)邏輯空間和物理空間的轉(zhuǎn)換，重刪壓縮等在該層實(shí)現(xiàn)持久化層采用Plog接口訪問（一種Append Only的ROW寫機(jī)制）用于數(shù)據(jù)的存放，包括多副本，EC，數(shù)據(jù)均衡與重構(gòu)等，并通過OSD/VDB對(duì)盤進(jìn)行

40、管理和數(shù)據(jù)讀寫管理系統(tǒng)業(yè)務(wù)管理子系統(tǒng)FusionStorage Manager資源管理存儲(chǔ)資源池進(jìn)行管理和分配，提供數(shù)據(jù)冗余保護(hù)，包括多副本保護(hù)和糾錯(cuò)碼保護(hù)業(yè)務(wù)管理支持按存儲(chǔ)資源池發(fā)放塊存儲(chǔ)服務(wù)系統(tǒng)管理支持對(duì)系統(tǒng)進(jìn)行初始化配置和必要的業(yè)務(wù)功能配置，設(shè)備拓?fù)涔芾恚商峁┫到y(tǒng)設(shè)備拓?fù)潢P(guān)系圖，方便查看和管理設(shè)備間的拓?fù)潢P(guān)系。用戶管理支持對(duì)用戶的增刪改查，包括用戶的等級(jí)，權(quán)限等安裝部署完成系統(tǒng)的初始安裝，部署升級(jí)支持對(duì)系統(tǒng)的升級(jí)，包括軟件升級(jí)，操作系統(tǒng)升級(jí)，固件升級(jí)擴(kuò)容完成系統(tǒng)的在線擴(kuò)容縮容巡檢/信息收集設(shè)備詳情管理，可提供設(shè)備詳細(xì)配置和運(yùn)行狀態(tài)信息收集，方便了解設(shè)備配置信息和健康狀態(tài)。FusionC

41、ube分布式存儲(chǔ)邏輯架構(gòu)如REF _fig1425420459165 r h圖4-2所示。FusionCube分布式存儲(chǔ)邏輯架構(gòu)圖FusionCube分布式存儲(chǔ)邏輯組件名稱說明FSMFusionStorage Manager縮寫，F(xiàn)usionStorage管理模塊，提供告警、監(jiān)控、日志、配置等操作維護(hù)功能。與FusionCube Center共部署在一起，工作在主備模式下FSAFusiostorage Agent縮寫，代理進(jìn)程，部署在各節(jié)點(diǎn)上，實(shí)現(xiàn)各節(jié)點(diǎn)與FusionStorage Manager通信，可收集各節(jié)點(diǎn)的監(jiān)控與告警信息或在升級(jí)本節(jié)點(diǎn)軟件組件時(shí)接收升級(jí)包與執(zhí)行升級(jí)。ZKZookeep

42、er縮寫。一個(gè)系統(tǒng)需部署3、5、7等奇數(shù)個(gè)Zookeeper組成。Zookeeper集群，為MDC集群提供選主仲裁，Zookeeper至少3個(gè)，必須保證大于總數(shù)一半的Zookeeper處在活躍可訪問狀態(tài)。MDC元數(shù)據(jù)控制組件，實(shí)現(xiàn)對(duì)分布式集群的狀態(tài)控制，以及控制數(shù)據(jù)分布規(guī)則、數(shù)據(jù)重建規(guī)則等。一個(gè)系統(tǒng)至少部署3個(gè)MDC，形成MDC集群，系統(tǒng)啟動(dòng)時(shí)由Zookeeper集群在多個(gè)MDC中選舉主MDC，主MDC對(duì)其它MDC進(jìn)行監(jiān)控，主MDC故障時(shí)產(chǎn)生新的主MDC。每個(gè)資源池有一個(gè)歸屬M(fèi)DC，當(dāng)某池的歸屬M(fèi)DC故障時(shí)，主MDC指定另外的MDC托管這個(gè)資源池，一個(gè)MDC最多管理兩個(gè)資源池。MDC作為一個(gè)進(jìn)

43、程可以在每個(gè)存儲(chǔ)節(jié)點(diǎn)啟動(dòng)，增加資源池會(huì)自動(dòng)啟動(dòng)MDC，一個(gè)系統(tǒng)最多啟動(dòng)96個(gè)MDC。VBS虛擬塊存儲(chǔ)管理組件，執(zhí)行卷元數(shù)據(jù)管理，VBS通過SCSI或iSCSI接口提供分布式存儲(chǔ)接入點(diǎn)服務(wù)，使計(jì)算資源能夠通過VBS訪問分布式存儲(chǔ)資源。VBS與其所能訪問的資源池的所有OSD點(diǎn)對(duì)點(diǎn)通信，使VBS能并發(fā)訪問這些資源池的所有硬盤。每個(gè)節(jié)點(diǎn)上默認(rèn)部署一個(gè)VBS進(jìn)程，多個(gè)節(jié)點(diǎn)上的VBS形成VBS集群，VBS啟動(dòng)時(shí)與主MDC連接并協(xié)調(diào)主VBS。節(jié)點(diǎn)上也可以通過部署多個(gè)VBS來提升IO性能。OSDKV設(shè)備服務(wù)，執(zhí)行具體的I/O操作。在每個(gè)節(jié)點(diǎn)上部署多個(gè)OSD進(jìn)程，一塊磁盤默認(rèn)對(duì)應(yīng)部署一個(gè)OSD進(jìn)程。在SSD卡作

44、主存時(shí)，為了充分發(fā)揮SSD卡的性能，可以在1張SSD卡上部署多個(gè)OSD進(jìn)程進(jìn)行管理，例如2.4TB的SSD卡可以部署6個(gè)OSD進(jìn)程，每個(gè)OSD進(jìn)程負(fù)責(zé)管理400GB。EDSEEnterprise Data Service組件，接收到來自VBS的I/O業(yè)務(wù)之后，執(zhí)行具體的I/O操作。在EDS服務(wù)里面，會(huì)執(zhí)行有關(guān)快照、克隆等與塊相關(guān)的特性，同時(shí)還對(duì)存儲(chǔ)空間的做管理，將塊的數(shù)據(jù)與存儲(chǔ)空間建立索引關(guān)系，確保每塊數(shù)據(jù)通過索引都能找到對(duì)應(yīng)的存儲(chǔ)位置；同時(shí)在數(shù)據(jù)存儲(chǔ)到物理空間之前，可以進(jìn)行重刪壓縮處理。CMCluster Manager，集群管理軟件，用于管理整個(gè)存儲(chǔ)集群的狀態(tài)信息，包括各組件的狀態(tài)信息，實(shí)

45、時(shí)監(jiān)控各組件的狀態(tài)，當(dāng)組件出現(xiàn)故障時(shí)，根據(jù)組件狀態(tài)觸發(fā)相關(guān)措施來恢復(fù)錯(cuò)誤。CCDBCluster Configuration Database，集群配置數(shù)據(jù)庫，用于保存用戶配置信息的數(shù)據(jù)庫，當(dāng)前在EDS組件中會(huì)采用CCDB存放配置信息。關(guān)鍵業(yè)務(wù)流程數(shù)據(jù)路由FusionCube分布式存儲(chǔ)數(shù)據(jù)路由采取分層處理方式：VBS通過計(jì)算確定數(shù)據(jù)存放在哪個(gè)節(jié)點(diǎn)的哪塊硬盤上。OSD通過計(jì)算確定數(shù)據(jù)存放在硬盤的具體位置。具體流程如下圖所示：FusionCube分布式存儲(chǔ)數(shù)據(jù)路由示意圖第一層DHT hash環(huán)的目的是通過hash算法將數(shù)據(jù)分發(fā)到計(jì)算出來的存儲(chǔ)服務(wù)器節(jié)點(diǎn)處理該數(shù)據(jù)，通過該hash算法，確保每個(gè)數(shù)據(jù)都

46、有對(duì)應(yīng)的服務(wù)器節(jié)點(diǎn)來處理，保證了業(yè)務(wù)處理的均衡。系統(tǒng)根據(jù)LUNID和LBA定位到服務(wù)器節(jié)點(diǎn)，然后再定位到該服務(wù)器上的vnode上，由該vnode邏輯處理單元來處理該數(shù)據(jù)；vnode是一種邏輯處理單元，將物理服務(wù)器節(jié)點(diǎn)分為4個(gè)邏輯處理單元，即4個(gè)vnode，例如：一個(gè)由6個(gè)物理服務(wù)器組成的一個(gè)存儲(chǔ)集群，當(dāng)其中1個(gè)物理服務(wù)器故障時(shí)，該服務(wù)器上的4個(gè)vnode處理的業(yè)務(wù)，可以分別被該集群中另外的4個(gè)物理服務(wù)器去接管，這樣剩下的5個(gè)物理服務(wù)器中，有4個(gè)物理服務(wù)器運(yùn)行有5個(gè)vnode，1個(gè)物理服務(wù)器運(yùn)行4個(gè)vnode，通過vnode機(jī)制，可以確保故障節(jié)點(diǎn)的業(yè)務(wù)可以分散到不同的服務(wù)器節(jié)點(diǎn)上去接管，就可以防

47、止只用一個(gè)物理服務(wù)器接管帶來的業(yè)務(wù)處理瓶頸問題。該DHT hash環(huán)打散粒度是按64MB對(duì)齊打散。第二層DHT hash環(huán)的目的是通過hash算法將數(shù)據(jù)轉(zhuǎn)到對(duì)應(yīng)存儲(chǔ)空間去保存，完成數(shù)據(jù)的持久化。通過該hash算法，確保數(shù)據(jù)存儲(chǔ)空間的均衡性。系統(tǒng)根據(jù)PlogID和Offset定位到硬盤應(yīng)該存放的具體位置，避免在海量數(shù)據(jù)中進(jìn)行查找和計(jì)算，該DHT路由技術(shù)，采用華為自研算法，不僅能保證數(shù)據(jù)在各個(gè)硬盤的均衡性，而且在硬件增減（故障或擴(kuò)容）時(shí)，自動(dòng)快速調(diào)整，并保證數(shù)據(jù)遷移的有效性，確保自動(dòng)快速自愈，自動(dòng)資源均衡。存儲(chǔ)空間根據(jù)可靠性有機(jī)柜級(jí)、節(jié)點(diǎn)級(jí)、硬盤級(jí)，默認(rèn)是跨節(jié)點(diǎn)組織副本/EC。IO路徑讀IO流程F

48、usionCube分布式存儲(chǔ)系統(tǒng)中的讀IO（EC）流程如REF _fig74362371173 r h圖4-4所示。FusionCube分布式存儲(chǔ)讀IO流程 上層應(yīng)用下發(fā)讀IO請(qǐng)求到存儲(chǔ)服務(wù)，存儲(chǔ)服務(wù)的VBS（Virtual Block Service）模塊收到該IO請(qǐng)求，根據(jù)第一層的DHT hash算法將數(shù)據(jù)轉(zhuǎn)到指定服務(wù)器； 服務(wù)器上的EDS（Index+Dedup）模塊處理該數(shù)據(jù)。EDS接收到讀IO請(qǐng)求后，優(yōu)先在內(nèi)存的寫緩存中查找，如果找到就返回給VBS。 如果內(nèi)存寫緩存中沒有命中，則再在內(nèi)存讀緩存中去查找，如果仍然沒有找到，則到存儲(chǔ)介質(zhì)中去讀，先在SSD Cache中去讀，如果還不命中，

49、則到存儲(chǔ)介質(zhì)）中去讀（詳細(xì)見Read Cache章節(jié)說明）。寫IO流程FusionCube分布式存儲(chǔ)系統(tǒng)中的寫IO（EC）流程如REF _fig223055615173 r h圖4-5所示。FusionCube分布式存儲(chǔ)寫IO（EC）流程上層應(yīng)用下發(fā)寫IO請(qǐng)求到存儲(chǔ)服務(wù)，存儲(chǔ)服務(wù)的VBS（Virtual Block Service）模塊收到該IO請(qǐng)求（圖中），根據(jù)第一層的DHT hash算法將數(shù)據(jù)轉(zhuǎn)到指定服務(wù)器；由這個(gè)服務(wù)器上的EDS（Index+Dedup）模塊處理該數(shù)據(jù)（圖中上）；EDS接收到寫IO請(qǐng)求后，以小比例EC形式寫入Cache Layer層的SSD緩存盤上（圖中下），同時(shí)該EDS

50、所在服務(wù)器的內(nèi)存中仍然保持一份該數(shù)據(jù)，EDS返回寫IO成功給VBS（圖中），再由VBS返回給上層應(yīng)用。待內(nèi)存中的數(shù)據(jù)聚合到更大的塊，走刷盤流程異步刷入（圖中）到Capacity Layer的存儲(chǔ)介質(zhì)中。Cache機(jī)制FusionCube分布式存儲(chǔ)采用多級(jí)Cache機(jī)制提升存儲(chǔ)IO性能，讀、寫Cache機(jī)制采用不同流程。Write CacheVBS發(fā)送的寫IO操作（圖中Write IO From Host）時(shí)，會(huì)將Write IO在Memory Write Cache內(nèi)存中保存一份，同時(shí)同步以日志的方式（采用固定的2+2小分片EC）記錄到SSD WAL Cache中并返回成功完成本次寫操作，這個(gè)

51、流程通常稱為Host Write IO流程。通常SSD Disk Cache分為兩個(gè)部分：SSD Write Cache和SSD Read Cache。Memory Write Cache中的數(shù)據(jù)會(huì)進(jìn)行IO排序重整并等待滿分條以副本或EC的方式直接寫入到SSD Write Cache中并返回；對(duì)于大塊IO則直接由Memory Write Cache直通寫到HDD中，而不駐留在SSD Write Cache里；當(dāng)SSD Write Cache中的保存數(shù)據(jù)水位達(dá)到40%時(shí)，則由SSD Write Cache往HDD中搬遷。隨著Memory Write Cache中的數(shù)據(jù)逐步刷盤到SSD Write

52、 Cache時(shí)，SSD WAL Cache中的數(shù)據(jù)將逐步淘汰掉，我們通常會(huì)進(jìn)行異步的垃圾回收。FusionCube分布式存儲(chǔ)寫Cache機(jī)制示意圖相比較傳統(tǒng)的副本方式寫入SSD Cache，然后異步的再從SSD Cache中讀出滿分條到持久化存儲(chǔ)層HDD，F(xiàn)usionCube分布式存儲(chǔ)的SSD WAL Cache方案帶來4大優(yōu)勢：FusionCube分布式存儲(chǔ)的SSD WAL Cache的寫放大比較小，2+2的EC的Overhead為2；而副本方式的SSD Cache，OverHead最低必須為2。由于寫放大較小，F(xiàn)usionCube分布式存儲(chǔ)對(duì)網(wǎng)絡(luò)的帶寬消耗也較低FusionCube分布式存

53、儲(chǔ)的SSD WAL Cache可靠性高，是+2的冗余保護(hù)。FusionCube分布式存儲(chǔ)的數(shù)據(jù)往主存上刷盤通常是由RAM中觸發(fā)完成的，比傳統(tǒng)的后臺(tái)異步先從SSD Cache讀出再寫到主存中的效率高。Read CacheFusionCube分布式存儲(chǔ)的讀緩存采用分層機(jī)制。第一層為內(nèi)存Cache，內(nèi)存Cache采用LRU機(jī)制緩存數(shù)據(jù); 第二層為SSD Cache，SSD Cache采用熱點(diǎn)讀機(jī)制，系統(tǒng)會(huì)統(tǒng)計(jì)每個(gè)讀取的數(shù)據(jù)，并統(tǒng)計(jì)熱點(diǎn)訪問因子，當(dāng)達(dá)到閾值時(shí)，系統(tǒng)會(huì)自動(dòng)緩存數(shù)據(jù)到SSD中，同時(shí)會(huì)將長時(shí)間未被訪問的數(shù)據(jù)移出SSD。OSD在收到VBS發(fā)送的讀I/O操作時(shí)，會(huì)進(jìn)行如下步驟處理：從內(nèi)存“Mem

54、ory Write Cache”中查找是否存在所需I/O數(shù)據(jù)，如果存在，則直接返回，同時(shí)調(diào)整該IO數(shù)據(jù)到“讀Cache”LRU隊(duì)首，否則執(zhí)行 HYPERLINK l li1787011516337 o 步驟2；從內(nèi)存“Memory Read Cache”中查找是否存在所需IO數(shù)據(jù)，如果存在，則直接返回，同時(shí)增加該IO數(shù)據(jù)的熱點(diǎn)訪問因子，否則執(zhí)行 HYPERLINK l li12678853193310 o 步驟3；從SSD的“SSD Write Cache”中查找是否存在所需IO數(shù)據(jù)，如果存在，則直接返回，如果不存在，執(zhí)行 HYPERLINK l li1750018559338 o 步驟4；從

55、SSD的“SSD Read Cache”中查找是否存在所需IO數(shù)據(jù)，如果存在，則直接返回，同時(shí)增加該IO數(shù)據(jù)的熱點(diǎn)訪問因子；如果熱點(diǎn)訪問因子達(dá)到閾值，則會(huì)被緩存在SSD的“SSD Read Cache”中，如果不存在，執(zhí)行 HYPERLINK l li13172757103319 o 步驟5；從硬盤中查找到所需IO數(shù)據(jù)并返回，同時(shí)增加該IO數(shù)據(jù)的熱點(diǎn)訪問因子，如果熱點(diǎn)訪問因子達(dá)到閾值，則會(huì)被緩存在SSD的“SSD Read Cache”中。結(jié)束FusionCube分布式存儲(chǔ)讀Cache機(jī)制示意圖存儲(chǔ)管理存儲(chǔ)集群管理FusionCube分布式存儲(chǔ)通過集群管理軟件完成集群的管理工作，功能包括集群基

56、本信息監(jiān)控、性能監(jiān)控、告警管理、用戶管理、license管理、硬件管理。集群基本信息監(jiān)控：查看集群的基本信息，包括集群名稱、健康狀態(tài)、運(yùn)行狀態(tài)、節(jié)點(diǎn)信息、節(jié)點(diǎn)進(jìn)程信息、卷的掛載點(diǎn)查詢、存儲(chǔ)使用空間等。性能監(jiān)控：查看CPU利用率、內(nèi)存利用率、帶寬、IOPS、時(shí)延、磁盤利用率、存儲(chǔ)池利用率統(tǒng)計(jì)。告警管理：提供查看告警信息、清除告警、屏蔽告警的功能。用戶管理：系統(tǒng)管理員可以創(chuàng)建新的管理員，為該管理員賦予一定的管理權(quán)限，以便多個(gè)管理員按照所授權(quán)限進(jìn)行系統(tǒng)或資源管理。對(duì)用戶的操作包括：查詢、刪除、創(chuàng)建、解鎖、凍結(jié)用戶等。支持設(shè)置密碼策略以提升系統(tǒng)安全。License管理：提供查看已激活的license和

57、導(dǎo)入新license功能。硬件管理硬件管理包括服務(wù)器管理個(gè)磁盤管理。服務(wù)器管理對(duì)系統(tǒng)中的所有服務(wù)器集中管理，可查看服務(wù)器的軟件安裝狀態(tài)、軟件版本號(hào)、是否加入集群，可查看在服務(wù)器上創(chuàng)建的存儲(chǔ)池狀態(tài)以及存儲(chǔ)池在該服務(wù)器的拓?fù)湫畔?，支持將服?wù)器設(shè)置為維護(hù)模式以方便對(duì)服務(wù)器進(jìn)行故障恢復(fù)處理，支持對(duì)服務(wù)器的CPU、內(nèi)存進(jìn)行性能監(jiān)控。磁盤管理將系統(tǒng)中所有的磁盤集中管理，支持查看磁盤的狀態(tài)、槽位號(hào)、序列號(hào)、磁盤使用率、類型等，支持磁盤包括IOPS、時(shí)延、帶寬、利用率等監(jiān)控性能統(tǒng)計(jì)。存儲(chǔ)服務(wù)化FusionCube分布式存儲(chǔ)的管理平臺(tái)用戶按角色分為“系統(tǒng)管理員”、“系統(tǒng)操作員”和“系統(tǒng)查看員”，提供的管理功能可

58、分為資源接入和配置、資源管理和維護(hù)、系統(tǒng)管理和維護(hù)三類。資源管理維護(hù)包括系統(tǒng)概覽匯總信息、存儲(chǔ)池管理、塊客戶端管理、卷管理、虛擬文件系統(tǒng)管理、硬件管理等。存儲(chǔ)池管理存儲(chǔ)池管理可查看選定存儲(chǔ)池的統(tǒng)計(jì)信息，查看選定存儲(chǔ)池的硬盤拓?fù)?，為選定存儲(chǔ)池?cái)U(kuò)容、減容，以及刪除存儲(chǔ)池。還提供創(chuàng)建新存儲(chǔ)池功能。塊客戶端管理塊客戶端管理提供創(chuàng)建、刪除客戶端功能。也提供查看塊客戶端的掛載信息與CPU 及內(nèi)存的監(jiān)控統(tǒng)計(jì)信息，為塊客戶端進(jìn)行掛載和卸載卷等操作。卷管理卷管理提供卷的創(chuàng)建和刪除功能。創(chuàng)建卷需指定資源池、卷名、卷大小等信息。對(duì)于創(chuàng)建后的卷若按SCSI協(xié)議使用需要掛載卷，若按iSCSI協(xié)議使用需要做iSCSI 映

59、射。還提供iSCSI卷映射界面完成創(chuàng)建主機(jī)/主機(jī)組、配置啟動(dòng)器、配置CHAP認(rèn)證、為主機(jī)/主機(jī)組映射/解映射卷等操作。注：默認(rèn)情況下iSCSI功能是關(guān)閉的，若要使用iSCSI功能需要先開啟iSCSI功能并添加iSCSI監(jiān)聽的IP地址和端口。QoS策略管理QoS策略管理支持創(chuàng)建、刪除QoS策略，及分頁查看QoS策略信息。快照管理快照管理支持分頁出查看快照列表，列表信息包括快照名稱、容量、所屬存儲(chǔ)池和創(chuàng)建時(shí)間；支持創(chuàng)建鏈接克隆卷、設(shè)置QoS策略和刪除快照。數(shù)據(jù)冗余FusionCube分布式存儲(chǔ)支持兩種數(shù)據(jù)冗余保護(hù)機(jī)制，一種是多副本方式，一種是Erasure Code（EC，糾錯(cuò)碼）方式。多副本Fu

60、sionCube分布式存儲(chǔ)采用數(shù)據(jù)多副本備份機(jī)制來保證數(shù)據(jù)的可靠性，即同一份數(shù)據(jù)可以復(fù)制保存為23個(gè)副本。針對(duì)系統(tǒng)中的每1個(gè)卷，默認(rèn)按照1MB進(jìn)行分片，分片后的數(shù)據(jù)按照DHT算法保存集群節(jié)點(diǎn)上。如REF _fig1450518463392 r h圖4-8所示，對(duì)于節(jié)點(diǎn)Server1的磁盤Disk1上的數(shù)據(jù)塊P1，它的數(shù)據(jù)備份為節(jié)點(diǎn)Server2的磁盤Disk2上P1，P1和P1構(gòu)成了同一個(gè)數(shù)據(jù)塊的兩個(gè)副本。例如，當(dāng)P1所在的硬盤故障時(shí)，P1可以繼續(xù)提供存儲(chǔ)服務(wù)。FusionCube分布式存儲(chǔ)多副本示意圖Erasure CodeFusionCube分布式存儲(chǔ)也可以采用Erasure Code（E