1、華為 OceanStor 5000 系列混合閃存存儲系統技術白皮書華為 OceanStor 5000 V5 系列混合閃存存儲系統技術白皮書目 錄目 錄 HYPERLINK l _bookmark0 摘要1 HYPERLINK l _bookmark1 簡介2 HYPERLINK l _bookmark2 產品系列2 HYPERLINK l _bookmark4 客戶價值3 HYPERLINK l _bookmark6 系統架構5 HYPERLINK l _bookmark7 硬件架構5 HYPERLINK l _bookmark9 多控 Scale-out.5 HYPERLINK l _boo

2、kmark11 硬件全冗余6 HYPERLINK l _bookmark12 門衛式數據加密（國內適用）7 HYPERLINK l _bookmark13 SED 數據加密（國外適用）7 HYPERLINK l _bookmark14 軟件架構8 HYPERLINK l _bookmark17 塊級虛擬化9 HYPERLINK l _bookmark19 SAN/NAS 一體化11 HYPERLINK l _bookmark20 負載均衡12 HYPERLINK l _bookmark21 數據緩存12 HYPERLINK l _bookmark22 端到端數據完整性保護13 HYPERLIN

3、K l _bookmark23 豐富軟件特性13 HYPERLINK l _bookmark24 面向閃存的系統優化14 HYPERLINK l _bookmark25 精簡高效 Smart 特性系列15 HYPERLINK l _bookmark26 異構虛擬化（SmartVirtualiztaion）15 HYPERLINK l _bookmark28 數據遷移（SmartMigration）17 HYPERLINK l _bookmark31 數據重刪壓縮（SmartDedupe&SmartCompression）18 HYPERLINK l _bookmark35 智能數據分級（Sma

4、rtTier）21 HYPERLINK l _bookmark37 塊數據分級（SmartTier for Block）21 HYPERLINK l _bookmark38 文件數據分級（SmartTier for File）22 HYPERLINK l _bookmark40 智能精簡配置（SmartThin）23 HYPERLINK l _bookmark42 智能服務質量控制（SmartQoS）23 HYPERLINK l _bookmark44 智能緩存分區（SmartPartition）25 HYPERLINK l _bookmark46 SSD 智能緩存（SmartCache）27

5、 HYPERLINK l _bookmark49 LUN 銷毀（SmartErase）27 HYPERLINK l _bookmark51 多租戶（SmartMulti-Tenant）28 HYPERLINK l _bookmark53 智能配額（SmartQuota）29 HYPERLINK l _bookmark55 智能數據迅移（SmartMotion）30 HYPERLINK l _bookmark57 數據保護 Hyper 特性系列31 HYPERLINK l _bookmark58 快照（HyperSnap）31 HYPERLINK l _bookmark60 LUN 快照（Hyp

6、erSnap For Block）31 HYPERLINK l _bookmark61 FS 快照（HyperSnap For File）32 HYPERLINK l _bookmark62 克隆（HyperClone）34 HYPERLINK l _bookmark64 LUN 克隆（HyperClone For Block）34 HYPERLINK l _bookmark65 FS 克隆（HyperClone For File）36 HYPERLINK l _bookmark66 遠程復制（HyperReplication）37 HYPERLINK l _bookmark68 LUN 同步

7、遠程復制（HyperReplication/S For Block）38 HYPERLINK l _bookmark69 LUN 異步遠程復制（HyperReplication/A For Block）40 HYPERLINK l _bookmark70 FS 異步遠程復制（HyperReplication/A For File）41 HYPERLINK l _bookmark71 陣列雙活（HyperMetro）43 HYPERLINK l _bookmark73 陣列雙活（HyperMetro For Block）43 HYPERLINK l _bookmark74 陣列雙活（HyperM

8、etro For File）45 HYPERLINK l _bookmark75 一體化備份（HyperVault）47 HYPERLINK l _bookmark77 LUN 拷貝（HyperCopy）47 HYPERLINK l _bookmark79 卷鏡像（HyperMirror）49 HYPERLINK l _bookmark81 WORM（HyperLock）51 HYPERLINK l _bookmark85 兩地三中心（3DC）53 HYPERLINK l _bookmark87 最佳實踐55 HYPERLINK l _bookmark88 A 附錄56 HYPERLINK l

9、 _bookmark89 更多參考信息56 HYPERLINK l _bookmark90 如何反饋意見56 HYPERLINK l _bookmark91 縮略語表57華為 OceanStor 5000 V5 系列混合閃存存儲系統技術白皮書1 摘要 1摘要華為OceanStor 5000 V5系列混合閃存存儲系統（以下簡稱OceanStor V5中端存儲系統） 是面向企業級應用的新一代統一存儲產品。本文從產品定位、硬件架構、軟件架構、特性方面詳細介紹了OceanStor V5中端存儲系統的關鍵技術，以及為客戶帶來的獨特價值。華為 OceanStor 5000 V5 系列混合閃存存儲系統技術白

10、皮書2 簡介 2簡介 HYPERLINK l _bookmark3 產品系列 HYPERLINK l _bookmark5 客戶價值產品系列OceanStor V5中端存儲系統包括如下型號：OceanStor 5110 V5、OceanStor 5300 V5、OceanStor 5500 V5、OceanStor 5600 V5、OceanStor 5800 V5。圖 2-1 OceanStor 5110 V5/5300 V5/5500 V5 中端存儲系統圖 2-2 OceanStor 5600 V5/5800 V5 中端存儲系統詳細產品規格信息請參見： HYPERLINK /cn/prod

11、ucts/cloud-computing-dc/storage/massive-storage/5300-5500-5600-5800-v5 /cn/products/cloud-computing-dc/ HYPERLINK /cn/products/cloud-computing-dc/storage/massive-storage/5300-5500-5600-5800-v5 storage/massive-storage/5300-5500-5600-5800-v5。客戶價值憑借面向云架構的存儲操作系統、強勁的新一代硬件平臺和豐富的智能管理軟件， OceanStor V5中端存儲系統在

12、功能、性能、效率、可靠性和易用性上都達到業界領先水平，很好的滿足了大型數據庫OLTP/OLAP、文件共享、云計算等各種應用下的數據存儲需求，廣泛適用于政府、金融、電信、能源、媒資等行業。同時，OceanStor V5中端存儲系統能夠提供高效、靈活、豐富的備份、容災解決方案，有效保證用戶業務連續性和數據安全，為用戶提供卓越的存儲服務。極致融合：融會貫通，提升數據服務效率l閃存的融合：華為擁有最全面的閃存產品，能夠實現不同類型，不同檔次，不同代次的閃存實現互聯互通；從數據面，管理面，運維面實現多層維度的閃存融 合，實現百萬級IOPS的高性能低時延，同時又保障SSD的長期可靠性。lSAN與NAS的融

13、合：可同時兼容 SAN 和 NAS 兩種服務，滿足業務彈性發展需求，提升存儲資源利用率，有效降低 TCO。將塊與文件兩種數據服務融會貫通， 不光能夠實現多業務承載的能力，而且 SAN 與NAS 性能與功能業界領先。l存儲資源池的融合：通過內置異構虛擬化功能，OceanStor V5中端存儲系統能高效接管其它主流廠商存儲陣列 ( 不同檔位，不同種類，不同型號 )，并整合成統一的資源池，消除數據孤島，資源可統一管理，自動化 & 服務編排；同時，還可以實現實現第三方設備遷移 0 中斷，遷移操作工具化自動完成，耗時平均縮短 60%。l多數據中心的融合：融合網關，仲裁，網絡的一體化雙活； 組網更簡單，雙

14、活+HyperVault 3DC 等進一步保證核心業務連續性；從雙活數據中心可平滑升級到3DC，提供兩地三中心最高級別的業務連續性；可實現 64:1 的多級 DC，提供數據集中容災與保障。穩定可靠：從產品到方案實現99.9999%高可用l多控制器負載均衡：OceanStor V5中端存儲系統實現多個控制器間負載均衡，消除單點故障，實現系統高可用，保護業務穩定在線。同時可利用多個控制器并發加速同一主機業務，消除單控制器性能瓶頸，實現性能加倍。l獨有的數據快速恢復技術：采用創新的塊級虛擬化技術，1TB 數據重構時間從 10個小時降低到 30 分鐘，與傳統存儲相比，因硬盤故障引起的數據失效風險降低9

15、5%。l豐富的數據保護方案：Hyper 系列數據保護特性包含快照、克隆、一體化備份、遠程復制等數據保護技術，可以實現用戶系統內、本地、異地以及多地的數據保護方案，實現 99.9999% 的可用性，最大程度保障用戶業務連續性和數據可用性。l面向核心應用的SAN與NAS一體化雙活保護：創新性的在業界率先推出一體化雙活方案，OceanStor V5中端存儲系統同時支持 SAN 與 NAS 雙活，確保數據庫與文件業務同時高可用。憑借 HyperMetro 免網關 Active-Active 雙活，保障雙活系統具備負載均衡的雙活鏡像以及無中斷的跨站點接管，保障用戶核心應用數據零丟失，業務零中斷。此外，華

16、為 HyperMetro 雙活方案能夠平滑升級至兩地三中心解決方案。極致性能：滿足企業業務的性能彈性增長需求l面向閃存的存儲架構：采用面向閃存的系統架構，基于閃存融合技術在CPU調 度、Cache、RAID以及系統與硬盤聯動等方面專門針對閃存進行了設計，系統可對HDD和SSD介質智能感知，自動識別介質類型并動態選擇最優系統算法適配， 確保存儲系統處理大量業務訪問時依然能夠提供穩定低于1ms的I/O快速響應，保證用戶關鍵應用的極致性能體驗。l 匹配閃存設計的領先規格： OceanStor V5中端存儲系統采用多核處理器，支持多種主機接口；控制器之間采用 PCIe 3.0 總線互聯，并采用 12G

17、bps SAS 3.0 高速硬盤接口，滿足視頻、大文件等高帶寬應用場景所需。l 靈活的擴展性：可線性擴展系統資源，能夠平滑擴展至最大 16 個控制器、8TB 緩存，滿足用戶未來業務高速增長的數據需求，幫助用戶實現投資收益最大化。華為 OceanStor 5000 V5 系列混合閃存存儲系統技術白皮書3 系統架構 3系統架構 HYPERLINK l _bookmark8 硬件架構 HYPERLINK l _bookmark15 軟件架構硬件架構OceanStor V5中端存儲系統采用智能矩陣式多控架構，以控制框為單位橫向擴展，達到性能和容量的線性增長。單個控制框采用雙控冗余架構，雙控間采用板載P

18、CIe 3.0實現雙控緩存鏡像通道，多控制框之間通過10GbE交換機或PCIE交換機實現Scale-out。控制框或硬盤框內的硬盤通過雙端口連接到兩個控制器，支持SAS接口的SSD、SAS、NL-SAS三種類型硬盤。通過BBU（Backup Battery Unit），在系統掉電時把Cache中的緩存數據持久化到數據保險箱上實現緩存數據的保護。多控 Scale-out全新的OceanStor V5中端存儲系統擁有PCIe 3.0背板互聯設計、后端SAS 3.0技術和Intel 新一代Skylake CPU所帶來的高速通道和強勁的計算能力，靈活滿足客戶越來越高的性能需求。而中端與高端一樣無單點故

19、障的設計和Scale-out的擴展能力，更是為只有有限預算的客戶帶來了高端存儲才有的高可靠性和靈活擴展性。OceanStor V5中端存儲系統采取控制框間IP互聯或PCIE光互聯架構設計實現橫向擴展。控制框間的業務交換通道由10GbE以太網或PCIE交換網絡承載。系統最大支持8個控制框，每個控制框包含2個控制器，整個系統最大支持16個控制器。每個控制器分別通過兩個互為冗余的交換通道與系統中其它控制器進行互連實現數據轉發。控制框內的兩個控制器之間采用PCIe 3.0背板互聯設計（如 HYPERLINK l _bookmark10 圖3-1所示），由最多32 lane PCIe 3.0組成雙控間的

20、高速鏡像通道。圖 3-1 雙控 PCIe 3.0 互聯在IP互聯的集群組網中，交換通道支持交換和直連組網。交換組網中多個控制框之間通過10GbE以太網連接到兩個冗余的數據交換機DSW（Data Switch）中，在DSW中實現數據交換，此種集群最大支持到16個控制器；在直連組網中，一個網卡上的2個網口分別連接到另外一個控制框的控制器，此種集群最大支持到4個控制器。由于交換鏈路采用雙鏈路設計，保證集群數據交換網絡的冗余性。采用IP互聯可以為以后集群的擴展預留空間，更適合將來的集群彈性擴展。而雙控間數據交換和鏡像通道采用全PCIe 的互聯架構，實現更加高效的數據交換。在PCIE互聯的集群組網中，控

21、制器之間采用PCIe光互聯設計，實現控制器間的業務交換。集群中所有控制器通過QSFP光纜連接到兩個冗余的DSW中，在DSW中實現數據交換，采用全PCIe的互聯架構的優勢在于減少協議轉換的延時，可以實現更加高效的數據交換。采用全光互聯的設計一方面提高了長距離數據傳輸的可靠性，另外一方面對機柜之間的距離要求減少，有利于客戶機房內部的機柜布局設計。硬件全冗余OceanStor V5中端存儲系統所有組件與通道均為全冗余設計，無單點故障，各組件與通道均可獨立完成故障檢測、修復和隔離，確保系統穩定運行。表 3-1 硬件部件全冗余位置系統部件冗余情況故障影響控制框控制器1+1冗余性能按比例下降電源模塊1+1

22、冗余無影響風扇模塊有冗余（不同產品型號冗余程度不同）無影響BBU模塊有冗余（不同產品型號冗余程度不同）無影響接口卡1+1冗余無影響管理板a1+1冗余無影響2U硬盤框級聯板1+1冗余無影響電源模塊1+1冗余無影響風扇模塊1+1冗余無影響4U硬盤框級聯板1+1冗余無影響電源模塊2+2冗余無影響風扇模塊5+1冗余無影響說明a. 僅適用于5600 V5/5800 V5。門衛式數據加密（國內適用）門衛式數據加密特性，由華為存儲系統、門衛式加密機、密鑰管理中心（KMC，Key Management Center）三個部件組成。門衛式加密機實現商密加解密算法和數據流程， 存儲系統負責加密數據的存儲，密鑰管理

23、中心負責加密密鑰的管理和生命周期控制。 說明門衛式數據加密機，只支持FC鏈路，不支持快照、克隆、遠程復制、LUN遷移等增值特性，不支持NAS協議加密。SED 數據加密（國外適用）華為OceanStor V5中端存儲系統支持SED（Self-Encrypting Drive，自加密硬盤）數據加密特性，通過配置自加密硬盤和內置密鑰管理（存儲系統自帶密管系統）或者外置密鑰管理（外部配置獨立的密管系統），與存儲系統配合完成數據靜態加密。數據加密特性通過AES 256密碼算法對存儲系統上的用戶數據進行加密，保證用戶數據的保密性、完整性、可用性。內置密鑰管理內置密鑰管理是OceanStor V5中端存儲系

24、統內嵌的密鑰管理應用，提供對數據加密特性中自加密硬盤的AK的生命周期管理。內置密鑰管理支持密鑰產生、更新、銷毀、備 份、恢復等功能。內置密鑰管理易部署、易配置、易管理；在無更高安全要求，并且整個數據中心的密鑰管理僅用于存儲系統的場景下，建議選擇內置密鑰管理；無需再獨立部署一套密管系統。外置密鑰管理OceanStor V5中端存儲系統支持外置密鑰管理，采用第三方外部的KMS（Key Manager Server）對數據加密特性的密鑰管理。外置密鑰管理采用KMIP+TLS的標準協議。 在者數據中心多場景需要密鑰集中管理時，建議選擇外置密鑰管理。外置密鑰管理支持密鑰產生、更新、銷毀、備份、恢復等操作

25、。同時外置密鑰管理支持雙機模式，兩個KMS之間會進行密鑰的實時同步，保證密鑰可靠性。自加密硬盤SED具備兩層安全保護，分別使用AK(authentication key)和DEK(data encryption key)兩個安全密鑰。l AK認證原理：當在OceanStor V5中端存儲系統上打開硬盤加密特性時，存儲會打開加密硬盤的AutoLock功能，并使用由Key Manager分配的AK，此時硬盤的訪問已由SED的AutoLock功能保護，只能由存儲系統本身訪問。硬盤每次接入時，需要存儲系統從密管服務器獲取硬盤的AK，如果與硬盤上的AK匹配，硬盤就將加密后的DEK解密，用于數據加解密。如

26、果AK與硬盤上的AK不匹配，則任何讀寫操作都將失敗。l數據加密原理：當硬盤成功通過Autolock認證后，對硬盤進行讀寫時，硬盤通過自身的硬件電路和內部的數據密鑰（Data Entrypt Key）完成寫入數據加密和讀取數據解密的功能。數據在寫入硬盤之后，通過DEK的加密，變成加密信息。DEK本身無法獲取，意味著硬盤被拆除后，通過機械讀取的方式無法還原原始信息。軟件架構OceanStor V5中端存儲系統提供的軟件包括存儲系統端軟件、維護終端軟件和應用服務器端軟件。這三部分軟件相互配合，從而智能、高效、經濟地實現各種存儲業務、備份業務和容災業務。存儲系統軟件結構如 HYPERLINK l _b

27、ookmark16 圖3-2所示。圖 3-2 OceanStor V5 中端存儲系統軟件架構框圖存儲系統端軟件采用OceanStor OS專用操作系統，實現硬件管理和支撐存儲業務軟件的運行。存儲系統通過基本功能控制軟件實現基礎的數據存儲和讀寫功能；通過增值功能控制軟件實現各種備份、容災和性能調優等高級功能；通過管理功能控制軟件實現對存儲系統的管理功能。下面從塊級虛擬化、SAN/NAS一體化、負載均衡、數據緩存、端到端數據完整性保護、軟件特性等方面進行關鍵軟件架構技術介紹。塊級虛擬化塊級虛擬化原理OceanStor V5中端存儲系統采用RAID2.0+塊虛擬化架構。不同于傳統RAID固定成員盤的

28、做法，RAID2.0+是基于硬盤的塊級虛擬化技術。陣列內所有的硬盤被劃分為固定大小的CHUNK，系統自動隨機選擇多個硬盤的多個CHUNK按照RAID算法組成CKG，CKG直接分配給Volume或被劃分為固定大小的數據塊（Extent）分配給不同的Volume 使用。Volume對外體現為LUN或文件系統（File System，縮寫為FS）。RAID2.0+ 如下圖所示：圖 3-3 RAID2.0+塊虛擬化快速重構快速重構，每個物理硬盤的CHUNK會和多個硬盤的CHUNK組成RAID，單個硬盤故障后參與重構的硬盤比傳統方式多很多，可以極大提高重構速度，最快可以達到每TB重構30分鐘完成。以9塊

29、硬盤RAID5 為例。當硬盤1損壞，造成CKG0和CKG1的數據損壞。系統隨機選擇CHUNK進行重構。如下圖， 14和16兩個CHUNK損壞，將隨機選擇POOL中的空閑CHUNK進行重構（如 HYPERLINK l _bookmark18 圖3-4黃色方塊），隨機選擇的CHUNK將保證盡量分布在不同的硬盤上。圖 3-4 RAID2.0+快速重構示意圖（一）如下圖，隨機選擇硬盤6的61號CHUNK和硬盤8的81號CHUNK，數據將從其他成員盤重構到這兩個CHUNK。圖 3-5 RAID2.0+快速重構示意圖（二）傳統硬盤重構的瓶頸主要在目標盤（熱備盤），因為所有成員盤將所有數據讀出后重構數據會全

30、部寫入到目標盤，其寫帶寬就成了整個重構速度的關鍵，比如一塊傳統2T 大容量硬盤，重構時間就是2T除以30M/S，也就是18個小時。而經過RAID2.0+塊虛擬化后將有兩個方面的提升：多塊目標盤，如上例子就是兩塊目標盤，重構時間就將縮短為9小時，當CHUNK 數量和成員盤增加時，目標盤可以達到成員盤個數，所以重構速度將極大提升。按CHUNK重構，當故障盤上分配的CHUNK較少時，需重構的數據將大幅降低， 重構速度將進一步提升。RAID2.0+最快可以達到每TB重構30分鐘完成，重構時間的縮短，將大大降低雙盤失效的概率。硬盤負載均衡RAID2.0+技術將使硬盤自動負載均衡，Volume的數據被均勻

31、分布到陣列內所有的硬盤上，可以防止局部硬盤過熱，提升可靠性。在參與業務讀寫過程中，陣列內硬盤參與度高，有效提升系統性能。最大化硬盤資源利用率最大化硬盤資源利用率：性能：在RAID2.0+環境中，LUN/文件系統基于資源池（Pool）創建，不再受限于RAID組磁盤數量，單個LUN/文件系統的性能可得到大大提升；容量：由于資源池中的磁盤數量不受限于RAID級別，免除傳統卷管理技術環境下有些RAID組空間利用率高而有些RAID組空間利用率低的狀況，并借助LUN/文件系統動態擴容，從而提升磁盤的容量利用率。提升存儲管理效率易規劃：無需花費過多的時間做存儲預規劃，只需簡單地將多個硬盤組合成存儲池，設置存

32、儲池的分層策略，從存儲池劃分空間(卷)即可；存儲池易擴容：當需要擴容存儲池，只需插入新的硬盤，系統會自動的調整數據分布，讓數據均衡的分布到各個硬盤上；卷易擴容：當需要擴容卷時，只需輸入想要擴容的卷大小，系統會自動從存儲池中劃分所需的空間，并自動調整卷的數據分布，使得卷數據更加均衡的分布到所有的硬盤上。SAN/NAS 一體化OceanStor V5中端存儲系統采用SAN/NAS一體化設計，不再需要NAS網關設備，一套軟硬件同時支持SAN和NAS，支持NFS、CIFS、FTP、HTTP等文件訪問協議，以及NDMP文件備份協議。NAS與SAN一樣，同樣支持16控的Scale-out，主機可以從任意1

33、 個控制器上的前端主機端口訪問任意1個LUN或文件系統。統一存儲的OceanStor V5融合平臺架構如下圖，文件系統和LUN是平行的出在Space子系統之上，下面是基于RAID2.0+的塊虛擬化存儲池子系統。在這個架構中，文件系統和LUN都直接與底層的Space子系統交互。文件系統架構是基于對象的，每個文件或文件夾是一個對象，每個文件系統是由對象組成的對象集。對于LUN來說，LUN分ThinLUN和傳統的Thick LUN。兩種LUN也都來自于Pool和Space系統，并沒有建立在文件系統之上。這樣簡化的軟件棧帶來的存儲效率比傳統的統一存儲架構效率要高，同時LUN和文件系統各自保持獨立，互不

34、影響。圖 3-6 OceanStor OS 軟件平臺架構示意圖負載均衡SAN 負載均衡默認情況下，OceanStor V5中端存儲系統自動將不同LUN均衡分配到不同控制器，LUN空間均衡打散到系統內所有硬盤。如果主機到存儲陣列的每個控制器都有I/O路徑，華為自研多路徑軟件UltraPath會優選LUN歸屬控制器的路徑下發；如果沒有優選路徑，則IO下發到陣列后，系統會自動判斷對應LUN業務應由哪個控制器處理，通過Smart Matrix智能矩陣將IO轉發到對應控制器進行處理。通過將LUN均衡分配給不同控制器及LUN空間在全局范圍均衡分布，使得不同控制器業務、硬盤壓力相對均衡，配合華為自研多路徑U

35、ltraPath選擇最優路徑下發IO，使系統性能達到了最優。NAS 負載均衡默認情況下，OceanStor V5中端存儲系統自動將不同文件系統均衡分配到不同控制器， 文件系統空間均衡打散到系統內所有硬盤，使得不同控制器業務、硬盤壓力相對均衡。OceanStor V5中端存儲系統也同時提供DNS負載均衡特性，可根據業務負載智能地將主機NFS/CIFS/FTP客戶端連接分發給配置在不同節點、不同端口上的業務IP進行處理， 從而提升系統的性能和可靠性。DNS負載均衡特性是指主機通過域名訪問存儲陣列的NAS業務時，先發DNS請求到陣列內置DNS服務器，根據域名獲取IP地址。域名下包含多個IP時，內置D

36、NS服務器根據各IP所在的控制器的CPU利用率、端口帶寬利用率、所在控制器的NAS連接數等，選擇負載較輕的IP作為DNS響應返回給主機。主機收到DNS響應后，向目標IP發起業務請求。DNS負載均衡特性支持的負載均衡策略有輪循方式、按節點CPU利用率、按節點連接數、按節點帶寬利用率、按節點綜合負載。數據緩存l緩存分布：OceanStor V5中端存儲系統的物理內存的使用分布情況為：物理內存 = 操作系統等占用緩存 + 讀緩存 + 本地寫緩存 + 鏡像寫緩存 + 業務特性占用緩存l緩存類型：OceanStor V5中端存儲系統緩存分為讀緩存、寫緩存。讀緩存：將已讀取的數據保存在內存空間中（讀緩存）

37、，當下次再次讀取同一數據時就不必重新從磁盤上讀取，從而提高速率。寫緩存：將要寫入磁盤的數據先保存在內存空間中（寫緩存），當保存到寫緩存中的數據達到一個閾值時，便將數據保存到硬盤中。通過讀寫緩存可以減少實際的磁盤操作，提升系統讀寫性能，同時有效的保護磁盤免于重復的讀寫操作而導致的損壞。寫緩存沒有使用時，系統所有緩存都可以用作讀緩存。系統對讀緩存有最小容量預留，以保證在寫業務壓力很大時，仍能保證讀業務緩存資源可以使用。l緩存預取：OceanStor V5中端存儲系統實現了多路順序流識別算法，即在大量亂序和隨機的IO中識別出順序IO流，對順序的讀寫IO流采用預取和合并算法，能優化多種應用場景的系統性

38、能。同時，OceanStor V5中端存儲系統的預取算法實現了智能預取、固定預取、倍數預取等算法。智能預取能自動識別IO特征，根據IO特征決定是否預取、預取多大長度，確保產品性能能滿足不同應用場景。系統默認采用智能預取算法，在某些I/O模型非常明確的應用場景，用戶也可以配置固定預取或倍數預取算法，這兩種算法支持由用戶自行配置預取數據長度。l緩存淘汰：當系統緩存占用率達到閾值時，淘汰算法根據歷史訪問頻率和當前的訪問頻率，計算數據塊的熱度，結合多路順序流識別算法，選擇合適的數據進行淘汰。另外根據用戶的具體需要，可配置Volume的緩存優先級，還可以對具體業務調整每個IO的優先級。低優先級的數據，優

39、先淘汰；高優先級的數據緩存更多，保證數據命中率。端到端數據完整性保護ANSI T10 PI（Protection Information）標準提供了一種方法來校驗訪問存儲系統過程中的數據完整性。這種檢查通過T10標準中定義的PI字段來實現。該標準通過在每個扇區數據后加上8字節的PI字段來實現數據完整性檢查。T10 PI通常用來保證存儲系統內部的數據完整性。DIX（Data Integrity Extensions）進一步延伸了T10 PI的保護范圍，實現了從應用到主機HBA的數據完整性保護，因此，DIX+T10 PI可以實現從應用到硬盤的完整的端到端數據保護。OceanStor V5中端存儲系

40、統不但支持T10 PI來保證存儲系統內部的數據完整性保護，而且支持從應用到硬盤的DIX+T10 PI端到端數據完整性保護。陣列對數據PI字段進行實時校驗并下發，如果主機側不支持PI，則陣列會在主機接口增加PI字段并下發。在存儲系統中，PI跟隨用戶數據一起參與各種轉發、傳輸并最終存儲到磁盤介質中。數據被主機應用重新讀出前，系統會通過數據PI檢查數據的正確性和完整性，保證用戶數據的可靠性。豐富軟件特性OceanStor V5中端存儲系統提供了用于系統效率提升的Smart軟件系列和用于數據保護的Hyper系列軟件：l效率提升系列（Smart系列）：在線重刪（SmartDedupe）、在線壓縮（Sma

41、rtCompression）、智能精簡配置（SmartThin）、異構虛擬化（SmartVirtualization）、智能數據迅移（SmartMotion）、智能數據遷移（SmartMigration）、智能數據分級（SmartTier）、智能服務質量控制（SmartQoS）、智能緩存分區（SmartPartition）、數據銷毀（SmartErase）、多租戶（SmartMulti-Tenant）、SSD智能緩存（SmartCache）、智能配額（SmartQuota），主要為用戶提供存儲效率提升方面的功能，降低用戶的TCO。l數據保護系列（Hyper系列）：快照（HyperSnap）、克

42、隆（HyperClone）、遠程復制（HyperReplication）、雙活（HyperMetro）、一體化備份（HyperVault）、LUN拷貝（HyperCopy）、卷鏡像（HyperMirror）、WORM（HyperLock），主要為用戶提供數據容災備份相關的功能。同時支持豐富的兩地三中心（3DC）解決方案。面向閃存的系統優化SSD盤優勢在于隨機IO性能好，時延低，劣勢在與擦寫次數有限；而HDD優勢在于順序IO性能好，無擦寫次數限制。OceanStor V5中端存儲系統對SSD盤與SSD/HDD混合存儲進行了針對性優化，以達到更好的性能和可靠性。系統與自研SSD Firmware無

43、縫聯動SSD由于采用Flash的原因，盤片內部會存在擦除操作，當盤片內部正在擦除時， 與擦除相同通道的其他數據不能讀寫，因此會造成大約12ms的時延，導致性能波動。華為存儲系統采用華為自研SSD時，系統和盤片配合，協調多個硬盤輪流執行擦除操作，系統不選擇從正在擦除的盤讀取數據，而是通過RAID冗余從其他盤上讀取數據，從而保證穩定的時延。Cache針對 SSD的智能“感知”針對SSD和HDD，華為存儲系統采取不同的臟數據刷盤策略，充分發揮出各自優勢：當經過華為認證的硬盤接入時，系統自動識別介質類型。針對SSD硬盤，系統按照LRU算法刷盤，降低算法計算復雜度（也降低了時延），延遲活躍數據的刷盤時間

44、，減少下盤次數，減小寫放大，提升系統性能，同時也延長了SSD壽 命。多核性能優化在多核調度機制方面，針對NUMA架構進行性能優化，例如把單個IO的消息調度在一個CPU核上進行處理，減少多CPU間訪問開銷，提升CPU緩存命中率。在多線程運行效率上，通過數據結構的合理設計，避免多線程并發訪問CPU L1Cache一個緩存單位（Cacheline）上的數據，消除CPU L1 Cache偽共享的問題，極大提升CPU L1 Cache利用效率，減小數據內存訪問的CPU開銷。華為 OceanStor 5000 V5 系列混合閃存存儲系統技術白皮書4 精簡高效 Smart 特性系列 4精簡高效 Smart

45、特性系列 HYPERLINK l _bookmark27 異構虛擬化（SmartVirtualiztaion） HYPERLINK l _bookmark29 數據遷移（SmartMigration） HYPERLINK l _bookmark32 數據重刪壓縮（SmartDedupe&SmartCompression） HYPERLINK l _bookmark36 智能數據分級（SmartTier） HYPERLINK l _bookmark41 智能精簡配置（SmartThin） HYPERLINK l _bookmark43 智能服務質量控制（SmartQoS） HYPERLINK l

46、 _bookmark45 智能緩存分區（SmartPartition） HYPERLINK l _bookmark47 SSD智能緩存（SmartCache） HYPERLINK l _bookmark50 LUN銷毀（SmartErase） HYPERLINK l _bookmark52 多租戶（SmartMulti-Tenant） HYPERLINK l _bookmark54 智能配額（SmartQuota） HYPERLINK l _bookmark56 智能數據迅移（SmartMotion）異構虛擬化（SmartVirtualiztaion）OceanStor V5中端存儲系統提供異

47、構虛擬化特性SmartVirtualization來接管異構存儲系統（包括其他華為存儲系統和第三方廠商的存儲系統），保護現有投資。使用SmartVirtualization后，本端存儲系統能夠將異構存儲系統提供的存儲資源當作本地存儲資源進行使用并對其進行集中管理，無需關注存儲系統間軟件架構和硬件架構的差異。同時，結合SmartMigration特性還可以實現對異構存儲系統中的數據進行在線遷移，幫助客戶完成新老設備的更新換代和數據搬遷。工作原理通過把異構陣列映射到本端陣列，把異構陣列的存儲空間通過eDevLUN（External Device LUN）的方式管理和利用起來。eDevLUN包括元數

48、據卷（Meta Volume）和數據卷（Data Volume）。元數據卷用于對eDevLUN的數據存儲位置進行管理，其所需要的物理空間由本端存儲系統提供。數據卷是對外部LUN數據的邏輯抽象，其所需的物理空間由異構存儲系統提供，不占用本端存儲系統空間。本端存儲系統上創建的eDevLUN與異構存儲系統上的外部LUN是一一對應的關系。應用服務器可以通過對eDevLUN的讀寫操作實現對外部LUN的數據訪問。圖 4-1 異構虛擬化技術示意圖SmartVirtualization通過LUN偽裝技術，將OceanStor V5中端存儲系統的eDevLUN的WWN和Host LUN ID設置成與異構存儲系統

49、上的LUN的信息一致，在數據遷移完成后，通過主機多路徑軟件實現在線LUN的無縫切換，從而在主機不中斷業務的情況下完成數據遷移。應用場景l異構陣列接管用戶的數據中心通過長期的建設，數據中心可能存在來自不同異構廠商的存儲陣列。存儲管理員可通過異構虛擬化接管功能，對現有設備進行管理、配置，達到保護原有投資的目的。l異構數據遷移對于數據中心中有些設備過保或者性能容量等不能再滿足業務需求時，客戶需要對存儲更新換代。采用SmartVirtulization技術和SmartMigration技術，可以實現將客戶原有數據在線遷移到OceanStor V5中端存儲系統上，從而在不中斷主機業務的前提先實現數據的平

50、滑遷移。l異構容災如果客戶業務數據分散在包含來自不同廠商存儲設備的不同的站點，且對業務的持續性要求較高時，異構虛擬化和HyperReplication配合可以使異構陣列間的LUN數據做到互相備份，做到站點間的數據容災。當災難發生時， 能夠通過互為備份的站點進行業務數據的接管和數據恢復。l異構數據保護客戶異構陣列上的LUN數據可能受到病毒或其他原因導致LUN數據受到破壞。異構虛擬化結合HyperSnap技術技術可為異構LUN提供快照備份，快照瞬間完成，當數據被破壞后，可通過快照迅速的回滾到指定的快照時間點的數據，迅速恢復數據。數據遷移（SmartMigration）OceanStor V5中端存

51、儲系統通過LUN遷移（SmartMigration）提供了智能化的數據遷移手段。可以在不中斷原有業務的情況下實現將源LUN上的數據完整地遷移到目標LUN 上。LUN遷移不僅支持存儲系統內部的數據遷移，還支持華為存儲系統和與其兼容的異構存儲系統之間的數據遷移。SmartMigration特性通過把源LUN的數據完整的復制到目標LUN，在復制過程中采用源LUN和目標LUN雙寫、差異日志記錄等技術，復制完成后采用LUN信息交換由目標LUN接管源LUN業務，實現數據的在線遷移。SmartMigration的實現過程分為兩個階段：數據同步遷移前，客戶需要配置遷移的源LUN和目標LUN。遷移開始時，數據由

52、源LUN復制到目標LUN。主機此時可以繼續訪問源LUN。主機寫入源LUN數據時，系統首先在DCL（Data Change Log）中記錄差異日志。寫入的數據同時向源LUN和目標LUN雙寫。如果雙寫成功，系統清除DCL上此次寫入LBA的記錄。如果目標LUN寫失敗，存儲側將DCL上記錄的未同步成功的數據拷貝至目標LUN，拷貝結束后返回主機寫I/O完成；如果源LUN寫失敗，返回主機寫I/O失敗，主機重新下發數據至源LUN，但不寫入目標LUN。LUN 信息交換數據復制完成后，主機IO將暫時懸掛，源LUN和目標LUN進行信息交換，具體原理如 HYPERLINK l _bookmark30 圖4-2所示：

53、圖 4-2 LUN 信息交換示意圖由于LUN信息交換是瞬時完成的，因此主機無需中斷業務，實現了用戶無感知情況下的業務遷移。應用場景l結合SmartVirtualization 特性實現存儲系統升級換代結合異構虛擬化技術，現有老舊設備上數據遷移到華為新陣列上，提升業務的性能和數據的可靠性；老舊設備可以是華為設備，也可以是其他存儲廠商的設備。l由于容量、性能、可靠性調整等原因所需要的數據遷移。數據重刪壓縮（SmartDedupe&SmartCompression）數據重刪壓縮功能為文件系統和Thin LUN提供數據精簡的服務。可以為客戶節約空間的同時也減少了企業IT架構的TCO（Total Cos

54、t Ownership）。在線重刪（SmartDedupe）OceanStor V5中端存儲系統采用在線處理的方式實現了基于文件系統和Thin LUN的數據重刪功能。在系統中，重刪功能的粒度和文件系統或者ThinLUN的最小讀寫單元Grain保持一致。同時，由于用戶在創建文件系統或者ThinLUN時可以指定Grain的大小（4KB64KB），OceanStor V5中端存儲系統也即實現了基于不同粒度的數據重刪功能。OceanStor V5中端存儲系統進行重復數據刪除處理的流程如 HYPERLINK l _bookmark33 圖4-3所示。圖 4-3 重復數據刪除處理流程存儲系統按照塊大小進行

55、拆分。存儲系統會將新寫入的數據塊與舊的數據塊通過指紋庫進行對比，如果指紋不同，當做是新數據塊，寫入。如果指紋不同：逐字節比較功能關閉（默認），存儲系統會將舊有數據塊直接指向新寫入的數據塊存儲位置，而不分配空間。逐字節比較功能開啟時，將之前寫入的數據與當前的數據內容進行字節級比較，如果完全相同，則認為是重復數據塊。如果不同，當做是新數據塊。例如，文件系統中原有數據塊為數據塊A和數據塊B。應用服務器寫入數據塊C和數據塊D，數據塊C與數據塊B指紋信息一致，數據塊D與與原有數據塊A、B的指紋信息均不一致。采用不同的重復數據刪除策略時，數據重刪處理結果示意圖如Figure 4-4所示。圖 4-4 數據重

56、刪處理結果在線壓縮（SmartCompression）業界一般的壓縮做法有在線壓縮以及后壓縮。存儲系統實現了在線壓縮，對新寫入的數據在寫盤前先進行壓縮處理，再將壓縮后的數據寫盤，能有效的節省用戶的空間。和后壓縮（在數據下盤后再執行壓縮）相比，在線壓縮有以下優點：l更小的初始存儲空間，降低客戶初始投資。l更少的I/O, 適合有讀寫壽命限制的SSD磁盤。l在線壓縮是在執行壓縮后再打快照，能做到最大限度的節省存儲空間。存儲系統在進行數據壓縮處理時，會根據用戶設定的壓縮策略進行不同程度的壓縮。存儲系統支持如下兩種壓縮策略：lFast策略：Fast策略是系統默認使用的壓縮算法。該算法壓縮速度快，但與De

57、ep策略相比壓縮后空間節省效率低一些。lDeep策略：Deep策略可以獲得空間節省效率的明顯提升，但壓縮和解壓需要花費更長的時間。OceanStor V5中端存儲系統的數據壓縮處理過程如 HYPERLINK l _bookmark34 圖4-5所示。圖 4-5 數據壓縮處理結果重刪、壓縮效果可疊加OceanStor V5中端存儲系統的SmartDedupe和SmartCompression功能支持同時開啟。當同時開啟時，數據先經過重刪再執行壓縮，可以實現縮減效果的疊加，可以為用戶節省更多存儲空間。由于OceanStor V5中端存儲系統采用在線處理的方式實現數據的重刪和壓縮，當用戶開啟重刪壓縮

58、功能時，只對后續寫入的數據執行重刪壓縮；當關閉重刪壓縮功能時，之前重刪過的數據不會被恢復成原來的格式。智能數據分級（SmartTier）塊數據分級（SmartTier for Block）SmartTier是針對塊存儲的智能數據分級特性。SmartTier按照應用對性能的需求，將SSD，SAS和NL-SAS三種類型磁盤分別對應高性能存儲層，性能存儲層和容量存儲層。每個存儲層可以單獨使用，也可以根據需要兩兩組合，或者三者組合在一起組成存儲池提供數據存儲空間。SmartTier進行LUN級別的智能化數據存放管理，以“extent”為單位，默認4MB（512KB 64MB可配）來統計和分析數據的活躍

59、度，將不同活躍度的數據和不同特點的存儲介質動態匹配，并通過數據遷移將活躍度高的“繁忙”數據遷移至具有更高性能的存儲介質（如SSD 硬盤），將活躍度低的“空閑”數據遷移至具有更高容量且更低容量成本的存儲介質（如NL-SAS 硬盤）。SmartTier經歷的數據監控、排布分析、數據遷移三個階段，如下圖所示：圖 4-6 SmartTier 處理過程其中，數據監控、排布分析階段由存儲系統自動完成，數據遷移階段通過用戶手動觸發或根據用戶配置的定時策略觸發。SmartTier提高存儲系統性能并降低用戶成本，滿足企業對性能和容量的雙重需求，避免歷史數據占用昂貴的存儲介質，保證企業有效投入，消除無用容量帶來的

60、能耗開 銷，降低企業TCO，得到最優性價比。文件數據分級（SmartTier for File）SmartTier是為了滿足客戶簡化數據生命周期管理，提升介質利用率，降低客戶成本而推出的面向文件系統的分級特性。它是基于用戶自定義策略，以文件為粒度在不同介質中進行動態遷移的技術。企業存儲的Storage Pool可以由多種介質（例如SSD、HDD）混合組成，SmartTier根據用戶指定的策略（例如：文件名、文件大小、文件類型、文件創建時間、SSD使用率等），使數據可以在多種介質間流動，比如從高性能介質（例如SSD）自動遷移到大容量介質（例如HDD，包括SAS或NL-SAS）。原理如 HYPER