1、各廠商高端存儲產品的技術對比目錄1 背景信息2 技術指標列表大型號指標列表小型號指標列表3 體系結構分析HDSUSPV/USPVM-系結構先進的統一星型網絡架構EMCDMX-4/DMX-4950本系2吉構IBMDS8300Turbo/DS8100Turbo體系結構落后的雙控制器結構4 Cache技術分析HDSUSPV/VMg存技術EMCDMX-4g存技術IBMDS8000緩存技術5 緩存并發訪問能力比較HDSUSPV緩存并發數HDSUSPVMS存并發數EMCDMX-4/DMX-495面存并發數DS8300緩存并發數小結6 IO性能測試結果公開網站DS8300測試結果USPV測試結果對比DMX-

2、4/950測試結果7 存儲虛擬化整合技術HDSUSPV/USPVlW擬化IBM和EMQg擬化技術8 存儲分區技術9 動態供應技術10 各個廠商的宕機記錄11 HDS向客戶承諾的系統可靠性1背景信息存儲（即智能磁盤陣列）已經成為企業IT支撐系統越來越重要的一個分支。目前全球范圍公認的主流存儲解決方案供應商主要有HREMC舊M等。隨著技術的發展和市場的分化，上述幾個主流廠商都向市場提供兩個系列的存儲產品：即高端存儲和中端存儲兩個系列，分別滿足不同級別和不同規模的應用需求。為了更好地進行產品選型，我們需要對各廠商的產品進行深入分析對比，以作為我們選擇的重要依據。本文首先對各廠商的高端存儲進行分析，中

3、端存儲的分析將在其他文件中提供。下表是各廠商高端存儲型號的詳細列表。產品HPEMCIBMHDS大XP24000DMX-4DS8700USPV小XP20000DMX-4950DS8300USPVM在技術分析前，我們確定了一些主要的技術方面，然后在這些技術指標上對各廠商的產品進行對比，包括主要指標列表、體系結構、Cache技術、性能、存儲虛擬化功能、存儲分區、以及容量動態供應技術等。另外，還要說明一下，通過各廠商的技術資料和產品介紹，我們了解到上表中各廠商的小型號和大型號（例如HPXP20000和XP24000在體系架構和總體功能上是完全相同的，具系統內部運行的也是同一套微碼（存儲操作系統），所不

4、同的主要是系統擴展性方面，例如前端控制器、后端控制器、緩存、最大磁盤的數量等。2體系結構分析體系結構決定著產品的本質特性：一個產品擁有優秀、均衡的體系結構，這個產品才能擁有良好的可靠性和穩定性，才能擁有高的性能。2.1 HPXP系列產品體系結構一一先進的統一星型網絡架構HPXP系列產品作為高端存儲，擁有一個適合存儲系統的、沒有潛在瓶頸的、全光纖交換式和點對點直連相混合的統一星型網絡體系架構UniversalStarNetwork（USN,如下圖所示。圖中CHA為前端通道控制器，DKA為后端磁盤控制器，SMA是控制緩存，CMAM數據緩存，CSW是內部緩存交換機。HPXP系列產品的技術白皮書列舉了

5、USNB星型網絡體系結構擁有2項核心技術：* 第一項：數據緩存讀寫采用全光纖交換式架構。交換式體系結構又稱CrossBar結構，是一種高帶寬、大吞吐率和無阻塞的體系結構，已經廣泛應用在IT行業、電信行業的高端設備上。不論是大型UNIX主機（HPSuperdomeSunEnterpriseServer25K、IBMP590等），以太網核心交換機（Cisco）、存儲網核心交換機（如Brocade、McData以及CiscoSANDirector）,甚至是電信交換機等均采用了無阻塞CrossBar技術作為其系統架構，這已經是業界發展的方向。Cache是存儲系統的核心部件，XP把整個系統的所有緩存Ca

6、che分為兩個獨立部分：數據緩存（如上圖CM撕示）和控制緩存（上圖SM撕示）。其中數據緩存用來存放服務器/主機讀寫的數據，控制緩存是用來存放數據緩存的索引（我們稱之為metadata）以及系統通信數據的共享區的。存儲系統把數據緩存在邏輯上分為若干個page（大小為4K,8K,16K等），每個page有一個線性地址（即pageID）。每次讀寫都是以page為單位進行，即使是只需要讀一個byte,最后對緩存的讀寫也是以一個page進行的。因此對于數據緩存來說，最重要的是需要持續的高帶寬和大吞吐率，XP在數據緩存讀寫上采用交換式結構設計一一這是真正的根據存儲系統的特點而設計的。oXP24000從內部

7、交換機到數據緩存設計有64路s的通路連接起來，數據緩存共有68GB/s的帶寬；oXP20000從內部交換機到數據緩存設計有8路s的通路連接起來，數據緩存共有s的帶寬；* 其次是控制緩存采用點對點直連技術。如上文所述，控制緩存主要用來存放數據緩存的索引和共享通訊數據。其中數據緩存的索引是一張二元表，其數據結構如下：某個數據塊在磁盤數據卷上的地址某個數據塊在數據緩存上的地址在微觀上，服務器對存儲的一次讀寫的詳細過程如下：業務軟件讀某個數據>數據庫演變為讀某個數據庫表紀錄>數據庫底層演變為讀某個邏輯卷的某個數據塊>操作系統卷管理軟件演變為讀某個數據卷的某個數據塊>XP2400

8、0演變為某個LUN的某個page>XP24000在控制緩存中查找索引，判斷是否該數據page在數據緩存中。如果返回一個非0值，說明該數據在數據緩存中，這次讀操作為讀命中readhit;如果返回為一個0值，這說明此次操作為readmiss,系統將在共享緩存中寫入該數據塊pageID,并通知后端磁盤控制器將數據塊讀入到數據緩存中。XP任何一個操作，都需要訪問控制緩存。而且對控制緩存的讀寫有如下特點：o每次對控制緩存的訪問的數據量很小，一般就是一個長整數（即pageID）;o讀寫并發度很高，因為一次數據讀寫可能導致多次控制緩存的讀寫；o控制緩存中還包含了大量存儲控制器之間的通信數據，但每次訪問

9、的數據量都不大。o因此對控制緩存的技術要求是：控制器到控制緩存的通道要多，每條通道的帶寬不必很寬。XP就是遵循這個設計原則，對控制緩存的讀寫設計為點對點直連結構：XP24000每個控制器（包括前后端控制器）者B通過4路150MB/S的通路直接連接到每個控制緩存卡上，因此系統滿配置32塊控制器的情況下，一共設計有4*32*2=256路150MB/S的通路，整個帶寬為S；XP20000每個控制器都通過2路150MB/S的通路直接連接到每個控制緩存卡上，因此系統滿配置8塊控制器的情況下，一共設計有2*8*2=32路150MB/S的通路，整個帶寬為s；* 結論HPXP采用數據緩存交換式結構，控制緩存點

10、對點直連結構是最符合存儲系統對數據訪問和管理的特點的，這種統一星型網絡結構是最穩定和均衡、最先進和最高性能的體系架構。這是其他廠商所無法相比的。2.2 EMCDMX-4/DMX-495咻系結構EMC高端存儲系統2個型號DMX-4/DMX-4950采用的是類似的結構，但又有不同。我們先分析一下DMX-4的結構，再闡述DMX-4950結構的不同之處。DMX-4采用的是DM身構，即直連矩陣結構DirectMatrixArchitecture。EMCW這種點對點DMX結構是能夠徹底消除系統帶寬瓶頸的“先進”架構，是比已變成工業界事實標準的CrossBar高端系統架構還要優越的體系結構？我們分析一下實際

11、情況。下圖就是DM鄧系結構示意圖。從圖中可知，DMX吉構中主要可描述如下：辛前端8個各類通道控制器與8塊Cache卡點對點直接相連，共64個連接通路；48個后端磁盤控制器也與8塊Cache直接相連，共64個連接通道；這里有一點最重要，就是所有通道和磁盤控制器均連接到一個稱之為“ControlandCommunicationSignals”的卡上，如圖中所標示的。這個卡實際上是一個Multiplexer。Multiplexer是什么東西呢？它實際上是一個多路復用器，DMX-4/DMX-4950采用這種多路復用器對多個通道控制器和磁盤控制器訪問同一個Cache卡可能產生的沖突進行控制。現在很多人都

12、不知道Multiplexer是什么東西。實際上在早期舊M大型機上使用的SNA網絡上就是使用的這種“多路復用器”，直到網絡交換機出現以后，才被市場所淘汰。與交換技術和交換機相比，Multiplexer是一種原始和低級的復用設備，具延遲和效率都非常低，僅適合對數據量不大的某個控制信號使用，而采用到存儲系統中來控制多路對Cache卡的沖突，很難適應高端存儲系統可靠性和穩定性不斷提高的要求，其本身已經為市場所淘汰。另外需要指出的是，DMX-4950中，Cache卡只有2塊，前端通道控制器與后端磁盤控制器共用一個控制器，共用一個帶寬，因此其帶寬很小，該產品的可靠性和性能可想而知。而相比之下，HDSUSP

13、V所有的控制器都是互相獨立的，不是共享同一塊控制器。2.3IBMDS8000體系結構一一落后的雙控制器結構雖然DS8000系列產品被舊M稱之為高端存儲系統，但是其采用的是典型的雙控制器結構，這種架構是中端存儲系統采用的結構。因此有不少第三方分析師把DS8000定位為一個具有高端的可擴展性能力的中端存儲產品。請看下圖。資料來源：舊MDS8000Redbook如圖所示，DS8000實質上是由左右兩邊2臺簡裝的舊Mp570小型機作為控制器，共享內部總線(RIO-Gloop)的這樣一個雙控制器共享總線結構。這個結構是典型的中端存儲的結構，下圖是各廠商中端存儲的體系結構，這些中端存儲包括HDSAMS10

14、00EMCCX3-80IBMDS480Q大家請看看有何不同？體系結構決定著系統的檔次和定位，這就是為什么眾多第三方獨立咨詢機構都把DS8000產品定位為中端存儲產品的本質原因。HDSAMS系列存儲系統架構圖總之，DS8000是由2臺簡裝的p570,其上運彳T簡化的unix操作系統和陣列控制軟件，通過共享總線，外掛接口卡以及若干磁盤組成。特別要指出的是，2臺p570上運行的unix簡化版和陣列控制軟件，并不是存儲系統上的微碼，而是普通服務器上的Cluster軟件和相關的應用軟件，其執行效率和響應速度都無法滿足存儲系統對微碼的要求。存儲系統的微碼需要簡化、高效、執行速度快、周而復始地完成服務器/主

15、機對數據的訪問請求，以及相關存儲軟件功能（例如數據本地復制克隆快照、遠程數據復制等），而DS8000顯然難于滿足這個要求。更重要的是，這種設計最致命的是影響系統的可靠性和穩定性。眾所周知，雙機熱備集群技術對于普通應用系統來說，基本能滿足業務要求一一在一臺小型機故障的情況下，在有限時間里業務能切換到另一臺小型機上，但是所有使用過cluster的客戶都很清楚，這個有限時間是在分鐘一級一一就是配置得非常優化的應用系統，這個時間也往往要5分鐘以上。5分鐘對服務器來說，可能是可以忍受的，而且也僅僅影響到這臺服務器上的業務。但對于存儲系統來說，特別是高端存儲系統，這幾乎是致命的。存儲系統是業務IT支撐平臺

16、最中心的設備，在數據集中化趨勢越來越明顯的情況下，眾多客戶整個企業可能所有的業務均整合在同一臺存儲系統中，這臺高端存儲系統需要支撐所有服務器和主機，每秒鐘可能會發生幾百甚至幾千個I/O,DS8000一旦出現一臺p570故障，系統需要在幾分鐘之后才能把這部分數據切換到另一臺p570上，系統會怎樣，眾多業務服務器/主機會怎樣，整個企業前端業務會怎樣？尊敬的客戶，您敢用嗎？而這一點在中端存儲上都不會出現，因為中端存儲采用的系統微碼的實時性都要高于DS8000例如HDSAMS100陰用白是VxWorks的切換時間都在毫秒級，對前端服務器的讀寫沒有影響。這是客戶反映的舊MDS8000不穩定的根本原因3C

17、ache技術分析存儲系統中數據最終是存放在若干個磁盤。由于磁盤的讀寫本質上是一個機械過程，其速度比CPUS度要低1到2個數量級。因此對于存儲系統來說，一邊是服務器/主機高速請求，另一邊是磁盤低速讀寫，因此必須通過相應部件和技術來調和這個高低矛盾。這個部件和技術就是高速緩存（Cache）和緩存管理技術。本小節就著重分析各廠商的Cache管理技術。3.1 HPXP20000/XP24000緩存技術XP20000/XP2400O&Cache設計方面擁有多項專利技術。如下圖所示。dXP采用控制緩存、控制鏈路與數據緩存、數據鏈路分離設計技術。HP實現的是集中式緩存設計一一控制緩存相當于數據緩存的

18、集中索引。XP擁有2塊獨立的控制緩存卡，互為鏡像保護，不存在單點故障。任何一個讀寫操作以前，均要通過控制緩存，迅速檢索出某個卷的某個數據塊在數據緩存的線性地址，然后再依據該地址對數據塊進行操作。這種集中式緩存設計擁有業界最高的緩存管理效率；*XP具備緩存智能調整策略，可自動識別讀、寫緩存的比例已達到緩存利用的最佳效率。30份量是基本讀緩存，30溢基本寫緩存，40溢智能調整部分，因此XP24000可根據業務特點靈活調整，使得系統能自動吻合客戶需求，表現最高的系統效率；3.2 EMCDMX-4g存技術DMX-4/DMX-495踩用的是典型的分布式緩存設計。DMX-4勺緩存?f配置8塊緩存卡中，每塊

19、緩存卡互相獨立。DMX-4g存為混合緩存，既包括數據信息，也包括控制信息，而不存在獨立和集中的控制緩存卡，每塊緩存卡上分配一定地址范圍作為該緩存卡的控制信息或索引。即每塊緩存卡部分內容為控制信息，其他為數據信息，這種無集中控制緩存機制的設計就是分布式緩存架構。在分布式緩存結構中，對任一數據塊的訪問，必須對緩存卡進行遍歷查詢，至少要遍歷緩存卡的控制信息區域。因此該緩存設計模式效率是比較低的，這就是EMC不參加SPC性能測試的原因之一吧。3.3 IBMDS8000緩存技術IBMDS8000為了提高數據寫入到Cache的可靠性，在設計上引入了一個NVM勺機制。如下圖所示，舊M在常規緩存（舊M也稱之為

20、volatilememory,即讀Cached外，專門增加了一塊永久內存模塊（PersistentMemory,也稱為NVM用來做寫Cache,所有外部服務器/主機寫入I/O全部先寫入這個永久內存模塊，然后在兩臺p570上分別配置獨立永久內存模塊，交叉將雙方的寫數據寫入對方的寫Cache中實現鏡像。如下圖所示。但是非常遺憾的是，DS810似計的NVSg像后最大只能為4GBDS830似計的NVSg像后最大只能為8GB根本無法滿足一般應用的正常需求。一旦某些業務要處理大批新數據時，這是NVSWCache顯然不夠用，系統將頻繁地根據LRU算法更新NVS的空問，從而導致NVS的抖動，這將會急劇降低系統

21、的總體性能。如移動公司每個月底將數據寫入到數據倉庫系統中時，將造成大量數據寫，系統的性能會明顯降低，甚至出現“假死”現象，實際上就是系統休克。4緩存并發訪問能力比較由于緩存在提高存儲系統，特別是高端存儲系統的整體性能所充當的關鍵作用，使得緩存的設計、緩存的管理機制，特別是緩存訪問的并發程度，變成影響存儲性能的核心因素。下面就對幾個產品的緩存并發數做一個詳細說明，希望能進一步加深客戶對高端存儲系統的認識。HPXP24000EMCDMX-4IBMDS8300Cache并發訪問數3203216HPXP20000EMCDMX-4950IBMDS8100Cache并發訪問數4088從兩個表可以明確看出，

22、HP各款高端存儲的緩存并發度都極大地超過其它產品，因此盡管HP緩存容量比較小，但性能卻大大超過競爭對手。4.1 HPXP24000緩存弁發數XP24000將緩存分開設計為數據緩存和控制緩存。其中數據緩存并發度為64路，是指由內部緩存交換機到數據緩存的通道數共有64路，每路s帶寬；控制緩存并發度為256路，只是前端通道控制器和后端磁盤控制器到控制緩存的直連通道數共有256路，每路150MB/S帶寬；數據緩存和控制緩存總的通道數為320路，因此一共是320路并發訪問數。為了便于理解下面4個圖，簡單說明一下圖中相關名詞：CHAChannelAdapter,前端通道適配器，也稱通道控制器，用于連接外部

23、服務器/主機；DKADiskAdapter,后端磁盤適配器，也稱磁盤控制器，用于連接內部磁盤；SMASharedMemoryAdapter,共享緩存適配器，也稱控制緩存卡，用于存放系統用的控制信息，索弓I,內部通訊數據等；CMACacheMemoryAdapter,緩存適配器，也稱數據緩存卡，用于存儲外部服務器/主機讀寫的數據；XP24000控制緩存并發度為256路XP24000數據緩存并發度為64路4.2 HPXP20000緩存弁發數如上文所分析，XP20000將緩存分開設計為數據緩存和控制緩存。其中數據緩存并發度為8路，控制緩存并發度為32路，一共是40路并發訪問數。XP20000控制緩存

24、并發度為32路XP20000數據緩存并發度為8路4.3 EMCDMX-4/DMX-495減存弁發數請到EMC官方網站上下載EMCDMX-破術規格文件，其中“EMCSymmetrixDMX-4SpecificationSheet”中“SystemResources”部分，最后一行“Concurrentmemorytransfers?32?4perGlobalMemoryDirector"。這里簡單說明一下：- -所謂“GlobalMemoryDirector”就是指DMX-4勺緩存卡；- -DMX-4最少配置為4塊緩存卡，最多為8塊，每塊卡系統設置為4個區(region),每個區同一時

25、刻只允許1路I/O訪問，因此并發訪問為16路32路；- -DMX-4950固定配置只有2塊緩存卡，因此一共只允許8路并發。4.4 DS8300緩存弁發數這是DS8300兩臺p570控制器的互連圖(interconnection),DS810CR有Loop0,而DS8300支持2個RIO-G互聯環路即Loop0和Loop1。其中I/Oenclosure中有連接服務器的HostAdapter和連接磁盤的DeviceAdapter,所有外部服務器提出的I/O請求以及對磁盤發起的I/O請求，都必須經過這個RIO-GoProcessorComplex0和1就是指p570服務器，每個服務器通過2個端口連接

26、到RIO-G環路上，每個端口支持2路并發環路訪問，一共可支持8路并發訪問。因此DS8100可支持8路，而8300可支持16路并發訪問。4.5 小結高速緩存是影響高端存儲的關鍵部件，高速緩存的并發訪問可以成倍地提高存儲系統的綜合性能，并發訪問數沒有提高上去，后端的磁盤通路再多有什么用呢？(注：磁盤再快，都只有CPU/Memory勺1/1001/10。)5IO性能存儲性能衡量的指標通常只有兩個：一個是持續訪問帶寬，另一個是IOP&持續訪問帶寬代表了存儲單位時間的最大吞吐量，核心就是磁盤陣列的Cache訪問帶寬。*XP24000的Cache持續帶寬是106GB/s,DMX-4是32GB/s,

27、DS8300也只有16GB/S。辛XP20000的Cache持續帶寬是s,DMX-4950是8GB/s,DS810她只有8GB/S；IOPS值代表每個IO的塊大小一定的情況下，存儲每秒鐘能隨機處理的IO數量。IOPS代表了最理想情況下存儲在OLT附境下白隨機IO的處理能力。IOPS各個廠商有自己公布的值，但是出入很大而且沒有一個獨立的標準。因此真正可以比較的是第三方獨立存儲性能組織SPC的測試值。SPC有自己公開的測試標準，也是一個業界公認的獨立的衡量標準。從目前在SPC已有測試結果看，目前高端只有HDSUSP陰口IBMDS8300Turbo參加測試了。由于USPVM與USPVDS8100與D

28、S8300是統一系列不同產品，因此通過比較USPV/DS8300可以在一個基礎數據之上進行類比分析，得到一個相對客觀的結論。5.1 測試結果公開網站enchmark_results_spc15.2 DS8300測試結果DS8300Turbo性能曲線圖，數據來源SPC說明：DS8300Turbo100%負載點IOPS值為，此時系統的響應時間已經為17ms左右。5.3 XP24000測試結果XP24000性能曲線圖，數據來源SPC說明：XP24000100%負載點IOPS值為，此時系統的響應時間僅為5ms左右。5.4 對比100%ft載點時，XP24000性能（每秒響應主機讀寫次數）是DS8300

29、的倍，系統響應時問（主機讀寫平均等待時間）前者是后者的是倍，因此系統綜合性能效益表現HDSUSPV是IBMDS8300Turbo的倍。5.5 DMX-4/950測試結果EMCDMX-1到DMX-4所有產品都沒有進行公開測試，不知其確切原因。但從眾多第三方的信息了解到，EMGfc動不參加SPC勺第三方獨立測試的可能性大。6存儲虛擬化整合技術6.1 HPXP20000/XP24000虛擬化存儲虛擬化管理是目前存儲界最尖端技術?，F在得到客戶認同，并真正可付諸實施的產品就是HP的XP20000/XP24000。IDC、Gartner、ESG?獨立咨詢機構都給予了高度評價。XP24000可以將連接在同一

30、個SAN上或者是直連的其他外部存儲系統(如EMCCX/DMXIBMDS4000/DS6000/DS8000HPEVA等等)映射成內置卷，然后對其進行虛擬化管理。虛擬化以后的設備對主機透明，主機不必關心虛擬化存儲池內的不同設備，只需面對XP24000即可。存儲虛擬化可實現數據的分級存儲。對于不少用戶的業務系統，這一功能非常有效：用戶可以選擇將使用頻率最高、訪問最密集的數據存放在XP24000內部磁盤的一級存儲上，而將那些需要歸檔或者是訪問品率降低的老數據轉移到由XP24000管理的外部存儲設備上，這些外部設備可以選擇容量更大，成本更低的存儲來實現，也可使用客戶已有的舊設備。所有應用訪問都不用關心

31、任何后臺存儲環境的真實變化，僅僅需要訪問XP24000虛擬化平臺階。這樣既滿足了用戶各種集中訪問的需要，又能依據數據的時效性和重要性，靈活地進行數據部署，最大限度地降低建設和維護成本，真正實現數據生命周期管理。需要指出的一點是，XP24000虛擬化機制具有“性能遺傳”能力。高性能的虛擬化平臺可替代原有舊存儲的傳統控制器，并大幅度提高被虛擬化磁盤陣列的I/O響應能力，徹底改善低端盤陣或者就盤陣的性能問題，大大提高了低端盤陣和舊盤陣的使用價值。同時XP24000并不將用戶鎖定在虛擬化引擎上，而是完全開放的，在虛擬化的同時也支持外部盤陣數據的獨立使用。XP24000虛擬化平臺對外部存儲管理的過程中，

32、采用外部存儲本身的數據格式，完全維護了數據在外部存儲上原有的方式，因此在數據遷移過程中，不會對原有的數據格式做任何修改，這樣使得原有存儲系統上數據得到充分保護，各個方向的數據遷移非常平化。就是未來客戶要更換虛擬化平臺，也會發現外部存儲系統離開XP24000數據照常使用。這給客戶擁有了更多的方案選擇權。6.2 舊M和EMC擬化技術IBMDS8000存儲自身沒有虛擬化能力，不能整合外掛任何外部盤陣，而需要借助專門的設備執行虛擬化功能，即SVC(SANVolumeController)。IBMSVC由多個LinuxPC服務器構成，掛接到SAN網絡后，會識別并管理SAN網絡中的物理存儲設備，將物理LUN虛擬化以后成為邏輯LUN提供給主機訪問。主機的I/O訪問會先經過SVC然后到達存儲。SVCft主機的數據訪問通道上提供復制、數據遷移等服務?？傊琒V)目當于在主機和存儲之間，插入一臺服務器，將存儲設備虛擬化后在提供給主機訪問SVC是典型白基于SAW絡帶內（in-band）技術，這種技術由諸多問題：1 .性能問題：SVC在主機和存儲之間增加一個環節，要對數據卷的路由進行重選，以及維護每個存儲系統地最新LUN信息，會造成大量延遲，降低了整個存儲環境的性能；2 .安全問題：所有數據包都要經過SVC