1、EMC數(shù)據(jù)中心容災系統(tǒng)建設方案建議書EMC電腦系統(tǒng)（中國）有限公司Version 1.0，2014/10前言信息是用戶的命脈, 近十年來信息存儲基礎設施的建設在用戶取得長足的進步。從內置存儲轉向外置RAID存儲，從多臺服務器共享一臺外置RAID陣列，再到更多臺服務器通過SAN共享更大型存儲服務器。存儲服務器容量不斷擴大的同時，其功能也不斷增強，從提供硬件級RAID保護到獨立于服務器的跨磁盤陣列的數(shù)據(jù)鏡像，存儲服務器逐漸從服務器外設的角色脫離出來，成為單獨的“存儲層”，為數(shù)據(jù)中心的服務器提供統(tǒng)一的數(shù)據(jù)存儲，保護和共享服務。隨著用戶業(yè)務的不斷發(fā)展，對IT系統(tǒng)尤其是存儲系統(tǒng)的要求越來越高，鑒于用戶業(yè)

2、務由于信息的重要性，要求各地各用戶多中心來預防單一數(shù)據(jù)中心操作性風險。多數(shù)據(jù)中心建設方案可以預防單數(shù)據(jù)中心的風險，但面對多數(shù)據(jù)中心建設的巨額投資，如何同時利用多數(shù)據(jù)中心就成為IT決策者的首要問題。同時利用多數(shù)據(jù)中心就必需實現(xiàn)生產(chǎn)數(shù)據(jù)跨中心的傳輸和共享，總所周知，服務器性能的瓶頸主要在IO部分，數(shù)據(jù)在不同中心之間的傳輸和共享會造成IO延時，進而影響數(shù)據(jù)中心的總體性能。同時，各家廠商不斷推出新技術 ，新產(chǎn)品，容量不斷擴展，性能不斷提高，功能越來越豐富，但由于不同存儲廠商的技術實現(xiàn)不盡相同，用戶需要采用不同的管理界面來使用不同廠商的存儲資源。這樣，也給用戶業(yè)用戶帶來不小的問題，首先是無法采用統(tǒng)一的界

3、面來讓服務器使用不同廠商的存儲服務器，數(shù)據(jù)在不同廠商存儲服務器之間的遷移也會造成業(yè)務中斷。作為信息存儲行業(yè)的領先公司，EMC公司針對用戶跨數(shù)據(jù)中心信息傳輸和共享的迫切需求，推出存儲VPlex解決方案，很好的解決了這些問題。本文隨后將介紹VPlex產(chǎn)品及其主要應用場景，供用戶信息存儲管理人士參考。第一章. 方案概述1. 需求*計劃建設兩個數(shù)據(jù)中心，構成同城雙生產(chǎn)系統(tǒng)，兩中心之間距離不超過100公里；要求數(shù)據(jù)零丟失，系統(tǒng)切換時間小于5分鐘；2. 方案簡介為了滿足客戶建設容災系統(tǒng)的需求，我們設計了本地雙活數(shù)據(jù)中心。整體架構如下：上圖是雙活數(shù)據(jù)中心總體框架，包括雙活存儲系統(tǒng)、雙活數(shù)據(jù)庫系統(tǒng)、雙活應用系

4、統(tǒng)和雙活網(wǎng)絡系統(tǒng)。我們將利用存儲雙活技術和主機集群技術實現(xiàn)數(shù)據(jù)庫系統(tǒng)的雙活，利用負載均衡設備實現(xiàn)應用系統(tǒng)在兩個數(shù)據(jù)中心內的負載均衡，利用動態(tài)域名確保兩個數(shù)據(jù)中心的網(wǎng)絡雙活。雙活數(shù)據(jù)中心可以實現(xiàn)業(yè)務系統(tǒng)同時在兩個節(jié)點同時工作，達到負載均衡的目的。當生產(chǎn)節(jié)點出現(xiàn)故障時，業(yè)務系統(tǒng)還能夠在第二生產(chǎn)節(jié)點上正常工作，實現(xiàn)業(yè)務零切換。第二章. 雙活數(shù)據(jù)中心架構設計通過對*具體需求的分析，我們建議客戶采用雙活數(shù)據(jù)中心架構設計。1. 數(shù)據(jù)庫系統(tǒng)雙活架構設計在這個架構中，存儲層除了采用EMC VNX存儲系統(tǒng)或者其他廠商存儲系統(tǒng)（第三方主流存儲系統(tǒng)見EMC Vplex兼容性列表）外，還引進了EMC全新一代數(shù)據(jù)整合系

5、統(tǒng)VPLEX，由VPLEX實現(xiàn)存儲系統(tǒng)高可靠性和同城范圍內數(shù)據(jù)高效共享。1.1本地存儲高可靠性保證在本方案中，首先我們要滿足客戶對生產(chǎn)中心存儲系統(tǒng)高可靠性的需求。目前的IT系統(tǒng)架構中，從應用服務器、數(shù)據(jù)庫服務器到網(wǎng)絡等各個部分都已經(jīng)提供了高可靠性的設計，唯獨存儲系統(tǒng)很少有高可靠性方案的設計，這主要基于兩個原因：l 存儲系統(tǒng)自身已經(jīng)有高可靠性設計，控制器、電源、鏈路等都是冗余設計，可靠性較高，一般情況下很少會發(fā)生整體故障，導致數(shù)據(jù)不可訪問。l 沒有非常合適的技術來實現(xiàn)存儲系統(tǒng)的高可靠性保證現(xiàn)在EMC推出了全新架構的數(shù)據(jù)整合解決方案VPLEX，VPLEX首先實現(xiàn)了本地存儲系統(tǒng)的整合及高可靠性設計，

6、而且是硬件級別的解決方案。在本項目中，生產(chǎn)中心VPLEX首先將兩臺EMC DMX3/4（僅以DMX存儲為例說明，下同）整合在一起，實現(xiàn)存儲級別的HA系統(tǒng)。如下圖顯示：1) 在兩臺DMX3/4中分別劃出兩個LUN，LUN-A和LUN-Bl LUN大小一樣l RAID的保護方式一樣l 為了保證性能所分布的硬盤類型和數(shù)量最好也一樣將這兩個LUN同時映射給VPLEX（通過圖中虛線鏈路），VPLEX可以將這些LUN進行再次RAID保護，目前VPLEX支持的RAID保護級別為：l RAID 0l RAID 1l 分布式RAID 1在實現(xiàn)本地存儲HA系統(tǒng)時，使用RAID 1保護方式，形成一個虛擬LUN（V-

7、LUN）。2) VPLEX通過光纖鏈路（圖中實線鏈路）將V-LUN分配給主機，主機可以進行讀寫操作3) 當主機向V-LUN寫入I/O時，先寫入V-LUN，然后再繼續(xù)寫入到兩臺DMX3/4存儲系統(tǒng)中4) 當其中一臺存儲設備發(fā)生故障，整個存儲系統(tǒng)能夠繼續(xù)工作，主機訪問存儲不會受到任何影響1.2雙活數(shù)據(jù)中心數(shù)據(jù)保護本次項目客戶要求首先實現(xiàn)本地存儲高可靠性保護外，還需要實現(xiàn)雙活數(shù)據(jù)中心，既兩個數(shù)據(jù)中心的業(yè)務同時運行，任何一個數(shù)據(jù)中心出現(xiàn)問題，業(yè)務都會繼續(xù)運行。通過VPLEX進行數(shù)據(jù)讀寫首先在第二生產(chǎn)節(jié)點上，DMX3/4存儲系統(tǒng)給VPLEX 分配一個LUN，VPELX產(chǎn)生一個V-LUN。如下圖顯示：其次

8、，通過兩個節(jié)點的VPLEX產(chǎn)生一個分布式虛擬LUN，采用分布式RAID 1保護。如下圖顯示：兩個節(jié)點的主機都能夠訪問到這個虛擬LUN，兩節(jié)點的主機都能夠同時訪問這個分布式虛擬LUN。由于我們提供的是雙活數(shù)據(jù)中心，兩個節(jié)點中的數(shù)據(jù)要實時一致，所以在寫入數(shù)據(jù)時，要確保數(shù)據(jù)被同時寫入到兩個節(jié)點中，這樣才能保證數(shù)據(jù)兩節(jié)點之間的數(shù)據(jù)一致性。如下圖所示：1) 在生產(chǎn)節(jié)點的主機產(chǎn)生I/O；2) 向VPLEX寫入I/O, I/O通過VPLEX之間的光纖鏈路發(fā)送到第二生產(chǎn)節(jié)點的VPLEX上，3) I/O同時寫入到兩個節(jié)點中的DMX3/4存儲系統(tǒng)中；4) 第二生產(chǎn)節(jié)點的VPLEX向生產(chǎn)節(jié)點VPLEX發(fā)出寫I/O完

9、成的確認信息（ACK）；通過VPLEX進行數(shù)據(jù)讀取EMC VPLEX是一個集群系統(tǒng)提供分布式緩存一致性保證，能夠將兩個或多個VPLEX的緩存進行統(tǒng)一管理，從而使主機訪問到一個整體的緩存系統(tǒng)。當主機向VPLEX的摸一個緩存區(qū)域寫I/O時，VPLEX緩存將鎖定這個緩存區(qū)域，同一時刻其他主機是無法向這個緩存區(qū)域寫入I/O的。但是，當主機讀取I/O時，VPLEX緩存允許多個主機訪問一個緩存區(qū)域，尤其是主機訪問其他VPLEX集群中其他VPLEX所管理的數(shù)據(jù)時，統(tǒng)一個緩存管理會將這個I/O的具體位置告知主機，主機直接訪問。如下圖顯示：主機故障切換我們將1個RAC的集群中的兩臺主機分別放置在生產(chǎn)和第二生產(chǎn)節(jié)

10、點上，這兩臺主機形成一個跨數(shù)據(jù)中心的集群系統(tǒng)，如圖中RAC1-1和RAC1-2，RAC2-1和RAC2-2。這種設置保證了正常情況下，兩節(jié)點的主機同時工作；一旦其中一個節(jié)點的主機出現(xiàn)故障，業(yè)務會無縫的被另外一個節(jié)點的主機所接管。此時，RAC的心跳線需要通過網(wǎng)絡來進行連接。存儲故障切換主機故障切換由RAC集群保證，存儲系統(tǒng)故障切換則由EMC VPLEX保證。l EMC VPLEX中設計了一個重要的部件VPLEX WitnessWitness安裝在客戶提供的 VMware ESX Server 上運行的虛擬機，Witness最好與兩個 VPLEX 集群不在同一地點，但是考慮到實際情況，也可以將Wi

11、tness放置在生產(chǎn)節(jié)點。VPLEX Witness 使用 IP 連接監(jiān)視兩個 VPLEX 群集之間的系統(tǒng)“心跳”信號。通過監(jiān)視這些心跳信號，VPLEX Witness 可以區(qū)分站點故障和站點分區(qū)。VPLEX Witness 讓應用程序能夠承受任何存儲故障的影響，包括同時影響整個存儲設備機架的故障。VPLEX Witness 與服務器群集軟件和 AccessAnywhere 相結合，形成了一套端到端的解決方案，允許在服務器出現(xiàn)故障時自動重啟。對于 雙活數(shù)據(jù)中心的部署，VPLEX Witness 能為客戶提供具有零恢復點目標 (RTO) 的高可用性解決方案。l 由于在生產(chǎn)節(jié)點已經(jīng)通過VPLEX實

12、現(xiàn)存儲的HA，所以一個存儲系統(tǒng)出現(xiàn)故障，不會影響到整個系統(tǒng)的正常運行。如圖所示：l 第二生產(chǎn)節(jié)點存儲系統(tǒng)出現(xiàn)故障，不會影響到整個系統(tǒng)的正常運行。如圖所示：l VPLEX系統(tǒng)故障VPLEX系統(tǒng)自身是全冗余設計，可用性能夠達到99.999%，但是為了防止VPLEX自身出現(xiàn)故障，VPLEX自身有一整套放置系統(tǒng)故障的處理流程，在這個過程中就要結合上面我們提到的Witness。如下圖所示：上圖中，種情況中，業(yè)務正常工作；種情況中，業(yè)務暫停，需要少量人工干預將業(yè)務恢復，時間不會超過10分鐘。生產(chǎn)節(jié)點發(fā)生災難如果生產(chǎn)節(jié)點發(fā)生災難，則所有業(yè)務要切換至第二生產(chǎn)節(jié)點，其過程如上圖所示情況，需要少量人工干預，在這種

13、情況下人工干預是指將V-2暫時中斷的工作重新啟動，主機能夠重新訪問存儲系統(tǒng)，最終業(yè)務恢復。生產(chǎn)節(jié)點恢復生產(chǎn)節(jié)點修復后，需要重新將生產(chǎn)節(jié)點和第二生產(chǎn)節(jié)點的VPLEX關聯(lián)起來。在VPLEX上重新通過兩個節(jié)點的VPLEX產(chǎn)生一個分布式虛擬LUN，采用分布式RAID 1保護，此時業(yè)務可以正常運行，第二生產(chǎn)節(jié)點與生產(chǎn)節(jié)點之間的數(shù)據(jù)在后臺進行復制，直到兩邊數(shù)據(jù)一致。在這個過程中，我們還需要將VPLEX的Witness修復，在其中定義生產(chǎn)節(jié)點為主節(jié)點。2. 網(wǎng)絡系統(tǒng)架構設計2.1互聯(lián)網(wǎng)接入部分該部分內容EMC只是根據(jù)其他用戶的經(jīng)驗提供一些建議，具體設計與實施還需要專業(yè)的網(wǎng)絡系統(tǒng)廠商或集成商提供。建議兩個生產(chǎn)

14、分別租用兩條互聯(lián)網(wǎng)出口線路，一條聯(lián)通線路，一條電信線路。在每條線路出口處，分別透明部署一臺智能抗攻擊設備，用以抵擋來自互聯(lián)網(wǎng)的Dos/DDos等攻擊，保護內部用戶和服務器的安全。在兩臺抗攻擊設備后，分別部署兩臺鏈路負載均衡設備，用來實現(xiàn)多廣域網(wǎng)線路選路和冗余備份，使用戶可以通過最快線路訪問*業(yè)務系統(tǒng)，加快了數(shù)據(jù)中心訪問速度。同時，當任何一條線路故障，用戶依然可以通過另一條廣域網(wǎng)線路訪問數(shù)據(jù)中心服務器，提高了數(shù)據(jù)中心的可靠性。鏈路負載均衡設備可實現(xiàn)多條internet接入鏈路的負載均衡，可以同時實現(xiàn)outbound流量和inbound流量雙向的負載均衡。鏈路負載均衡設備會通過多種方式檢測兩條鏈路

15、的健康狀況，一旦發(fā)現(xiàn)其中一條鏈路故障，會立即將所有用戶流量定向至其它可用鏈路，從而實現(xiàn)Internet連接的高可用性。主要的方法有：l 為了確保ISP鏈路的暢通，鏈路負載均衡設備將采用Ping的方法，不僅僅檢查和其相連的路由器的端口是否可達，還可以檢查該鏈路后續(xù)路由節(jié)點的連通性（10跳），已確保整個路徑的暢通。l 針對所有的網(wǎng)絡環(huán)境（包括禁止ICMP的ISP），鏈路負載均衡設備提供了豐富的47層檢查方式，并可以通過多種檢查結果的“與”和“或”運算結果，最終準確判斷鏈路的健康狀況。在鏈路負載均衡設備旁路部署全局負載均衡設備。通過全局負載均衡設備的智能DNS功能，實現(xiàn)兩數(shù)據(jù)中心的災備功能。當?shù)谝簧?/p>

16、產(chǎn)中心的所有服務器故障或受到攻擊而不能提供服務時，全局負載均衡設備會引導用戶（自動或人工）去第二生產(chǎn)中心訪問業(yè)務。在用戶的權威DNS服務器上添加NS記錄，使服務器域名的解析權交給主備兩個站點的全局負載均衡設備。當全局負載均衡設備（無論哪個中心）收到用戶DNS請求后，首先會檢測服務器狀態(tài)，確認應用是否健康，能否正常提供服務，廣域網(wǎng)線路是否正常等等。如果主站點服務器能提供正常服務，再根據(jù)DNS請求包源地址，將域名解析為主站點的聯(lián)通或電信地址（根據(jù)動態(tài)探測結果），使用戶訪問主站點服務器。如果主站點服務器不能提供正常服務，則將域名解析為備站點的地址，使用戶訪問備站點服務器。當兩個數(shù)據(jù)中心的任何一個互聯(lián)

17、網(wǎng)線路故障或全局負載均衡設備同時故障，備份中心的全局負載均衡設備探測到第一生產(chǎn)中心故障，并接管全部DNS解析功能，引導用戶訪問第二生產(chǎn)中心互聯(lián)網(wǎng)入口。2.2 核心網(wǎng)絡系統(tǒng)該部分內容具體設計與實施還需要專業(yè)的網(wǎng)絡系統(tǒng)廠商或集成商提供。2.3 SAN網(wǎng)絡系統(tǒng)由于目前*已經(jīng)實現(xiàn)了兩個數(shù)據(jù)中心之間的SAN網(wǎng)絡互聯(lián)，所以雙活數(shù)據(jù)中心系統(tǒng)直接利用現(xiàn)有的SAN網(wǎng)絡系統(tǒng)即可。3. 雙活數(shù)據(jù)中心建議配置設備l VPLEX虛擬存儲系統(tǒng)引擎，2套，每套引擎配置兩個控制器，每套引擎配置72GB高速緩存，16個8Gbps光纖端口；l 兩臺智能抗攻擊設備；l 兩臺鏈路負載均衡設備；l 兩臺全局負載均衡設備第三章. 產(chǎn)品配

18、置EMC存儲產(chǎn)品報價表序號產(chǎn)品型號配置描述數(shù)量EMC報價1EMC Vplex Metro虛擬化存儲引擎：每臺兩個控制器，配置緩存72G,32個8GB主機接口，配置4個56GB EFD硬盤， 管理軟件，專用機柜。22EMC VNX5200磁盤陣列：冗余引擎， 配置緩存32G,8個8GB主機接口，配置2塊400GB EFD 磁盤，46個900GB 10k SAS硬盤，配置自動分層軟件，鏈路冗余軟件，存儲管理軟件等 。2Total：第四章. 方案優(yōu)勢1. 方案優(yōu)勢l 雙活數(shù)據(jù)中心優(yōu)勢基于EMC VPLEX系統(tǒng)所構建的雙活數(shù)據(jù)中心，能夠實現(xiàn)雙中心零時間切換的終極目標，使客戶的業(yè)務持續(xù)運行。技術領先：E

19、MC VPLEX 引入了一種新的體系結構，它吸收了我們在 20 年設計、實施和完善企業(yè)級智能緩存和分布式數(shù)據(jù)保護解決方案的實踐中取得的經(jīng)驗教訓。以可擴展、高可用的處理器引擎為基礎，EMC VPLEX 設計為可從小型配置無縫擴展到大型配置。VPLEX 駐留在服務器和異構存儲資產(chǎn)之間，使用獨特的群集體系結構，此體系結構允許多個數(shù)據(jù)中心的服務器具有對共享塊存儲設備的讀/ 寫訪問權限。此新體系結構的獨特特征包括： 橫向擴展群集硬件，允許您從小配置開始并以可預知的服務級別逐步擴展 高級數(shù)據(jù)緩存，它利用大規(guī)模 SDRAM 緩存提高性能并減少 I/O 延遲和陣列爭用 分布式緩存吻合性，可跨整個群集自動執(zhí)行