1、.EMC號PROFESSIONALSERVICESEMC數據中心容災系統建設方案建議書EMC電腦系統（中國）有限公司Version1.0,201410、兒、,刖百信息是用戶的命脈，近十年來信息存儲基礎設施的建設在用戶取得長足的進步。從內置存儲轉向外置 RAID 存儲，從多臺服務器共享一臺外置 RAID 陣列，再到更多臺服務器通過 SAN 共享更大型存儲服務器。存儲服務器容量不斷擴大的同時，其功能也不斷增強，從提供硬件級 RAID 保護到獨立于服務器的跨磁盤陣列的數據鏡像，存儲服務器逐漸從服務器外設的角色脫離出來，成為單獨的“存儲層”，為數據中心的服務器提供統一的數據存儲，保護和共享服務。隨著用

2、戶業務的不斷發展，對 IT 系統尤其是存儲系統的要求越來越高，鑒于用戶業務由于信息的重要性，要求各地各用戶多中心來預防單一數據中心操作性風險。多數據中心建設方案可以預防單數據中心的風險， 但面對多數據中心建設的巨額投資，如何同時利用多數據中心就成為 IT 決策者的首要問題。同時利用多數據中心就必需實現生產數據跨中心的傳輸和共享，總所周知，服務器性能的瓶頸主要在 IO 部分，數據在不同中心之間的傳輸和共享會造成 IO 延時，進而影響數據中心的總體性能。同時，各家廠商不斷推出新技術，新產品，容量不斷擴展，性能不斷提高，功能越來越豐富，但由于不同存儲廠商的技術實現不盡相同，用戶需要采用不同的管理界面

3、來使用不同廠商的存儲資源。這樣，也給用戶業用戶帶來不小的問題，首先是無法采用統一的界面來讓服務器使用不同廠商的存儲服務器，數據在不同廠商存儲服務器之間的遷移也會造成業務中斷。作為信息存儲行業的領先公司，EMC 公司針對用戶跨數據中心信息傳輸和共享的迫切需求，推出存儲 VPlex 解決方案，很好的解決了這些問題。本文隨后將介紹 VPlex產品及其主要應用場景，供用戶信息存儲管理人士參考。第一章.方案概述1.需求*計劃建設兩個數據中心，構成同城雙生產系統，兩中心之間距離不超過100 公里；要求數據零丟失，系統切換時間小于 5 分鐘；2 .方案簡介為了滿足客戶建設容災系統的需求， 我們設計了本地雙活

4、數據中心。 整體架構如下：上圖是雙活數據中心總體框架，包括雙活存儲系統、雙活數據庫系統、雙活應用系統和雙活網絡系統。我們將利用存儲雙活技術和主機集群技術實現數據庫系統的雙活， 利用負載均衡設備實現應用系統在兩個數據中心內的負載均衡，利用動態域名確保兩個數據中心的網絡雙活。雙活數據中心可以實現業務系統同時在兩個節點同時工作，達到負載均衡的目的。當生產節點出現故障時， 業務系統還能夠在第二生產節點上正常工作， 實現業務零切換。第二章.雙活數據中心架構設計通過對*具體需求的分析，我們建議客戶采用雙活數據中心架構設計1.數據庫系統雙活架構設計主機訪問MPLEX通道UPLEX訪問存儲通道在這個架構中，存

5、儲層除了采用 EMCVNX 存儲系統或者其他廠商存儲系統（第三方主流存儲系統見 EMCVplex 兼容性列表）外，還引進了 EMC 全新一代數據整合系統 VPLEX 由 VPLEXS 現存儲系統高可靠性和同城范圍內數據高效共享。1.1本地存儲高可靠性保證在本方案中，首先我們要滿足客戶對生產中心存儲系統高可靠性的需求。目前的 IT 系統架構中，從應用服務器、數據庫服務器到網絡等各個部分都已經提供了高可靠性的設計，唯獨存儲系統很少有高可靠性方案的設計，這主要基于兩個原因：存儲系統自身已經有高可靠性設計，控制器、電源、鏈路等都是冗余設計，可靠性較高，一般情況下很少會發生整體故障，導致數據不可訪問。沒

6、有非常合適的技術來實現存儲系統的高可靠性保證現在 EMC 推出了全新架構的數據整合解決方案一一 VPLEXVPLEXT 先實現了本地存儲系統的整合及高可靠性設計，而且是硬件級別的解決方案。在本項目中，生產中心 VPLEXf 先將兩臺 EMCDMX/4（僅以 DMX 存儲為例說明，下同）整合在一起，實現存儲級別的 HA 系統。如下圖顯示：EMC第二生產中心，EMC中心主節點EMCVPLEX1）在兩臺 DMX34 中分別劃出兩個 LUN,LUN-A 和 LUN-BLUN 大小一樣RAID 的保護方式一樣為了保證性能所分布的硬盤類型和數量最好也一樣將這兩個 LUN 同時映射給 VPLEX（通過圖中虛

7、線鏈路）,VPLEXW 以將這些 LUN進行再次 RAID 保護，目前 VPLEXS 持的 RAID 保護級別為：RAID0RAID1分布式 RAID1在實現本地存儲 HA 系統時， 使用 RAID1 保護方式， 形成一個虛擬 LUN （V-LUN）。2VPLEX!過光纖鏈路（圖中實線鏈路）將 V-LUN 分配給主機，主機可以進行讀寫操作3）當主機向 V-LUN 寫入 I/O 時，先寫入 V-LUN 然后再繼續寫入到兩臺DMX34 存儲系統中4）當其中一臺存儲設備發生故障，整個存儲系統能夠繼續工作，主機訪問存儲不會受到任何影響1.2雙活數據中心數據保護本次項目客戶要求首先實現本地存儲高可靠性保

8、護外，還需要實現雙活數據中心，既兩個數據中心的業務同時運行，任何一個數據中心出現問題，業務都會繼續運行。通過 VPLEX 進行數據讀寫首先在第二生產節點上，DMX34 存儲系統給 VPLEX 分配一個 LUN,VPELX產生一個 V-LUN 如下圖顯示:其次，通過兩個節點的 VPLEXT 生一個分布式虛擬 LUN,采用分布式 RAID1 保護。如下圖顯示：兩個節點的主機都能夠訪問到這個虛擬 LUN,兩節點的主機都能夠同時訪問這個分布式虛擬 LUNo 由于我們提供的是雙活數據中心，兩個節點中的數據要實時一致，所以在寫入數據時，要確保數據被同時寫入到兩個節點中，這樣才能保證數據兩節點之間的數據一致

9、性。如下圖所示：1）在生產節點的主機產生 I/O;2）向 VPLEX1 入 I/O,I/O 通過 VPLE 延間的光纖鏈路發送到第二生產節點的VPLEXt,3I/O 同時寫入到兩個節點中的 DMX34 存儲系統中；4） 第二生產節點的 VPLEX 向生產節點 VPLEX 發出寫 I/O 完成的確認信息 （ACQ;urier New通過 VPLEX 進行數據讀取EMCVPLEX1 一個集群系統提供分布式緩存一致性保證，能夠將兩個或多個VPLEX勺緩存進行統一管理， 從而使主機訪問到一個整體的緩存系統。 當主機向 VPLEX的摸一個緩存區域寫 I/O 時，VPLEXg 存將鎖定這個緩存區域，同一時

10、刻其他主機是無法向這個緩存區域寫入 I/O 的。但是，當主機讀取 I/O 時，VPLEX 緩存允許多個主機訪問一個緩存區域，尤其是主機訪問其他 VPLEX 集群中其他VPLEX0f 管理的數據時，統一個緩存管理會將這個 I/O 的具體位置告知主機，主機直接訪問。如下圖顯示：urier New主機故障切換我們將 1 個 RAC 的集群中的兩臺主機分別放置在生產和第二生產節點上，這兩臺主機形成一個跨數據中心的集群系統，如圖中 RAC1-1 和 RAC1-2RAC2-1和 RAC2-2 這種設置保證了正常情況下，兩節點的主機同時工作；一旦其中一個節點的主機出現故障，業務會無縫的被另外一個節點的主機所

11、接管。此時，RAC的心跳線需要通過網絡來進行連接。urier New存儲故障切換主機故障切換由 RAC 集群保證，存儲系統故障切換則由 EMCVPLE 海證。EMCVPLE 刈設計了一個重要的部件VPLEXWitnessWitness 安裝在客戶提供的 VMwareESXServer 上運行的虛擬機，Witness 最好與兩個 VPLEX 集群不在同一地點，但是考慮到實際情況，也可以將 Witness 放置在生產節點。VPLEXWitness 使用 IP 連接監視兩個 VPLEX 群集之間的系統“心跳”信號。通過監視這些心跳信號，VPLEXWitness 可以區分站點故障和站點分區。VPLEX

12、Witness 讓應用程序能夠承受任何存儲故障的影響， 包括同時影響整個存儲設備機架的故障。VPLEXWitness 與服務器群集軟件和 AccessAnywhere 相結合，形成了一套端到端的解決方案，允許在服務器出現故障時自動重啟。對于雙活數據中心的部署，VPLEXWitness 能為客戶提供具有零恢復點目標（RTO）的高可用性解決方案。由于在生產節點已經通過 VPLEXS 現存儲的 HA,所以一個存儲系統出現故障，不會影響到整個系統的正常運行。如圖所示：第二生產節點存儲系統出現故障， 不會影響到整個系統的正常運行。 如圖所示:VPLE 粽統故障VPLEX 系統自身是全冗余設計，可用性能夠

13、達到 99.999%,但是為了防止VPLEX 自身出現故障，VPLEX 自身有一整套放置系統故障的處理流程，在這個過程中就要結合上面我們提到的 Witnesso 如下圖所示：虛擬LUNfMCVPLEXEMCVPLEK7A匚族前心雕境/靖二生產節點1第一生產節點器/上圖中，一種情況中，業務正常工作；一種情況中，業務暫停，需要少量人工干預將業務恢復，時間不會超過 10 分鐘urier New生產節點發生災難如果生產節點發生災難，則所有業務要切換至第二生產節點，具過程如上圖所示情況，需要少量人工干預，在這種情況下人工干預是指將 V-2 暫時中斷的工作重新啟動，主機能夠重新訪問存儲系統，最終業務恢復。

14、urier New生產節點恢復生產節點修復后，需要重新將生產節點和第二生產節點的 VPLE 雙聯起來。Witness故15.不幅口V-1正定工作V-J正常工柞姓正常工作Witness-正常工作V-1止掌J1作v-i逆他逆他, ,嘉愜后嘉愜后業努正常工作Witness正常工作v-i故障.策愫RV-2正常工作姓正常工作Witness正常工作V-1正常工作V-2停止工作,修溫腱掰韭努韭努正常工作Witnest停止工作修后偌能V-1止摩工柞V-2正5s工作業為正地工作Witrwss停止工作，性復電他V-1正常工作V2停止工作， 修ftKiS業務正常工作Witness停止工柞,修境假喈V-L停止工作,修

15、日造路V-2止常工作業告正常工作WrtnS故陪.需檢剌V-1否停工作V-2故障.需慘口山打的停丁作Witns故佬故佬. .需慷四需慷四V-1asj*.wsV-2音停工作位轉耨停丁作Witness停止，歸情百窗跑停止，歸情百窗跑V4停止工作.作直道悔V-2停止工作，住S!植眸業工的停工作的停工作ICVPLEXEMCMiG也VPtOtEIWCVPLEX在 VPLEXt 重新通過兩個節點的 VPLEXT 生一個分布式虛擬 LUN,采用分布式 RAID1 保護，此時業務可以正常運行，第二生產節點與生產節點之間的數據在后臺進行復制，直到兩邊數據一致。在這個過程中，我們還需要將 VPLEX 的W 讓 ne

16、ss 修復，在其中定義生產節點為主節點。.網絡系統架構設計互聯網接入部分該部分內容 EMC 只是根據其他用戶的經驗提供一些建議，具體設計與實施還需要專業的網絡系統廠商或集成商提供。建議兩個生產分別租用兩條互聯網出口線路，一條聯通線路，一條電信線路。在每條線路出口處，分別透明部署一臺智能抗攻擊設備，用以抵擋來自互聯網的 Dos/DDos 等攻擊，保護內部用戶和服務器的安全。在兩臺抗攻擊設備后， 分別部署兩臺鏈路負載均衡設備， 用來實現多廣域網線路選路和冗余備份，使用戶可以通過最快線路訪問*業務系統，加快了數據中心訪問速度。同時，當任何一條線路故障，用戶依然可以通過另一條廣域網線路訪問數據中心服務

17、器，提高了數據中心的可靠性。鏈路負載均衡設備可實現多條 internet 接入鏈路的負載均衡，可以同時實現 outbound 流量和 inbound 流量雙向的負載均衡。鏈路負載均衡設備會通過多種方式檢測兩條鏈路的健康狀況，一旦發現其中一條鏈路故障，會立即將所有用戶流量定向至其它可用鏈路，從而實現 Internet 連接的高可用性。主要的方法有：為了確保 ISP 鏈路的暢通，鏈路負載均衡設備將采用 Ping 的方法，不僅僅檢查和其相連的路由器的端口是否可達，還可以檢查該鏈路后續路由節點的連通性（10 跳），已確保整個路徑的暢通。針對所有的網絡環境（包括禁止 ICMP 的 ISR）,鏈路負載均衡

18、設備提供了豐富的 47 層檢查方式，并可以通過多種檢查結果的“與”和“或”運算結果，最終準確判斷鏈路的健康狀況。在鏈路負載均衡設備旁路部署全局負載均衡設備。通過全局負載均衡設備的智能 DNS 功能，實現兩數據中心的災備功能。當第一生產中心的所有服務器故障或受到攻擊而不能提供服務時，全局負載均衡設備會引導用戶（自動或人工）去第二生產中心訪問業務。DNSServer在用戶的權威 DNS 服務器上添加 NS 記錄，使服務器域名的解析權交給主備兩個站點的全局負載均衡設備。當全局負載均衡設備（無論哪個中心）收到用戶 DNS 請求后，首先會檢測服務器狀態，確認應用是否健康，能否正常提供服務，廣域網線路是否

19、正常等等。如果主站點服務器能提供正常服務，再根據 DNS 請求包源地址，將域名解析為主站點的聯通或電信地址（根據動態探測結果），使用戶訪問主站點服務器。如果主站點服務rVIP-AVIP*Bwwwsi忤.gmClientsLocal展路免舞均函設叁全局壺就均葡設備全局責掠均衡設備Goask:ZoneFilewwwINNSAD-AwwwINNSA口?www.?tte,com=VIP-B業一NSAD-A,NSAD-BDNSServer明WMSIk.VEF-B器不能提供正常服務，則將域名解析為備站點的地址，使用戶訪問備站點服務器。當兩個數據中心的任何一個互聯網線路故障或全局負載均衡設備同時故障，備份中

20、心的全局負載均衡設備探測到第一生產中心故障，并接管全部 DNS 解析功能，引導用戶訪問第二生產中心互聯網入口。核心網絡系統該部分內容具體設計與實施還需要專業的網絡系統廠商或集成商提供。SAN網絡系統由于目前*已經實現了兩個數據中心之間的 SAN 網絡互聯，所以雙活數據中心系統直接利用現有的 SAN 網絡系統即可。.雙活數據中心建議配置設備VPLEXg 擬存儲系統引擎，2 套，每套引擎配置兩個控制器，每套引擎配置 72GB 高速緩存，16 個 8Gbps 光纖端口；兩臺智能抗攻擊設備；兩臺鏈路負載均衡設備；兩臺全局負載均衡設備第三章.產品配置EM酹儲產品報價表號號 11 數量.MC價 11EMC

21、VplexMetro虛擬化存儲引擎：每臺兩個控制器，配置緩存72G,32 個 8GB 主機接口， 配置 4 個 56GBEFD硬盤，管理軟件，專用機柜。22EMCVNX5200磁盤陣列： 冗余引擎， 配置緩存32G,8個8GB主機接口，配置 2 塊 400GBEFD 磁盤，46 個900GB10kSAS 硬盤，配置自動分層軟件，鏈路冗余軟件，存儲管理軟件等。2Total:第四章.方案優勢1.方案優勢雙活數據中心優勢基于 EMCVPLE 添統所構建的雙活數據中心，能夠實現雙中心零時間切換的終極目標，使客戶的業務持續運行。技術領先:EMCVPLEX 引入了一種新的體系結構，它吸收了我們在 20 年設計、實施和完善企業級智能緩存和分布式數據保護解決方案的實踐中取得的經驗教訓。以可擴展、高可用的處理器引擎為基礎，EMCVPLEXS 計為可從小型配置無縫擴展到大型配置。VPLEX 駐留在服務器和異構存儲資產之間,使用獨特的群集體系結構，此體系結構允許多個數據中心的服務器具有對共享塊存儲設備的讀/寫訪問權限。 此新體系結構的獨特特征包括：?橫向擴展群集硬件，允