中央電視臺高可靠數據中心建設方案技術建議書./資料編碼陣列雙活華為雙活數據中心解決方案技術建議書2016年3月11日華為技術有限公司非經本公司書面許可,任何單位和個人不得擅自摘抄、復制本文檔內容的部分或全部,并不得以任何形式傳播。和其他華為商標均為華為技術有限公司的商標。本文檔提及的其他所有商標或注冊商標,由各自的所有人擁有。您購買的產品、服務或特性等應受華為公司商業合同和條款的約束,本文檔中描述的全部或部分產品、服務或特性可能不在您的購買或使用范圍之內。除非合同另有約定,華為公司對本文檔內容不做任何明示或默示的聲明或保證。由于產品版本升級或其他原因,本文檔內容會不定期進行更新。除非另有約定,本文檔僅作為使用指導,本文檔中的所有陳述、信息和建議不構成任何明示或暗示的擔保。華為技術有限公司地址：XX市龍崗區坂田華為總部辦公樓郵編：518129網址：客戶服務郵箱：客戶服務電話：0755-285600004008302118客戶服務傳真目錄1適用場景〔供參考,實際使用刪除11.1文檔適用場景說明11.2版本更新12概述12.1項目背景2項目概述2建設總體要求22.2需求分析2需求分析3現狀分析3建設目標〔適用于升級改造5方案設計原則63存儲雙活架構選擇63.1存儲雙活架構選擇7存儲雙活架構描述7業界存儲雙活技術路線7存儲雙活架構對比74系統方案設計94.1整體架構設計10方案描述10存儲雙活架構的要求114.2存儲雙活方案詳細設計12虛擬化存儲雙活設計13雙活讀策略設計13優選路徑設計14虛擬機跨數據中心vMotion設計〔可選14"逃生"功能設計15鏡像快速恢復功能設計15存儲雙活方案仲裁設計15跨數據中心網絡設計174.3存儲雙活方案應用配置建議18VMware配置建議18FusionSphere配置建議18OracleRAC配置建議194.4華為存儲雙活方案優勢194.5存儲雙活方案故障切換與恢復21故障切換流程21故障恢復流程295方案配置315.1方案配置列表32軟硬件配置列表32服務配置列表326關鍵技術336.1網絡層解決方案33服務器負載均衡技術〔SLB33全局負載均衡<GSLB>37DWDM416.2存儲層解決方案42HyperMetro技術426.3主機層解決方案48VMWare容災技術486.4數據庫層解決方案50OracleRAC技術506.5應用層解決方案59Weblogic集群技術596.6管理層解決方案67災備決策支持平臺方案677容災相關產品及規格787.1TecalRH5885V3機架服務器78功能和價值79規格參數807.2OceanStorV3系列存儲80功能和價值80規格參數817.3FusionSphere云操作系統81FusionCompute虛擬化82FusionManager云管理847.4SNS系列86功能和價值86規格參數878縮略語表88.適用場景〔供參考,實際使用刪除文檔適用場景說明本文檔適用以下場景:同城容災,生產中心和災備中心之間的容災鏈路距離≤100km；要求RPO=0；RTO≈0,部件故障或生產中心故障,能自動切換；生產中心和災備中心之間有裸光纖網絡。適用VIS4節點與8節點雙活〔2個4節點環境注：以下藍色字體根據具體項目情況替換或刪除。版本更新日期修訂版本描述作者2014-03-28V1.0第一次發布,未增加網絡雙活部分,需要待網絡解決方案的同事補充；未增加FusionSphere雙活部分,待測試有初步結果后再增加。陳曉麗2014-05-04V1.1根據評審意見進行修改陳曉麗2014-05-30V2.0增加FusionSphere雙活部分,統一術語陳曉麗2014-07-30V3.0增加雙活8節點內容陳曉麗2014-10-29V4.0修改8節點的描述陳曉麗概述項目背景項目概述XX數據中心的XX生產平臺,是全局的計算中心、存儲中心、備份中心,承載著XX的核心業務系統,隨著業務的快速發展,對業務連續性的要求也越來越高。此次項目建設以XX的2個數據中心為2個物理站點,并考慮異地一處作為異地站點,構建跨雙數據中心〔XX公里實現雙活站點的存儲虛擬化平臺。該平臺主要為各類應用業務提供高可用性基礎保障,為構建虛擬數據中心提供存儲資源和服務,保障數據的一致性和完整性。建設總體要求云數據中心建設云數據中心建設是建設云平臺的核心與關鍵,虛擬數據中心負責按需提供滿足要求的運算處理資源、存儲資源、網絡資源等IT基礎架構服務。"站點雙活+異地數據備份"災備體系建設數據中心提供滿足安全、高效管理和保障業務連續性的功能。通過"站點雙活+異地數據備份"方案,實現不同災難場景下的業務連續性要求。統一管理平臺的需求實現對雙活數據中心中涉及的設備的統一管理,涵蓋日常管理、資源分配、性能監控、日志審計等內容。需求分析需求分析云數據中心建設虛擬化是云平臺建設的基礎。通過虛擬化技術進行整合,形成一個對外提供計算資源為主的池化管理〔包括服務器池、存儲池、網絡池等,同時提供運行環境等基礎服務。服務器虛擬化能夠消除XX局原有業務系統的"一臺服務器運行一個應用程序"模式下的效率低下現象,在這種模式下,大多數服務器遠未得到充分利用。借助服務器虛擬化技術,一臺服務器可用作多個"虛擬機",而且每個虛擬機都可以在不同的環境下運行,例如Windows、Linux或Apache。因此,采用服務器虛擬化能夠將多臺服務器整合到更少的物理設備上,從而有助于減少空間、能耗以及管理需求。通過服務器虛擬化平臺的建設,可以將現有的業務系統逐步遷移到服務器虛擬化平臺,并通過雙活數據中心幫助增強業務連續性并提供全面的數據保護,以便管道局能夠獲得連續的應用程序可用性以及跨兩個物理站點的自動災難恢復能力。網絡虛擬化通過各種網絡技術,將不同的應用相互隔離,使得不同用戶在同一網絡上不受干擾地訪問各自不同應用。在交換網絡中可以通過虛擬局域網〔VLAN技術來區分不同業務網段,在路由環境下可以綜合使用VLAN、MPLS-VPN、Multi-VRF等技術,實現對網絡訪問的隔離。在數據中心內部,不同邏輯網絡對安全策略有著各自獨立的要求,可通過虛擬化技術將一臺安全設備分割成若干邏輯安全設備,供各邏輯網絡使用。存儲虛擬化是指利用虛擬化技術,統一整合管理FCSAN,IPSAN等多種存儲設備,形成統一的資源池供上層業務使用,屏蔽不同存儲之間的差異。"站點雙活+異地數據備份"災備體系建設傳統的數據中心容災已經從主備數據中心開始向雙活數據中心過渡。主備數據中心的建設模式可以在很大程度上提升業務連續性。用戶所有的業務系統都在主數據中心運行,而在備數據中心為業務系統提供冷備或熱備,當主數據中心的應用出現故障時,可以將單個應用或數據中心整體切換到災備數據中心。但這種模式造成了備數據中心常年處于閑置狀態而造成資源浪費。而通過資源整合,可以極大的提升資源利用率,同時雙活數據中心的服務能力是雙倍的。現狀分析目前XX局已經建成資產財務一體化平臺、人力資源系統、電子商務平臺、綜合數據庫系統、數據存儲平臺、辦公自動化系統等信息系統。其中,核心應用系統包括資產財務一體化平臺、綜合數據庫系統、OA系統等應用系統。業務系統組網圖如下:應用系統現狀〔1資產財務管理一體化資產財務管理一體化是XX局核心應用系統,涉及XX局財務、資產、物資、檢修、運行等工作,部署方式為集中式部署,業務窗口時間為7*24小時。資產財務管理一體化的關聯系統是電子商務平臺,系統之間有業務流程和數據交換。〔2綜合數據庫綜合數據庫包括綜合統計和內主頁等系統,涉及XX局下屬所有電廠的數據上報和信息訪問。〔3總部OA系統XX局OA系統采用LotusDomino平臺,包括OA辦公、公文審批和內網郵件等。XX局OA系統為分布式部署<從一級到三級>。總部OA系統與XX局下屬單位OA系統之間主要為收發公文。各應用系統IT現狀如下表所示：系統序號應用系統服務器數量數據量<GB>數據增量〔GB存儲方式操作系統數據庫虛擬化1XX業務平臺2臺P780小機40005GB/天DS8100AIX6.1Oracle11gR2RAC無2XX系統2臺IBMX36501002G/天RDM〔裸設備映射windows2008R2無VMware5.5網絡系統現狀當前已建設同城災備中心,租用運營商機房,與生產中心距離約20km。中間鏈路租用運營商裸光纖鏈路,并自購5臺中興M721DWDM設備,其中A系統在生產中心使用兩臺DWDM設備實現冗余,B系統在生產中心使用1臺DWDM設備,災備中心放置2臺DWDM設備。生產中心采購2臺思科Nexus7010作為核心交換機,同城災備中心沒有核心交換機。網絡現狀如下圖所示：現狀風險分析在XX局以往的業務系統架構中,核心業務系統采用小機,其他非關鍵業務采用VMware虛擬化架構,核心數據庫系統與業務均存放在XX存儲上,整個業務系統未進行高可用保護,業務系統存在單點故障風險。且XX存儲系統面臨即將過保的問題,如何平滑進行存儲系統的切換是必須要考慮的問題。建設目標〔適用于升級改造本次項目建設的關鍵目標有三個：〔1原數據中心的業務逐步遷移到新數據中心〔2新數據中心與原數據中心升級為雙活數據中心架構〔3建設異地災備中心方案設計原則通過對用戶需求的了解,結合XX應用系統的業務特點,方案主要遵循以下原則進行設計：高性能：充分考慮容災系統的處理能力,使其整個系統在國內三到五年內保持領先的水平,并具有長足的發展能力,以適應未來災備技術的發展。高可靠性：災備系統是為了進一步增強關鍵業務數據的抵御災難能力,所以在災備系統設計階段需要充分考慮其自身的穩定性和可靠性,從而保障關鍵數據能夠持續、穩定的傳送到異地災備中心。當出現任何問題時都能夠通過災備數據得以恢復。標準化：所有災備解決方案都應符合有關國內及國際標準以保證不同品牌災備解決方案之間的互操作性和系統的開放性。可擴展性：當前災備系統的設計不但應滿足當前需要,還需充分考慮業務的發展,同時便于向更新技術的升級與銜接,保護當前投資。可維護性：整個災備系統的設計,充分考慮易于管理,易于維護,操作簡單,易學,易用,便于進行配置,發現故障。安全性：由于災備系統承載的是關鍵業務系統的數據備份,所以設計需要考慮傳輸、存放等災備整個過程中的安全性。高性價比：災備系統建設首先要從系統的實用性角度出發,滿足不同的業務系統的實際需要和前瞻性的同時,選擇最高性價比的設計方案。.存儲雙活架構選擇存儲雙活架構選擇存儲雙活架構描述雙活數據中心的定義是指兩個數據中心共享存儲、網絡以及服務器資源,兩個數據中心同時對外提供服務,整個系統具有業務負載均衡和自動故障切換功能。存儲雙活作為整個系統的核心基礎架構平臺,主要解決以下兩個核心問題。一是如何在兩個數據中心間實現數據實時同步,從而保證異常情況下,零數據丟失〔RPO=0。二是如何實現存儲資源的虛擬化,提供可同時被兩個數據中心主機訪問的存儲共享卷,從而實現主機應用集群的跨站點部署,保證異常情況下,應用的自動切換〔RTO≈0。業界存儲雙活技術路線當前,存儲業務通常有以下兩種實現存儲雙活方案的架構。一種是基于專業的虛擬化存儲設備來實現；一種是基于磁盤陣列的同步復制技術,配合自動化的復制切換軟件來實現。由于兩種架構采用了不同的技術方案,因此,在方案可靠性、業務連續性以及可擴展性方面都存在一定差異。存儲雙活架構對比方案可靠性基于虛擬化存儲的雙活方案：通常可以在每個站點部署一臺或多臺全冗余架構的虛擬化存儲設備,站點間和站點內都不存在單點故障的風險。基于磁盤陣列同步復制技術的雙活方案：實際上采用的是Stretched架構,即將一臺陣列的兩個控制器部署在兩個站點,每站點內部只有一個控制器,存在單點故障風險。數據實時同步技術及性能影響基于虛擬化存儲的雙活方案：采用存儲虛擬化設備的卷鏡像技術實現兩站點間的數據實時同步。兩臺存儲設備上的LUN被虛擬化為一個虛擬的卷,主機寫操作通過卷虛擬化鏡像技術同時寫入這兩個存儲設備,保持數據實時一致。其中任何一個存儲設備故障,虛擬卷仍能提供正常的IO讀寫能力,主機業務不受影響。待存儲設備恢復正常后,存儲虛擬化設備將增量數據后臺同步到修復的存儲設備,整個過程對主機"透明",不會影響主機業務。基于磁盤陣列同步復制技術的雙活方案：基于磁盤陣列同步復制技術的雙活方案是通過建立主存儲設備復制到從存儲設備的同步復制關系,在從存儲設備生成一個實時一致的數據副本來實現的。同步復制對上層主機而言,兩個數據中心的存儲體現為兩個不同的LUN。由于同步復制的從存儲設備不能被主機訪問,因此,當主站點存儲設備發生故障,需要配合上層的自動切換軟件實現業務的自動切換。恢復業務需要先切換復制關系,將從存儲上的副本變為可讀寫,并改變主機的存儲訪問路徑,切換時間長。為了保證兩個數據中心存儲的數據實時一致,同步復制與虛擬化卷鏡像的寫操作都需要等待兩端存儲同時寫成功之后再返回給主機"寫成功"。因此,兩種架構都將對IO寫操作帶來一定的時延增加,必須提供低時延的同城網絡,以減小對寫時延的影響。存儲卷的雙活訪問特性基于虛擬化存儲的雙活方案：基于跨數據中心的雙活虛擬化存儲平臺,提供可供兩數據中心主機同時進行讀寫訪問的共享存儲卷。主機訪問請求由本數據中心所在的虛擬化存儲引擎響應,無需跨越同城網絡訪問另一數據中心的虛擬化存儲引擎。基于磁盤陣列同步復制技術的雙活方案：將一臺陣列的兩個控制器部署在兩個數據中心,且兩個控制器處于主備模式,備控制器無法被主機訪問,只能提供一條備用的存儲路徑,不是真正的雙活。兩個數據中心的主機都只能通過訪問其中一個控制器來進行IO讀寫,不僅增長了主機IO的路徑,而且增加了主控制器的業務壓力,影響系統性能。方案業務連續性能力基于虛擬化存儲的雙活方案：同一個共享的存儲卷可經過兩個數據中心的任意節點被主機訪問。其中一個數據中心的虛擬化引擎故障、主機故障,甚至整個站點故障時,都無需對存儲進行切換,另一數據中心的虛擬化引擎可繼續為主機提供訪問。故障修復后,無需中斷主機訪問即可恢復故障前運行狀態。基于磁盤陣列同步復制技術的雙活方案：由于備控制器無法被主機訪問,當發生主控制器故障或站點級故障時,需要先切換同步復制關系,再切換主機訪問路徑,來使存活站點的控制器強行接管故障站點控制器的工作。切換流程復制,部分場景甚至需要手工執行命令來強行切換控制器和訪問路徑。故障修復后,需要中斷業務運行來恢復到故障前狀態。彈性可擴展基于虛擬化存儲的雙活方案：通常可以在每個站點部署一臺或多臺全冗余架構的虛擬化存儲設備。因此,隨著業務的增長,方案能夠支持引擎的橫向擴展,且新增引擎與現有引擎構成一個統一的虛擬化存儲集群,提供統一的IO處理能力。基于磁盤陣列同步復制技術的雙活方案：通常只支持雙控,不具備控制器的橫向擴展能力。無法實現存儲資源的整合與共享,不能支持彈性可擴展。系統方案設計整體架構設計方案描述存儲雙活方案作為XX業務的核心基礎架構,其架構的選擇決定了整個系統是否可靠高可用、安全可信賴、彈性可擴展。此次方案建設,考慮到XX局的上述需求,華為建議采用基于專業的虛擬化存儲設備來構建高可用、高性能、可擴展的存儲雙活方案。XX局兩地三中心容災系統建設包括同城雙活中心：XX數據中心與XX數據中心以及異地災備中心三中心。整體的建設包括：雙活容災系統建設、異地災備系統建設。同城雙活容災建設華為存儲雙活方案采用OceanStorVIS6600T系列產品〔以下簡稱VIS,實現存儲雙活架構,為兩個數據中心存儲同時提供讀寫服務,且整個存儲系統架構全冗余,任意數據中心故障時,另外一個數據中心有一份存儲設備和相同數據可用,最大化提高了業務連續性。兩個數據中心分別部署多臺Oracle數據庫服務器和虛擬機服務器,以及OceanStorVIS6600T和磁盤陣列等設備。整個雙活系統分為存儲層、前端網絡層與應用層與管理層。存儲層,在某某數據中心A和某某數據中心B各部署一臺VIS6600T,組成一個VIS集群,為兩數據中心主機業務同時提供讀寫服務。支持擴展至8節點。同時,在某某數據中心A和某某數據中心B配置同等級和同容量的磁盤陣列。為了提升熱點數據的存儲性能,使高價值硬盤得以更充分的利用,配置不同類型的硬盤：SAS、NL-SAS、SSD以合理分配資源；通過華為存儲提供的SmartTier功能對熱點數據進行持續監控并從機械硬盤遷移到SSD中,進一步提升系統性能。兩個數據中心的磁盤陣列都由VIS集群接管,利用VIS鏡像技術對兩中心的磁盤陣列做鏡像冗余配置,實現兩個數據中心存儲數據實時鏡像,互為冗余。任意數據中心故障,數據零丟失。網絡層,數據中心之間集群IP心跳和FC數據傳輸網絡都采用裸光纖直連,傳遞控制信息、配置信息和數據同步,滿足雙活數據中心網絡時延要求。應用層,兩個數據中心的Oracle服務器構成一個ExtendedRAC集群,提供跨數據中心的自動負載均衡和自動故障轉移功能。兩個數據中心的虛擬機服務器構成一個集群,提供跨數據中心的虛擬化業務連續性和移動性。為了實現雙活數據中心存儲設備的統一管理,建議部署統一容災管理軟件,通過華為統一容災管理軟件實現雙活數據中心的可視化管理,并通過管理軟件直觀的展示雙活業務的物理拓撲。建議將管理軟件部署于XX數據中心的物理服務器。異地災備建設對于XX業務,在建設雙活數據中心的基礎上,再進行數據的遠程容災。如此一來,XX核心業務數據總共保留了三份,更高程度保證了數據安全性。整體的方案架構圖如下圖所示〔根據實際項目情況修改：XX數據中心和XX數據中心分別部署多臺服務器、1臺VIS、X臺磁盤陣列、至少2臺可提供10GE與GE鏈路的冗余IP交換機以及2臺FC交換機。其中X臺服務器組成多節點的OracleRAC集群與VMware集群、FusionSphere集群,對外提供服務；2臺VIS組成4節點的VIS集群,統一接管2個數據中心的磁盤陣列,構建跨站點的存儲資源池；兩個數據中心之間利用VIS鏡像功能同步數據。第三方仲裁站點使用華為提供的第三方仲裁存儲單元,使用IP或FC網絡連接到XX數據中心和XX數據中心的VIS設備。每個數據中心的一臺XX陣列和第三方仲裁存儲單元各提供一個1GB的LUN,共3塊仲裁盤,供VIS仲裁使用。存儲雙活架構的要求方案對同城網絡的要求采用FC鏈路實現同城雙數據中心間的數據實時同步,采用二層以太網絡實現雙數據中心間的存儲虛擬化集群〔VIS以及主機應用集群的心跳鏈路通信。為降低數據雙寫對業務系統的影響,建議同城鏈路的時延在1ms以內。同城鏈路帶寬需求,與需要在兩數據中心間同步的數據量相關,要求鏈路帶寬大于業務系統高峰期的數據寫帶寬。方案對仲裁鏈路的要求為保證各種異常情況下,存儲虛擬化集群能夠進行仲裁,業界存儲雙活方案都需要設計第三方仲裁站點,以保證異常情況下的業務連續性。兩個雙活數據中心與第三方仲裁站點間的鏈路可選擇FC或IP網絡,大大增加了方案的靈活性,有利于降低方案的整體成本。應用系統對時延的要求雙活數據中心的建設不僅是存儲一個層面的雙活部署,需要端到端地進行考慮。尤為重要的是,當前雙數據中心的網絡時延是否能滿足應用系統對網絡時延的要求？華為提供了一系列的測試方法對XX數據中心與XX數據中心的網絡鏈路進行檢測確認。以下羅列了雙活數據中心解決方案的兩種典型應用場景對時延的建議：Oracle應用時延建議類型性能好性能可接受性能差dbfilesequentialread<10ms<20ms>20msdbfileparallelwrite<10ms<15ms>15mslogfileparallelwrite<5ms<15ms>15msVMware應用時延站點之間最大支持VMwareESXi管理網絡的網絡時延是往返10msRTT。vMotion標準版和企業版要求5msRTT。vMotion中10msRTT的延時只有在具有VMwarevSphereEnterprisePlus版本許可中才支持,這個版本許可包括MetrovMotion功能。ESXivMotion的網絡需要最少622Mbps的網絡帶寬,并且有冗余鏈路。FusionSphere應用時延生產站點與容災站點間距離要在100公里以內,站點間需要租賃L1專線,兩個站點間環回時延≤1ms。存儲雙活方案詳細設計虛擬化存儲雙活設計跨數據中心部署的OceanStorVIS6600T虛擬化存儲集群提供可被兩數據中心主機并發訪問的共享雙活卷,連接到其任何節點上的主機都可以訪問同一個虛擬卷,并像訪問本地存儲一樣對VIS提供的虛擬卷進行讀寫。通過VIS的虛擬化功能,實現對各種磁盤陣列的統一接管,將數據中心里不同類型的磁盤陣列資源池化,實現存儲資源的整合和優化,提高資源利用率。同時通過VIS虛擬化卷鏡像功能,保證兩個站點磁盤陣列之間數據的實時同步。兩臺存儲設備上的LUN被虛擬化為一個虛擬的卷,主機寫操作通過卷虛擬化鏡像技術同時寫入兩個數據中心的存儲設備,保持數據實時一致。具體的IO讀寫流程如下圖所示。VIS鏡像的寫I/O流程如下：寫請求到鏡像卷；鏡像卷將請求復制為兩份下發到兩中心的鏡像數據盤；鏡像數據盤返回寫操作完成；鏡像卷返回寫I/O操作完成。雙活讀策略設計華為VIS具備靈活的讀取策略：循環讀、優選讀、基于站點讀〔SiteRead。針對雙活數據中心場景,設計了"SiteRead"模式,以避免虛擬化引擎跨數據中心讀取數據,提升方案整體性能。其讀I/O流程如下：讀請求到鏡像卷；鏡像卷根據策略下發請求到與虛擬化引擎在同一個數據中心的鏡像數據盤讀取數據；鏡像數據盤返回讀數據；鏡像卷返回讀數據。其中任何一個存儲設備故障,虛擬卷選取正常的存儲設備響應主機I/O,主機業務不受影響。并且采用差異位圖記錄故障期間數據的變化情況,待存儲設備恢復正常后,存儲虛擬化設備將增量數據后臺同步到修復的存儲設備,整個過程對主機"透明",不會影響主機業務。優選路徑設計華為多路徑軟件UltraPath支持雙活的優選路徑模式。為了避免跨數據中心進行I/O處理而帶來時延的增加,UltraPath將優先使用本數據中心VIS節點下發I/O的路徑,只有當本數據中心節點路徑故障后才使用遠端數據中心VIS節點的路徑。說明：當前FusionSphere不支持優選路徑功能。〔藍色字體部分實際使用時不對客戶體現虛擬機跨數據中心vMotion設計〔可選通過FibreChannel、iSCSI存儲區域網絡<SAN>和數據中心間網絡,虛擬化存儲集群為兩個數據中心主機提供共享訪問的鏡像卷,構建VMwareESXvMotionoverDistance,可在數據中心之間實時遷移在線運行的虛擬機,可避免停機、確保業務連續性以及事務處理的完整性,使XX局可以在執行硬件維護時無需安排停機時間及中斷業務操作。同時,VMwareESXvMotionoverDistance還可以使兩數據中心資源池內的虛擬機持續進行自動優化,最大程度地提高硬件的利用率、靈活性及可用性。"逃生"功能設計華為VIS虛擬化智能存儲具備"逃生"功能,對所接管磁盤陣列,無需更改陣列映射LUN的任何內容,當雙活數據中心的兩臺VIS出現故障,將VIS從整個SAN網絡中移除,陣列直接將LUN映射給主機使用,主機可正常拉起業務,防止出現由于虛擬化失敗或者虛擬化不能快速回退造成的數據丟失等導致業務系統不可恢復的情況。說明：此功能當在上層應用為虛擬化場景,且下層陣列為友商陣列時需要了解友商陣列的清預留的命令才能實現"逃生"功能。〔藍色字體部分實際使用時不對客戶體現鏡像快速恢復功能設計華為VIS鏡像功能具備鏡像故障快速處理機制,只需要重新鏡像數據差量而不需要做全量的鏡像。該算法基于一個位圖數據結構：數據改變對象〔DCO。一旦某個鏡像卷或者整個設備故障,VIS會在DCO中記錄兩個卷之間的差異點。當鏡像卷或存儲設備恢復,則VIS根據DCO差異的情況,從源卷中將數據讀入同步到鏡像卷。達到快速恢復鏡像的目的,不用完全重新同步。存儲雙活方案仲裁設計有第三方仲裁站點如下圖所示,為保證當任一數據中心整體故障或中間鏈路故障等極端場景下,主機業務的連續性,方案建議采用第三方仲裁磁盤,由兩個雙活的生產中心及第三仲裁存儲單元分別為虛擬化存儲集群提供一個仲裁盤。這樣,便可以保證即使出現數據中心整體故障或中間鏈路故障等極端場景,虛擬化存儲集群仍然可以訪問至少兩塊仲裁盤進行仲裁,保證業務可靠性和數據一致性。第三方仲裁站點位于XX點,XX點與兩個數據中心之間通過XX線互聯。可直接從部署于XX點的仲裁存儲單元上創建一個1GB的LUN,可通過FC鏈路或IP鏈路映射給兩個數據中心的VIS。當出現任一數據中心整體故障或中間鏈路故障等極端場景,整個集群的仲裁過程如下：XX數據中心與XX數據中心之間的中間鏈路斷開,導致兩個數據中心集群發生分裂,進而兩個中心之間的存儲虛擬化平臺發生"腦裂",存儲虛擬化平臺從一個大集群分裂為兩個小集群；根據集群"腦裂"的通用原理,當大集群分裂為兩個小集群時,每個小集群分別搶占存放第三方仲裁信息的仲裁盤,搶占到51%以上仲裁信息〔即搶占到2個仲裁盤的小集群"獲勝",將繼續對外提供服務,為應用提供存儲訪問空間；未搶占到仲裁信息的小集群則自動退出集群,不再對外提供服務；當中間鏈路恢復時,"自動退出的小集群"檢測到中間鏈路由故障變為正常,嘗試與"繼續服務的小集群"握手通信,經過握手通信兩個小集群再次組成一個大集群,以Active-Active模式提供服務,互相之間實現冗余。無第三方仲裁站點若無第三方仲裁站點,則選擇將第三方仲裁盤配置在任意一個數據中心,并實施必要的掉電保護措施,例如部署獨立UPS電源。采用此種方式部署,則當出現存放兩塊仲裁盤的數據中心整體故障,如大面積停電,火災等災難。由于集群無法獲得超過51%的仲裁信息而導致整個集群停止對外服務,業務中斷,需要手工進行恢復。跨數據中心網絡設計同城雙活數據中心網絡至少包括五張網：業務訪問網〔IP,作為客戶端訪問服務器的主要網絡應用遷移網和應用心跳網〔10GE,主要進行虛擬機在線遷移操作與主機集群的心跳網絡存儲鏡像網絡〔FCVIS心跳網絡〔GE二層網絡,作為VIS集群的心跳網絡VIS仲裁網絡〔GE三層網絡或FC不同的網絡間,可以通過劃分不同的VLAN實現。為保障方案的可靠性,華為同城雙活方案采用數據傳輸鏈路與心跳鏈路分離設計的原則。通過VLAN或VRF隔離端到端流量,同時進行分配獨立的物理互聯鏈路,做到業務流量與集群心跳分離流量,互不影響。采用FC鏈路實現同城雙數據中心間的數據實時同步,采用二層以太網絡實現雙數據中心間的存儲虛擬化集群〔VIS以及主機應用集群的心跳、同步互聯鏈路通信。由于FusionCompute僅支持配置一個網關,所以數據中心A和數據中心B中作為網關的匯聚〔核心交換機,需要配置為主備網關模式。主網關優選生產站點側的交換機。在實際進行VLAN跨站點配置時,在以太網匯聚交換機上按照VLAN配置主備網關的VRRP。對于一個VLAN,部署了虛擬機業務的一側站點網關配置為主網關,另一側站點網關配置為備網關。若兩個數據中心之間存在VMwarevMotion在線遷移操作,則VMware單臺虛擬機跨數據中心遷移要求IP鏈路帶寬為1Gb/s,若存在多臺虛擬機同時遷移〔并行,則相應的帶寬要增加。實際部署時,建議至少部署一條10GE鏈路用于VMware遷移復制流量。VIS鏡像必須采用FC光纖互聯。兩數據中心相距25km以內可采用裸光纖直連。如果距離超過25km或只有一對裸光纖,建議使用OTN波分設備來構建兩數據中心的同城網絡。部署OTN波分設備時,建議采用1+1主備線路雙發選收的方式,提供物理鏈路的高可靠性。一對裸光纖中斷時,另一條裸光纖可馬上恢復業務流量,切換時上層網絡及應用無感知。園區網絡設計適用場景：兩個數據中心容災距離小于25km,采用光纖交換機直連。兩個數據中心中用于主機應用心跳網絡、虛擬機vMotion網絡的以太網交換機建議采用10GE并一對一級聯；用于VIS集群心跳網絡的以太網交換機采用GE并一對一級聯；用于存儲數據同步的FC交換機一對一級聯；以太網交換機也可以Trunk端口捆綁交叉組網。4節點VIS集群一對一級聯組網圖如下：8節點VIS集群一對一級聯組網圖如下：同城網絡設計適用場景：兩個數據中心容災距離小于100km,鏈路采用DWDM連接。兩個數據中心中用于心跳網絡的IP交換機和用于存儲復制網絡的FC交換機都分別連接到OTN波分設備。不同的業務互聯,通過波分復用統一承載于兩對1+1備份的裸光纖或一對裸光纖中。4節點VIS集群組網圖如下：8節點VIS集群組網圖如下圖所示：存儲雙活方案應用配置建議VMware配置建議建議將XX數據中心和XX數據中心所有用于運行虛擬機的ESXi服務器配置為一個集群,配置HA和DRS功能。虛擬機必須安裝VMwareTools軟件〔免費。VIS上創建的用于虛擬機的卷必須映射給集群內所有服務器,以便提供共享存儲服務。服務器之間建議通過萬兆以太網提供心跳服務與vMotion遷移流量,集群內的所有服務器需符合集群的兼容性規則。如果進行虛擬機在線遷移操作,最好選擇業務不太繁忙時進行。為了預防生產站點突發性災難,同城雙活數據中心運行虛擬機的服務器需要保持開機狀態。FusionSphere配置建議Fusionsphere雙活方案中,需要啟用DRS特性進行虛擬機本地優先啟動和HA,因此如果用戶配置了其他DRS規則,則不能與容災DRS規則沖突,否則無法保證虛擬機本地優先啟動和HA。數據中心A和數據中心B的業務均通過主網關提供,規劃數據中心A和數據中心B的業務網絡帶寬時需要同時考慮該部分的業務需求。OracleRAC配置建議基于虛擬化設備的雙活方案是能真正支持OracleRAC跨數據中心部署的方案,OracleRAC跨數據中心部署,對數據庫版本以及業務系統的部署方式有一些要求和建議：要實現Oracle數據庫的跨數據中心的集群部署,需采用支持OracleExtendedDistanceCluster的Oracle版本。建議使用Oracle10g發行版2或更高版本。Oracle部署通常有三種存儲管理方式：文件系統,裸盤和ASM,推薦使用ASM。對于OracleExtendedDistanceCluster配置,建議對OracleClusterware和Oracle數據庫二進制文件和主目錄進行本地存儲,以減少站點間流量。為了避免跨數據中心進行數據的交互,建議在OracleRAC層創建不同的service,實現業務分離。通過Service-SideTAF的PREFERRED功能設置應用只訪問本地實例；同時設置遠端數據中心的實例為AVAILABLE,只有本地實例都故障才切換到遠端實例；可以減少RAC跨數據中心交互的次數,提升整體性能。華為存儲雙活方案優勢虛擬化存儲集群采用真正的"Active-Active"的高可靠架構,提供可被兩數據中心主機并發訪問的共享雙活卷,連接到其任何虛擬化引擎上的主機都可以訪問同一個虛擬卷,并像訪問本地存儲一樣對虛擬卷進行讀寫。兩數據中心可同時對同一個業務系統提供讀寫服務,并自動實現業務在站點間的負載均衡,為用戶提供更加靈活的數據訪問方式。如果采用將一臺陣列的兩個控制器部署在兩個數據中心的方案,每數據中心內部只有一個控制器。由于備控制器無法被生產中心主機訪問,只能提供一條備用的存儲路徑,用戶無法訪問備數據中心的數據。圖形化展示雙活物理拓撲圖與業務邏輯拓撲,監控雙活數據中心運行狀態,提供業界領先的ALLINONE可視化、流程化的容災業務管理。通過在每個站點部署一臺或多臺全冗余架構的虛擬化存儲設備,站點間和站點內都不存在單點故障的風險,可以避免任何單點故障導致業務中斷的風險。華為獨特的虛擬化存儲集群架構,在單個數據中心虛擬化引擎故障情況下,不但不影響主機業務,還可保證數據實時鏡像不中斷,提供更高的可用性。如果采用將一臺陣列的兩個控制器部署在兩個站點的方案,每站點內部只有一個控制器,存在單點故障風險。虛擬化存儲設備可以統一接管不同廠商,不同品牌的存儲設備,充分利用現有存儲設備資源。兩個數據中心的存儲資源被統一接管后,被虛擬化為統一的存儲資源池,并以雙活的方式共同對外提供服務,在數據中心之間自動進行負載均衡,存儲資源得到充分利用,提高了資源利用率。如果采用將一臺陣列的兩個控制器部署在兩個數據中心的方案,每數據中心內部只有一個控制器。由于備控制器無法被主機訪問,因此,與傳統容災方案一樣,被控制器所在數據中心的存儲資源無法充分利用,存儲資源浪費嚴重。華為存儲雙活方案可支持在每個數據中心部署一臺或多臺全冗余架構的虛擬化存儲設備。因此,隨著業務的增長,方案能夠支持引擎的橫向擴展,且新增加的引擎與現有引擎構成一個統一的虛擬化存儲集群,提供統一的IO處理能力。如果采用只支持雙控的雙活數據中心架構,不具備控制器的橫向擴展能力。隨著業務的增長,方案只能通過新購設備的形式擴容,無法實現存儲資源的整合與共享,不能支持彈性可擴展。采用華為存儲雙活方案,兩個數據中心的主機可同時訪問同一個虛擬卷,部署應用層集群時,只需按照部署普通集群的方法進行部署,大大降低了方案實施和維護難度。華為存儲雙活方案提供了全自動的故障處理機制,故障切換過程無需人工干預,大大降低了容災系統維護成本。單個數據中心中,任何部件需要升級等維護工作時,可以將該生產中心需要維護的設備停機,另一個正常的生產中心會自動接管業務,數據零丟失,提高了系統的可維護性。如果采用將一臺陣列的兩個控制器部署在兩個數據中心的方案,由于備控制器無法被主機訪問,當發生主控制器故障或數據中心級故障時,需要先切換同步復制關系,再切換主機訪問路徑,來使存活數據中心的控制器強行接管故障數據中心控制器的工作。增加了系統維護與管理的難度。存儲雙活方案故障切換與恢復故障切換流程根據XX局實際業務需求,存儲雙活方案部署虛擬化VMware應用,構建跨數據中心的VMwareESXStretchCluster,實現應用雙活；存儲雙活方案配合FusionCompute的虛擬機HA功能和DRS功能實現的存儲雙活部署；兩個數據中心分別部署運行不同的OracleRAC業務,構建跨數據中心的鏡像數據保護。在該部署場景下,在各單部件和鏈路故障,甚至整個數據中心故障,都可以實現業務自動無縫切換。具體故障切換情況如下表所示〔以下切換過程適用于4節點VIS集群雙活場景：故障場景測試用例故障切換情況部件故障單中心服務器故障主機集群自動檢測到故障,業務自動切換到未故障的主機上單中心VIS單控制器故障虛擬化智能存儲設備其它節點自動接管虛擬化,業務主機I/O自動切換,業務無中斷單中心陣列單控制器故障磁盤陣列的其它節點自動接管其I/O,業務無中斷單中心VIS故障另一數據中心虛擬化智能存儲設備自動接管虛擬化,業務主機I/O自動切換,業務無中斷單中心陣列故障另一數據中心的磁盤陣列自動接管其I/O,業務無中斷同城鏈路故障同城鏈路故障VIS集群仲裁,一邊數據中心VIS存活,業務自動切換到仲裁存活的數據中心數據中心故障單數據中心故障業務自動切換到存活的數據中心在各故障場景中,故障恢復后,集群自動恢復,故障節點自動加入VIS集群、OracleRAC集群或VMwarevSphereHA集群、FusionSphereHA集群,故障節點自動恢復承載業務,集群各節點間業務負載均衡。其中單中心陣列、同城鏈路和單數據中心故障恢復時,鏡像關系修復過程中,為避免舊數據覆蓋新數據,需手動修復VIS鏡像對的關系。VIS單控制器故障每個數據中心各部署一臺雙控冗余配置的VIS,構建一個跨數據中心的4節點VIS集群。當VIS的其中一個控制器發生故障時,同數據中心的VIS節點自動接管其虛擬化,業務主機I/O自動切換到本數據中心的VIS節點,不會發生跨數據中心切換。假設數據中心A的VIS控制器1故障,處理過程如下：VIS集群檢測到VIS節點控制器故障,將該VIS節點踢出集群；主機多路徑檢測發現主機到VIS控制器1的路徑故障,將路徑自動切換到本數據中心VIS的控制器2進行I/O訪問；兩個數據中心業務不發生切換,正常運行；主機業務寫I/O,通過VIS鏡像,仍然實時同步寫到兩個數據中心的陣列；讀I/O保持從本地存儲讀取,VIS不會跨數據中心讀取數據。陣列單控制器故障存儲雙活方案,每個數據中心各部署一臺雙控冗余配置的XX磁盤陣列。當XX陣列的其中一個控制器發生故障時,該陣列另一控制器節點自動接管其業務,業務主機I/O不會發生跨數據中心切換。假設數據中心A的陣列控制器1故障,處理過程如下：陣列檢測到控制器1發生故障,工作正常的控制器2接管其業務；VIS集群后端磁盤多路徑檢測發現VIS到該陣列控制器1的路徑故障,將路徑自動切換到陣列控制器2進行I/O訪問；兩個數據中心業務不發生切換,正常運行；主機業務寫I/O,通過VIS鏡像,仍然實時同步寫到兩個數據中心的陣列；讀I/O保持從本地存儲讀取,VIS不會跨數據中心讀取數據。單鏈路故障存儲雙活方案,采用雙交換機冗余組網方式,當數據中心內其中一條鏈路故障時,業務主機I/O自動切換,業務無中斷。假設數據中心A中VIS到陣列的一條鏈路故障,處理過程如下：VIS集群后端磁盤多路徑檢測發現路徑故障,自動切換到另一條正常路徑進行I/O訪問；兩個數據中心業務不發生切換,正常運行；主機業務寫I/O,通過VIS鏡像,仍然實時同步寫到兩個數據中心的陣列；讀I/O保持從本地存儲讀取,VIS不會跨數據中心讀取數據。單中心VIS設備故障存儲雙活方案,兩個數據中心的VIS構建的是跨數據中心集群,當其中一臺VIS故障時,另一數據中心虛擬化智能存儲設備自動接管業務,業務主機I/O自動切換,業務無中斷。假設數據中心A的一臺VIS設備故障,處理過程如下：VIS集群檢測到數據中心A的VIS故障,將故障VIS節點踢出集群,虛擬化智能存儲設備自動接管虛擬化卷；主機多路徑檢測發現主機到數據中心A的VIS路徑故障,將路徑自動切換到數據中心B的VIS進行I/O訪問；兩個數據中心業務不發生切換,正常運行；主機業務I/O,通過VIS鏡像,仍然實時同步寫到兩個數據中心的陣列；讀I/O從數據中心B的磁盤陣列讀取。單中心陣列設備故障存儲雙活方案,每個數據中心各部署2臺磁盤陣列,通過虛擬化智能存儲的VIS鏡像功能,兩個數據中心的XX陣列跨數據中心鏡像,數據實時同步。當單數據中心一臺陣列故障時,業務I/O自動切換到另一數據中心的鏡像陣列處理,業務無中斷。假設數據中心A的一臺陣列故障,處理過程如下：VIS集群檢測到數據中心A的陣列故障,VIS將該陣列盤狀態置為‘disable’,VIS鏡像關系故障；VIS后端磁盤多路徑檢測發現VIS到該故障陣列的路徑故障,將路徑自動切換到數據中心B的鏡像陣列進行I/O訪問；兩個數據中心業務不發生切換,正常運行；主機業務寫I/O只寫到數據中心B的陣列,并記錄新增數據位圖,標識數據中心A與數據中心B陣列之間差異；讀I/O從數據中心B的磁盤陣列讀取。同城鏈路故障同城網絡包括業務數據鏡像網絡、VIS集群網絡和虛擬機的vMotion網絡,OracleRAC私有網絡,當同城網絡故障時,通過VIS集群的仲裁機制,仲裁搶占勝利的VIS對應的數據中心則接管所有的業務,業務自動切換。詳細處理過程如下：同城網絡鏈路故障,VIS集群檢測到集群心跳網絡鏈路故障,集群開始仲裁；如果數據中心B的VIS仲裁搶占勝利,數據中心A的VIS重啟,踢出集群；數據中心B的VIS無法訪問到數據中心A陣列,VIS將該數據中心A的陣列盤狀態置為’disable’,VIS鏡像關系故障；主機集群檢測到數據中心A的服務器到數據中心B的VIS鏈路故障,業務I/O不能正常訪問,數據中心A的業務自動切換到數據中心B；主機業務寫I/O只寫到數據中心B的陣列,并記錄新增數據位圖,標識數據中心A與數據中心B陣列之間差異；讀I/O從數據中心B的磁盤陣列讀取。單數據中心故障存儲雙活方案,設備全冗余架構部署,當一個數據中心發生停電或火災等災難時,另一個數據中心VIS對應的數據中心則接管所有的業務,業務自動切換。詳細處理過程如下：VIS集群檢測到數據中心A的VIS故障,集群重構,踢出集群；數據中心B的VIS無法訪問到數據中心A陣列,VIS將該數據中心A的陣列盤狀態置為’disable’,VIS鏡像關系故障；主機集群檢測到數據中心A的服務器故障,數據中心A的業務自動切換到數據中心B；主機業務寫I/O只寫到數據中心B的陣列,并記錄新增數據位圖,標識數據中心A與數據中心B陣列之間差異；讀I/O從數據中心B的磁盤陣列讀取。故障恢復流程在各故障場景中,故障恢復后,集群自動恢復,故障節點自動加入VIS集群、OracleRAC集群、VMwarevSphereHA集群、FusionSphereHA集群,故障節點自動恢復承載業務,集群各節點間業務負載均衡。其中單中心陣列、同城鏈路和單數據中心故障恢復時,恢復VIS鏡像關系,同步差異的增量數據。恢復場景測試用例故障恢復情況部件故障恢復VIS單控制器故障后恢復VIS控制器節點自動加入VIS集群,自動恢復VIS引擎雙控冗余配置,分擔負載陣列單控制器故障后恢復陣列控制器節點自動加入存儲集群,自動恢復陣列雙控冗余配置,分擔業務負載單鏈路故障后恢復自動恢復雙交換組網冗余配置,分擔業務負載單中心VIS故障后恢復VIS故障節點自動加入VIS集群,分擔主機業務負載單中心陣列故障后恢復恢復VIS鏡像關系,同步差異的增量數據同城鏈路故障恢復同城鏈路故障后恢復恢復VIS鏡像對關系,同步差異的增量數據；重啟VIS,VIS節點自動加入集群,分擔主機業務負載；重啟服務器,主機故障節點自動加入集群數據中心故障恢復單數據中心故障后恢復恢復VIS鏡像對關系,同步差異的增量數據；重啟VIS,VIS節點自動加入集群,分擔主機業務負載,主機故障節點自動加入集群下面重點介紹同城鏈路故障機單數據中心故障恢復過程：同城鏈路故障修復兩個數據中心間的同城鏈路故障后,在保證了業務繼續運行的前提下,按照如下步驟修復故障系統：先恢復FC鏈路,再恢復IP鏈路；鏈路修復好之后,重啟仲裁搶占失敗數據中心的VIS和服務器,VIS集群自動重構,組成4節點集群,主機集群進行集群自動重組；恢復兩個數據中心的陣列鏡像關系,新增的增量數據由仲裁搶占勝利數據中心陣列恢復至仲裁搶占失敗數據中心鏡像陣列；OracleRAC集群恢復正常后,如果配置為負載均衡連接模式,業務會自動均衡地運行在集群中的所有主機上；VMwarevSphere集群恢復正常后,如果配置了DRS功能,虛擬機會自動相對均衡地運行在集群中的所有ESXi主機上。如果沒有配置DRS功能,可以手工vMotion的方式,將業務在線遷移至新加入集群的ESXi主機上；Fusionsphere集群恢復正常后,配置了DRS功能,虛擬機自動相對均衡地運行在集群中的所有CNA主機上。系統恢復到正常雙活場景。單數據中心故障修復單個數據中心全部故障后,在保證了業務繼續運行的前提下,按照如下步驟修復故障系統：修復并啟動故障數據中心的陣列；修復并啟動故障數據中心的VIS,VIS集群自動重構,組成4節點集群；恢復兩個數據中心的陣列鏡像關系,新增的增量數據同步至恢復的鏡像陣列；修復并啟動故障數據中心的服務器；故障的服務器修復并啟動后,會自動加入集群,構成跨數據中心的主機集群；OracleRAC集群恢復正常后,如果配置為負載均衡連接模式,業務會自動均衡地運行在集群中的所有主機上；VMwarevSphere集群恢復正常后,如果配置了DRS功能,虛擬機會自動相對均衡地運行在集群中的所有ESXi主機上。如果沒有配置DRS功能,可以手工vMotion的方式,將業務在線遷移至新加入集群的ESXi主機上；Fusionsphere集群恢復正常后,配置了DRS功能,虛擬機自動相對均衡地運行在集群中的所有CNA主機上；系統恢復到正常雙活場景。方案配置說明：本章節供參考,實際提供給用戶的版本請刪除備注部分,并對藍色字體部分根據實際情況進行替換與刪除。方案配置列表軟硬件配置列表注：生產中心和災備中心的VIS在Unistar中按照1臺4節點或2臺4節點〔8節點VIS進行報價配置。服務配置列表服務名稱服務類型服務項目單位備注容災專業服務咨詢服務〔可選業務連續性咨詢,演練服務人天聯系本地服務經理容災實施服務〔必選容災集成設計,技術實施服務人天聯系本地服務經理產品實施服務工程服務硬件設備安裝調試人天按產品單獨配置數據遷移服務數據遷移專業服務業務系統數據遷移人天單獨配置規格分類名稱描述功能規格多站點集中管理支持多站點集中管理,支持包括1:1主備容災,兩地三中心容災,32:1云容災,雙活容災組網形態分權分域支持對按照用戶級別賦予不同的管理資源以及權限容災保護支持針對Oracle,DB2,Exchange,SQLServer應用,VMware與FusionSphere虛擬化環境,基于存儲復制,VIS鏡像與復制的自動化容災保護。支持靈活的保護策略,按照保護組的形式保護應用、虛擬機或者LUN容災恢復支持自定義恢復計劃,根據需求配置步驟與自定義腳本。支持按照恢復計劃進行計劃性遷移、故障恢復與容災測試,支持容災測試環境的清理,支持容災切換后,還原生產環境的重保護容災監控支持針對保護組的邏輯拓撲與容災方案全局物理拓撲展示,提供容災相關設備的信息,監控容災設備與鏈路的狀態。支持拓撲圖標顏色、聲音、郵件、短信多種形式告警。支持容災保護與恢復報表高可靠支持配置數據的備份與恢復北向接口支持REST北向接口管理規格站點數32個本地站點,32個遠程站點保護組數256個單個保護組中保護對象數量虛擬機數量512；數據庫數量32；LUN數量基于存儲陣列復制映射LUN規格單系統支持的保護對象數量3000并發執行的保護組任務數量16恢復計劃數量256并發執行的恢復任務數量10管理服務器規格操作系統WindowsServer2003SP264位企業版WindowsServer2008R264位企業版SUSELinuxEnterpriseServer11SP164位CPU最低配置：2*Xeon雙核1.6GHzCPU標準配置：2*Xeon雙核4.0GHzCPU內存最低配置：DDR4GB內存標準配置：DDR8GB內存硬盤空閑空間最低配置：大于等于10GB標準配置：空閑空間大于等于100GB管理網絡帶寬生產站點與災備站點之間管理網絡大于10Mb/sAgent規格內存最低配置：DDR1GB內存硬盤空閑空間最低配置：50MB瀏覽器規格瀏覽器Windows環境：支持瀏覽器IE8～11,FireFox26～29,Chrome21～35Linux環境：支持瀏覽器FireFox26～29,Chrome21～35業務應用兼容性操作系統詳見產品兼容性列表業務應用詳見產品兼容性列表關鍵技術網絡層解決方案服務器負載均衡技術〔SLB技術概述服務器負載均衡是指設置在一組功能相同或相似的服務器前端,對到達服務器組的流量進行合理分發,并在其中某一臺服務器故障時,能將訪問請求轉移到其它可以正常工作的服務器的軟件或網絡設備。當單一服務器的性能已經不能滿足日益增多的用戶訪問需要,需要引入服務器的負載均衡,實現客戶端可訪問多臺同時工作的服務器,動態分配每一個應用請求到后臺的服務器,并即時按需動態檢查各個服務器的狀態,根據預設的規則將請求分配給最有效率的服務器。適用場景基于服務器負載均衡技術適用場景如下：提高性能：負載均衡器可以實現服務器之間的負載平衡,從而提高了系統的反應速度與總體性能；提高可靠性：負載均衡器可以對服務器的運行狀況進行監控,及時發現運行異常的服務器,并將訪問請求轉移到其它可以正常工作的服務器上,從而提高服務器組的可靠性。組網架構方案架構如上圖所示,該組網中,負載均衡器采用雙機,分別掛載在主備二層核心交換機上,當主用負載均衡器故障時會自動切換到備用負載均衡器上。負載均衡器支持NAT、DR和HOST三種數據包轉發模式。其中：性能最優的是DR模式,其次是NAT模式,HOST模式是基于內容的解析,性能一般。對于NAT模式要求真實服務器默認網關指向負載均衡器的地址；DR模式要求所有服務器在同一個網絡內,并且真實服務器需要添加本地回環IP地址為負載均衡器上虛擬服務的IP地址。NAT轉發方式編號源IP地址目標IP地址1234DR轉發方式DR〔DirectRoute,即直接路由。使用DR模式進行負載均衡時,真實服務器處理完負載均衡器轉發的客戶端請求后,可以直接將請求處理結果通過路由返回給客戶端,不需要再經過負載均衡器轉發。編號源IP地址目標IP地址123HOST轉發方式編號源IP地址目標IP地址1234技術特點負載均衡器具有以下技術特點：支持多種調度算法支持最少連接數、輪詢、加權最少連接數和加權輪詢等調度算法服務器健康檢查健康檢查用于確保遠程服務器的可用性,支持基于Ping、UDP、TCP、HTTP和SHELL腳本的健康檢查。過載控制靜態過載控制：通過活動連接數、每秒連接數以及內存使用量等指標,控制應用服務器的負載,確保資源池中應用服務器運行在正常性能范圍內。

動態過載控制：根據CPU的占用率控制應用服務器的負載。當CPU占用率達到閾值時,會丟棄一定比例的請求,保障應用服務的正常運行,直到CPU占用率回落到閾值以下。支持流量控制支持流量控制,控制客戶端的請求流量,提高整體的可靠性。通過三種方式實現：限制某個服務在指定周期內的HTTP請求數量、限制某個服務在指定周期內的上載數據量〔請求數據量、限制某個服務在指定周期內的下載數據量〔響應數據量支持集群支持主備方式的集群全局負載均衡<GSLB>技術概述隨著用戶對應用可用性和擴展性需求的進一步增加,越來越多的用戶不滿足于在單一數據中心提供服務,開始考慮容災、用戶就近訪問等問題。這正是負載均衡設備中的全局服務器負載均衡技術〔GSLB所要解決的問題。絕大部分使用負載均衡技術的應用都通過域名來訪問目的主機,在用戶發出任何應用連接請求時,首先必須通過DNS請求獲得服務器的IP地址,基于DNS的GSLB正是在返回DNS解析結果的過程中進行智能決策,給用戶返回一個最佳的服務IP。適用場景全局負載均衡技術適用場景如下：跨站點負載均衡：可以實現跨數據中心的流量分擔,用戶就近訪問某一數據中心。客戶端訪問切換：當生產中心故障,可以將用戶的訪問流量自動切換到容災站點,從而實現客戶端訪問路徑的自動切換。組網架構GSLB對于DNS請求的處理流程如下：客戶端向本地DNS發起站點查詢請求。當本地DNS中沒有該站點對應的IP地址信息時,則轉發該請求給GSLBMaster。GSLBMaster轉發該請求給所有GSLBSlave。所有GSLBSlave反饋響應信息給GSLBMaster。GSLBMaster會選擇最快響應的GSLBSlave〔例如：SiteA中的GSLBSlave,并返回應答給本地DNS。本地DNS轉發GSLBMaster的應答給客戶端。客戶端就可以訪問提供服務的應用服務器了,例如：SiteA中的RealServer。技術特點從GSLB處理流程可以看出,其核心在GSLB策略,常用的一些GSLB策略包括：1>各內容站點的"健康狀況"GSLBController對各內容站點負載均衡設備上定義的VIP或服務器〔沒有本地負載均衡的情況進行第四層TCP/UDP健康檢查和第七層應用健康檢查。未能通過健康檢查的站點不會被選為最佳的內容節點。2>地理區域或用戶自定義區域一個區域為若干條IP地址前綴。根據用戶本地DNS的IP地址,將特定IP范圍的用戶優先分配到某個通過健康檢查的站點。值得一提的是,由于DNS本身的工作原理所限,GSLBController只能看到用戶本地DNS的IP地址,而不是用戶終端的IP地址。當用戶使用錯誤的本地DNS〔如教育網用戶配置網通的DNS服務器時,GSLBController返回的DNS應答將不是最佳的站點。這是基于DNS的GSLB的一個弱點,但由于絕大部分運營商現在限制其他運營商的客戶使用自己的DNS,出現這種錯誤配置的比例非常小。3>IP地址權重可以為DNS應答中的每個IP地址分配權重,權重決定與其他候選IP相比分配到該IP的流量比例。4>站點〔Site權重可以為每個Site分配權重,權重決定與其他候選Site相比分配到該Site的流量比例。5>會話能力閾值通過廠商自由的GSLB協議,GSLBController可以獲得每個站點負載均衡設備當前可用會話數和會話表大小的最大值,當前會話數/最大會話數比值超過定義的閾值時,該站點不再被選擇。6>活動服務器指一個GSLB節點綁定到一個VIP上的活動真實服務器數量。可以配置策略優先選擇活動服務器最多的IP地址。7>往返時間<RTT>RTT策略是基于區域之外最常用的策略。有兩種模式的RTT測量：ActiveRTT測量與PassiveRTT測量。在實際部署中,由于網絡限制和性能原因,ActiveRTT往往無法使用,PassiveRTT更實用一些。8>當前可用會話數9>站點管理優先級〔AdminPreference為每個站點預設優先級,選擇優先級較高的站點。10>最少選擇選擇從前被選擇的次數最少的節點。11>輪詢〔RoundRobin采用輪詢方式選擇站點。DWDM技術概述DWDM技術是指相鄰波長間隔較小的WDM技術,工作波長位于1550nm窗口。可以在一個光纖上承載8~160個波長。主要應用于長距離傳輸系統。適用場景組網架構華為OSN系列OTN設備將為數據中心容災提供業界領先的廣域傳送特性,適合于對容量、實時性等要求較高的容災系統,華為OSN系列具備海量級數據傳送能力,最大支持40G/100G×80波<3.2T~8T>；支持14種專業級存儲接口〔FC/FICON/ESCON等,具備7大主流存儲廠商的兼容性認證；針對各種容災組網類型,OSN系列提供電信級的50ms級可靠保護；提供業界最佳的3000公里SAN拉遠能力,滿足長距離異地容災需求。技術特點DWDM的技術特點和優勢：〔1充分利用光纖的帶寬資源,傳輸容量巨大DWDM系統中的各波長相互獨立,可透明傳輸不同的業務,如SDH、GbE、ATM等信號,實現多種信號的混合傳輸。如圖6所示,多個光信號通過采用不同的波長復用到一根光纖中傳輸,每個波長上承載不同信號,在一根光纖中傳輸,大大提高了光纖容量,極大的節約了光纖資源,降低線路建設成本。〔2超長的傳輸距離利用摻鉺光纖放大器〔EDFA等多種超長距傳輸技術,可以對DWDM系統中的各通路信號同時放大,實現系統的長距傳輸。〔3平滑升級擴容存儲層解決方案HyperMetro技術OceanStor系列產品的HyperMetro功能,可以實現存儲雙活架構,為兩個數據中心存儲同時提供讀寫服務,且整個存儲系統架構全冗余,任意數據中心故障時,另外一個數據中心有一份存儲設備和相同數據可用,最大化提高了業務連續性。HyperMetro雙活集群原理存儲雙活集群技術HyperMetro最大支持32個存儲控制器,向應用服務器提供無差異的并行訪問,同時處理應用服務器的I/O請求；各控制器間互為備份,均衡負載,控制器故障后,其承接的業務自動切換到正常控制器,保證系統的可靠性、業務的連續性。集群間的通信支持FC或10Ge鏈路,通信包括集群心跳和數據鏡像。其工作原理如下圖所示。存儲數據鏡像通過HyperMetroLUN功能,保證兩個站點磁盤陣列之間數據的實時同步。兩臺存儲設備上的LUN被虛擬化為一個虛擬的卷,主機寫操作通過卷虛擬化鏡像技術同時寫入兩個數據中心的存儲設備,保持數據實時一致。具體的IO讀寫流程如下圖所示。假如數據中心A陣列收到寫I/O,處理流程如下：1、申請寫權限和記錄寫日志：數據中心A陣列收到主機寫請求,先申請HyperMetroLUN的寫權限；獲得寫權限后,HyperMetro將該請求記錄寫日志。日志中只記錄地址信息,不記錄具體的寫數據內容；該日志采用具有掉電保護能力的內存空間記錄以獲得良好的性能。2、執行雙寫：將該請求拷貝2份分別寫入本地LUN和遠端LUN。通常情況下LUN是回寫狀態,數據會寫入該LUN的Cache就會返回。3、雙寫結果處理：等待兩端LUN的寫處理結果都返回；4、響應主機：鏡像卷返回寫I/O操作完成。如果任何一個存儲設備故障,采用日志記錄故障期間數據的變化情況,待存儲設備恢復正常后,將增量數據后臺同步到修復的存儲設備,整個過程對主機"透明",不會影響主機業務。存儲數據修復單塊磁盤可能會因為掉電等異常情況出現壞塊。如果是可修復錯誤而且本端無法修復,因為遠端站點有鏡像數據,則會自動從遠端站點獲取數據來修復本地數據盤的壞塊,進一步提高系統可靠性。假如數據中心A陣列收到寫I/O,鏡像處理流程如下：申請讀權限：陣列收到主機讀請求,先確認HyperMetro的本地讀權限。讀本地LUN。讀本地LUN結果返回,如果可修復錯誤,執行錯誤修復。重定向遠端讀。遠端讀返回。讀結果返回。本地寫入修復。邏輯錯誤保護當遭遇病毒攻擊或人為誤操作等異常時,數據中心的數據可能被破壞。采用虛擬快照技術,在操作前對現有數據卷激活快照,實現本地數據保護。虛擬快照采用寫前拷貝〔COW技術,僅將變化的數據拷貝至快照卷,系統資源占用少。當原卷數據被錯誤修改或刪除,需要進行恢復時,采用快照對原卷進行回滾,實現數據恢復,并且,快照卷可分別映射給主機進行數據測試和挖掘,不影響生產業務。結合華為容災管理軟件,激活快照前觸發數據庫完全檢查點,待數據下盤完成后,激活快照,保證快照數據完全滿足數據庫的一致性要求,快速拉起數據庫。高可靠仲裁防腦裂技術為保證各種異常情況下,存儲雙活集群能夠進行仲裁,建議設計第三方仲裁站點,以保證極端場景下的業務連續性。極端場景包括：出現數據中心整體故障或中間鏈路故障等場景,存儲集群仍然可以訪問仲裁服務器進行仲裁,保證業務可靠性和數據一致性。有仲裁站點的場景如下圖所示,為保證任一數據中心整體故障或中間鏈路故障等極端場景下,主機業務的連續性,方案建議采用仲裁服務器。這樣,可以保證極端災難場景下,存儲集群仍然可以訪問仲裁服務器進行仲裁,保證業務可靠性和數據一致性。第三方仲裁站點位于XX點,XX點與兩個數據中心之間通過XX線互聯。仲裁服務器可以運行在虛擬機上。當出現任一數據中心整體故障或中間鏈路故障等極端場景,整個集群的仲裁過程如下：XX數據中心與XX數據中心之間的中間鏈路斷開,導致兩個數據中心集群發生分裂,進而兩個中心之間的存儲虛擬化平臺發生"腦裂",存儲虛擬化平臺從一個大集群分裂為兩個小集群；根據集群"腦裂"的通用原理,當大集群分裂為兩個小集群時,每個小集群分別搶占第三方仲裁服務器,搶占成功的小集群"獲勝",將繼續對外提供服務,為應用提供存儲訪問空間；未搶占到仲裁信息的小集群則自動退出集群,不再對外提供服務；當中間鏈路恢復時,"自動退出的小集群"檢測到中間鏈路由故障變為正常,嘗試與"繼續服務的小集群"握手通信,經過握手通信兩個小集群再次組成一個大集群,以Active-Active模式提供服務,互相之間實現冗余。下圖列出了基于仲裁服務器模式,各種故障場景下雙活業務是否存活的概要。H1和H2表示組成雙活HyperMetroLUN的兩個陣列,C表示對應的仲裁服務器。無仲裁站點的場景若無第三方仲裁站點,建議用戶在某個數據中心部署仲裁服務器,業務表現和上述的描述大致一致,但如果仲裁服務器所在的數據中心整體故障,雙活業務停止。若無仲裁服務器,用戶可以設置其中一端陣列為優先站點,另一端為非優先站點。當發生腦裂場景,或者非優先站點故障時,優先站點上的lun繼續提供服務,非優先站點的lun停止提供服務。不足之處在于當兩陣列之間失去聯系,可能是站點間鏈路丟失或其中一個陣列故障。系統不能區分這兩種情況,當優先站點陣列故障時,非優先站點不能接管雙活業務,雙活業務停止。主機層解決方案VMWare容災技術技術概述虛擬機HA是當計算節點上的虛擬機出現故障時,系統自動將此虛擬機在其他正常的計算節點上恢復,使該虛擬機能正常使用。虛擬機在HA的過程中不可以使用。適用場景虛擬機HA使用于虛擬機故障或者主機故障場景,通過監控虛擬機或物理機,當虛擬機故障時在原主機上重新拉起；物理機故障則在其它主機上拉起所有故障的虛擬機。組網架構生產站點部分正在運行的主機或虛擬機發生異常〔如主機下電、主機重啟、虛擬機藍屏,虛擬機優先通過DRS功能在本地冗余主機上HA。若本地冗余主機資源不足,則虛擬機通過集群內HA功能在容災站點主機上HA。發生容災時,虛擬機短時間內不可用〔依賴于虛擬機HA時間,數據無丟失。容災后,生產站點虛擬機仍然訪問本地存儲資源,容災站點容災虛擬機將跨站點訪問生產站點的存儲資源。技術特點當計算節點上的虛擬機出現故障時,系統自動將此虛擬機在其他正常的計算節點上恢復,使該虛擬機能正常使用。虛擬機在HA的過程中不可以使用。HA的目標服務器必須滿足該虛擬機需要的資源要求。虛擬機HA只能在同一個遷移域中進行,一個遷移域即一個Cluster。數據庫層解決方案OracleRAC技術技術概述RAC全稱RealApplicationClusters,是Oracle數據庫高可用技術的一種,也是Oracle數據庫支持網格計算環境的核心技術。從10g版本開始Oracle推出了OracleClusterware集群軟件,使得RAC不再依賴于第三方廠商得集群軟件實現多節點并發的集群數據庫。如圖所示,一組OracleRAC數據庫服務器組成一個集群,他們之間通過高速內網相互聯,共享緩存。用戶通過外部網絡連接到數據庫集群,當數據庫服務器有單點故障時,上層用戶不會受到任何影響。數據庫集群共享下層的SAN存儲。OracleRAC是Oracle數據庫高可用技術之一,也是Oracle數據庫支持網格計算環境的核心技術,可提供多節點并發的數據庫應用,并通過監聽客戶端和服務器端實現負載均衡,把用戶連接分配到不同的節點上執行。OracleExtendedRAC在OracleRAC技術基礎上提供了一種跨數據中心的雙活集群架構,當單中心故障時,另外一個數據中心存活的節點可自動接管業務,接管過程對上層業務透明,用戶無感知。基于OracleExtendedRAC,構建雙活數據中心來并行承擔相同業務,提高數據中心的整體服務能力和系統資源利用率成為可能。在這種場景下,兩個數據中心互為備份,當單數據中心故障時,業務可以能自動切換到另一數據中心,業務不中斷。OracleExtendedRAC的核心是共享存儲子系統,通過共享訪問數據文件、重做日志文件、控制文件和參數文件的方式,確保各節點都能進行讀寫操作,且在單個節點出現故障時,剩余節點能夠自動接管并恢復數據庫。雙活架構數據中心方案采用共享卷技術,將跨數據中心的存儲空間以共享方式提供給上層應用訪問,滿足OracleRAC共享存儲需求,使得兩個數據中心的節點可構成一個跨數據中心OracleExtendedRAC集群。OracleExtendedRAC集群配合Oracle監聽器技術,可實現客戶端在數據中心間業務雙活訪問和負載均衡；配合Oracle透明應用程序故障轉移〔TAF技術,當服務器或單數據中心故障時,使客戶端能夠在新的連接中繼續工作,防止業務中斷。構建以OracleExtendedRAC為數據平臺的雙活數據中心,底層以虛擬化智能存儲和智能光傳送平臺為基礎,以100km光傳輸距離為限,解決了傳統災備中心不能承載業務和自動業務切換的問題,為應用系統提供最高的業務連續性保障,確保業務系統發生設備故障、甚至單數據中心故障時,業務無感知自動切換,實現RPO〔RecoveryPointObjective和RTO〔RecoveryTimeObjective都為零。以OracleExtendedRAC為數據平臺的雙活數據中心,其亮點和優勢如下：高可用性：兩中心數據實時鏡像同步,任一數據中心故障,另一數據中心可自動接管業務,實現RPO=0、RTO=0。結合存儲虛擬化層的快照技術,可防止人為誤操作導致的數據錯誤