1、數據中心解決方案之災備方案設計1.數據中心容災備份解決方案隨著社會的發展和科技的進步，政府日常工作越來越依賴于數據處理來進行，政務系統的連續性依賴于數據中心系統的穩定運行。然而，災難就像灰塵一樣伏擊在運營環境周圍，政務系統的數據中心可能正在一個充滿風險和威脅的環境下運行。如果不能對這些風險采取有效治理，一旦數據由于某種原因丟失，就很有可能對政府的日常工作造成嚴重的影響。如果核心數據丟失，將會使得某些核心功能陷入癱瘓，造成不可估量的損失。因此，保證政務的連續性和數據的高可靠性和可用性，已經成為政府部門在數據中心建設中，必須要考慮的問題。1.1災備解決方案原則首先，在制定容災系統方案的過程中要考慮

2、的就是容災系統建設對原有業務系統帶來的影響。比如，采用數據復制技術對系統I/O帶來的延遲，應用數據同步對日常業務處理系統帶來的壓力等。因此，企業要通過周密的測試和分析來規避容災系統建設時帶來的這些風險，以保證業務系統不會因容災系統的建設而出現在處理性能上下降的問題。第二，數據狀態要保持同步。為保證在災難發生時，業務可以成功地切換到備份中心，就必須保證容災系統數據同步機制的可靠性。因此，建立可靠的數據同步校驗機制是必須的; 同時，還要考慮建立定時的、自動的數據同步核查對比機制，以檢驗兩個中心數據的一致性，這是數據容災工作中非常重要的一部分。第三，容災系統的日常維護工作要盡可能輕，并能承擔部分業務

3、處理和測試的工作。容災系統的維護和管理是容災切換成功的重要保證，在系統建設中，就必須要考慮系統的維護管理流程。生產中心任何業務處理過程的改變都必須完整地復制到備份中心; 所有新業務系統上線時，必須通知備份中心，并在備份中心配置好數據同步機制; 對原程序的改動也必須保證兩個中心同時上線。第四，系統恢復時間要盡可能短。容災系統主要是為了實現在主中心系統發生災難時，可以在規定時間切換到備份中心，保證數據不會丟失，并且繼續向用戶提供服務。但往往在災難發生時，主要技術人員不能及時到達現場，為了順利實現系統間的切換，應該讓系統切換操作盡可能地簡單; 并建立固定化的、標準化的切換流程，要求維護人員在切換演習

4、時嚴格按照流程的指導步驟進行操作。第五，可實現部分業務子系統的切換和回切。當人事變動、業務變化、IT設施變化以及其他可能引起恢復規劃文檔失效的變化發生時，應及時更新各恢復規劃文檔，并在必要時啟動模擬測試或演習，確保業務連續性系統的工作能力。第六，技術方案選擇要遵循成熟穩定、高可靠性、可擴展性、透明性的原則。目前，國際上比較成熟的容災技術包括： SAN/NAS技術、遠程鏡像技術、虛擬存儲、基于IP的SAN互連技術以及快照技術等。其中基于IP的SAN遠程數據容災備份技術應用比較廣泛，其是利用基于IP的SAN的互連協議，將主數據中心SAN中的信息通過現有的TCP/IP網絡，遠程復制到備份中心的SAN

5、中的。當備份中心存儲的數據量過大時，可利用快照技術將其備份到磁帶庫或光盤庫。這種基于IP的SAN遠程容災備份，可以跨越LAN、MAN和WAN，成本低、可擴展性好。基于IP的互連協議主要包括FCIP、iFCP、InfiniBand、iSCSI等。第七，構建系統方案可以選擇多種技術組合方式。目前，業內應用較多的容災方案是基于智能存儲系統的遠程數據復制技術，它是由智能存儲系統自身實現的數據遠程復制和同步，即智能存儲系統將對該系統中的存儲器I/O操作請求復制到遠端的存儲系統中并執行。由于在這種方式下，數據復制軟件運行在存儲系統內，因此較容易實現主中心和容災備份中心的操作系統、數據庫、系統庫和目錄的實時

6、拷貝及維護能力，且不會影響主中心主機系統的性能。如果在系統恢復場具備了實時數據，那么就可以做到在災難發生時，及時開始應用處理過程的恢復。但這種方案也有開放性差(不同廠家的存儲設備系統一般不能配合使用)、對于主、備中心之間的網絡條件(穩定性、帶寬、鏈路空間距離)要求較苛刻等缺點。1.2災備解決方案設計需要考慮的因素1.2.1 RTO和RPORTO（RecoveryTime Object）：是指災難發生后，從IT系統宕機導致業務停頓之刻開始，到IT系統恢復至可以支持各部門運作，業務恢復運營之時，此兩點之間的時間段成為RTO。RTO是反映業務恢復及時性的指標，表示業務從中斷到回復正常所需要的時間。R

7、TO值越小，代表容災系統的數據恢復能力越強。各種容災解決方案的RTO有較大差別，基于光通道技術的同步數據復制，配合異地備用的業務系統和跨業務中心與備份中心的高可用管理，這種容災解決方案具有最小的RTO。RPO（Recovery Point Objective），是指從系統和應用數據而言，要實現能夠恢復至可以支持各部門業務運作，系統及生產數據應恢復到怎樣的更新程度。RPO是反映恢復數據完整性的指標，在同步數據復制方式下，RPO等于數據傳輸延遲的時間；在異步數據復制下，RPO基本為異步傳輸數據排隊的時間。在實際應用中，考慮導數據傳輸的因素，業務數據庫與容災備份數據庫的一致性（SCN）是不同的，RP

8、O表示業務數據庫與容災備份數據庫SCN的時間差。發生災難后，啟動容災系統完成數據恢復，RPO就是新恢復業務系統的數據損失量。設計容災系統不能只看RTO和RPO，對于不同的業務系統和用戶特殊的要求，其它一些指標有可能成為選擇容災解決方案的主要因素。例如，某些地區為了防范一些特定自然災害的風險，要求容災備份中心與業務中心保持足夠的距離，在這種情況下，容災備份中心與業務中心的距離要求就是容災系統的重要指標。1.2.2數據安全數據的完整性，一致性是保證業務連續的關鍵。在本地，數據安全需要使用RAID技術來保證。在災備方案的設計中，數據復制方案的設計是整個設計的基礎。目前業界主流的數據復制技術有：基于數

9、據庫本身的復制技術，基于操作系統的數據復制，基于虛擬存儲的復制技術和基于存儲的復制技術。在方案所用技術的選擇時，應當根據客戶的預算，現場的條件，綜合來進行考量。后續在1.6.1數據同步章節，將會有這4類數據復制技術的綜合對比，可以作為選擇的參考。1.2.3網絡安全通信網絡是容災系統的組成部分，通信線路的質量也是容災系統的性能指標之一，其中包括網絡的數據傳輸帶寬、網絡傳輸通道的冗余和網絡服務商的服務水平（網絡年中斷率）。如果容災系統使用的通信網絡是確定的，為了比較不同容災解決方案，可以用單位存儲容量的數據庫在同一通信網絡上的數據完全恢復時間作為一項設計指標。1.2.4業務連續性業務連續性是災備方

10、案的最終目標，是方案的價值所在。為了保證業務的連續，首先需要數據的連續，之前我們討論了數據安全相關的內容。其次，在數據連續的基礎上，出現災難時，系統需要能夠滿足（1）網絡切換（2）應用切換。以此，來保證系統能夠順利切換到災備地，繼續安全運營，最大化保證客戶利益。1.3國標系統災備等級劃分及應對措施國家信息系統災難恢復規范（GB/T 20988-2007）規定了六個級別的容災，下表分別針對每個級別給出了相應的應對措施。級別內容措施Level6數據零丟失和遠程集群支持實現遠程數據實時備份，實現零丟失；應用軟件可以實現實時無縫切換；遠程集群系統的實時監控和自動切換能力；Level5實時數據傳輸及完整

11、設備支持實現遠程數據復制技術；備用網絡也具備字哦那個或集中切換能力；Level4電子傳輸及完整設備支持配置所需要的全部數據和通訊線路及網絡設備，并處于就緒狀態；7*24運行；更高的技術支持和運維管理；Level3電子傳輸和部分設備支持配置部分數據，通信線路和網絡設備；每天實現多次的數據電子傳輸；備用場地配置專制的運行管理人員；Level2備用場地支持預定時間調配數據，通信線路和網絡設備；備用場地管理制度；設備及網絡緊急供貨協議；Level1基本支持每周至少做一次完全數據備份；制定介質存取驗證和轉儲的管理制度；完整測試和演練的災難恢復計劃；1.4容災技術分析1.4.1備份方式(1)冷備份備份系統

12、未安裝或未配置成與當前使用的系統相同或相似的運行環境, 應用系統數據沒有及時裝入備份系統。一旦發生災難，需安裝配置所需的運行環境，用數據備份介質（磁帶或光盤）恢復應用數據，手工逐筆或自動批量追補孤立數據，將終端用戶通過通訊線路切換到備份系統，恢復業務運行。優點：設備投資較少，節省通信費用，通信環境要求不高。缺點：恢復時間較長，一般要數天至1周，數據完整性與一致性較差。(2)溫備份將備份系統已安裝配置成與當前使用的系統相同或相似的系統和網絡運行環境，安裝了應用系統業務定期備份數據。一旦發生災難，直接使用定期備份數據，手工逐筆或自動批量追補孤立數據或將終端用戶通過通訊線路切換到備份系統，恢復業務運

13、行。優點：設備投資較少，通信環境要求不高。缺點：恢復時間長，一般要十幾個小時至數天，數據完整性與一致性較差。(3)熱備份備份處于聯機狀態，當前應用系統通過高速通信線路將數據實時傳送到備份系統，保持備份系統與當前應用系統數據的同步；也可定時在備份系統上恢復應用系統的數據。一旦發生災難，不用追補或只需追補很少的孤立數據，備份系統可快速接替生產系統運行，恢復營業。優點：恢復時間短，一般幾十分鐘到數小時，數據完整性與一致性最好，數據丟失可能性最小。缺點：設備投資大，通信費用高，通信環境要求高，平時運行管理較復雜。在計算機服務器備份和恢復中，冷備份服務器（cold server）是在主服務器丟失的情況下

14、才使用的備份服務器。冷備份服務器基本上只在軟件安裝和配置的情況下打開，然后關閉直到需要時再打開。溫備份服務器（warm server）一般都是周期性開機，根據主服務器內容進行更新，然后關機。經常用溫備份服務器來進行復制和鏡像操作。熱備份服務器（hot server）時刻處于開機狀態，同主機保持同步。當主機失靈時，可以隨時啟用熱備份服務器來代替。對于關鍵的業務，Primeton建議采用同城熱備異地熱備的方式進行部署，對于一般性的業務，建議采用同城熱備異地溫備（應用不啟動，數據保持異步復制）的方式進行部署。1.4.2數據復制技術目前數據復制技術主要有如下表所列4種，基于紅色字體部分的要求，結合客戶

15、的需要，Primeton推薦采用基于存儲或者基于應用程序的數據復制技術來進行數據同步。存儲系統數據復制操作系統層數據復制應用程序層數據復制基于存儲的數據復制虛擬存儲技術基本原理數據的復制過程通過本地的存儲系統和遠端的存儲系統之間的通信完成。復制技術是伴隨著存儲局域網的出現引入的，通過構建虛擬存儲上實現數據復制。通過操作系統或者數據卷管理器來實現對數據的遠程復制。數據庫的異地復制技術，通常采用日志復制功能，依靠本地和遠程主機間的日志歸檔與傳遞來實現兩端的數據一致。平臺要求同構存儲與平臺無關，需要增加專有的復制服務器或帶有復制功能的SAN交換機同構主機、異構存儲與平臺無關復制性能高高高較高資源占用

16、對生產系統存儲性能有影響對網絡要求高對生產系統主機性能有影響占用部分生產系統數據庫資源技術成熟度成熟成熟度有待提高，非主流復制技術。成熟成熟投入成本高，需要同構存儲較高，需要專有設備較高，需要同構主機一般部分軟件免費，如DataGuard復制軟件IBM PPRCEMC SRDFHP CA（Continues Access）HDS TrueCopyBrocade Tapestry DMMUIT SVMEMC VSM 原廠技術：IBM AIX LVMHP-UINX MirrorDiskSun Solaris SVM專業的復制軟件：Symantec SF/VVROracle DataGua

17、rdOracle GoldenGateDNT IDRDSG RealSyncQuest SharePlex1.4.3重復數據刪除技術重復數據刪除技術是指將存儲系統中存在的大量內容相同的數據刪除，只保留其中一份，從而縮減存儲空間的技術。在云災備中，該技術既能大幅減少災備中心存儲的數據量，降低災備中心的建設和運維成本，又能大幅減少數據備份和恢復過程中用戶和災備提供商間的數據傳輸量，提高備份和恢復的性能，是一項十分重要的技術。隨著災備中心的規模不斷增大，存儲的數據量和訪問量不斷增加，單一節點上的重復數據刪除方法已不能滿足性能和容量的需求。除上述基本重復數據刪除技術外，一些優化和改進技術對云災備是至關

18、重要的，包括高性能、可擴展的、分布式的重復數據刪除技術，以及為提高災備中心數據可靠性的高可靠重復數據刪除技術。1.4.4操作系統虛擬化技術    除了數據級的災備，還應提供系統級的災備。即在將數據復制到云端的同時，也將受保護的應用程序的狀態復制到云端，當災難發生時可以立即切換到云端的應用程序運行，保證業務連續性。系統級災備是通過操作系統虛擬化和檢查點實現的。檢查點用來捕獲進程某一時刻的運行狀態，從而實現進程遷移。進程遷移既可以是用戶應用程序進程到云災備中心的遷移，也可以是云災備中心內部的虛擬機池間進程遷移，以實現根據前端用戶的需求自動地調節災備服務提供商有限的硬件與軟件資源

19、，動態地、彈性的反應前端業務對災備的需求。當程序因故障中斷，如果不能保留其中間運行狀態，恢復后從頭運行將會帶來極大的消耗。檢查點技術能夠解決這個問題。通過保留各個進程的運行狀態，恢復時能夠復原到最近一次保留的數據映像。傳統的檢查員機制是基于庫的檢查點機制。例如以靜態庫的形式實現，或通過加載動態鏈接庫來追蹤程序運行過程中的數據變化。也有一些檢查點機制實現于內核級別甚至硬件級別。例如通過在文件系統層之上引入一個中間層來實現保留文件系統狀態的檢查點機制；或者借助Fuse內核模塊實現的支持檢查點機制的文件系統，通過Fuse偵測、攔截內核級別的文件系統操作并將控制權傳遞給用戶，從而能夠在用戶空間對文件系

20、統狀態進行保留。隨著操作系統虛擬化技術的發展，基于虛擬容器的檢查點技術也得到了很好的應用。虛擬容器是通過系統虛擬化技術構建出來的一個進程運行的較獨立的上下文環境。虛擬容器檢查點技術能夠有效保護容器內運行的應用程序和服務而不需要對應用進行修改。1.5總體架構設計1.5.1Primeton“兩地三中心”容災解決方案架構設計結合近年國內出現的大范圍自然災害，以同城雙中心加異地災備中心的“兩地三中心”的災備模式也隨之出現，這一方案兼具高可用性和災難備份的能力。1.5.1.1“兩地三中心”本地高可用和容災保護策略（1）本地保護策略： 本地高可用 本地clone 持續數據保護 B2DBVTL 磁帶備份 A

21、rchive Log備份（2）容災保護策略 應用級或者數據級容災 同級容災、降級容災 同步數據保護異步數據保護 容災數據復制技術 主備中心運營方式雙主中心運營方式多中心運營方式 短、中、遠期容災策略1.5.1.2“兩地三中心”功能定位生產中心同城備份中心異地災備中心生產生產（雙活或熱備）生產備份備份備份災備災備災備開發監控測試測試 監控監控 管理管理  同城雙中心是指在同城或鄰近城市建立兩個可獨立承擔關鍵系統運行的數據中心，雙中心具備基本等同的業務處理能力并通過高速鏈路實時同步數據，日常情況下可同時分擔業務及管理系統的運行，并可切換運行；災難情況下可在基

22、本不丟失數據的情況下進行災備應急切換，保持業務連續運行。與異地災備模式相比較，同城雙中心具有投資成本低、建設速度快、運維管理相對簡單、可靠性更高等優點。異地災備中心是指在異地的城市建立一個備份的災備中心，用于雙中心的數據備份，當雙中心出現自然災害等原因而發生故障時，異地災備中心可以用備份數據進行業務的恢復。1.5.1.3“兩地三中心”容災架構設計邏輯架構模型設計：物理架構設計：方案特點： 同城范圍有效保證了數據的安全性和業務連續性； 異地復制數據根據災難情形，盡可能降低數據丟失機率； 同城雙中心為同步復制，數據實時同步，RPO=0； 異地無距離限制，保證數據一致性，保證了數據的有效保護； 異地

23、容災帶寬要求低，先進的復制機制提高帶寬利用率。對于本地本級備份，應建立在線、近線、離線等多級存儲備份系統，充分利用先進的備份手段和備份策略，形成完整的本地備份管理解決方案；備份的數據包括操作系統、數據文件以及應用服務環境等多個方面；日常訪問的重要數據采用磁盤或者虛擬帶庫方式備份，歸檔數據和非重要數據采用磁帶庫方式備份；重要數據應至少保證每周做一個全量備份，平時做增量備份。對于數據級異地災備中心，選址上，應進行風險分析，避免異地備份中心與主中心同時遭受同類風險；網絡備用系統上，必須在核心網絡層面實現熱備，保證災備中心區域內通信的可靠性；數據備份系統上，主中心與備份中心的備份鏈路應有冗余，并確保2

24、小時內將主中心的增量數據復制或備份到災備中心；數據處理備用系統上，配備災難恢復所需的全部數據處理設備，并處于就緒狀態或運行狀態，與主中心共同承擔部分核心應用的查詢服務功能。對于同城應用級災備中心，選址上，主中心與同城災備中心距離應小于100KM；網絡備用系統上，在核心網絡層面實現熱備，主中心與應用級災備中心間通過裸光纖互聯或VPLS互聯，部署TRILL構建大二層網絡，滿足虛擬化需求；網絡負載均衡上，主中心網絡與災備中心網絡的負載均衡，提高災備網絡利用率與災備網絡可用性，正常情況下數據流同時使用兩個中心的網絡，主中心網絡出現故障時，則全部數據流向災備網絡；應用集群切換上，關鍵業務系統集群實現手動

25、切換，主中心與同城災備中心之間建立高可用性監控技術，實現災備中心應用服務器集群與主中心生產服務器集群之間的高可用性切換；云計算技術采用上，采用虛擬化技術對同城災備中心進行規劃建設，同時，根據業務關鍵程度、對性能的要求，系統平臺選擇不同檔次和不同平臺的主機資源池、存儲資源池。1.5.2基于不同服務需求選擇不同可靠性“兩地三中心”架構1.5.2.1服務等級劃分的可靠性服務級別tier1tier2tier3tier4服務內容關鍵任務服務,需要最高級別的可靠性。高端技術和工具將會被用來滿足最高級別的可靠性。如果丟失一個組件，如服務器，一塊存儲，或者一個通信鏈接，都將會導致服務不可靠。每個應用和基礎服務都會制定性能指標。這些指標都將會被監控，并會通過業務支持的流程以特定格式輸出。這個site不僅僅包含基礎架構組件。關鍵業務服務的運維和tier1一樣，但是某些限制非可靠級別的服務可以容忍短時間的不可恢復的影響。高端技術和工具將會盡量