1、   第七章 系統災難備份     7.1 容災技術的意義     當應用系統的一個完整環境因災難性事件(如火災、地震等)遭到破壞時，為了迅速恢復應用系統的數據、環境，立即恢復應用系統的運行，保證系統的可用性，這就需要異地災難備份系統(也稱容災系統)?？梢哉f，對于關鍵事物的處理系統,如聯通的各項業務系統（客戶服務、計費、IDC 等），建立最高級別的安全體系，也是提高服務質量、在競爭中立于不敗之地的重要舉措。     長期以來,對企業而言,建立一套

2、可行的容災系統相當困難,主要是高昂的成本和技術實現的復雜度。鑒于此,從可行性而言,必須具有良好的性能價格比。     建立異地容災系統，即指建立遠程的數據中心，通過配置遠程容災系統將本地數據實時進行遠程復制，同時實現本地系統故障時應用系統的遠程啟動，確保系統的不中斷運行。     建立異地容災中心的優勢在于： · 強大的一級災難抗御能力。 · 有效防止物理設備損傷產生的災難后果。 · 提供99.9999%的安全機制。 · 實時數據復制提供強大的數據交換能力。 

3、60;  隨著數據安全技術的發展，Cluster（HA）的技術越來越成熟，Cluster 的部署越來越普及，Cluster 技術確實解決了用戶系統的高可用性問題，為業務的良性發展提供了穩定的基石。隨著業務的發展，商業環境對服務供應商提出的要求也越來越苛刻，這必將使應用系統及其數據對高可用性的要求走上一個新的臺階。     一個本地Cluster 系統理論上可以提供99.99%以上的系統高可用性，但一旦發生火災、自然災害、人為破壞等意外事件，服務商將如何應對呢？如果沒有必要的準備和應對手段，這樣的一次意外對服務上來說將是災難性的。對于I

4、T 部門來講，要提高自己的抗災能力，其必要的技術就是建立起一個容災系統。     7.2 容災技術的分類     一個容災系統的實現可以采用不同的技術，一種技術是：采用硬件進行遠程數據復制，存儲工程師稱為硬件復制技術。這種技術的提供者是一些存儲設備廠商。數據的復制完全通過專用線路實現物理存儲設備之間的交換。另一種技術是：采用軟件系統實現遠程的實時數據復制，并且實現遠程的全程高可用體系（遠程監控和切換）。這種技術的代表如VERITAS 等一些著名存儲軟件廠商。存儲工程師在下面的章節會對以上兩種技術進行詳細的論述。 &

5、#160;   容災系統的歸類在另一個方面要由其最終達到的效果來決定。從其對系統的保護程度來分，存儲工程師可以將容災系統分為：數據容災和應用容災。     所謂數據容災，就是指建立一個異地的數據系統，該系統是本地關鍵應用數據的一個實時復制。在本地數據及整個應用系統出現災難時，系統至少在異地保存有一份可用的關鍵業務的數據。該數據可以是與本地生產數據的完全實時復制，也可以比本地數據略微落后，但一定是可用的。     所謂應用容災，是在數據容災的基礎上，在異地建立一套完整的與本地生產系統相當

6、的備份應用系統（可以是互為備份）。建立這樣一個系統相對比較復雜，不僅需要一份可用的數據復制，還要有包括網絡、主機、應用、甚至IP 等資源，以及各資源之間的良好協調。應用容災應該說是真正意義上的容災系統。     存儲工程師先討論一下數據容災。     數據容災（硬件容災方案和軟件容災方案均包括），又稱為異地數據復制技術，按照其實現的技術方式來說，主要可以分為同步傳輸方式和異步傳輸方式（各廠商在技術用語上可能有所不同。而根據容災的距離，數據容災又可以分成遠程數據容災和近程數據容災方式。下面，存儲工程師將主要按同步傳輸

7、方式和異步傳輸方式對數據容災展開討論，其中也會涉及到遠程容災和近程容災的概念，并作相應的分析。 7.2.1 同步傳輸的數據復制     有關同步數據容災，在傳統意義上講，就是通過容災軟件（可以含在硬件系統內），將本地生產數據通過某種機制復制到異地。從廣義上講，同步數據容災是指在異地建立起一套與本地數據實時同步的異地數據。       從圖7-1可以看出，采用同步傳輸方式進行異地數據容災的過程包括：     1. 本地主機系統發出第一個I/O 請求

8、A；     2. 主機會對本地磁盤系統發出I/O 請求；     3. 本地磁盤系統完成I/O 操作，并通知本地主機“I/O 完成”；     4. 在往本地I/O 的同時，本地系統（主機或磁盤系統）會向異地系統發出I/O 請求A；     5. 異地系統完全I/O 操作，并通知本地系統“I/O 完成” 6. 本地主機系統得到“I/O 完成”的確認，然后，發出第二個I/O 請求B。 圖 7-1 同步數據的一個實例  

9、;  不同的異地數據復制技術的實現方式是不同的，包括：       基于主機邏輯卷層的同步數據復制方式（軟件復制方式）；       基于磁盤系統I/O 控制器的同步數據復制方式（硬件復制方式）；     首先，描述基于主機邏輯卷的同步數據復制方式。基于主機邏輯卷的同步數據復制方式以VERITAS Volume Replicator（VVR）為代表，VVR是集成于VERITAS Volume Manager（邏輯卷管

10、理）的遠程數據復制軟件，它可以運行于同步模式和異步模式。在同步模式下，其實現原理如下圖： 圖7-2 基于邏輯卷的數據復制實例     當主機發起一個I/O 請求A 之后,必然通過邏輯卷層，邏輯卷管理層在向本地硬盤發出I/O請求的同時，將同時通過TCP/IP 網絡向異地系統發出I/O 請求。其實現過程如下：     1. 本地主機系統發出第一個I/O 請求A；     2. 主機邏輯卷層會對本地磁盤系統發出I/O 請求；     3. 本

11、地磁盤系統完成I/O 操作，并通知本地邏輯卷“I/O 完成”；     4. 在往本地磁盤系統I/O 的同時，本地主機系統邏輯卷會向異地系統發出I/O 請求A；     5. 異地系統完成I/O 操作，并通知本地主機系統“I/O 完成”     6. 本地主機系統得到“I/O 完成”的確認，然后，發出第二個I/O 請求B。     其次，考察基于磁盤系統的同步數據復制功能     基于磁盤系統的同

12、步數據復制功能實現異地數據容災，如SRDF 和PPRC。這兩個軟件運行的平臺是磁盤系統，部署這樣的系統必須要求在兩端采用相同種類的磁盤系統。其同步數據復制的實現原理如下圖：     當主機發出一個I/O 請求A 之后，I/O 進入磁盤控制器。該控制器在接到I/O 請求后，一方面會寫入本地磁盤，同時利用另一個控制器（或稱通道），通過專用通道（如：ESCON）、FC光纖通道（IP over FC）或者租用線路，將數據從本地磁盤系統同步的復制到異地磁盤系統。其實現過程如下：     1. 本地主機系統發出第一個I/O 請

13、求A；     2. 主機對本地磁盤系統發出I/O 請求；     3. 在往本地磁盤系統I/O 的同時，本地磁盤系統會向異地磁盤系統發出I/O 請求A；     4. 本地磁盤系統完成I/O 操作；     5. 異地系統完成I/O 操作，并通知本地磁盤系統“I/O 完成”     6. 本地次盤系統向主機確認“I/O 完成”，然后，主機系統發出第二個I/O 請求B。7.2.2 同步數據容災的性

14、能分析     利用同步傳輸方式建立異地數據容災，可以保證在本地系統出現災難時，異地存在一份與本地數據完全一致的數據備份（具有完整的一致性）。但利用同步傳輸方式建立這樣一個系統，必須考慮“性能”這個因素。     采用同步數據傳輸方式時，從前面的描述來看，本地系統必須等到數據成功的寫到異地系統，才能進行下一個I/O 操作。一個I/O 通過遠程鏈路寫到異地系統，涉及到3 個技術參數：帶寬、距離和中間設備及協議轉換的時延。       帶寬  

15、60;  本地I/O 的帶寬是100MB/秒（SAN 網絡中），在I/O 流量很大的情況下，如果與遠程的I/O帶寬相對“100MB/秒 = 800Mbit/秒”窄得多的話，如E1：2Mbit/秒；E3：45Mbit/秒，將會明顯拖慢生產系統的I/O，從而影響系統性能。        距離     光和電波在線路上傳輸的速度是30 萬公里/秒，當距離很長時，這種線路上的延時將會變得很明顯。例如：一個異地容災系統的距離是1000KM，其數據庫寫盤的數據塊大小是10KB（一次I/O

16、 的數據量），那么： 本地I/O 時（100 米距離內）：     此數字遠遠超過光纖通道帶寬本身，也就是說，光電在100 米距離的線路上的延時對性能的影響可以忽略不計。 異地I/O 的（1000 公里）：     此數據表明，在1000 公里距離上，允許的最大I/O 量在不存在帶寬限制時，已經遠遠低于本地I/O 的能力。（注：上面分析還未考慮中間設備及協議轉換的延時）。       中間鏈路設備和協議轉換的時延    

17、60;中間鏈路設備和協議轉換的方式的不同，時延不同，對性能的影響也不同。在對性能影響的分析中，這個因數也應計算在內。目前不同異地數據復制技術所依賴的介質和協議不同，存儲工程師將介質、協議和大概時延例表如下，這里提供的數據只精確到數量級，僅供參考，實際數據應該向設備供應商索取。 表 7-1 數據線路處理時延估計     下面是一個線路時延分析對照表，供參考。 表 7-2 數據傳輸距離時延     在1000 公里和100 公里距離上，采用租用線路和ATM，允許的最大I/O 能力（假定帶寬足夠，數據塊大小以10KB 為

18、例）： 表 7-3 線路系統考察     在10 公里距離上，采用各種傳輸協議允許的最大I/O 能力，數據塊大小以10KB 為例（假定帶寬足夠）： 表7-4 等距離條件下的時間延時   7.2.3 異步數據復制方式     從前面的分析來看，同步數據容災一般只能在較短距離內部署（10KM-100KM），大于這個距離，就沒有實際應用價值了。因為即使在1000KM 距離上，4.5MB 的速率即使將數據復制到異地，每個I/O 的響應時間也會超過10ms，這種響應速度太慢。   &#

19、160; 異步數據容災是在“線路帶寬和距離能保證完成數據復制過程，同時，異地數據復制不影響生產系統的性能”這樣的要求下提出來的?？紤]異步數據容災，應該注意到以下幾個技術條件和事實。 · 帶寬必須能保證將本地生產數據基本上完全復制到異地容災端，還要考慮距離對傳輸能力的影響。 · 按照前面的估算：在1000 公里范圍內，一條帶寬足夠的線路能支持的I/O 流量最大為（數據塊大小10KM ）：1.4MB×3600 秒×24 小時=120GB/天 · 異地容災遠端數據會比本地生產端數據落后一定時間,這個時間隨采用的技術，帶寬、距離、數據流特點的

20、不同而不同。一般而言，軟件方式的數據復制技術具有完整的數據包的排隊和斷點重發機制，在災難情況下可以保證災難時間點的數據一致性。 · 異步容災基本不影響本地系統性能。    與同步傳輸方式相比，異步傳輸方式對帶寬和距離的要求低很多，它只要求在某個時間段內能將數據全部復制到異地即可，同時異步傳輸方式也不會明顯影響應用系統的性能。其缺點是在本地生產數據發生災難時，異地系統上的數據可能會短暫損失（如果廣域網速率較低，交易未完整發送的話），但不影響一致性（類似本地數據庫主機的異常關機）。     通過異步傳輸模式進

21、行異地數據復制的技術，包括： · 基于主機邏輯卷的數據復制方式 · 基于磁盤系統I/O 控制器的數據復制方式    基于主機邏輯卷（Volume）的數據復制方式     首先申明：針對這種方式，這以VERITAS VVR 為例，但并不表示所有基于主機進行復制的其它軟件采用同樣方式，也不保證其它軟件是有應用價值的。     VERITAS VVR （Volume Replicator）通過基于Volume 和Log 的復制技術，保證在任何時刻本地系統發生自然

22、災難時，在異地的數據仍是可用的。     VERITAS VVR 在異步模式下采用了Log 技術來跟蹤未及時復制的數據塊，這個Log 是一個先到先服務的堆棧，每一筆I/O 處理都會首先被放進這個Log，并按到達先后順序被復制到異地服務器系統。 下圖是其工作的結構原理。 圖7-4 基于邏輯卷的異步數據復制     從上圖，存儲工程師可以看到整個I/O 和復制的過程如下： · 本地主機系統發出第一個I/O 請求A 到邏輯卷； · 邏輯卷對本地磁盤系統發出I/O 請求； · 在往本地磁盤系統

23、I/O 的同時，邏輯卷向本地磁盤系統上的VVR Log 發出相同的寫請求； · 本地磁盤系統完成I/O 操作；并通知邏輯卷“I/O 完成”； · VVR 完成針對這個I/O 的遠程操作，并通知邏輯卷； · 邏輯卷向主機確認“I/O 完成”。    服務器的另一個進程：VVR 的進程，負責將Log 隊列中的I/O 復制到異地服務器。這個過程和上面的I/O 過程在時間上無關。如上圖中的標記：“I”和“II”。     I: 本地VVR 進程從Log 隊列中取出最先到達的I/O，復制到異地服

24、務器     II: 異地服務器接收到本地服務器VVR 發出的I/O 請求，將相應數據寫到異地磁盤系統，然后，通知本地系統VVR 進程，要求下一個I/O。     這里，跟蹤未及時復制的數據塊的Log 技術是保證異地數據可用的必要條件。一個數據庫的I/O 是有嚴格順序的，這個順序是保證數據庫完整性的必要條件，一個完整性被破壞的數據庫一般是不可用的，比如根本無法啟動、打開該數據庫，且是無法修復的。本地數據庫的完整性是由數據庫本身來維護的。當一個數據庫被實時復制到異地時，要保證異地數據庫的完整性，必然保證在異地磁盤I/

25、O 上的I/O 順序和本地I/O 順序完全相同，否則，異地數據庫的完整性就無法保證。     VERITAS VVR 采用的I/O 控制機制是支持先到先服務的Log 技術，因此，不管異地數據比本地數據落后多少時間，都能保證異地數據庫數據的一致性。比如：本地系統在12：00 時發生自然災難，由于部分數據未被及時復制到異地，如有10 分鐘的數據未完成復制，那么在異地系統上存在11：50 分鐘以前的所有數據，且這個數據庫是可用的。     目前的基于磁盤系統的異地數據復制技術采用Bitmap 技術和Timestamp 技

26、術，這兩種技術都不能保證本地向異地復制數據的順序嚴格和本地I/O 的順序相同，所以，這兩種方式都不能保證異地數據庫的完整性。     Bitmap（位圖）技術記錄未被及時復制的數據塊的方法是：對于每個數據塊（如32KB）用一個Bit 來對應，某一個Bit 被置為“1”時，表示其對應的數據塊已被修改過，正在等待處理（這里是等待被復制）。由此可以看出，當有一塊以上的數據塊未被及時復制時，系統并無法確認哪一塊數據塊應該先復制到異地，所以，系統將任選一塊，即不按到達的時間先后進行復制。     可以看出，這種方式不能根本保

27、證異地數據庫數據的完整性、一致性。     Timestamp 方式是對每個未及時傳送的數據塊蓋上一個時間戳。從表面上看，由于時間戳的關系，好像能確定一個數據塊被修改的時間順序了。其實不然：當一個未被及時復制的數據塊被第2 次修改，并蓋上新的時間戳時，數據復制的順序就被破壞了。例如：     現在有10 塊數據塊未被復制，編號“1、2、3、4、5、6、7、8、9、10”；這時，第3 塊數據被再次修改，并被蓋上一個新的時間戳“11”；這時，系統會按這樣的次序進行復制：“1、2、（沒有3）、4、5、6、7、8、9、10

28、、11”。存儲工程師可以看到，在復制進行到“410”之間時，異地數據的完整性被破壞。     事實上，在一個運行繁忙的系統中，出現這種情況機率極高，甚至每時每刻都處在這種狀態之下。所以，本著嚴格的，對系統可用性負責任的態度，可以認為“Timestamp”的技術雖然比Bitmap 技術有一定優勢，但實際上也無法保證異地數據的完整性和可用性。     Bitmap 和Timestamp 方式的技術弱點：沒有log；     作為磁盤系統內置的數據復制功能，傳統的磁盤管理模式沒有考

29、慮在磁盤系統內部開辟出一個磁盤塊給磁盤系統控制器本身使用，所以，磁盤系統無法采用log 模式進行異步數據復制。     磁盤系統保留異步傳輸模式的目的：復制，但不是容災復制；     數據復制的目的不僅僅是容災。數據容災要求兩地時時保持連接，數據復制過程在任一時間都在進行（除非有線路或設備故障）。而非容災性復制只要求在某一個時間段里將數據復制到異地，復制告一段落后（在某一時刻完全同步），復制工作會暫停。這種復制可能是為一個特殊目的只做一次，如在線業務遷移；也可能每天或每月追加一次。這樣，在異地就會存在一份最大損失數

30、據量為1 天或1 個月的生產數據復制品，其對數據的保障能力，如同磁盤備份。這種方式復制數據的目的包括：1）在異地保存一份備份數據（如同磁帶備份異地保存）。2）在線業務遷移，當信息中心或其中的一個服務要遷移到另一個地方，又希望少停機（實際上也可用磁帶備份和恢復來實現）。3）利用與磁盤快照技術結合，為異地開發中心提供一個與生產數據盡量相同的測試數據源。當然，也可用于其它可能的目的。     綜上所述，可以看出，雖然基于磁盤系統的異地數據復制功能有異步傳輸模式，但實際上并不支持異步數據容災，只有像VERITAS Volume Replicator 這樣基于先進

31、先出的Log 技術的解決方案才真正支持異步數據容災7.3.1 災難備份需求的衡量指標  對于大多數企業而言，提到災難備份，最直接的反映就是增加預算，購買更多的主機，存儲設備以及相應軟件。雖然這是實施災難備份項目的一個必要步驟，但是，從“災備方案應是風險和成本相應平衡”的出發點來綜合考慮，實施災難備份項目的第一步應該從“分析評估以確定災難災難備份需求目標”開始。  􀁺 RTO (Recovery Time Objective)  RTO，Recovery Time Objective，是指災難發生后，從I/T 系統當機

32、導致業務停頓之刻開始，到IT 系統恢復至可以支持各部門運作，業務恢復運營之時，此兩點之間的時間段稱為RTO。  一般而言，RTO 時間越短，即意味要求在更短的時間內恢復至可使用狀態。雖然從管理的角度而言，RTO 時間越短越好，但是，這同時也意味著更多成本的投入，即可能需要購買更快的存儲設備或高可用性軟件。  對于不同行業的企業來說，其RTO 目標一般是不相同的。即使是在同一行業，各企業因業務發展規模的不同，其RTO 目標也會不盡相同。  RTO 目標的確定可以用下圖來說明：  7-5 投入/收益示意圖 &

33、#160;  如上所說，RTO 目標越短，成本投入也越大。另一方面，各企業都有其在該發展階段的單位時間贏利指數，該指數是通過業務沖擊分析（BIA-Business Impact Analysis）咨詢服務，以交談、問答和咨詢的方式得到確定的。在確定了企業的單位時間贏利指數后，就可以計算出業務停頓隨時間而造成的損失大小。如上圖，結合這兩條曲線關系，存儲工程師將可以找到對該企業而言比較適合的RTO 目標，即在該目標定義下，用于災難備份的投入應不大與對應的業務損失。  􀁺 RPO (Recovery Point Objective) 

34、; RPO，Recovery Point Objective，是指從系統和應用數據而言，要實現能夠恢復至可以支持各部門業務運作，系統及生產數據應恢復到怎樣的更新程度。這種更新程度可以是上一周的備份數據，也可以是上一次交易的實時數據。  與RTO 目標不同，RPO 目標的確定不是依賴于企業業務規模，而是決定于企業業務的性質和業務操作依賴于數據的程度。因此，RPO 目標對相同行業的企業而言會有些接近，而對于不同行業的企業來說仍可能會有較大差距。  RPO 目標仍是以咨詢的方式，通過與各業務部門主管的交流，了解業務流程和IT 應用的關系，以及通過回答

35、問卷的方式，確定能夠支持該企業核心業務的RPO 目標。7.3.2 重要系統災難備份主要的實現方法 在目前的技術條件下，重要系統災難備份主要的實現方法主要有一下幾種： 1. 基于應用本身的容災-應用直接指向2 個同時運作的數據中心，在任意一個中心活動情況下繼續工作 2. 基于文件/數據庫日志-通過復制數據庫日志和數據文件方式，從生產中心向容災中心進行數據容災 3. 基于復制磁盤容災-通過復制磁盤IO 的方式，從生產中心向容災中心進行數據容災，根據復制設備的不同，有可以分為： o 基于主機 o 基于磁盤陣列 o 基于智能SAN 虛擬存儲設備    下面對各種

36、方式進行一個簡單比較： 表7-5 容災方式比較     7.3.3 災難備份方式比較的分析     各種容災方式下，只有基于應用本身的方式可以做到RTO為0；其它方式一般需要進行網絡切換、存儲切換和數據庫重啟等工作，RTO一般從幾十分鐘到數小時不等。各種容災方式下，一般都要求主機和數據庫同步，雖然存在理論上的異構可能，但是在具體實施時會給開發/測試帶來巨大的難度，并大大降低容災系統的穩定程度，一般不會采用基于應用本身的方式雖然可以做到RTO為0，但是對應用要求極高，并且需要極其復雜的機制處理雙中心的數據同步問題；目

37、前浙江系統眾多，應用復雜，如果采用這種方案，需要對所有應用進行更改，實施難度極大，顧不予推薦?；诨谖募?數據庫日志的方式，只能以文件方式傳輸數據，數據丟失單位至少一個文件，無法做到RTO=0，在不允許丟失數據的關鍵應用上也不適合，顧不予推薦。     基于復制磁盤容災主要有同步和異步2種方式，異步方式無法做到RTO=0，在不允許丟失數據的關鍵應用上也不適合，顧不予推薦；同步方式的情況下，以復制主題不同進行分類。     基于主機復制磁盤數據：磁盤陣列可以異構是最大的優點；但是，這種方式容災時對主機性能有一定影響

38、，針對不同的主機需要采用不同的實現方式，目前浙江系統眾多，應用復雜，如果采用這種方案，需要對所有主機進行論證和實施，實施難度較大，顧不予推薦基于磁盤陣列復制磁盤數據：實施簡單是最大的優點，不影響主機，只鏡像數據，是目前較主流的一種容災方案；但是，這種方式容災時，需要磁盤陣列高度同構，不但要求磁盤陣列是一個廠商的，還必須是同一廠商同一系列的陣列，否則無法實現數據復制，所以，這種方案多用于已經進行存儲整合的大型系統；目前浙江的現實情況是系統非常多，不同系統采用不同磁盤陣列，很多目前的系統還不支持磁盤陣列的遠程鏡像功能；如果實施這種方案，首先需要升級/替換很多磁盤陣列，然后為每一種陣列在容災中心配置

39、相應的同構磁盤陣列，投資巨大，每一種不同的陣列采用不同的軟件，維護不便，而且，中心的各個存儲各自工作，沒有一個統一存儲池能夠靈活調配資源，資源使用也狠浪費     基于智能SAN虛擬存儲設備復制磁盤數據：這種方式擁有所有基于磁盤陣列復制磁盤數據的優點，而且通過這種方式可以解決許多基于磁盤陣列無法解決的問題： · 磁盤陣列可以完全異構，不同廠商不同系列的陣列可以混合使用，大大節約客戶方案復雜程度和實施難度 · 智能SAN 虛擬存儲設備實現遠程容災不在乎客戶現有的SAN 陣列是否支持遠程數據容災，大大保護客戶投資 · 智能SAN 虛擬存儲設備可以將中心的多個存儲設備（如果有多個的話）作為一個統一的存儲池進行管理，存儲效率大大提高 · 智能SAN 虛擬存儲設備針對不同的主機存儲設備采用統一的軟件實施遠程容災，管理維護大大簡化     所以，在目前情況下，基于智能SAN虛擬存儲設備進行磁盤復制的方式是最適合目前項目需要的，也是存儲工程師