1、 商業銀行基于華為 OceanStor的關鍵業務同城切換方案目 錄 TOC o 1-3 h z u HYPERLINK l _Toc57364353 一、同城容災存儲切換背景 PAGEREF _Toc57364353 h 3 HYPERLINK l _Toc57364354 二、關鍵業務同城容災切換目標 PAGEREF _Toc57364354 h 3 HYPERLINK l _Toc57364355 三、基于華為OceanStor 18500的容災架構設計與實現 PAGEREF _Toc57364355 h 4 HYPERLINK l _Toc57364356 四、容災切換操作 PAGERE

2、F _Toc57364356 h 14 HYPERLINK l _Toc57364357 五、存儲容災切換經驗總結 PAGEREF _Toc57364357 h 21本文以真實同城容災切換演練為背景，詳細分享行內關鍵業務系統在華為高端存儲OceanStor 18500的詳細配置與切換過程，最后對切換中的兩個典型問題進行復盤與思考。一、同城容災存儲切換背景為滿足監管機構對中小銀行機構業務連續性管理工作的要求，同時有效保障我行應對運營中斷事件的處置能力，驗證核心系統同城容災環境業務承載能力。為確保各重要信息系統完成實際業務接管的容錯容災應急切換演練，計劃選擇人行維護窗口（2020年9月20日）進行

3、全渠道業務連續性專項應急演練。二、關鍵業務同城容災切換目標近期，監管機構對中小銀行機構業務連續性管理工作的高度重視與持續關注，2019年銀保監辦發【2019】221號文，和銀保監辦發【2019】332號文對中國銀保監會辦公廳關于開展中小銀行機構業務連續性相關風險政治工作的通知進行詳細要求，提出明確的建設目標和完成時限。要求各銀行機構對業務連續性日常管理、資源建設和應急處置相關問題應于2020年末前完成整改，業務連續性演練問題應于2021年末前完成整改，并確保在此期間重要信息系統至少完成一次真實接管業務的災備切換演練。我行結合自身容災建設實際情況，在充分考慮滿足監管要求下，著手啟動9月20日行內

4、以及子公司重要業務系統容錯容災應急演練工作，既是對我行業務連續性管理工作的一次實戰檢驗，更是對監管要求的一次自我差距測評。該演練以檢驗我行業務連續性管理工作水平，提升我行信息系統容錯容災應急處置能力為首要目標。同時，以本次演練為契機和標準，常態化開展信息科技容錯容災體系建設及實戰化演練，確保我行重要業務安全、穩定、持續運營。三、基于華為OceanStor 18500的容災架構設計與實現3.1 存儲容災架構設計此次涉及容災切換的系統有33套核心及重要系統，各自配置了相應的存儲及數據庫等復制方式進行切換。本次通過華為18500進行容災切換的系統主要有短信平臺數據庫和網銀數據庫。最初僅有數據主中心建

5、立了生產系統，運行一段時間后，容災中心進行存儲擴容與物理搬遷，后與主中心配置存儲遠程復制，后續將詳細介紹存儲復制配置與切換中的具體操作。3.2 存儲同步遠程復制配置同步遠程復制能夠保證每個Pair內LUN數據的一致性。配置同步遠程復制之前需要了解整個配置的流程和檢查遠程復制的License文件，然后再配置鏈路的連通性和同步遠程復制的相關參數。檢查License文件配置前需要檢查存儲系統的License是否未導入或已過期。如果License未導入或已過期，遠程復制功能將不可用。步驟1 進入“License管理”界面。步驟2 瀏覽已激活License信息如果“已激活License”頁簽中包含遠程復

6、制特性的信息，且“運行截至日期”晚于當前日期，則說明遠程復制特性可用。如果沒有適用的遠程復制License，則需要聯系原廠申請并導入License文件。增加遠端設備通過該操作，建立本端設備和遠端設備之間的邏輯連接，用于設備之間的數據傳輸，本端設備和遠端設備之間的鏈路有FC和iSCSI兩種類型，遠端設備有本廠商和第三方廠商兩種類型，本次實施采用FC/本廠商類型。在FC的網絡環境中，添加遠端設備前，請先清除交換機上和存儲相連的端口Zone配置信息。在創建Zone時，建議每兩個端口處于同一個Zone，以防止Zone中端口過多導致遠端鏈路超出系統規格。存儲系統每個控制器與遠端設備之間最多支持8條可用的

7、鏈路，且添加遠端設備時最多使用2條鏈路。步驟：數據保護-遠端設備-增加遠端設備-增加遠端設備向導輸入用戶名/密碼：mm_user/ mm_userstorage之后，系統顯示匯總信息后，系統彈出“執行結果”提示框，提示操作成功，添加遠端設備時存儲系統之間只有一條鏈路被選擇，為了使鏈路冗余，需要在添加完遠端設備成功后手動增加鏈路。創建同步遠程復制創建同步遠程復制主要包括：配置遠程復制的基本信息、選擇遠程復制的主LUN和從LUN、設置遠程復制的屬性值。請根據頁面提示創建遠程復制。需要注意的條件與事項主要有：本端復制主LUN不能是二級快照，不是克隆從LUN，不是LUN拷貝的目標LUN，沒有在做快照回

8、滾LUN等；遠端設備上創建從LUN與主LUN容量必須相等，且映射給主機的LUN不能做遠程復制從LUN；步驟：數據保護-遠程復制-創建-創建遠程復制向導-同步模式-主LUN區域選擇遠程復制的主LUN-從LUN區域下選擇遠程復制所需從LUN-添加到Pair列表-設置同步遠程復制的屬性值-確認創建遠程復制的操作在“速率”下拉列表框中，選擇主LUN和從LUN進行同步的速率： “低”：同步速率為低，花費時間較長，適合在系統業務繁忙的時候使用。速率通常為05MB/秒。 “中”：同步速率為中，花費時間較短，適合在系統業務較繁忙的時候使用。速率通常為1020MB/秒。（默認值） “高”：同步速率為高，花費時間

9、短，適合在系統業務較空閑的時候使用。速率通常為5070MB/秒。 “最快”：同步速率為最快，花費時間最短，適合在系統業務空閑的時候使用。速率通常為100MB/秒以上。在“恢復策略”下拉列表框中，選擇當遠程復制內部I/O故障消除或復制鏈路恢復后，遠程復制Pair是否自動同步數據。 “手動”：Pair進入“待恢復”狀態，您需要手動對遠程復制Pair進行同步操作，使主從LUN數據同步。 “自動”：Pair進入“正在同步”狀態，系統自動同步主從LUN數據。（默認值）選擇遠程復制初始同步的方式“主從LUN數據不一致，創建完成后自動同步”：遠程復制創建完成后，從LUN數據將立即被覆蓋，請確保從LUN數據不

10、再使用或已備份。（默認值）“主從LUN數據不一致，創建完成后手動同步”：遠程復制創建完成后，請盡快手動同步主從LUN數據，以確保主從LUN數據一致。“主從LUN數據一致，無需同步”：請確保主從LUN數據一致，否則主LUN故障時將無法從從LUN恢復數據或接管業務，從而導致數據丟失或業務中斷。可選：選擇“啟用從LUN IO超時時間”并設置“超時時間（秒）”經過設置的超時時間后，如果數據未成功寫入從LUN，則遠程復制Pair進入“異常斷開”狀態。超時時間取值范圍為1030秒。默認值為30秒。創建一致性組、添加遠程復制遠程復制可以實現主機在單個或多個獨立主LUN進行寫操作后數據的容災備份，但是無法保證

11、在災難恢復時，主機在跨多個非獨立主LUN進行寫操作后數據的容災和備份。一致性組可以保證組內所有遠程復制Pair的從LUN數據在時間上的一致性（例如，所有從LUN數據都是其主LUN在今日下午三點的數據副本），從而確保災難恢復時主LUN數據的可用性。步驟：遠程復制-遠程復制一致性組-創建-配置一致性組的屬性-為一致性組添加遠程復制Pair-確認創建一致性組的操作四、容災切換操作4.1 主從存儲數據首次同步主從存儲遠程復制首次同步需要考慮復制時間，復制速率上限以及遠程復制對原卷的業務影響等因素，根據業務特點和要求，通過對一致性組的操作組合與狀態確認，完成首次全量同步。同步一致性組操作，可以啟動一致性

12、組中所有遠程復制Pair同時進行同步操作，使每一個遠程復制Pair的主從LUN數據在同步時間點上保持一致，以保證數據庫與應用程序在使用這些LUN數據時的有效性。需要注意，該操作只能在一致性組的主設備上進行操作，且需要確認已啟動從資源保護（只讀），其他操作條件則需要根據一致性組當前的狀態來判斷，狀態如下所示。操作步驟：遠程復制-遠程復制一致性組-選擇后右鍵同步-勾選確認，在對數據進行全量備份之后，選擇業務低峰期窗口進行開始網銀數據庫與短信平臺數據庫首次全量同步復制的動作，按照FC交換機級聯端口8Gbps（波分設備DWDM設備支持模塊速率上限為8Gbps），上限傳輸速率在1GB/s以內，出于安全需

13、要選擇“高”同步速率進行同步，實測短信平臺數據庫單LUN（2TB）同步時間在8小時，平均速度在69-97MB/s；網銀數據庫1.8TB邏輯卷(1.8TB300GB*6)，以“最快”模式進行同步，實測時間為2小時左右，同步速度在200MB/s以上，同步完成后，由于短時間主庫數據變化量沒有很大，將同步速率統一調整為“中”級，同步速率在6-9MB/s量級，保證業務在高峰期對數據庫的訪問性能，另以內外只要主、從資源狀態均保持為“已同步”則無需調整該同步模式，直至容災端業務驗證或進行容災主從切換動作。4.2 主從分裂進行容災端部署與業務測試首次全量遠程復制同步完成后，配合容災端在切換前進行基礎環境集成部

14、署，業務測試和容災切換預演等操作，通過該操作，可以使一致性組中所有遠程復制Pair同時進行分裂操作，為所有遠程復制Pair的從LUN生成在某時間點上的一份完整拷貝，以便應用這些數據進行主機集群軟件配置（資源組添加與同步等）、數據庫與中間件啟動測試、切換過程中容災側業務啟動腳本測試等操作。根據一致性組的“運行狀態”判斷是否可以執行一致性組遠程復制的分裂操作。分裂步驟：遠程復制-遠程復制一致性組-選擇后右鍵“分裂”-勾選確定-完成分裂之后還需要取消遠程復制從 LUN 寫保護，可使容災端一致性組中所有從LUN可以被重新寫入數據。該操作只能在一致性組中所有Pair分裂或鏈路斷開的異常斷開狀態下執行，操

15、作步驟：遠程復制-遠程復制一致性組-選擇并右鍵-取消從LUN寫保護-成功-確定。4.3 存儲同城容災切換與回切操作如果僅僅在容災端驗證數據，則可以通過對容災端從卷進行克隆，使用克隆從卷進行業務驗證，這樣不影響主從卷同步復制，操作風險較小。但本次容災切換演練的場景要求核心及關鍵業務系統在容災端運行時間較去年要更長，接近至少接近24小時，因此存儲需要配合數據庫以及業務在容災端將從端切換為主端，原來主端變為從端提供對主端數據的遠程復制保護；業務在容災端平穩運行一天之后，按照原有切換方式再操作一次，完成回切操作。主從存儲遠程復制一致性組狀態為“正常”時，接到總調度進行存儲切換命令之后，按照步驟：分裂-

16、取消從LUN寫保護之后，容災端業務驗證成功之后，執行“一致性組主從切換”-“啟用一致性組從 LUN 寫保護”-“同步一致性組”操作，完成以原容災側存儲為主，至原生產側存儲為從的新同步關系建立。一致性組主從切換步驟執行該操作的存儲狀態僅有一致性組狀態正常且從LUN數據狀態“已同步”，或一致性組狀態分裂且從LUN數據狀態完整時才可以執行成功。步驟為：遠程復制-遠程復制一致性組-選擇一致性組-右鍵-主從切換-勾選并確定，執行成功后，查看主從LUN角色互換。啟用一致性組從 LUN 寫保護步驟執行該操作需要一致性組狀態“分裂”，且從LUN狀態“完整”，或一致性組“異常斷開”（鏈路斷開），從LUN狀態“完

17、整”兩種狀態條件下可行，步驟：遠程復制-遠程復制一致性組選擇-選擇一致性組-右鍵-啟用從LUN寫保護-確定，操作后，從端無法寫入保護LUN數據安全。同步一致性組步驟與全同步一致，但數據傳輸方向與原來對調，而且同步數據為增量數據，數據變化量計算應從分裂之后開始，至開始同步之間的變化量，因此變化量并不會很大，很快同步完成后，提供業務在容災驗證一天時間的遠程復制保護。反向回切的步驟與上面類似，不過所操作存儲的設備為容災端為主，雖然容災端18500V1與18500V3界面稍有所不同，但并不影響操作。4.4 存儲命令行CLI方式操作為對接容災切換的自動化與標準化，特整理并驗證通過CLI方式對一致性組的操

18、作組合與狀態查詢，實現半自動化容災切換的目的。一致性組狀態查詢與關鍵狀態參數一致性組的ID、名字、健康狀態、運行狀態、恢復策略、復制模式、當前角色都可以同時直觀展示出來，各狀態作為一致性組操作的基礎和結果的驗證。演練所需存儲切換命令與預期結果分裂動作：change consistency_group split consistency_group_id=488eefd618260000-#輸入y確認取消從端寫保護：change consistency_group general consistency_group_id=488eefd618260000 second_res_access=re

19、ad_write，操作后查詢Second LUN Access由Read Only變為read_write。主從切換：swap consistency_group consistency_group_id=488eefd618260000 #輸入2次y確認show consistency_group general consistency_group_id=488eefd618260000，Running Status為 Splited，主端變為Secondary，從端變為Primary登錄對端發起反向同步：change consistency_group synchronize consis

20、tency_group_id=488eefd618260000 #輸入2次y確認狀態由同步中Synchronizing，變為Synchronized五、存儲容災切換經驗總結本次同城容災切換目標均順利達成，為關鍵系統同城容災切換演練提供有力支持，為整體自動化切換腳本提供命令行操作的標準步驟，為后續關鍵業務的容災建設提供存儲復制的底層平臺。但復盤切換過程中的問題，發現通過WEB GUI在切換過程中，不僅需要存儲復制速率的進度條顯示，還需要具體的實時速率；另外集成過程中，考慮是否可以減少存儲復制端口數量，每個控制器只分配單個遠程復制端口，但最后還是按照最佳實踐共分配4端口，至于上面兩個問題的原因，有一些思考。5.1 主從存儲數據同步速度監測由于在存儲遠程復制的過程中，圖形WEB界面中僅能看到進度條，而同步速度和帶寬占用等參數很難量化，進而準確估算同步時間，因此可以通過CLI進行查看：四個字段分別代表