1、西南證券生產系統同城雙中心解決模式證券交易是一種實時性要求很高的金融交易業務，隨著交易、管理等技術系統的集中，由此而帶來的系統運行風險也高度集中。一旦中心機房發生重大故障和災難，可能導致公司業務系統的中斷，造成重要數據的丟失和破壞，損失不可估量，后果不堪設想。建設備份中心是應對中心機房突發災難的最有效辦法。2011年4月發布的證券期貨經營機構信息系統備份能力標準對備份中心建設提出了明確的指標。因此，證券經營機構必須建設并不斷完善備份系統，確保重要信息系統的數據安全和關鍵業務可持續服務，提高抵御災難的能力，減少災難造成的損失。備份中心一般由機房基礎設施、備份系統、網絡設備、運維人員、啟用機制等幾

2、部分組成。其核心是備份系統，在中心機房運行的核心業務系統，在備份中心都應有備份系統，以保證業務連續性。西南證券根據災難風險事件發生的實際特點和行業實際運作過程中異地備份中心投資相對較大、管理復雜、效果難以把握等因素，參考上海證券交易所專家組提出的“優先建設同城備份中心”建議，決定采用同城雙中心模式進行備份中心建設和運行管理模式探索。(一) 同城雙中心的技術實現1. 建設目標西南證券同城雙中心建設以實現雙中心“建得好，用得順，頂得上”為目標。“建得好”：建設方式上能夠經濟、快捷地獲得同城雙中心所需的機房等基礎設施，將人、財、物等投資重點放在業務應用系統的建設和運維效率的提高上。當主中心發生重大技

3、術故障（如主中心的熱、溫備系統均失效等）或災難后，核心業務系統能快速恢復，保證業務連續性。“用得順”：為了有效地防范和降低系統風險，同步建設雙中心運維監控系統，梳理運維體制，完善運維制度，規范運維流程，做到平時訓練到位，切換時真正能用。“頂得上”：通過對西南證券歷史業務數據分析，在風險可控的情況下，公司可以承受RPO10秒，且越小越好；RTO15分鐘，且越小越好。在交易期間發生災難事件需要切換到同城備份中心時，一般會產生業務堆積，因此備份中心核心業務系統生產功能不減少，性能不能降低。為實現上述目標，同城雙中心技術系統的設計要求如下：雙中心系統（包括網絡系統、應用系統等）可完全獨立運作，雙中心可

4、輪換運行；雙中心切換耗時盡可能短，切換操作盡可能簡單易行；同時考慮系統的安全性高，系統間的相關性小，可維護性好。2. 數據復制同城雙中心應采用成熟、可靠性高的數據復制技術，能夠以合適的數據容錯技術來實現現實的容災需求，優先保障業務連續，盡量減少數據丟失。數據庫日志復制技術是針對數據庫提供的基于邏輯的數據復制方式。通過直接捕獲源數據庫日志，將數據庫的改變邏輯復制到目標系統數據庫中，實現源系統和目標系統數據的一致性。目標端數據庫在復制過程中處于在線可用狀態。數據庫日志復制技術適用于西南證券交易系統所用的Oracle 10g版本，對主系統CPU占用率較小，對網絡帶寬要求較低，可靈活設置復制的時間間隔

5、（最短為1秒），數據延遲一般可控制在3-5秒。數據復制路徑如圖所示。采用數據庫日志復制技術進行數據復制過程中，因故障中斷會有少量數據丟失，西南證券設計建設了旁路撿漏系統找回丟失的數據，并通過業務流程及時處理這部分數據以保障客戶利益。3. 系統構架為達到上述建設要求，系統架構按下圖所示方式設計： 主備中心采用多層次網絡布局，分為核心數據網段（網段1）、核心通訊中間件組接入網段（網段2）和外部接口網段（網段3），最大限度減少彼此相關性，提高網絡安全性； 網段1布置數據庫服務器和應用服務器，網段2部署核心通訊中間件，網段3主要部署集中交易的其他相關系統,包括：申報、回報、三方存管、帳戶管理、文件服務

6、器、滬深報盤系統等； 核心通訊中間件組是客戶和管理接入的聯接樞紐，所有業務由它們進行轉發，其組名和IP地址在兩個中心相同，但只在一個中心的路由（主中心）有效； 主中心與營業部、銀行、交易所、登記結算公司以及其它外部機構的連接采用電信線路，備中心與營業部、銀行、交易所、登記結算公司以及其它外部機構的連接采用聯通線路；兩中心分別配置滬深單、雙向衛星各一套，與地面線路形成備份； 主備中心的ORACLE數據庫通過數據庫日志復制軟件實現數據同步； 集中交易應用系統采用1：1模式部署，備中心的應用服務器組保持運行狀態，以最大限度減少切換啟用時間。4. 切換原理雙中心的核心通訊中間件組是外圍接入的聯接樞紐，

7、通訊中間件組由多個通訊中間件組成，各通訊中間件負載均衡，對外提供統一的服務。通訊中間件組具有中斷重連機制，所有業務請求均通過核心通訊中間件組傳遞到后臺的應用服務器和數據庫；主備中心的核心通訊中間件組IP地址相同，啟用電信主中心時，其核心通訊中間件組必須有效，而備中心的必須無效；使用備中心時，正好相反。通過控制核心通訊中間件組的啟用就可以完成主備系統的切換。(二) 同城雙中心的建設、運營西南證券同城雙中心解決模式不單純是一個技術方案，其內容覆蓋了建設、運營和切換全過程，包含同城雙中心的建設方式、技術架構、監控、運維、決策模式、切換等。具體內容如下：目標模式內涵簡述優點建設建設模式基礎設施、運維外

8、包快捷經濟、增減靈活架構模式系統同構、能力相當操作一致、輪換運行運營監控模式分層集中、統一處置全面及時、準確標準運維模式統一排班、定期輪換常態運維、保障有效切換切換模式一鍵切換、安全快捷操作簡捷、切換迅速決策模式充分授權、班組執行責任明確、決策迅速1. 機房基礎設施、運維外包西南證券充分利用本地運營商托管機房的資源優勢，采取租用中國電信和聯通IDC機房的方式，比較經濟、快捷地獲得了良好的主備運行中心機房基礎環境和電信級專業化的運維保障服務，從而可以讓我們更加專注于將人、財、物等投資重點放在業務應用系統的建設、切換過程的優化和運維效率的提高上。兩個中心相距10公里，中心之間通過聯通和電信的兩條裸

9、光纖連接，機房示意圖如下。2. 雙中心同構，處理能力1：1 在系統部署上，借助上交所專家組的論證意見，西南證券采取了“處理能力1:1，主機部署2+2”的方案。主備中心系統同構且部署相同，主機品牌和處理能力一致，均配置交易、查詢服務器各一套。在運維管理上，人員、設備和運行等級一致。兩個中心的網絡、設備、系統參數和運行模式基本一致，極大地方便了雙中心的操作和管理。3. 創新快速簡單的切換技術西南證券通過利用IP SLA（Service Level Agreements）協議監控核心通訊中間件組的啟用來完成主備系統的切換。在日常運行中，配置主中心核心通訊中間件組的路由優先級高于備中心核心通訊中間件組

10、，使主中心核心通訊中間件組路由有效，同時啟用IP SLA協議來監控它的網絡狀況；切換時，通過網絡命令來“DOWN”或“UP”核心通訊中間件組連接的交換機端口來改變它的網絡狀況。當IP SLA監測到主中心核心通訊中間件組的網絡端口處于“DOWN”狀態時就取消它的路由，核心通訊中間件的有效路由就收斂到備中心,實現主備切換。西南證券開發了主備中心切換平臺、網絡切換腳本和報盤機等啟動腳本。主備中心控制切換過程，操作人員根據角色授權集中批量執行相應的命令腳本（如圖），這種安全、簡捷的腳本切換方式稱為“一鍵切換”。4. 建立充分授權的切換機制西南證券通過西南證券同城雙中心運維管理辦法將主備中心切換的決策權

11、下放到技術部門，其他故障的處置分級授權到運維班組，并制定了不同故障場景的處置預案。主備中心切換分為正常輪換切換、特大故障和災難應急切換。切換均由中心控制，耗時短、操作簡單。 正常輪換切換按照主備中心的定期輪換運行計劃，通過主備中心切換平臺切換主備系統，啟動柜臺報盤、銀證轉帳、啟用單獨線路銀行IP切換、啟動備中心的數據庫復制軟件。 特大故障應急切換若主中心發生數據庫熱、溫備系統、核心應用中間件全組、核心通訊中間件全組發生故障或核心網絡系統中斷等特大故障時，啟動主備中心應急切換流程，將生產系統切換到備份中心，保證生產系統繼續運行。 災難應急切換當主中心機房或所在樓宇發生火災等災難事故，導致數據中心

12、不可用時，啟動主備中心應急切換流程，將生產系統切換到備份中心，保證生產系統繼續運行。5. 實現雙中心常態運維在同城雙中心建設和運行過程中，西南證券不斷探索和完善系統運維管理體系，創造了“四班三運轉”模式。按照雙運行中心標準，保持備份中心與主中心人員配置等同、管理統一、監控到位。在日常運行監控中，將主備中心監控人員全部統一排班，在主（白、晚班）、備中心監控室各有獨立的三個運行值班，公司總部監控室設有運行副班輔助運行。為了確保雙中心的運維效果，公司發布了西南證券同城雙中心運維管理辦法和相應的作業指導書。同時，公司還堅持持續優化應急預案和切換流程，保證切換時的有效響應，進一步提高安全運行能力。6.

13、應用多層次集中監控西南證券采用多層次集中監控系統實現雙中心各系統的有效監控和運維。在通信網絡層面采用網管系統監控主備中心、內外聯單位的網絡聯接狀況；在硬件設備層面采用設備監控系統對服務器等重要設備的狀況進行實時集中監控；在軟件應用層面使用了集中交易運行監控系統，實現對銀證平臺、柜臺報盤機、通訊中間件和應用服務器等關鍵環節的監控；并使用與運行監控系統聯動的ITSM系統，進行事件、任務、配置和知識庫等管理。借助這些技術手段，運維人員能夠全面、及時、準確地掌握系統的可用性和實時運行狀況，也能夠比較標準地按流程來執行操作，從而提高了系統運維的效率和IT服務的質量。(三) 創新點西南證券利用生產系統同城

14、雙中心的建設機會，引進先進技術，重點研發科學設計主備系統的技術架構、備份機制和業務處理和運維流程，實現技術升級、系統換代和流程再造。1. IP SLA應用利用IP SLA的監控功能，通過“DOWN/UP”主中心核心通訊中間件組的交換機端口改變其網絡狀況以調整其路由優先級，實現核心通訊中間件組的有效路由在主備系統間的切換。這種方式操作簡單、安全有效，網絡路由收斂快，投入較低。2. “一鍵切換”“一鍵切換”可以簡單、快捷地通過菜單點擊，完成主備系統切換和備中心柜臺報盤機、銀證平臺啟動、單獨線路三方存管銀行IP切換的等操作，安全迅速實現主備中心的切換，避免手工操作帶來的失誤。3. 旁路撿漏系統在雙中

15、心切換過程中，必須實現的另外一個重要目標是RPO值盡可能小，這樣由于切換帶來的客戶損失和社會影響也就相應小。通過調整和優化數據復制機制，可以使災難（故障）發生時的RPO1.6秒（數據復制間隔設置為最小值1秒時）。按西南證券歷史最高交易日平均成交數計算，約丟失49筆委托。經分析，這部分數據的丟失是由復制機制造成的，消耗于復制軟件對數據的抓取、傳遞和處置中。為了保障客戶利益，盡快盡量找回丟失的數據，及時處理由于系統中斷給客戶帶來的損失和減少對社會的影響，我們設計了旁路撿漏系統。客戶端通訊中間件主生產數據庫應用服務器客戶端通訊中間件備生產數據庫應用服務器撿漏程序通訊中間件旁路數據庫應用服務器旁路插件

16、旁路插件數據庫日志復制旁路撿漏系統地原理是這樣的：在備中心安裝一套與主系統架構一致的生產系統，然后在主中心核心通訊中間件上開發安裝旁路插件，利用旁路插件將客戶發往主中心的業務請求同時轉發給旁路系統的通訊中間件，再經過旁路應用服務器處理到旁路后臺數據庫。這個轉發過程由于不需應答和返回處理結果，效率極高，可視為無延遲，對生產系統的影響非常小。主中心發生災難完成切換后，把通過旁路系統得到的后臺數據與通過日志復制得到的備中心后臺數據進行比較，只需要對最后幾秒鐘的數據進行比對，就能找回備份系統丟失的數據，再通過相應的業務流程，比如及時通知客戶處理，保障客戶利益。旁路撿漏系統作為數據庫日志復制方式的補充，

17、目前已在測試環境中初步實現。這種基于業務應用來找回丟失數據的方式比其他實現數據零丟失的方式在投入方面更加節省。另外，旁路系統與生產系統的架構和數據處置過程相同，它還可以作為生產系統的在線測試環境使用，可以在線使用旁路過來的客戶實時數據在旁路系統中進行升級模塊的測試和系統驗證工作。4. “四班三運轉”在系統切換過程中，人員是重要的決定性因素，人員的素質和熟練程度決定切換的效率和成敗。“四班三運轉”使得所有運維人員在雙中心體系中輪班常態運轉，解決了運維能力的持續性問題。主備中心運行維護人員可以常年運行、定期輪換、常態運轉，關鍵時刻才能頂得上，有效地解決了其他模式（如異地備份中心模式）下備份中心人員

18、配備少且長期處于“冷備”狀態、缺少學習、缺乏實踐、容易麻痹大意或業務生疏、技能和責任心下降，遠離公司導致管理真空和制度流程得不到有效執行的問題。5. 多層次監控多層次的集中監控模式實現了雙中心各系統的有效監控，使運維人員能夠全面、及時、準確地了解系統各方面的運行狀態，盡早發現問題，為決策爭取到寶貴的時間；同時利用相關工具，運維人員能夠比較標準地按流程來執行運維操作，從而提高系統運維的效率和IT服務的質量。(四) 應用和推廣西南證券在生產系統同城雙中心的建設過程中，采用系統1：1配置，基礎設施外包模式，實現RTO與RPO雙優的目標，并且在2011年中國證券業協會組織的自主專業評價專家組現場評審中

19、得到了實際驗證，為證券公司備份建設探索出了一條可行之路。1. 應用效果同城雙中心建成后，公司組織進行了多次RPO、RTO和系統壓力測試，以驗證設計目標的達成和最終的建設效果。測試結果RPO1.6秒，RTO不到2分鐘。 RPO測試測試方式：數據庫日志復制軟件的數據復制時間間隔設置為1秒（最小時間間隔）；以兩臺工作站，分別運行交易委托模擬程序，以50筆/秒的速度發送滬、深委托。模擬網絡故障（如交換機斷電），導致數據復制中斷，測試結果如下表所示。復制數據間隔源端委托目標端委托丟失委托中斷時間上海委托16s深圳委托1s16741594801.6s結論：數據庫日志復制的數據復制間隔按常規設置為1秒時，數據復制鏈路中斷導致的數據丟失時間RPO約為1.6秒。 RTO測試主備中心交易系統切換主要包括四個環節的操作：主備系統切換、備中