附件1A證券公司方案及測試報告中國證券業協會信息技術委員會2021年1月

目錄第一部分實施方案 81. 概述 91.1 項目背景 91.2 實現目標 91.3 參考文檔 91.4 系統分類分級 92. 證通云平臺 122.1 平臺安全保障 122.2 數據安全保障 142.3 平臺服務保障 142.4 運維責任邊界 152.5 運維相關制度 163. 全云方案 173.1 建設模式 173.2 網絡架構 183.3 網絡安全 193.3.1安全框架 193.3.2安全管理 223.3.3安全措施 223.3.4安全檢測 233.4 項目一期系統及設備配置 243.4.1集中交易系統 243.4.2網上手機交易及行情接入服務 253.4.3外部接口服務 253.4.4法人清算系統 263.4.5管理資源及網絡資源 283.5 數據同步 284. 方案挑戰及突破 284.1 數據庫服務器虛擬化 284.2 異地災備系統資源彈性擴容 294.3 SDN網絡組播 304.4 TPS性能指標達標 304.5 RTO性能指標達標 315. 系統測試 335.1 性能測試 335.1.1測試環境 335.1.2測試樣本 335.1.3測試場景 345.1.4穩定極限性能測試 345.1.5穩定測試 345.1.6同主數據中心按業務類別性能對比總表 355.2 系統功能性測試 355.2.1柜臺客戶端功能性測試 355.2.2周邊系統功能測試（包括APP、PC） 365.2.3交易回放功能性驗證 375.3 數據庫磁盤性能測試 385.4 外部接口測試 385.5 組播轉單播測試 385.6 數據同步測試 395.7 平行清算測試 395.8 災備系統切換測試 405.8.1RPO測試 405.8.2RTO測試 415.9 主系統恢復驗證 426. 項目進度 436.1 建設進度 436.2 生產環境設備配置 456.3 系統驗收 457. 災備管理 467.1 值班管理 467.2 日常運維 467.2.1數據庫檢查 467.2.2數據庫重啟 487.2.3數據同步情況檢查 527.2.4系統檢查 527.3 變更管理 527.4 演練與恢復管理 527.5 應急切換管理 547.6 應急切換 557.6.1應急切換準備 557.6.2全云災備切換 567.6.3系統檢查 598. 附件 618.1 管理制度 618.2 工作文檔 61第二部分測試報告 641. 功能測試概述 641.1 測試目的 641.2 測試分工 641.3 測試資源 642. 功能測試內容 652.1 賬戶業務 652.1.1開戶 652.1.2賬戶修改 792.1.3賬戶控制 832.1.4賬戶規范 852.1.5其他業務 872.1.6銷戶 892.1.7用戶管理 922.1.8電子檔案 932.1.9期權業務 1002.2 融資融券 1042.2.1客戶征信 1042.2.2額度管理 1072.2.3合同管理 1092.2.4融資融券交易 1132.2.5其他 1202.3 港股通 1252.3.1港股通業務測試 1252.4 多金融 1302.4.1金融測試 1302.5 股票期權 1372.5.1股票期權交易 1372.6 轉融通 1412.6.1轉融通賬戶業務 1412.6.2轉融通保證金 1432.6.3轉融通出借 1462.6.4轉融通借入 1472.6.5轉融通撮合 1502.6.6轉融通監控 1502.7 資金業務 1512.7.1三方存管開戶 1512.7.2三方存管銷戶 1512.7.3客戶辦理銀行轉存業務 1512.7.4存管資金管理 1522.7.5銀行日間手工交易 1532.7.6客戶辦理存取業務 1542.7.7客戶辦理外幣存取業務 1542.7.8客戶辦理轉賬支票存取 1542.7.9某客戶辦理大額取款業務 1542.7.10客戶辦理營業部開展新業務或被司法執行 1552.7.11B股客戶到營業部申請取款、存款 1552.7.12某客戶申請三方存管預約取款2000萬 1552.7.13客戶資金控制 1562.7.14資金流水沖銷 1562.8 普通交易 1572.8.1普通交易業務/撤單 1572.8.2其他委托 1582.8.3預約委托 1602.9 債券質押回購 1612.9.1債券質押交易權限 1612.9.2債券質押交易 1612.10 全國股轉 1642.10.1股轉三板交易權限 1642.10.2交易/撤單業務 1652.10.3非交易業務 1662.10.4股轉三板業務查詢 1682.11 大宗交易 1682.11.1大宗交易限制 1682.11.2大宗交易報價委托 1692.11.3大宗交易盤后委托 1692.12 場內開放式基金 1702.12.1場內開放式基金 1702.12.2上證LOF 1722.12.3貨幣基金 1722.13 基金盤后 1732.13.1基金盤后業務 1742.13.2基金盤后業務相關查詢 1762.14 ETF業務 1762.14.1ETF交易業務 1762.14.2跨境ETF交易 1782.14.3跨市ETF交易 1782.14.4黃金ETF交易 1792.14.5債券ETF交易 1802.14.6ETF業務相關查詢 1822.15 約定購回 1822.15.1綜合業務協議簽署及權限開通、約定購回授信、初始申請 1822.15.2合同審批通過后，進行初始交易、撤單與購回交易 1842.15.3約定購回申請變更 1852.15.4約定購回合同變更操作 1862.16 要約收購與網絡投票 1872.16.1進行上海深圳要約收購設置與操作 1872.16.2網絡投票業務 1892.17 限售股、股息紅利稅管理 1912.17.1限售股業務（總部業務） 1912.17.2股息紅利稅管理業務（總部業務） 1932.18 中登存管 1942.18.1對客戶進行中登存管操作 1942.18.2對客戶進行中登存管操作流水查詢 1973. 功能測試總結 1994. 性能測試概述 2004.1 測試環境 2004.2 測試目的 2014.3 測試原理 2014.4 測試樣本 2015. 單業務性能測試 2035.1 客戶登陸 2035.2 資金查詢 2055.3 持倉查詢 2095.4 普通委托 2115.5 兩融委托 2145.6 基金申購 2175.7 新股申購 2206. 小火種性能測試 2246.1 穩定性測試 2246.2 性能測試 2267. 擴展規模性能測試 2297.1 穩定性測試 2297.2 穩定極限測試 2338. 性能測試總結 2398.1 公司TPS指標 2398.2 小火種規模壓力測試結論 2398.2.1穩定性測試 2398.2.2性能測試 2408.3 擴展規模壓力測試結論 2408.3.1穩定性測試 2408.3.2穩定極限測試 2418.4 性能測試總結 242

第一部分實施方案

概述項目背景近年來，證券行業信息安全事件呈高發態勢，暴露出行業整體備份能力建設覆蓋面不全、備份能力等級不達標等諸多問題，為更好的貫徹落實國家關于網絡空間安全、社會安全的戰略方針，推動《證券經營機構信息技術管理辦法》在證券行業的有效落地，探索行業災難備份建設解決方案，A證券公司、上交所技術及恒生電子作為該項目的試點單位，已完成證通云異地災備全云方案的可行性論證、系統測試及上線部署。實現目標異地云災備中心處理能力按照主中心1：1設計。在主中心發生重大災難時，按照公司應急預案，在《證券期貨經營機構信息系統備份能力標準》規定的時間內（RTO＜5分鐘、RPO＜30秒）將系統切換至異地云災備中心，保障業務的連續性，實現“同城保生產、異地保生存”的總體目標。參考文檔依照《證券基金經營機構信息技術管理辦法》、《證券期貨經營機構信息系統備份能力標準》、《信息安全技術信息系統災難恢復規范GB/T20988—2007》制定本方案。系統分類分級根據《證券基金經營機構信息技術管理辦法》第四十一條要求，實時信息系統、非實時信息系統應當具備災難及重大災難應對能力，相關技術指標應當分別達到災難應對能力第五級、重大災難應對能力第六級。實時系統備份等級評估表序號系統名稱重要性評估風險評估備份等級系統現狀1集中交易系統66第六級同城雙中心、上海災備2PC網上交易系統66第六級多中心（含上證云）3APP手機交易系統66第六級多中心（含上證云）4固收交易系統66第六級同城雙中心5極速交易系統65第六級上海災備6行情分發系統65第六級同城雙中心、上海災備7H5交易系統55第五級同城雙中心8私募PB系統一55第五級同城雙中心9私募PB系統二55第五級同城雙中心10自營交易系統54第五級同城雙中心11資管O32交易系統54第五級同城雙中心12ETF套利交易系統54第五級同城雙中心13法人清算系統54第五級同城雙中心、上海災備14網上開戶系統54第五級同城雙中心15統一中臺系統BOP54第五級同城雙中心16手機商城44第四級同城雙中心17網上營業廳44第四級同城雙中心按照業務重要性和風險承受能力，對實時系統綜合評估，得出系統備份等級。公司異地云災備中心建設一期主要包括集中交易系統（普通交易、三方存管系統、個股期權交易系統、兩融交易系統、行情分發、網上及手機交易和行情接入服務、外部接入服務）和法人清算系統（PROP、DCOM及CCNET等系統），系統主要的性能指標：1、數據備份能力：數據在異地云災備中心完整存放，每季度至少進行一次有效性驗證。2、集中交易系統災難應對能力：RTO小于5分鐘，RPO小于30秒，備份系統滿足業務需求的處理能力。

證通云平臺上交所技術證通云采用阿里飛天云平臺底座，通過計算與存儲分離架構以及支持橫向擴展的分布式架構，將計算及存儲都規劃為統一的資源池，根據實際需求快速申請計算及存儲、網絡、安全資源，滿足資源高效利用及業務系統快速擴展的需求。該架構具有擴展能力較強、運行效率較高等特點，可通過平行擴展通用硬件來提升計算與存儲能力，從而滿足業務增長需求。多臺相同物理設備并行運行，即使單一設備出現故障，整個系統仍可正常運轉，同時業務數據通過多副本冗余方式，保證數據的完整性。平臺安全保障上交所技術證通云平臺本身是由各個產品服務采用分布式集群部署架構，每個產品的服務節點分布在不同的管控物理機上，通過證通云平臺內置的miniSLB進行業務流量調度，當任何一個服務節點故障后，MINISLB的健康檢查機制會及時發現并屏蔽故障節點，將證通云平臺業務流量分發到其他的服務節點上，從而保障了整個平臺的可用性。上交所技術證通云平臺具備一套完善的運維監控管理系統，包含全鏈路監控、告警管理、故障檢測等內容，能夠實時發現故障節點和服務并及時通過短信、釘釘等渠道發送告警信息給云平臺運維人員。上交所技術證通云平臺的7*24小時運維團隊接收到告警信息后，通過應急預案對證通云平臺的故障進行處理，保障證通云平臺故障的及時修復。同時，上交所技術證通云平臺具備同城雙中心架構，當發生不可逆轉的數據中心級整體故障時，能夠通過ASR災難切換管理平臺，進行同城雙中心的故障切換，從而保障證通云平臺上的應用能夠持續提供服務。數據安全保障存儲采用了大規模分布式存儲系統，將整個集群中的存儲資源虛擬化后，整合對外提供服務。同一臺ECS的數據，保存在整個集群中。在分布式存儲系統中，每份數據都提供三副本，當單份數據損壞后，可實現數據的自動拷貝。如下圖所示的數據存儲的三副本機制，任何一個數據分片是分布在存儲集群的三個物理服務器上的，一份數據副本物理服務器損壞后，仍然可以通過其他兩個數據副本讀取分片數據。當出現一個副本損壞后，存儲集群控制器會自動進行副本的數據同步拷貝，恢復三個副本的存儲，從而自動完成數據副本備份，如下圖所示：平臺服務保障云平臺服務SLA清單如下：產品SLA承諾服務可用性計算公式ECS對于單實例維度，證通云承諾一個服務周期內ECS的服務可用性不低于99.9%服務可用性=（單實例服務周期總分鐘數-單實例服務不可用分鐘數）/單實例服務周期總分鐘數×100%ECS對于單地域多可用區維度，證通云承諾一個服務周期內ECS的服務可用性不低于99.95%服務可用性=（單實例服務周期總分鐘數-單實例單地域多可用區服務不可用分鐘數）/單實例服務周期總分鐘數×100%OSS對于對象存儲服務維度，證通云承諾一個服務周期內OSS的服務可用性不低于99.90%服務可用性=（1-服務周期內5分鐘錯誤率總和/（12*24*服務周期的天數））×100%每5分鐘錯誤率=每5分鐘失敗請求數/每5分鐘有效總請求數×100%RDS對于單實例維度，云數據庫RDSMysql服務可用性不低于99.9%服務可用性=（單實例服務周期總分鐘數-單實例服務不可用分鐘數）/單實例服務周期總分鐘數×100%Redis對于單實例維度，云數據庫Redis服務可用性不低于99.9%服務可用性=（單實例服務周期總分鐘數-單實例服務不可用分鐘數）/單實例服務周期總分鐘數×100%運維責任邊界在日常運維中，上交所技術負責云平臺的監控、維護以及快速修復；A證券公司負責應用系統層的日常運維；恒生公司負責提供集中交易系統的技術支持。上交所技術公司用戶（1）基礎資源平臺建設。（2）監控、配置、變更、故障處理等所有基礎資源平臺運維工作。（3）配合用戶業務系統上線。（4）基礎資源平臺的定時檢查和監控、異常和故障處理等工作。（5）對用戶的資質、業務資格、擬使用基礎資源服務的業務活動進行登記備案，并要求其定期提交業務功能運行目錄。（1）業務系統建設。（2）業務系統變更測試和部署、日常監控和檢查、故障和應急處理等運維工作。（3）制定業務連續性方案和應急預案。運維相關制度項目制度規范技術制度（平臺系統）《基礎資源服務平臺運維管理規范》《基礎資源服務平臺駐場工作人員管理規范》《基礎資源服務平臺現場值守工作手冊》《基礎資源服務平臺運維管理手冊》白皮書《平臺側高可用白皮書》《平臺側技術白皮書》

全云方案建設模式A證券公司異地災備中心的建設模式包括租用托管機房、租用可信云兩種：項目租用托管機房模式租用可信云模式建設周期長短建設成本高低高可用性資源閑置嚴重資源利用率高彈性擴展采購流程冗長，擴展性差按需擴展，擴展性強安全性技術要求高，自行實施云平臺提供底層網絡安全保障基礎資源監控采購專業監控軟件自行監控云平臺服務包含基礎資源監控維護成本成本每年遞增每年成本固定項目租用托管機房模式全云模式建設周期32周9周初期成本1193萬元200萬元運維成本445萬元/年200萬元/年周期成本2973萬元/5年1000萬元/5年可擴展性三個月10分鐘注：以上數據僅包括一期系統通過兩種建設模式的對比，采用租用可信云模式（下稱全云模式）進行異地災備建設，無論是前期建設成本、建設周期、可擴展性及后期維護方面都具備明顯的優勢。經過3個多月的論證，本方案決定采用租用上交所技術證通云進行建設。網絡架構A證券公司異地云災備與主生產、同城機房互聯，統一遵照公司“兩地三中心”網絡運行規劃，符合公司“垂直分層，水平分區”網絡建設理念。廣域網通過地面專線接入，兩個接入路由器采用HSRP協議實現線路自動切換。營業部和分支機構通過SSL-VPN撥號接入，云上部署軟件VPN網關，通過多個VPN虛擬站點實現生產接入和管理運維接入分離。VPN通過手機動態OTP和用戶密碼實現雙因素認證。互聯網出口使用證通云EIP，可以快速在線擴展及縮減帶寬。云災備使用上交所上行鏈路實現行情、報盤，使用證聯網、深證通銀證平臺實現銀證業務。

VPC分區規劃網絡分區承載業務類型核心業務區域重要性高的核心交易系統接入重要性高的核心交易系統中間件重要性高的核心交易系統數據庫三方存管銀企互聯法人清算恒生柜臺管理監控運維區域運維管理、VPN、安全物理網絡區域用于廣域網互聯外部機構，內部數據中心之間連接組播行情區將組播行情接收并轉化成單播傳輸到云上網絡，如：行情網關，行情轉碼網絡安全網絡安全是異地云災備建設最大的技術挑戰，如何保證數據安全以及滿足證券行業網絡安全各項要求，是試點最主要的工作之一。經過近2個月各方網絡安全專家共同努力，聯合設計出網絡安全整體解決方案。安全框架全云異地災備建設項目中整體網絡安全框架設計如下圖：基礎環境安全基于上交所金橋數據中心基礎設施，證通云提供硬件及網絡等基礎環境，保障機房環境安全、硬件安全和虛擬化安全。網絡層安全證通云提供核心業務對外的互聯網應用防護體系，具體包括DDos檢測/防御、云防火墻、Web層攻擊檢測/防御、Web漏洞發現、主機漏洞發現、主機防入侵的實時防護能力。A證券公司負責日常監控,通過流量分析與存儲，實現對未知威脅惡意行為的早期快速發現。通過配置VPC安全分區，設置網絡訪問控制規則，實現網絡安全隔離。主機層安全證通云負責確保不同用戶VPC之間隔離和防護，并對虛擬化軟件進行優化和安全加固，通過安裝主機安全軟件監控異常行為。A證券公司在ECS上實施安全基線、WSUS服務、軟件正版化、病毒檢測及漏洞管理等主機安全措施：1、安全基線部署按照《證券期貨業信息系統安全等級保護測評要求》JR/T0067—2011，A證券公司專門開發相應的安全基線策略和腳本，并完成部署。2、WSUS服務部署在VPC下部署WSUS服務器，對Windows操作系統提供補丁更新服務，按照先備后主的順序加固升級，測試后投入使用。3、軟件正版化從正規渠道購買正版軟件授權，確保軟件正版化。4、防病毒部署采用虛擬化防病毒軟件，建立防病毒技術體系，提供ECS防病毒及惡意軟件防護。5、漏洞管理通過定期漏洞掃描、補丁安裝和虛擬補丁三種方式對存在的漏洞進行檢測和修復。應用層安全證通云負責堡壘機、云WAF和應用服務器安全檢測。A證券公司搭建日志分析平臺，進行日志安全審計，部署應用監控系統實現對各類應用程序的監控。數據層安全根據《證券基金經營機構信息技術管理辦法》、《證券期貨業數據分級分類指引》建立全生命周期的數據安全保障。證通云負責數據的安全存儲、安全傳輸和數據加密（磁盤加密、存儲加密）。A證券公司負責制定數據分級分類、數據訪問策略、數據庫審計、數據脫敏、數據防泄漏、數據同步、數據備份等技術措施，提升數據安全綜合防護能力。數據全生命周期安全階段安全要求責任方數據采集數據分級分類規范，數據安全采集管理，數據源鑒別，數據采集應遵循最小夠用原則，數據采集應明確采集依據、范圍、場景和用途A證券公司數據傳輸通過HTTPS協議和符合國家加密保障數據傳輸安全、數據的完整性和可用性；敏感數據可用加密傳輸信道或專線支持脫敏或加密數據安全傳輸證通云數據存儲數據存儲安全，通過數據加密機制保障數據的機密性；個人信息或敏感數據應采用符合國家要求的密碼算法進行加密存儲提供KMS密鑰系統3、提供訪問控制證通云A證券公司數據備份數據備份A證券公司數據交換數據交換安全A證券公司數據處理數據脫敏數據導入導出安全管理與流程審批機制3、提供數據防泄漏DLP功能4、日志審計模塊監控數據行為A證券公司數據銷毀1、數據處理環境安全2、數據的物理銷毀由底層存儲來保證A證券公司證通云安全管理證通云提供云平臺內部身份和訪問控制服務，包括云平臺用戶賬號密碼管理、用戶訪問控制、用戶身份認證、用戶權限分配和回收。A證券公司負責內部VPN登錄賬號的身份認證、堡壘機賬號密碼管理、訪問權限控制、日常運維操作審計、應用配置安全管理。安全措施證通云提供的安全產品，包含流量安全監測、主機入侵檢測、安騎士、安全審計、web應用防火墻和態勢感知等多個模塊。A證券公司在此基礎上進一步加強網絡安全措施：（一）虛擬化防病毒安裝虛擬化防病毒軟件建立防病毒技術機制：序號模塊效果1微隔離自動識別出信息資產，有效識別系統的安全邊界2防火墻/入侵防御啟用端口和協議保護，檢測和攔截未授權訪問、暴力破解、緩沖溢出、漏洞利用等網絡攻擊行為3虛擬補丁檢測流量特征，對惡意請求及時攔截4防病毒掃描設置預掃描策略，定時、自動、分批對ECS進行病毒掃描，查殺、隔離5Webshell掃描對上傳文件進行Webshell檢測，刪除可疑文件（二）日志分析平臺部署云日志分析平臺對各類主機、應用日志統一進行解析識別，包括安全事件日志(攻擊、入侵、異常)、行為事件日志(內控、違規)、弱點掃描日志(弱點、漏洞)、狀態監控日志(可用性、性能、狀態)；通過對日志的深度分析，挖掘潛在威脅，追根索源。（三）云數據庫審計部署數據庫審計系統，對進出數據庫的訪問進行數據報文、字段級的解析操作，還原操作細節，以可視化的方式呈現對業務數據的查詢、修改、增加、刪除、導出等操作。（四）數據脫敏部署數據脫敏系統，在開發及測試環境使用脫敏后的數據，防止生產數據泄露、保護敏感數據。（五）數據防泄漏部署數據防泄漏系統，對數據的流轉和操作過程進行全面的監控和檢測，及時告警數據使用中可能的異常行為，防止敏感數據泄露。安全檢測（一）安全風險評估聘請專業機構對異地云災備系統進行風險評估，識別主要風險點，采取補償措施將風險降低到可接受水平。（二）等級保護測評聘請網絡安全等級保護測評機構對異地云災備系統進行等級保護測評，對照標準進行差距分析，逐步整改滿足測評要求。（三）紅藍攻防演練組織紅藍攻防演練，發現真實存在的安全漏洞，驗證安全措施的有效性、安全策略的嚴謹性，確保信息系統運行安全。（四）應急演練按照公司應急預案，每年進行四次應急演練，確保異地災備系統的可用性。項目一期系統及設備配置根據方案規劃，項目一期建設系統主要包括集中交易系統、法人清算等系統。集中交易系統集中交易系統主要包括普通交易系統、兩融交易系統、個股期權交易系統、三方存管系統、行情接收及分發等系統。集中交易資源表云資源配置操作系統小火種規模（臺）擴展規模（臺）數據庫(SSD)32C/256G/3TCentos7.311原子AS8C/32G/50GCentos7.3718邏輯LS4C/32G/50GCentos7.3716BAR4C/32G/50GCentos7.333JAR4C/16G/50GCentos7.336行情源4C/32G/200GWindows201211報盤中間件4C/32G/200GWindows201277小計：2952災備中心集中交易系統設計兩種規模，其一，按照生產中心近一個月TPS值，設計中間件、數據庫服務器、報盤系統數量，簡稱小火種規模。其二，按照生產中心TPS歷史峰值的3倍，設計中間件、數據庫服務器和報盤系統數量，簡稱擴展規模。小火種規模設備實時在線，彈性擴容到擴展規模所需增加的虛機，日常以鏡像模式存放，用時拉起。網上手機交易及行情接入服務網上手機交易及行情接入服務已實現多點部署，不在異地災備項目中，只需提供接入服務。外部接口服務外部接口服務包括滬深報盤、滬深行情、深證通等業務。業務類型程序名稱資源配置初始安裝臺數配置方參數滬市報盤EzOES4C/32G/200G

3SystemConfiguration.ini（鏈路、PBU）EzStep4C/32G/200G

2ezstepuser.ini（鏈路、PBU）RptGet4C/32G/200G

3RptGet.ini（鏈路、用戶）深市報盤TGW4C/32G/200G

1config.xml（鏈路、網關）股轉交易網關4C/32G/200G

1tw.ini（鏈路、用戶）B轉H交易網關4C/32G/200G

1hgjy.ini（鏈路、用戶）滬市行情UT54C/32G/200G

1utconfig.xml（鏈路）EzSR4C/32G/200G

1EzSRUser.ini（鏈路）Mdgw_上海4C/32G/200G

1config.xml（鏈路）深市行情Mdgw4C/32G/200G

1config.xml（鏈路）Fxclient4C/32G/200G

1fxclient.ini（鏈路）股轉行情網關4C/32G/200G

1NQClient.cfg（鏈路）B轉H行情網關4C/32G/200G

1同股轉開放式基金小站4C/32G/200G

1JIJIN.ini（鏈路、用戶）上海登記PROP4C/32G/200G

1gateaddr.conf（鏈路、用戶）深圳登記DCOM4C/32G/200G

1DCOMConfig.Cfg（鏈路、用戶）CCNET4C/32G/200G

1同DCOM配置。深證通FDEP消息傳輸4C/32G/200G

1mr.ini（鏈路、用戶）FDEP文件傳輸4C/32G/200G

1同Fxclient法人清算系統部署示意圖法人清算系統主要包括法人清算管理、資金結算管理、結算文件管理和銀企劃付/網銀等模塊。銀企劃付負責資金交收的銀行資金劃撥，可使用銀行網銀替代。結算文件管理負責對交易所、登記公司、基金公司等外部機構發送的結算數據進行管理清分，提供給各交易系統、清算系統進行結算處理。法人清算管理進行法人清算處理并負責與交易系統清算結果核對。資金結算管理負責各類交收資金的核對及收付款管理。此外，還要計劃數據存儲方案，負責對結算過程中產生的數據進行保存。部署示意圖如下：設備清單程序清單資源配置操作系統小火種規模擴展規模結算文件管理中間件4C/32G/500GWindows20121結算文件管理數據庫8C/64G/1TCentos7.311法人清算（資金結算）中間件4C/16G/200GWindows20121法人清算（資金結算）數據庫32C/128G/4TCentos7.311資金結算超級代理中間件8C/16G/200GWindows20121銀企劃付數據庫16C/32G/500GCentos7.311銀企劃付中間件4C/8G/200GWindows201216Prop2C/16G/200GWindows20121Ccnet2C/16G/200GWindows20121Dcom2C/16G/200GWindows20121合計325法人清算系統小火種規模為3臺數據庫服務器，實時在線。擴展規模為3臺數據庫服務器加22臺中間件，22臺中間件日常以鏡像方式存放，用時拉起。管理資源及網絡資源管理資源表云資源配置數量（臺）堡壘機4C/8G/550G1VPN4C/32G/60G1備注：一臺ECS部署軟VPN，通過不同端口可以配置多個相互隔離VPN站點網絡資源云資源初始帶寬（M）擴展帶寬（M）互聯網彈性EIP50200數據同步主中心與異地云災備中心之間通過九橋軟件實現實時數據同步。方案挑戰及突破數據庫服務器虛擬化【技術難點】：交易系統核心數據庫服務器，由高性能的物理服務器改變為虛擬服務器，服務器的關鍵指標（CPU、內存、IO、Oracle數據庫的兼容性）能否達到要求，服務器的整體處理能力能否達到生產中心歷史峰值的3倍。【解決情況】：2019年4月份，開始在測試云上測試虛擬數據庫服務器，使用配置為：CPU（32C）、內存（128G）、硬盤（高效云盤），安裝Oracle數據庫軟件開始測試。測試發現內存嚴重不足、IO指標偏低，壓力測試TPS只能達到5800筆/秒，達不到歷史峰值的3倍。隨后，針對服務器的配置，聯合上交所技術和恒生公司逐項進行研究優化，上交所技術增配了高性能的SSD盤，內存擴展為256G。聯合恒生公司對中間件和數據庫進行了優化。優化后服務器各項關鍵指標滿足要求，壓力測試TPS為15113筆/秒，達到了生產中心歷史峰值的3倍。目前交易系統嚴重依賴物理數據庫服務器的性能和數據庫軟件的處理過程，交易系統的風險日益向數據庫服務器集中，數據庫服務器成為交易系統最大的風險點。采用虛擬服務器后，可推動交易系統向分布式架構轉換，消除單點隱患，從而為以后的雙活或多活奠定基礎。異地災備系統資源彈性擴容【技術難點】：使用傳統方式建設災備，存在以下難點：建設周期長，投入大，利用率較低，資源閑置基礎網絡、數據庫服務器提升配置、互聯網出口帶寬等平行擴展周期長采用數據級災備的系統啟用時間長【解決方案】：依托云平臺可以很好的解決：充分利用云平臺的彈性擴容優勢，初期按業務實際使用需求配置，以后隨著業務的擴展動態調整。是化解資源閑置，提升利用率的有效方法。傳統建設模式，基礎網絡、數據庫服務器配置的擴容需要經過嚴密的規劃設計、論證、測試等步驟方可擴展。云平臺的彈性擴容特點，包括基礎網絡、服務器CPU、服務器內存、服務器硬盤、互聯網出口帶寬擴容、ECS擴容只需提交資源申請，云平臺可以在小時級內完成審批和擴容。目前數據級災備系統，都是部署一臺數據庫服務器做數據同步備份，在切換啟用時，需要重新調試中間件，工作量大，耗時長。利用云平臺的鏡像方案，除數據庫外的其他服務器可預先做好鏡像（含固定IP地址、主機名、中間件配置等），存放在云上。在使用時快速拉起，分鐘級生成中間件虛擬設備，同時啟動應用程序，系統即可投入使用。云上鏡像存放的費用非常低，此方案既降低了投入，又能保證啟動時間，是解決數據級災備的非常好的方案。大部分的非實時系統或備份等級較低的實時系統，都可采用此方案災備。參照《證通云證券基金災備小火種方案》，為了將降低投入成本和在監管要求的時間內將災備系統擴展為生產中心同等處理能力標準化，經過多次優化測試，確定了異地云災備中心最佳日常運行規模（簡稱小火種規模）。初期按照生產中心處理能力TPS（一個月均值）配置系統容量。當發生災難時，快速拉起鏡像，自動開啟并加入，實現主生產中心同等處理能力。在生產中心恢復后，可關閉新增的云主機，重新恢復為小火種規模運行。小火種規模，同時也適用災備中心其他系統，可有效降低投入，提升資源利用率。如在法人清算系統部署時，總計25臺服務器，其中3臺數據庫服務器采用小火種模式，其他22臺中間件采用鏡像模式，可降低60%以上的投入。在鏡像拉起工作上，經三家公司聯合攻關，集中交易系統鏡像拉起時間由15分鐘下降到3分30秒，保證了切換RTO滿足監管要求。SDN網絡組播【技術難點】：全云模式異地災備系統，網絡架構使用SDN(軟件定義網絡)技術，無法像傳統硬件網絡設備一樣完成組播、廣播的復制和轉發。【解決方案】：證通云建設組播區，行情源部署在組播區，使用云平臺提供的組代理插件將組播、廣播轉換成單播在網絡中轉發，具體實現見下圖。TPS性能指標達標【技術難點】：異地云災備系統TPS性能、穩定性能否達標。【解決方案】：災備中心集中交易系統擴展規模按照生產中心TPS歷史峰值的3倍設計，小火種規模按照生產中心近一個月TPS設計，系統壓力測試結果如下：生產指標TPS（筆/秒）云災備設計指標TPS（筆/秒）設計倍數測試結果倍數達標情況歷史峰值4000擴展規模120003151133.7達標月均值1200小火種規模18001.525002.1達標從以上的測試結果，災備中心集中交易系統擴展規模的TPS達到了生產中心歷史峰值的3.7倍，小火種規模的TPS達到了生產中心的近一個月的2.1倍，異地云災備系統性能達到設計標準。從11月5號開始，為驗證系統的穩定性，對系統每天持續進行4小時的穩定性測試，截止目前，穩定性測試正常，達到了設計標準。RTO性能指標達標【技術難點】：RTO小于五分鐘，同時切換完成后，災備中心達到生產中心的同等處理能力（生產中心歷史峰值的3倍TPS）。【解決方案】：云災備系統在測試環境驗證RTO性能指標偏大，經過A證券公司、上交所技術、恒生電子聯合攻關，RTO由19分50秒下降為4分鐘左右。災備切換的包括三步：第一步為系統擴容；第二步為接入中間件切換；第三步為交易系統報盤系統啟動。2019年6月5日，在測試環境中切換。第一步的時間從申請到拉起用時15分鐘；第二步采用手工切換的方式，用時1分鐘；第三步采用手工啟動報盤的方式，用時3分鐘50秒。三步總用時19分50秒，大大超過規定的RTO時間。隨后三家聯合進行攻關，首先會同上交所技術對系統擴容進行優化。從云管平臺的操作界面到資源申請、審批流程，全程進行優化。一次審批，資源包可以多次生成，實現ECS服務器批量釋放、啟動；增加中間件進程啟動延時，解決了中間件批量啟動進程報錯的問題；修改云平臺的系統底層參數，固定了ECS的IP地址和主機名；經過2個多月的攻關，到8月10日，系統擴容時間從15分鐘降低到3分30秒。其次，公司自主開發接入切換軟件，實現接入AR一鍵切換，部署在上證云PC、手機接入服務器無需做任何改動，切換時間縮短為30秒。第三，利用自動化縮短報盤系統啟動時間。報盤系統包括滬深報盤、個股期權報盤、滬深綜合報盤、股轉報盤、行情組件服務、三方存管等，在手工切換流程的基礎上，對比了行業流行的自動化運維工具，經多次優化后，恒生的自動化運維工具最終達到了1分30秒以內的啟動時間。第四、經過以上的優化，三步串行時間為5分30秒，還超監管規定時間。經過和恒生公司開發部和產品部反復論證，在系統擴容的同時，進行災備切換，恒生公司明確并行操作不會對客戶的登陸、委托、查詢等業務造成影響，并行操作后，RTO時間降低為4分左右，達到監管要求。

系統測試性能測試測試環境序號項目說明1恒生UF2.0系統普通交易系統、融資融券交易系統、期權交易系統、多金融交易系統、賬戶系統、三方存管系統2測試數據脫敏后的生產數據3測試工具Loadrunner4恒生模擬成交系統模擬交易所、中登、銀行5恒生回放業務系統生產數據回放6測試行情源上交所業務發布平臺（UT5）7測試安全保障從網絡層隔離與生產中心連接測試樣本功能號功能號名稱業務比例樣本（萬）樣本說明331100客戶登陸605測試樣本抽取125家營業部，每營業部隨機取狀態正常的400客戶，共計5萬客戶333002普通委托85333104查詢持倉1205332255查詢資金1205335002兩融委托15配比來源說明：選取2015年6月8日（A證券公司歷史峰值）生產中心的實際業務比例，成為壓力測試各功能用戶比例，以此作為壓力測試基準。測試場景為了驗證平臺性能，我們設計了二種壓力測試場景：一、穩定極限性能測試，在中間件平均CPU低于70%，數據庫CPU低于50%的前提下，對系統進行持續加壓，得到穩定極限TPS。二、穩定性能測試，在相當于歷史峰值TPS的前提下，對系統進行持續加壓，觀察系統運行狀態，并得到在此狀態下穩定運行的時間值。穩定極限性能測試按設計的測試樣本，對系統持續加壓，在數據庫服務器CPU利用率小于50%，中間件CPU平均利用率小于70%，得到系統最大TPS值，壓力測試結果如下：測試項目擴展規模并發用戶數（個）586壓測時間（min）30平均響應時間（ms）32數據庫CPU利用率（%）45邏輯LSCPU利用率（%）最高71%，最低44.1,平均60.4%原子ASCPU利用率（%）最高71%，最低47.5%,平均65%TPS（筆/秒）15113穩定極限TPS數值為15113筆/秒，達到生產中心歷史峰值的3.7倍時（2015年歷史峰值TPS值為4000），穩定極限測試滿足設計要求。穩定測試在相當于歷史峰值TPS的壓力下，對系統進行穩定加壓，觀察系統運行狀態，得到穩定運行時間。測試項目擴展規模并發用戶數（個）94穩定TPS（筆/秒）4900平均響應時間（ms）15數據庫CPU利用率（%）18.4邏輯LSCPU利用率（%）33.6原子ASCPU利用率（%）30測試時間（h）4公司歷史峰值TPS為4000筆/秒，在TPS數值達到4900筆/秒時，按此壓力持續加壓，系統運行穩定，數據庫CPU維持在20%以內，中間件CPU維持在30%左右，系統持續壓力時間達到了4小時，穩定性方面滿足設計要求。同主數據中心按業務類別性能對比總表業務類別主中心歷史峰值TPS（筆／秒）災備中心穩定極限TPS（筆／秒）比對結果競價交易業務400015113達標非交易業務20006500達標綜合業務8002970達標港股通業務股轉業務性能測試結論：競價交易、非交易、綜合業務均達到歷史峰值3倍，符合設計要求系統功能性測試柜臺客戶端功能性測試序號交易時段業務類別是否通過1集合競價競價交易業務通過非交易業務通過綜合業務通過港股通業務通過股轉業務通過2集合競價撮合競價交易業務通過非交易業務通過綜合業務通過港股通業務通過股轉業務通過3連續交易競價交易業務通過非交易業務通過綜合業務通過港股通業務通過股轉業務通過4盤后交易競價交易業務通過非交易業務通過綜合業務通過港股通業務通過股轉業務通過周邊系統功能測試（包括APP、PC）序號渠道業務類別是否通過1匯通啟富APP競價交易業務通過非交易業務通過港股通業務通過股轉業務通過2匯通啟富PC競價交易業務通過非交易業務通過綜合業務通過港股通業務通過股轉業務通過3A證券公司APP競價交易業務通過非交易業務通過港股通業務通過股轉業務通過4A證券公司PC競價交易業務通過非交易業務通過綜合業務通過港股通業務通過股轉業務通過交易回放功能性驗證為更真實的模擬生產環境，采用恒生回放交易系統，連續抽取一周的生產數據進行驗證。首先導入T-1日后備份到集中柜臺數據庫作為基礎數據，導入T日前備份到回放系統數據庫。其次在回放系統中抽取T日交易流水，啟動回放程序，向集中柜臺發送交易指令，通過模擬檔板撮合服務控制成交，在集中柜臺中生成交易流水，再同回放數據庫進行比對，全面驗證柜臺系統功能可用性。結論：數據比對一致，功能驗證通過。數據庫磁盤性能測試數據庫極限寫測試（500萬條記錄）項目主頻I/O讀寫用時SSD云盤（測試）2.4GHZ50M/S8分13秒SSD云盤（生產）2.1GHZ52M/S5分34秒FIO性能分析項目隨機讀（iops）隨機寫（iops）順序讀（MB/S）順序寫（MB/S）SSD云盤（測試）3442039948610545SSD云盤（生產）4007739991594587數據庫磁盤性能滿足需求外部接口測試項目內容結果交易所測試包括深交所、上交所、新三板的申報及回報測試通過中登測試包括賬戶業務、清算數據接收通過銀行測試深證通銀行測試通過證聯網銀行無測試環境組播轉單播測試測試記錄項測試結果行情測試AS數量18測試周期持續4周行情發送服務器的CPU26%行情積壓情況無積壓損耗時間0.000143s組播轉單播損耗時間0.000143s，滿足業務需求。數據同步測試九橋數據同步軟件測試業務場景

數據同步測試指標全功能型測試模擬業務高峰測試業務吞吐量1200tps4900tps數據同步是否正常是是異地云災備中心數據完整性數據完整數據完整數據同步最大延遲5.5s6.4s數據同步平均延遲4.3s5.6s數據同步占用最大帶寬600Kbps10Mbps數據同步占用平均帶寬300Kbps8Mbps業務層故障切換演練，驗證數據丟失時間：0s0s數據庫層故障切換演練驗證，驗證數據丟失時間：2.8s4.7s平行清算測試（1）正確性驗證系統核對項目驗證結果備注外部接口服務結算文件接收通過結算文件管理結算文件清分通過法人清算一級清算結果通過集中交