1、中國人民銀行金融信息中心歷史數據歸檔和管理平臺項目技術方案（立項版）撰寫審核批準中國人民銀行科技司制二一年 十二月 十六日編 制 說 明 本文檔在項目申報單位提交項目申報材料和業務需求書后，由項目開發/建設單位編寫，并由科技司組織審核論證。審核通過后將作為項目立項和資金預算編制的依據，并為項目實施時制定詳細的技術方案奠定基礎。一、技術方案（立項版）編寫應遵循以下原則： 1.技術方案（立項版）依照總行兩級數據中心的戰略布局，遵循資源整合和數據集中的原則，根據人民銀行信息化建設的實際情況制定。2.技術方案（立項版）應結合人民銀行已有系統，從架構的角度進行總體規劃，盡量在現有系統框架內，通過調整、改

2、造，新增子系統或模塊的方式實現業務需求，推動系統整合和架構優化。3.應統籌布局、調配軟硬件資源，并統一搭建生產運行平臺。4.應提出項目擬采用的標準以及項目建設過程中相關的標準化需求。二、此模板主要以應用系統開發類項目為例，為技術方案（立項版）的編制提供參考。其他工程類項目可根據實際需要，參考此模板自行編制。目 錄1.概述42.系統規劃52.1平臺與其它系統的關系52.2平臺的定位52.3 可行性分析63.系統技術方案63.1平臺設計思路63.2數據量估算73.3平臺部署83.4 數據分級存儲方案94.產品調研105.系統軟硬件需求105.1 軟件需求105.2 硬件需求116.產品購買計劃及部

3、署規劃1112本技術方案討論在面對人民銀行信息系統數據量急劇增長的現狀下，以數據生命周期管理的思想，利用適當的技術手段和工具，對國庫類、貨金類、多應用加載平臺等基礎生產系統的歷史數據進行歸檔和管理，實現對數據從產生、在線使用、離線備用到失效銷毀的完整的生命周期管理過程。1 .概述生產系統所承載數據量急劇增長，快速膨脹的數據量嚴峻考驗了應用系統的負載能力，系統資源、運行效率都面臨著越來越大的壓力。為實現對用戶提供高可用性、連續性的信息系統要求，必須考慮異構環境下海量數據的歸檔和管理，探索集中模式下海量數據在跨平臺、異構數據形態環境的歸檔管理方法。面對信息管理的重要性日益顯現的現實，在保證信息共享

4、和安全的同時，如何減少數據冗余，加快信息的流轉速度，提高處理效率和信息共享程度，是實現管理標準化和規范化的基礎。隨著業務發展，為規范信息與數據的管理，降低成本，控制在線數據規模，保證應用系統健康高效運行，對應用系統各種信息與數據從創建到最終銷毀的生命周期進行全程管理顯得越來越迫切。國庫信息處理系統、貨幣發行管理信息系統、聯網核查公民身份信息系統，等人民銀行重要業務系統隨著數據量的急劇增長，需要采用技術手段將歷史數據從生產系統中抽取，并進行壓縮歸檔。建立數據生命周期管理平臺，既能滿足業務部門對歷史數據的查詢請求，又能有效控制生產系統的數據規模，降低系統運行風險（圖1）。圖1：數據生命周期管理平臺

5、與多系統的關系在數據生命周期管理思想的驅動下，為有效管理國庫信息處理系統（以下簡稱“TIPS”），信管中心編制國庫信息處理系統（TIPS）數據生命周期技術規范（詳見附件）。該規范刻畫了國庫交易數據的特征和對應的生命周期管理辦法。本文在規范的指導下，以TIPS系統為例建立歷史數據歸檔管理平臺，實現對TIPS系統數據抽取、歸檔、數據加工等工作。其他重要業務系統可以通過橫向擴展該平臺實現數據的生命周期管理目標。2 .系統規劃2.1平臺與其它系統的關系歷史數據歸檔管理平臺建設定位在對生產系統數據的抽取，清理和歸檔作業。從系統定位的角度來看，歷史數據管理平臺具有長期保持、數據保真、控制生產系統數據增長等

6、特點。與數據備份的區別是數據備份是全部數據，而數據歸檔則不包含系統運行的過程性數據。數據備份需要通過在特定的數據庫環境下恢復才能實現數據訪問，而歷史數據歸檔可以自行對數據進行歸檔和存儲，提供近線的查詢接口來實現對歷史數據的訪問。與ODS的區別是，ODS主要功能是數據交換和報表；而歷史數據歸檔管理平臺主要是數據保持。ODS為數據倉庫提供批量的數據傳輸，并不保存歷史數據，也不對生產系統的數據進行清理工作，主要滿足歷史數據查詢和審計的需要。歷史數據歸檔管理平臺與之不同，它側重于將生產系統的數據定時抽取出來并原汁原味的轉存到歸檔平臺中。與數據倉庫的區別是，數據倉庫是面向主題的數據組織，不包含明細到每筆

7、交易的數據，其目的是為了決策和分析使用；而歷史數據歸檔管理平臺是需要把某一個時點的所有事實數據保存起來，為了查詢和審計使用。歷史數據歸檔管理平臺對數據不進行重新組織，而數據倉庫往往需要對數據進行重新組織以滿足數據分析和挖掘等需要。2.2平臺的定位考慮到歷史數據歸檔查詢平臺的功能及與生產系統、ODS和數據倉庫的關系，該平臺的定位如下圖（圖2）：圖2：歷史數據歸檔查詢平臺與生產系統、ODS和數據倉庫的關系可見，歷史數據歸檔查詢平臺處于相對獨立的位置。2.3 可行性分析 目前，數據庫歸檔領域（ILM, Information Lifecycle Management）已經出現多個適用的商業軟件產品。

8、同時，人民銀行數據中心國庫類、貨金類和統計類業務系統采用IBM DB2數據庫軟件。磁帶庫和存儲設備為多系統共享方式使用。這些條件為建設平臺化的數據歸檔查詢系統提供了可能。3 .系統技術方案3.1平臺設計思路 歷史數據歸檔查詢平臺定位為數據中心各業務系統的統一歸檔平臺。先期完成對TIPS系統、貨金系統的歷史數據歸檔工作。 TIPS系統部署交易數據庫（TIPSODB）和歷史查詢庫（TIPSQDB）兩個數據庫（如圖3）。其中，TIPSODB主要處理和保存日間交易數據和3個月內交易數據，TIPSODB每日日間交易結束后，將3月前數據按日定時遷移到TIPSQDB中。TIPSQDB存儲TIPS系統歷史交易

9、數據，并提供在線歷史數據查詢功能。圖3：TIPS系統數據庫邏輯部署圖通過歷史數據歸檔管理平臺，TIPSQDB的業務數據，如達到預定義的時間點后，按照預定策略，從在線使用狀態轉移到離線備用的狀態。同時，這些數據從活躍態（Active）轉化成非活躍態（Inactive）。處于離線備用狀態的數據不再被改變，但是不被封存，而是通過歷史數據歸檔管理平臺提供的接口繼續提供近線查詢、匯總、分析等功能。最后，根據法規和監管的要求，當這些數據的保存時間達到規定值后，數據失效（Expired）并進入銷毀階段（圖4）。圖4：TIPS數據生命周期階段3.2數據量估算預估未來1年內，TIPSQDB數據庫每周的數據庫備份

10、規模在400GB（壓縮后）左右： TIPSQDB數據庫的備份量 = 數據庫數據全備 + 數據庫日志備份其中，數據庫日志備份規模在50G至80G，數據庫數據全備隨著業務增長態勢，將從目前的250G增長到320G左右。同時，TIPSODB數據庫存儲3個月的交易數據，該數據庫全備的規模在80GB（壓縮后），預估1年后增長到130GB。假定數據歸檔操作按照每季度（3個月）進行。數據歸檔操作在以太網和光線網絡兩種環境下備份規模對比如下：以太網光纖網絡文件傳輸率10MB/s100MB/s初始數據歸檔規模250GB至320GB250GB至320GB初始歸檔時間6.9小時至8.8小時42分鐘至54分鐘小時每季

11、度數據歸檔規模80GB至130GB80GB至130GB歸檔時間2.2小時至3.6小時14分鐘至22分鐘可見，采用光纖網絡方式部署歷史數據歸檔管理平臺能較好的支持TIPS的數據歸檔需求。3.3平臺部署基于以上分析，部署歷史數據歸檔管理平臺后的TIPS系統和貨金系統整體結構如下（圖5）。其中，新增數據歸檔管理平臺服務器用于配置、調度和管理TIPS歸檔數據。該配置服務器通過部署在被管數據庫服務器的Agent發起歸檔作業。生產數據按照歸檔策略從生產數據庫中清理并轉移到二級存儲設備（磁帶庫或虛擬帶庫）?？蛻舳送ㄟ^向數據歸檔管理平臺服務器發起查詢、瀏覽、查詢、數據漂白等操作。 圖5：TIPS數據生命周期管

12、理平臺邏輯部署圖歷史數據歸檔查詢管理平臺的物理部署圖如下。人民銀行數據中心國庫類、統計類系統的數據庫部署Agent后，就可以通過配置服務器發起數據抽取、歸檔作業?？梢圆捎脧陀脭祿行默F有磁帶庫系統完成數據的歸檔存儲需要。 圖6：歷史數據歸檔查詢管理平臺物理部署圖歷史數據歸檔查詢管理平臺應可以按照任意時間間隔發起數據抽取操作；歸檔數據可以以數據庫或文件格式保存；具備數據壓縮功能；需提供基本的SQL語法對歸檔數據進行操作，滿足業務系統近線查詢需求；應滿足數據在生命周期各階段的功能；采用代理方式與多個生產系統數據庫交互，對生產系統影響最小化；具備橫向擴展的部署結構；對異構數據庫平臺提供統一的配置和管

13、理視圖。 3.4 數據分級存儲方案歷史數據歸檔查詢平臺根據不同類型的數據生命周期進行劃分，使數據在高低頻訪問設備之間進行遷移。而這種遷移，會由程序根據規范自動地完成操作。圖7：分層存儲硬件基礎架構數據歸檔領域（ILM）的硬件基礎結構見上圖（圖7），每兆存儲成本從企業級的磁盤存儲，到中端光纖存儲，再到磁帶，逐步降低；與此同時，數據的服務級別也隨著成本的降低而降低。目前，人民銀行數據中心采用共享方式部署了存儲系統和磁帶庫系統，通過構建的SAN網絡實現了對各業務系統的統一數據存儲服務。歷史數據歸檔查詢平臺可以利用現有存儲環境實現對歸檔數據的分級存儲模式。4 .產品調研目前，主流數據生命周期管理軟件有

14、IBM Optim，HP IAP和Informatica Applimation。各產品的功能對比表如下：功能HP IAPApplimationIBM Optim 數據源需建立特定歸檔數據庫需建立特定歸檔數據庫JDBC/ODBC數據壓縮不提供數據壓縮能力依賴于歸檔數據庫內置的數據壓縮能力采用統一壓縮式歸檔文件進行存儲，壓縮比較高分級存儲數據實際存儲在歸檔數據庫中，難以靈活遷移數據實際存儲在歸檔數據庫中，難以靈活遷移不依賴于存儲介質，對存儲的需求較低系統維護歸檔數據庫需隨著生產系統數據庫的數據結構變化而維護多個版本歸檔數據庫需隨著生產系統數據庫的數據結構變化而維護多個版本采用數據結構快照技術，無

15、需專門跟蹤生產系統數據庫的變化。操作系統支持性主要支持HP-UX支持所有常見操作系統平臺支持所有常見操作系統平臺數據庫支持性僅支持Oracle和Sybase主要支持Oracle支持DB2等主流數據庫產品數據加工不支持數據漂白支持數據漂白支持數據漂白，支持隱私數據保護，支持審計和合規性等需求根據上表，IBM Optim滿足人民銀行數據中心數據庫軟件的要求；對存儲的需求較低，數據壓縮比較高，采用JDBC/ODBC數據源方式與生產數據庫交互，適合靈活部署。因此，該產品滿足人民銀行數據中心對歷史數據歸檔管理平臺的主要需求。5 .系統軟硬件需求5.1 軟件需求軟件名稱數量說明數據庫歸檔領域主流產品1套需要采購。完成從數據中心國庫類、貨金類、統計類等生產系統數據庫（IBM DB2）抽取數據、歸檔、查詢、審計功能。5.2 硬件需求設備名稱設備數量說明數據庫歸檔配置服務器2臺部署歷史數據歸檔查詢配置軟件，調度歸檔作業，提供歸檔數據查詢接口。歸檔數據查詢客