1、某商場容災系統建議方案迪思杰（北京）數碼技術有限公司2009年9月目 錄1.項目背景32.用戶環境43.方案設計54.原理概述65.技術標準85.1日志抓取（Data Capture）95.2日志分析（Analyze）105.2交易合成（Synthesize）115.3交易傳輸125.4數據裝載136.技術指標167.推薦采用“RealSync產品”197.1為什么推薦RealSync產品197.2RealSync容災系統架構218.實施運維方式說明239.售后服務方式說明249.1DSG售后服務宗旨與策略249.2DSG售后服務內容249.3DSG售后服務流程2510.DSG Realsyn

2、c部分國內用戶261. 項目背景唐山百貨大樓集團是河北商貿龍頭型企業，始建于1984年，集團下設10個分公司，8個子公司，2個專業總公司，1個物流公司。 經營面積30萬平方米，經營25萬種商品，企業總資產12億元。2009年實現銷售40億元。本項目中realsync同步的是唐山百貨最核心的卡庫數據庫。2. 用戶環境卡庫數據庫：aix5.2 oracle10g 數據量30G左右災備端數據庫：linux oracle10g運行結果全同步（存量數據數據同步）時間：數據同步20分鐘左右，含多張千萬級的表。實時增量延遲：3秒以內運行一個月，每日清算表，生產庫和災備庫數據完全一致。災難演練測試（模擬災難發

3、生），DSG同步數據庫可成功接管業務。3. 方案設計網絡拓撲圖如下： POS機通過POS終端連接POS庫，POS庫從卡庫中提取卡的信息; 災難發生時，可以把POS庫直接連接到DSG災備庫，查詢卡的信息，同時POS機和終端也可以通過POS庫訪問卡庫.4. 原理概述DSG是全球領先的數據與存儲管理軟件提供商，提供優秀的數據管理軟件和數據備份、災難恢復、數據抽取共享、數據歸檔檢索和一體化管理平臺在內的解決方案。DSG公司擁有對Oracle數據庫復制的核心技術掌握，其推出的復制產品家族RealSync是通過對Oracle Log日志進行分析獲取跟蹤源系統的交易指令。該軟件在生產系統上的每個oracle

4、系統和dc系統上安裝一個agent，該agent通過對oracle log的分析抽取實時增量數據，并將這些增量數據傳送到災備中心上。災備中心的每個服務器上也需要安裝agent，用于接收從生產中心傳輸來的交易指令，并將這些交易指令裝載到災備中心的數據庫上復制系統包括兩個部分組成： DS: Data Source端，即源系統端； DT：Data Target端，即目標系統端。（1）源端和目標端各安裝一套DSG的realsync軟件，只要進行一些簡單的配置就可以完成從首次初始化到實時增量同步的整個過程，并且實現無需停掉生產系統業務而完成整個實時數據復制容災功能。（2）DSG Real實時分析orac

5、le的Online Redo Log 生成壓縮的xf1文件自動發送到目標端等待裝載。（3）通過的定制filter功能，來根據用戶需要不復制一些危險的DDL操作比如drop table truncate table 。（4）目標系統收到xf1指令后保存到目標系統的緩存隊列，由于RealSync只分析online redo log中的有用信息，所以一般需要傳輸的xf1文件只是oracle redo log的1/5，這樣大大降低了網絡的負載，從而更好的減少了數據延遲。（5）目標系統的loader進程從本地隊列中讀取數據裝載到目標端oracle系統上，裝載過程中通過DSG獨有Rowmapping技術進

6、行數據一致性的檢測，從而部分保證生產端和容災端數據的一致性。（6）整個延遲在Oracle RAC模式下正常情況下為35秒中，最長延遲不超過10秒，即RPO10。（7）目標端數據庫處于實時打開狀態，如果源端出現災難，整個RTO時間只是應用準備的時間。而且在沒有接管生產系統業務的情況下容災端數據庫不僅可以用來容災還可以用來將OLTP應用、報表和查詢應用分離；提高每個系統效率，降低資源爭用和消耗，從而更有效的利用現有設備。（8）整個分析、傳輸、裝載過程全程監控，如果出現錯誤及時提示用戶，方便用戶及時發現問題解決問題。5. 技術標準目前此類軟件沒有相應的技術標準，因此特將RealSync軟件的原理展示

7、給大家，作為評判的標準。示意圖：如上圖所示，RealSync在Data Source端和Data Target端分別安裝Agent進程，Source端的Agent進程對ORACLE日志進行監控，發現改變及時對目標數據庫進行更新。當應用系統在Data Source端向數據庫進行任何操作時時，這些信息都將在Redo Log中保存，RealSync Agent通過對實時獲取的Log日志進行分析，獲得本次操作的交易指令和交易數據，然后將這些交易指令和交易數據經過格式轉化生成DXF數據格式，并實時通過網絡傳送到Data Target系統。Data Target系統的RealSync Agent接收數據庫

8、包，經過校驗碼檢查，確認正確的數據庫包后，調用Oracle函數按照交易的先后順序在Data Target系統中執行該交易。5.1日志抓取（Data Capture）RealSync對數據的抓取是通過安裝在Data Source端的Agent模塊定時分析Oracle Redo Log來獲取Data Source端的交易類型及數據的。RealSync Agent在判斷Data Source端的Oracle系統是否有新的交易產生時是通過定期檢查Oracle Controle file中記錄的當前SCN號來判斷的，這樣避免每次檢都通過讀取log文件來判斷否有新的交易產生時造成的系統影響。在Contro

9、le file中確認有新的交易產生時，可以同時獲得當前的Redo Log 組，以及最新日志在日志文件的最新位置。RealSync Agent模塊根據這些信息將上次抓取時記錄的日志位置與本次讀取的最新位置之間的Log讀取并加以分析。然后將這些數據保存在Online Log Cache文件中，等待下一步作交易合成處理。l RealSync的優勢：與其他類似日志復制產品相比，RealSync對日志進行分析，得到交易信息再進行傳送；而其他類似產品不對日志作分析，傳送全部日志，然后在目標端通過日志作Recover， 這樣一來，不僅傳送數據量大，而且目標端數據庫不能打開。5.2日志分析（Analyze）O

10、racle數據庫的所有更改都記錄在日志中，其中記錄了對數據庫中的每一個變化。當我們候需要需要了解數據庫中所作的交易時，一個最有效實用而又低成本的方法就是分析Oracle數據庫的日志文件。RealSync Agent中集成了DSG的優秀日志分析功能，該功能完全不同于oracle提供的Logminer日志分析工具，在性能和功能上都大大提高，主要體現在系統性能的優化上，大幅度提高日志分析的速度，使得對于高并發業務系統的復制成為可能。按照RealSync的日志分析設計目標，每秒能夠分析的日志量達到10M/s。RealSync通過對日志的分析，得到該數據庫中的每個SQL指令，并將這些SQL指令生成DXF

11、（DSG Extend Format）格式的表達方式。DXF格式是DSG公司的專有技術，該技術是DSG公司用來表達SQL指令的方式，該數據格式能夠通過DSG的專有轉換算法能夠直接轉換為ORACL的內部數據表達格式，從而在分析和轉載時需要最小的轉化，提高分析和裝載速度，減少資源占用、豐富能夠表達的各種數據類型。5.2交易合成（Synthesize）通過ORACLE REDO LOG分析的交易指令存在如下的幾個特點：（1）這些指令是交叉出現的，屬于一個交易（Transaction）的多條SQL指令是非連續存儲的，多個交易的SQL之間是相互穿插的；（2）Redo log中記錄了所有的commit的交

12、易以及沒有commit的交易；所以，為了提高系統的可控制性、保證邏輯完整性、避免數據丟失，最好將復制的最小單位為一個交易（Transaction），而不是以單個SQL指令為復制單位，這樣在Data Target端的交易裝載更加容易控制。同時，對于復制的數據而言，只有那些Commit的數據對于Data Target端系統是有意義的，而對于那些Rollback的數據無需復制到Data target系統上。所以RealSync在復制過程中不是復制每個SQL語句，而是對抓取的數據進行交易整合后以交易（Transaction）為單位進行復制，同時只復制COMMIT的交易。如上圖所示，在Online Lo

13、g Cache文件中，包括Commit的交易，沒有Commit的交易和Rollback的交易。交易合成模塊首先按照交易序號對SOL語句進行劃分，每個交易包含多條SOL語句。然后，以交易為單位進行處理，將已經Commit的交易，傳至傳輸處理模塊；將未提交的交易保存在本地，一旦通過日志得知保存的未提交交易已提交，立即將該交易發送到傳輸處理模塊；對Rollback的交易作丟棄處理。l RealSync的優勢：RealSync是以交易為單位進行傳輸的，而不是以SOL語句為單位進行傳輸的，更容易保證數據的一致性和完整性。5.3交易傳輸RealSync技術為了保證數據傳輸的安全、可靠，在傳輸處理上作了特殊

14、的處理與支持:（1） 數據在傳輸之前首先存入Data Source端的Cache，傳輸進程（Export Process）從Cache中讀取交易數據封裝為TCP/IP數據包傳送給Data target端的Import進程。（2）在data target端，Import進程在收到傳輸的交易數據包后，首先存入Queue，然后由Load進程從Queue中嚴格按照交易的順序裝載交易信息。如上圖所示，負責傳輸的進程（Export Process）從本地隊列中按照先進先出的原則抓取需要傳輸的交易，將交易數據封裝成一個數據包后通過TCP/IP協議傳遞給對端系統。在封裝的數據包的包頭部分描述了包的大小。對端系

15、統在接受到傳來的數據包后，首先根據包頭描述的包大小進行傳輸的合法性檢查，判斷是否傳輸完整。5.4數據裝載在傳統的復制技術中，常用的數據裝載方式是采用Oracle 的SQL接口，通過Insert、Update、Delete等SQL語句實現數據的裝載。這種方式在通用性上很好，但關鍵在于性能問題非常突出。SQL語句的執行需要經過parse、plan、格式轉換等過程，造成大量的系統開銷。尤其是update和Delte操作的大量Where子句操作需要進行復雜的查詢定位任務，從而導致裝載性能低下，對處理能力的要求比生產系統的還高。DSG RealSync在設計之初就定位于電信級大數據量系統的應用，因此在裝

16、載性能上進行了大幅度的改善，使得裝載端的性能和處理能力需求降至最低。在其中DSG RealSync采用了兩個關鍵的技術提高了裝載速度：（1）采用DXF數據格式的裝載；（2）采用Rowid mapping的方式實現快速定位；(一) 用DXF數據格式的裝載：DXF（DSG Extend Format）格式是DSG公司的專有技術，該技術是DSG公司用來表達SQL指令的方式，該數據格式能夠通過DSG的專有轉換算法能夠直接轉換為ORACL的內部數據表達格式，從而在分析和轉載時需要最小的轉化，提高分析和裝載速度，減少資源占用、豐富sql語句的表達方式。Oracle數據庫系統在設計上提供了4個層次的接口，其

17、中包括User層，SQL層，Transformation層和I/O層。其結構為：在這四層當中，當采用SQL接口進行數據裝載時，調用的是User層，而DSG RealSync通過DXF數據格式裝載時，調用I/O層直接將數據通過Oracle的最底層函數寫入系統中，所以DSG RealSync在裝載層上有一定優勢；(二) Row mapping實現快速定位對于交易中的操作，存在著大量的Where子句操作，在采用標準SQL語句執行這些操作時，系統需要首先定位目標記錄所在的數據文件的位置信息，這將帶來大量的索引查詢開銷，當并發執行數千條指令時，系統的開銷將變得非常龐大。DSG RealSync工具不采用

18、該方式實現裝載數據的定位，而是通過ROW Mapping的方式實現記錄的快速定位：當RealSync從源端Log文件中讀取交易數據時，將獲得該交易對應記錄的所在位置，用rowid表示為rowid_ds；當該交易在目標端裝載時，系統不翻譯為Where子句，而是去通過保存在目標端的row mapping表獲得對應目標端該記錄的所在位置rowid，記錄為rowid_dt。從而在目標端裝載時通過rowid能夠直接定位于該數據需要寫入的位置。避免了大量的索引查找時間。每條記錄的row mapping信息是在該記錄執行insert操作、sql loader或首次批量同步時建立起來的。l RealSync的

19、優勢：DSG擴展格式DXF(DSG Extend Format)是RealSync產品的一個核心技術，是一種最高效率表示ORACLE記錄的數據格式，該格式只需要經過最小的轉換過程就能夠裝載到ORACLE數據庫中，并且裝載效率非常高。n 無需標準SQL語句執行的復雜過程n 加快裝載速度n 對于Update，Delete等帶Where子句的交易，可以大幅度提高裝載速度6. 技術指標序號項目技術規格要求1基本功能要求1、 支持對文件數據的同步，包括應用程序、圖像數據、音視頻數據、網站文件等；2、 支持Oracle、Sybase、SQL等數據庫的交易復制，且災備數據庫始終處于Open狀態；3、 軟件L

20、icense需滿足10個物理CPU的許可，無需綁定主機；2兼容性要求1、 數據復制軟件應支持主流操作系統：Linux、HP-UNIX、Sun Solaris、IBM AIX、Windows；2、 支持HA和RAC模式；3技術指標要求系統資源占用少，保證主機的正常運行；1、 源端CPU占用小于5；內存占用小于800M；2、 目標端CPU占用小于5；內存占用小于200M； 3、 復制數據延遲平均值10s以內；4初始化要求 在初始化同步過程中，業務不能停止；初始化過程中不需要人工干預； 支持BCV，SRDF，RMAN，DBP等全同步方式 支持200-800GB數據的全同步時間1小時左右完成； 支持異

21、構平臺下的首次數據初始化同步； 支持跨數據庫版本之間數據庫的初始化同步操作；5選擇性復制1、 可以支持用戶級別，表級別復制2、 指定條件進行數據復制3、 指定列進行數據復制4、 指定分區進行數據復制5、 指定表空間進行數據同步復制6數據庫的容災功能要求1、 支持一對一，雙向，一對多，多對一，和級聯復制；2、 支持數據轉換、數據拆分及分發；3、 支持從多個數據庫中同一類型表的記錄整合到一個表中去；4、 支持對列的數據進行轉換，包括列映射、增/刪除列、列轉換5、 支持DML操作復制、支持SEQUENCE、函數、存儲過程、視圖、同義詞、索引、應用包、用戶等數據庫對象進行復制；6、 支持沒有PK/UK

22、字段的表的復制、并無需打開或修改數據庫參數，可定義并過濾不需要復制的事務；7、 支持按照schema方式設置復制關系，無需單表設置復制關系，支持不同源和目標端在不同的schema名情況下的復制；8、 支持中文漢字內碼，符合雙字節編碼；支持DXF數據格式的裝載；支持Rowid mapping的方式實現數據快速定位； 7故障應對能力1、 在遇到系統錯誤引起的復制中斷時，例如硬件故障、數據庫故障、網絡中斷或延遲，分級存儲機制能完好的保存已經合成的交易信息，避免數據丟失，直到系統故障解決，恢復從隊列傳輸的中斷點開始；2、 系統需提供數據比對功能，如果發現不一致情況后能夠提供便利的單表以及單用戶的數據修

23、復工作，要求操作簡單，修復速度快，且修復過程中不影響業務正常運行；3、 生產災備切換后，支持快速的增量回切、全量回切功能；8管理監控功能要求提供中文操作界面；復制軟件需提供統一的管理監控功能，能實現對復制軟件的運行狀態、運行日志、系統配置等方面進行統一的管理及監控；系統軟件應具有故障的監視和診斷能力，出現不正常情況時，應能及時識別并發出告警信息；9審計功能（可選功能）審計功能：通過分析Oracle數據庫的日志對數據庫操作進行監控，主要功能：1)根據審計策略記錄數據庫操作；2)對違規操作進行報警和留痕；3)展示審計報表和數據庫操作全貌；4)跟蹤并回溯數據庫操作歷史；5)提供用戶操作分析功能和對象

24、操作分析功能；6)提供對錯誤數據的在線修復建議；7)提供按各種條件和粒度查詢數據庫操作的功能；8)提供用戶權限管理功能。9)提供報表和統計數據的轉儲和打印功能審計效率：不低于5萬筆操作/秒(但依環境而異)支持操作系統：AIX、HP-UX、Solaris、Linux、Tru64等審計存儲空間：數據庫日志量/3*保留天數資源占用：CPU 3%，內存 400MB，對網絡基本無影響。10歸檔功能（可選功能）歸檔功能：按照客戶要求將使用頻度低的數據一次性(從數據庫文件讀取)或者連續歸檔(分析數據庫日志)到目標數據庫中，并在源端進行數據清理，從而減少源庫數據量，提升系統效率，分擔系統壓力。產品特點：1)快

25、速、高效一次性歸檔歷史數據；2)目標數據庫完全可用，可讀可寫；3)可以跨操作系統平臺和數據庫版本復制；4)可實時歸檔數據，秒級延遲；5)實時歸檔與增量實時同步一體化實現；6)歸檔數據壓縮，壓縮率3-5:1;7)支持全庫或者部分數據復制；8)支持斷點續傳；9)提供數據核對/修補內置功能。歸檔模式：1對1、多對1復制對象類型：表數據復制可選范圍：單表、多表、用戶11數據回切功能支持復制軟件雙中心切換時間較短，操作簡單12服務要求1、原廠負責首次安裝調試、現場培訓及售后服務，并出具一年現場7X24響應、4小時到現場、軟件免費升級的服務承諾；2、服務報價需包含原廠20個現場人天，無節假日限制，并由原廠

26、出具證明；3、如有不符，可拒絕投標產品，做廢標處理。7. 推薦采用“RealSync產品”要建立查詢數據庫的關鍵技術，就是數據庫的實時復制。在本方案里，dsg推薦采用realsyc產品，該產品目前在業內應用范圍廣泛，主要實現如下功能：(一) 業務負載分擔由于復制的第二數據中心的數據處于實時可讀取狀態，數據庫處于OPEN狀態，從而實現系統業務模塊的重新部署。通過第二數據中心實現對核心系統的業務模塊進行負載分擔，將那些只對數據進行讀取操作的模塊都遷移到第二數據中心上來，主要包括： 提供業務查詢； 提供統計報表運行； 提供數據抽取； 提供其他系統的數據訪問接口；這樣作將達到兩個好處： 提高數據訪問的

27、效率，提高外圍系統部署的靈活性； 提高核心系統的運行效率，提高核心系統運行的穩定和可靠性；(二) 核心業務的災備平臺通過數據同步建立災備中心可以實現對業務關鍵數據的容災及保護，在不影響生產數據庫性能的同時為生產數據庫在本地或異地建立一份準實時鏡像，以保證在生產數據庫發生災難時可使用容災數據庫進行業務接管和數據恢復。7.1為什么推薦RealSync產品我們建議采用DSG RealSync軟件的原因在于：1. 復制目標數據庫處于OPEN狀態、數據是實時的、可以支持實時數據庫訪問RealSync維護的容災數據庫在數據復制過程中始終處于打開狀態，客戶可通過打開的Oracle數據庫提供數據查詢、報表和E

28、TL抽取等功能，實現業務分擔；滿足此次本商場提供的業務需求。2. 支持不同硬件平臺之間的復制RealSync技術是邏輯級的數據復制技術，因此對于生產系統和目標系統來說，其硬件平臺可以屬于不同的廠商、不同的型號，亦可采用不同的操作系統等等。它的優點在于：一方面，在系統建設時，為用戶提供硬件平臺的靈活選擇空間；同時，提供了在同一解決方案架構下，實現企業不同平臺上的多個信息系統的統一復制的支持。如此次營銷系統的數據復制是從hp unix到ibm aix的異構復制，dsg能夠很好的滿足這類需求。3. 按需復制，滿足業務需求，降低存儲成本和網絡成本根據本商場建設查詢平臺的業務需求，很多情況下，僅僅對需要

29、的數據表信息進行復制，realsync軟件完全可以支持這類需求，這樣也可以減輕復制的壓力、減少存儲和網絡帶寬的成本。4. 對生產系統的低干擾性DSG實時數據復制技術不需要通過任何數據庫的引擎來獲取變更數據，而是通過數據庫自身的信息獲取源系統上的改變并傳送給目的系統，這不會對生產系統造成性能影響。5. 提供不停業務的首次全同步功能和單表修復功能RealSync還提供目標端系統數據初始裝載功能支持，將主系統上的已有存量數據，在不中斷業務的情況下平滑的裝載到目標數據庫上。這是realsync軟件獨有的功能。6. 支持長距離復制、更低的網絡帶寬要求和運行成本目前Realsync 是全球同類方案中要求最

30、低的，交易級復制軟件僅需要在網絡上傳輸的量為oracle redo log的1/3，一方面比oracle DG的帶寬要求低，當然更遠遠低于磁盤陣列、卷文件、虛擬存儲復制所需要的帶寬。7. 作為容災系統的補充，提供可靠的應急切換，避免物理錯誤的復制打開的Oracle數據庫確保在業務切換時數據庫一定可以打開接管業務，避免了數據庫可能無法啟動的風險；DSG Realsync是基于交易指令的復制，因此對于那些產生壞塊，或者是文件被破壞等操作將不會在目標系統重現。7.2RealSync容災系統架構在災備系統中安裝oracle數據庫引擎，在業務數據庫上安裝Realsync Server端程序，在災備系統上安裝Realsync Agent端程序，可以在線實時的將主業務數據庫上的數據復制到異地災備系統中。災備系統不僅提供數據庫容災備份需求，而且能夠分擔主業務數據的查詢報表等工作，大大減輕主業務數據庫系統壓力。8. 實施運維方式說明該產品方案的實施運營方式，以及實施運營需要注意問題的說明。9. 售后服務方式說明9.1 DSG售后服務宗旨與策略v 樹立以客戶為中心的工作作風、以客戶需求為導向、以客戶滿意為衡量一切工作的準繩；v 迪思杰公司不斷的擴大自己的服務網絡，增加市場和服務人員，使得各地