1、GoldenGate軟件及工作原理介紹軟件及工作原理介紹公司目標公司目標 GoldenGate為客戶提供為客戶提供交易數據管理（交易數據管理（Transactional Data Management）解決方案解決方案. 有效幫助客戶優化數據訪問性能，提高交易數據的可訪問有效幫助客戶優化數據訪問性能，提高交易數據的可訪問性和可用性，滿足關鍵業務的需要性和可用性，滿足關鍵業務的需要Real-Time AccesstoReal-Time Information公司簡介公司簡介歷史及現狀歷史及現狀 與多家著名廠商與多家著名廠商結為戰略合作伙伴結為戰略合作伙伴全球35個國家300 多客戶， 2000多

2、個安裝廣泛的客戶基礎廣泛的客戶基礎始建于 1995在北美、歐洲、亞太、拉丁美洲設有分公司24x7 全球技術支持交易數據管理交易數據管理Transactional Data ManagementTDM提供異構環境下交易數據的實時捕捉、變換、投遞。提供異構環境下交易數據的實時捕捉、變換、投遞。TDM 具有:實時性秒一級延遲異構環境支持在不同平臺和數據庫環境下復制數據以交易為單位復制維護交易一致性特點:高性能能夠以低資源消耗完成每秒數千交易的復制可擴展開放的結構使客戶適應各種異構數據平臺可靠保證數據的連續可用GoldenGate支持平臺支持平臺數據庫數據庫操作系統操作系統抽取抽取: Oracle D

3、B2 OS/390 DB2 UDB Microsoft SQL Server Sybase Enscribe SQL/MP SQL/MX Teradata投遞投遞: All listed above MySQL, Ingres and any ODBC compatible databases Windows 2000, 2003, XPLinuxSun SolarisHP-UXIBM AIXHP NonStopTRU64IBM z/OS, LUWGoldenGate 解決方案解決方案高可用性與容災高可用性與容災活動備份無宕機運行Active-Active 層次化企業數據實時數據集成實時數據集

4、成數據倉庫實時數據供給實時報表數據整合 實時數據實時數據實時訪問實時訪問災難恢復災難恢復 災難容忍災難容忍 無間斷運行無間斷運行磁帶備份 磁盤鏡像 塊復制 熱備份 Active-Active硬件 存儲 數據庫 應用物理結構物理結構 數據數據 交易交易批處理批處理 即時復制即時復制 近似實時復制近似實時復制 實時復制實時復制腳本 ETL工具加腳本 EAI和ETL工具加腳本 GoldenGate TDMWeeks Days Hours Minutes / SecondsSub-secondsReal Time Threshold高可用性高可用性數據整合數據整合實時性要求實時性要求為什么選擇為什么選

5、擇 GoldenGate TDM?消除批處理窗口消除批處理窗口方便實現整合流程方便實現整合流程低資源占用低資源占用實時獲取數據實時獲取數據基于日志的復制基于日志的復制對源系統影響小只捕捉數據變化只捕捉數據變化降低系統負荷無需額外編程保證交易完整性和一致性保證交易完整性和一致性可以保證在各種平臺下數據的完整性和一致性GoldenGate TDM軟件技術概覽軟件技術概覽Transactional Data Management (TDM) Software PlatformTDM 工作原理工作原理: 模塊化模塊化 “積木積木” ”網絡網絡源數據庫 目的數據庫雙向復制隊列文件隊列文件: 暫存數據變化

6、暫存數據變化.傳輸傳輸: 數據經過壓縮和加密傳送到目的地數據經過壓縮和加密傳送到目的地. Capture: 實時讀取交易日志捕捉數據變化并可實現過濾實時讀取交易日志捕捉數據變化并可實現過濾.Delivery:執行所需的數據變化，然后將數據變化提交到目的庫.CaptureSource TrailTarget TrailSource TrailTarget TrailDeliverDeliverCapture邏輯邏輯數據復制的幾個數據復制的幾個重要重要問題問題（一）（一）數據變化來源數據變化來源讀取在線日志或歸檔日志在信息不足時與數據庫交互- 數據字典信息- 查詢日志不足信息，例如大對象只復制提交

7、交易如何標志記錄的唯一性？如何標志記錄的唯一性？Rowid- 邏輯復制源和目標的rowid是不一致的，除非自行為兩端記錄建立額外的rowid map主鍵- 實際應用中主要業務表均建立有主鍵- 唯一索引也可作為唯一標示- 無主鍵表可使用全部列作為唯一標示邏輯邏輯數據復制的幾個數據復制的幾個問題問題（二）（二）oracle數據庫附加日志數據庫附加日志缺省狀況下只記錄變化記錄的rowid及對應變化（前影像、后影像）為了能夠在目標投遞到對應的記錄，需在日志中記錄主鍵或唯一索引數據庫級附加日志- SUPPLEMENTAL_LOG_DATA_MIN （最小附加日志）- SUPPLEMENTAL_LOG_D

8、ATA_PK/UI- SUPPLEMENTAL_LOG_DATA_FK/ALL（10g）表級附加日志 GoldenGate建議方式- sqlplus alter table add supplemental log group- Ggsci add trandata ctais2.mytable /自動尋找PK/UI- Dba_log_groups和dba_log_group_columns- 每個log group不能超過32列，超過需要人工分組邏輯邏輯數據復制的幾個數據復制的幾個問題問題（三）（三）目標端使用附加日志還原目標端使用附加日志還原sql根據附加日志中的主鍵信息構筑where條件

9、如果沒有附加日志或者沒有足夠的列則無法執行update和delete操作，而insert不受影響主鍵變化要重新添加表的附加日志無主鍵表則列的增刪均要重新添加表的附加日志CREATE TABLE tcustmer( cust_code VARCHAR2(4), name VARCHAR2(30), city VARCHAR2(20), state CHAR(2), PRIMARY KEY (cust_code) USING INDEX);For Record: (a,a,a,a)Update tcustmer set name=b;Oracle附加日志會記錄cust_code列的值a到日志中；目

10、標端根據cust_code=a構筑update 的sql語句；如果兩端主鍵變為city，而沒有重新添加附加日志，則目標端會根據自己的主鍵city建立附加日志，此時日志中沒有該字段值，導致目標update失敗如果修改表但沒有修改主鍵，則附加日志不受影響邏輯邏輯數據復制的幾個數據復制的幾個問題問題（四）（四）如何將數據裝載到目標庫？如何將數據裝載到目標庫？常規加載- 通過SQL裝載直接加載- 通過數據塊裝載- 不利用空閑存儲空間- 不檢查外鍵等約束- 裝載速度較快GoldenGate采用常規加載- 保證數據安全和一致性- 有效提高性能的選項 合并小交易 拆分大交易 批處理的加速單向復制單向復制報表

11、、災備雙向復制雙向復制立即接管點對點點對點負載均衡, 高可用性及容災廣播復制廣播復制 數據分發集中復制集中復制數據倉庫靈活的拓撲結構靈活的拓撲結構多級復制多級復制層次化企業數據Data Pumps 與一對多復制與一對多復制Database Transaction LogsExtractProcessTrailExtractProcessTrailTrailTrailExtractProcessExtractProcessGoldenGate Veridata快速數據對比方案快速數據對比方案能夠快速設別和報告在線數據的差異用途用途:降低數據差異帶來的風險簡便快捷的對比無需影響業務關鍵特性關鍵特性

12、:支持大數據量對比支持在線狀態的數據對比優秀的對比效率和速度可執行選擇性對比可自動執行無需人工干預靈活的報表GoldenGate Director能夠使客戶定義、配置和管理能夠使客戶定義、配置和管理GoldenGate TDM 各節點和進程，各節點和進程，監控運行狀態監控運行狀態優化系統管理優化系統管理關鍵特性關鍵特性:集中管理多個GG進程豐富的客戶端和web界面提高可用性提供報警以及與第三方軟件集成的接口實時獲取GG進程信息對原系統無影響典型案例典型案例案例一：美案例一：美 國國 銀銀 行行超過五千八百家分行及一萬六千多部自動柜員機熱 備 份 數 據 中 心 從 貫 穿 北 美 的 四 臺

13、主 機 (HP NSK) 抓 取 數 據保 障 ATM 7X24小時可用熱熱 備備 份份 點點主主 數數 據據 中中 心心客客 戶戶客客 戶戶客客 戶戶客客 戶戶雙向數據復制雙向數據復制GoldenGate has helped the Bank of America accommodate growth.Michele Schwappach, Vice President and Senior Systems Manager案例二：中華人民共和國海關總署l遠距離容災遠距離容災l低帶寬低帶寬l低延時低延時l可隨時接管的雙業務可隨時接管的雙業務中心中心l快速業務切換快速業務切換案例三：國家體育總

14、局體彩中心lN+1N+1模式容災模式容災l各省市集中備份各省市集中備份l遠距離遠距離l低帶寬低帶寬2021年年11月月21日星期日日星期日GoldenGate安裝及其組件安裝及其組件系統需求系統需求為獲取高可用性，建議安裝于共享陣列，可以隨集群軟件切換到備用節點為獲取高可用性，建議安裝于共享陣列，可以隨集群軟件切換到備用節點復制軟件只需不到復制軟件只需不到200M空間大小，考慮到需要緩存隊列數據，建議保留相空間大小，考慮到需要緩存隊列數據，建議保留相當于數據庫歸檔日志量當于數據庫歸檔日志量3-7天的存儲空間天的存儲空間復制軟件安裝目錄可位于任何位置復制軟件安裝目錄可位于任何位置復制軟件可使用現

15、有系統用戶或者建立專門系統用戶，需滿足一下條件復制軟件可使用現有系統用戶或者建立專門系統用戶，需滿足一下條件該用戶具有為Oracle安裝用戶組成員，環境變量與Oracle運行用戶一致，可訪問Oracle數據庫其內存限制應當滿足數據復制要求，可以通過ulimit a輸出察看信息，具體配置在/etc/security/limits 文件中。雙機環境下的理想配置方案雙機環境下的理想配置方案正常運行狀態備機接管狀態安裝步驟安裝步驟Unix下的安裝步驟1.ftp .gz file to GoldenGate安裝目錄2.gzip d *.gz3.tar xvf *.tar4.ldd ggsci5./ggs

16、ci6.GGSCI CREATE SUBDIRS數據庫需求數據庫需求復制用戶可以使用現有或者新建用戶，復制用戶可以使用現有或者新建用戶，DML復制要求權限如下：復制要求權限如下：源端：CONNECT/ALTER ANY TABLE/ALTER SESSION/CREATE SESSION /FLASHBACK ANY TABLE/SELECT ANY DICTIONARY/SELECT ANY TABLE/RESOURCE“目標端在源端基礎上加以下權限：INSERT ANY TABLE/DELETE ANY TABLE/UPDATE ANY TABLE;需要打開數據庫級最小附加日志需要打開數據

17、庫級最小附加日志select SUPPLEMENTAL_LOG_DATA_MIN from v$database; ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 針對所有復制表打開表級附加日志針對所有復制表打開表級附加日志GGSCI add trandata select * from user_log_group_columns where table_name= ;超過32列無主鍵表需要手工添加附加日志：-Alter table add supplemental log group (column,.) always;GoldenGate組件與目錄結構組件與目錄結構基本組件基本組件Manager 管理