1、數據鏡像同步項目POC測試報告5.2鏡像同步系統表現5.2.1主機內存使用情況MemoryM.MMdato»1W>O5.2.2主機網絡使用情況網絡報文讀寫比較穩定NrtworkPacUtihlhtdM4201M/M一sail一略5.2.3主機CPU使用情況CPU占用率幾乎可以忽略。CPUbyProcwwr2O19/V»（。thr5.2.4主機磁盤讀寫情況磁盤10大部分時間保持在1M左右，最高為：25M的樣子。DisktotalKB/shhtdata-2019/6/30Ci*«gwm«5omc6.測試小結基于此次數據同步poc測試總體結論：基本滿足數

2、據同步需求。經過不同場景下，持續3天的的功能與性能測試，數據同步系統都能滿足業務需求，在單機模式環境下，CPU利用率和內存使用平穩，能滿足數據同步的業務要求。1 .測試簡介本次測試主要考察數據鏡像同步系統功能以及性能上的表現，驗證壓力測試強度，通過測試來驗證是否滿足數據同步的技術要求和業務要求。2 .測試環境服務器及網絡環境如下：序號應用類型操作系統類型CPU內存硬盤帶寬1源數據庫centos8c32GIT1000M/S2目標數據庫centos8c12GIT1000M/S3鏡像同步系統centos8c16GIT1000M/S說明：鏡像同步系統是需要與源和目標數據庫主機能夠相互連通，并保證具備穩

3、定的網絡傳輸性能。3 .測試方法3.1數據準備本次測試參考深圳社康項目的數據采集，20個數據集，對應約30個表。本次測試的數據準備如下：1. 30個表，每個表最少19個字段，字段類型基本上涵蓋了所有常用的類型：.橢表ADAPTER_ORIGINALDATA_HZ02|勾tr|eo列仲健索引I"硼I類型所有者名稱名稱類型可為空默認存儲注釋CHAR(32)rRECORDCLASSIFYINGVARCHAR2(32)F7RECORDTITLEVARCHAR2(50)7EFFECTIVETIMEDATEQAUTHORORGANIZATIONVARCHAR2(56)7SOURCEIDVARCH

4、AR2(32),I7VERSIONNUMBERVARCHAR2(10)VAUTHORVARCHAR2(32),I7SYSTEMTIMEDATEVUPLOADTIMEDATE,I7HEADERVARCHAR2(4000)5T7DOCFORMATVARCHAR2(8).7ZIP7YPEVARCHAR2(8)QPROCESSFLAGCHAR(1)(70MPIPROCESSFLAGCHARQ0MPIVARCHAR2Q2)7DQDCHAR(16)VCREATETIMEDATE7AUTHORORGANIZATION_TEXTVARCHAR2(56)QREPEATFLAGVARCHAR2(4)70INSER

5、T_TIMEDATEQsysdate*P2. 30個表同時插入數據，定時進行刪改操作，并記錄這些刪改日志。3. 每個表每次插入約60萬條記錄以后停止插入操作，待數據完全同步到目標庫后,根據刪改日志，檢查源表與目標表數據是否一致。4. 源表定義一個字段：時間類型，默認值sysdate,表示數據入源表時間目標表定義一個字段：時間類型，默認值sysdate,表示數據入目標表時間兩者的差值，即為同步所需要的時間。GJlNSERT.TIMEISVNC.TIME源表：|WSERT_T1ME201W30163306-281*6/30163305-201330163305-201狗30163306-201狗3

6、0163306-201啊301&3306201狗30163306201狗30163306-2S狗3016330523*6/30163305-*201W3016:33:17"201啊3017:2822.201W30163317201啊30172822201W3016:33:17-201啊3017:28:22-201啊30163317201啊301728222O1W3016:33:17-201啊301728:22-201W301633:18201W30172822201W3016:33:18201啊30172822-201W3016:33:18201W3017:28:22201啊

7、30163318201啊30172822-201W3016:34:03-201啊3017:28:22-201啊30163403201啊30172822201W3016:34:03-201W3017:28:22-目標表-201啊30163403201啊301728223.2源表數據的插入數據插入腳本:BV132224*KA/BMiUJUA/RM32219J22VMA/m»i32219ArM1322N32222數據插入量：電；ddUmrrorput-aOubles左；：IM01>-IIoat?用國h°°*j岫礎0M歷史DB.-KMt匕性1685dMKrkj<

8、;B>Previewdu9奶的迅蹄*5林<S±迎就1001676898055896600023221005SW665Sg55896631SW8003WUWM322405宓66558雙559966515349004WURM3221905冰655896455896651534900$IKX/120S雙66558次55896631M010006/Bit1322140S埔66538*5589663153490007癡V/土1322200S瑚665589665589663155490008爪/土132270S5W565589C45589663147250009/*13205SW66

9、558雙55996631533600010m/RS13221205琳66558次55896651534900011SU/EE221605煬66558次556966J14W100012炒/映1322170SSW66558655896651492900013畛/購1322203做66558次558966514W0000U蟲/土1322220S5W56558%655896631482100015/«M322505SW66558次558966315549000162*15055W66558次558966515349000V/WM322905*6655畛558966為534900018K/MH

10、322110SSWW338次558966J1S34900019BU/珈13221305SW66558次5S896631534900020炒/唳1322150S5W66558%4558966315M900021/«M3222505SW5655g558966314知200022/ew132205冰6558雙559966515348000232*13221。05琳6655畋55096651534800024l*/Wf1322240S煬66558次55896631534900025炒/更仙132230SS89&6538*55896631534900026g/映1322230S瑚665

11、5896655896631514800027*./土13226055的665589U558966314W200028SU/*1322805SW6655畛559966314871000«/Rfl05琲66558次558966J1534900090/Vtf1405煬66558次55896651590400031炒/更*130，埔66338次55896631S28300026mn10»10.67526mn11，35626mn11$35626mn11s35626mn11s35626mn11s35626mn17t35426mn11f35626mn11j35626mn11$35626m

12、cIB3S626mn11s35626mn11t35626mn11，35626mn11j35626mn11$35626mn11s35626frm10s3S626mn11s3S626mn11f35626mn11，35626mn11$35626mnVs35426mc11s3S626mn11s3S626mn1135626mn11»35626mn10s35626mn17$35426mcIB3S626mn11s3S6Pr/n/Out3.3源表數據的刪除PersiG庭I.H難一個表fiS伽隱1final五巽W.讒S-個暮網虬更帶100finol>»lia<l>or?&#

13、163;100%功能簡述：1. 隨機選擇一個表，隨機選擇其中的100條數據，sql語句類似于：selecteventidfrom(selecteventidfromTableNameConditionorderbydbms_random.value)whererownum<=100日志表記錄這100條數據的表名,主鍵值。2, 刪除這100條記錄。4. 該腳本定時每分鐘執行。3.4源表數據的更新9®as>!既吼逸擇耳札SB粉10051fiMlI'）：SWU8擇一個蠢li機更新100S4final3既©SSL=g:功能簡述：1. 隨機選擇一個表，隨機選擇其中

14、的100條數據，sql語句類似于：selecteventidfrom(selecteventidfromTableNameConditionorderbydbms_random.value)whererownum<=100日志表記錄這100條數據的表名，主鍵值。2. 100條記錄指定字段更新為指定值。3. 日志表中記錄更新數據。4. 改腳本定時每分鐘執行一次。6.功能測試測試場景-測試點-測試目標-測試步驟-測試結果4.1各類型數據庫Tab-DML操作測試序號源端庫支持源數據版本號目標庫結果2SqlServer2008及以上版本Oracle全量、增量通過4Oracleilg/12c/支持

15、物化視圖版Oracle全量、增量通走注：理論上源支持的版本有SQLServer2008及以上版本，和Oracle支持物化視圖的版本,本次測試暫時使用的源為sqlserver2008,以及Oraclellg和Oraclel2c,目標使用Oraclel2C。對源端的測試表進行增加刪除修改操作，同時檢查目標端的同步結果批量insert/update/delete操作測試1）數據庫執行insert語句同步測試初始化完成數據同步開始后，在源端數據庫創建空表est,字段不少于20個向表中insert十萬行數據，測試鏡像同步效率，統計用時從源端commit開始直至目標端表行數與源端一致。2）源數據執行upd

16、ate語句同步測試對源數據庫正在進行增量鏡像同步的表數據隨機選擇幾條數據進行修改時，通過對比驗證修改會實時同步到目標鏡像庫的對應表中，即可以實現update操作的實時同步。3）源數據執行delete語句同步測試同樣對源數據庫正在進行增量鏡像同步的表數據隨機選擇幾條數據進行刪除時，通過對比驗證刪除操作會實時同步到目標鏡像庫的對應表中，即可以實現delete操作的實時同步。4.2數據同步準確性測試對比數據，數據一致4.3可用性測試同步開始后，在源數據庫持續大批量進行數據插入、修改等操作、測試軟件的可用性，測試持續2-3天。測試結果：數據同步成功。4.4目標系統可用性說明：目標系統數據庫實時可用，可

17、做采集與其它查詢業務。4.5源或目標主機或數據庫重啟測試4.5.1正常重啟4.5.1.1源端正常重啟數據庫主機操作步驟：1. 關閉數據庫實例2. 重啟源端主機3. 重啟源端數據庫4. 進行DML測試測試結果：數據同步成功4.5.1.2目標端正常重啟數據庫主機操作步驟：L關閉數據庫實例2. 重啟目標主機3. 重啟目標端數據庫4.進行DML測試測試結果：數據同步成功4.5.2宕機重啟4.5.2.1源端異常重啟數據庫主機操作步驟：L直接重啟源端主機2. 重啟源端數據庫3. 進行DML測試測試結果：數據同步成功4.5.1.2目標端正常重啟數據庫主機操作步驟:L直接重啟目標主機2. 重啟目標端數據庫3. 進行DML測試測試結果：數據同步成功7.性能測試測試在多表（幾十張表），以及大量數據情況下實施數據鏡像同步時源數據服務主機的穩定性，以及鏡像同步系統在處理多表、并發量高和吞吐量大的情況下的穩定性。本次性能測試涉及表30張、每張表數據量為50萬，每張表字段多達1020個，監控時長1-2小時。監控的指標有內存、網絡、cpu以及磁盤讀寫的情況。5.1數據源服務主機性能表現5.1.1主機內存使用情況開始時，進行表的全量同步，占用的內存比較大，隨著全量結束，進入增量內存使用基本保持在一個