ODI工具抽取數據操作手冊

一、準備工作（以ORACLE11G為例）

1、0DI是oracle數據抽取工具,需要自行安裝oralce數據庫。

2、請根據0DI安裝說明書安裝rcu資料庫和0DI工具。

ODI11G安裝及使用_baidu文庫：

3、了解：資料檔案庫

資料庫分兩種：

（1）MasterRepository（主資料庫），保留企業全部IT資源Topology,保留

項目和數據模型安全信息、版本信息，供0DI圖形模塊等使用。通常創建一個即

可。MasterRepository要盡可能獨立存放，單獨Instance,或單獨Schema。

（2）WorkRepository（工作資料庫），保留項目和數據模型，供0DI圖形模塊

等使用。可創建多個。一個WorkRepository只能連接一個MasterRepository。

一個Schema只能存放一個WorkRepository.不過MasterRepository倒可和

其安裝在同一Schemao

4、Topology

TopologyManager（拓撲管理器）關鍵用來管理下面5類任務，并將

信息存放在主資料庫中，供全部模塊共享使用。

(1)物理體系結構，定義多種技術及其數據服務器、物理架構、物

理代理。

(2)邏輯體系結構，定義多種技術及其關聯邏輯架構、邏輯代理。

(3)上下文，用來連接物理架構和邏輯架構。

(4)語言，不一樣技術所能采取語言特征。

(5)資料庫，包含主資料庫及其隸屬工作資料庫。

5、知識模塊

OracleDataIntegrator之所以能適應不一樣、多個多樣數據源，靈

活有效完成數據抽取/轉換/載入過程，均是基于其知識模型體系。

KnowledgeModul6s類似于程序中插件，OracleDataIntegrator將

數據整合任務抽象出六個組成部分：

(1)反向工程RKM,Reverse-engineeringknowledgemodules,用

于從數據源讀取表及其它對象。

(2)日志JKN,Journalizingknowledgemodules,用于為單一或一

組表/視圖統計新建和修改數據。0DI支持部分數據源ChangeData

Capturu(CDC)功效，前提為0DI項目中啟用該模塊。

(3)加載LKM,Loadingknowledgemodules,用于從數據源抽取數

據。

(4)檢驗CKM,Checkknowledgemodules,用于檢測抽取出源數據

正當性。

(5)集成IKM,Integrationknowledgemodules,用于將StagingArea

中數據轉換至目標表，基于目標數據庫產生對應轉換SQL。

(6)服務SKM,Serviceknowledgemodules,提供將數據以Web

Services方法展現功效。

6、源系統

需要知道源系統數據庫用戶密碼和源系統IP地址或主機名、數據庫

端口、數據庫實例。(以223這臺機為例)。

數據庫鏈路：jdbc:oracle:thin:@172.17.7.223:1521:gbk

數據庫用戶/密碼：rcms/123456

數據：EMP(表)

7、創建目標系統用戶(以50這臺機為例)。

數據庫鏈路：jdbc:oracle:thin:@172.17.7.50:1521:orcl

數據庫用戶/密碼：spaq_odi/spaq_odi

而且需要在目標用戶上創建源用戶表或視圖，表結構需要和源用戶表

結構一致。

createuserspaq_odiidentifiedbyspaq_odidefaulttablespaceusers;

grantconnectjesourcetospaq_odi;

圖1

圖2

三、創建資料檔案庫連接

1、點擊IN創建新ODI資料檔案庫登陸，填寫資料檔案庫連接信息,

經過“測試連接”可測試配置是否正確。

淮檔案庫連接信息[―P—J

圖1

四、創建工作資料庫

1、新建工作資料庫數據庫用戶（以gzzl（工作資料縮寫）為例）：

createusergzzlidentifiedbygzzldefaulttablespaceusers;

grantconnect,resourcetogzzl;

2、點擊連接到資料檔案庫一拓撲f貨料檔案庫一右鍵工作資

料檔案庫一新建工作資料檔案庫以下圖1-3

圖1

圖2

圖3

3、新建完后會自動提醒是否為該工作資料創建登錄名，可選擇幫該

工作資料檔案庫創建登陸名。

也可連接主資料庫時候，點擊〃編輯按鈕“食品安全綜合監管項目”

連接在工作資料檔案庫項勾上工作資料檔案庫而且點擊放大鏡Q

添加W0RKREP1。操作圖4-5

OracleDataIntegrator登錄

圖4

資料喈案庫連接信息IRGM

OracleDataIntegrator連接__________________________________

登錄名：

用戶：

口令：

數據庫連接住素料檔案庫）

用戶：odi_test|

口令：|.......

驅動程序列表：OracleJDBCDriver▼&

驅動程序名稱：oracle.jdbc.OracleDriver

URL:jdbc：oracle:thin：<?192.168.0.39：1521:orcl

工作資料檔案庫選擇后需要添加W0RKREP1

o僅主資料檔案庫,

|◎工作資料檔案庫,0嬴?1|Q

□默認連接

［幫助助］［測試］「碓T［取消

圖5

五、創建物理體系結構

1、創建目標系統物理體系結構（以ODLMUBIAO為例）

拓撲―物理體系結構—技術—oracle—右鍵oracle->新

建數據服務器圖1：

“［食品安全綜合監苣項目］OracleDataIntegrator11g

文件⑥編輯（?查看GO搜索⑤ODI工具mm（w）幫助?

圖1

2、定義名稱、實例/dblink（數據服務器）、連接用戶及口令:

ODI_IUBIAO可日

測試連接

izr

靜-----------1與數據服務器

連接/斷開連接時名稱：ODI_MUBIAO

屬性技術：▼

?niJLra'r?"

顏據源

實例/dbLnk徵據服務器）:orcl.loopback

版本

權限連接

靈活學段

用戶：spaq_odi

口令：????????

□JTOI連接

額組提取大小：|30I批處理更新大小：叵

概器

注1：在"OracletoOracle”模式時，“實例/dblink”將用于ODI

自動創建兩個系統問dblink,為了使dblink創建成功，需要在目標數

據庫端配置TNSNAME（二這里“實例/DBLINK"）；另外假如起源和目標

是同一個數據庫，那么dblink就是LOOPBACK,這里“實例/dblink”

名字就不能等于SID。故這里有意加了".LOOPBACK”。

注2:連接用戶和口令為目標數據庫用戶和口令spaq_odi/spaq_odi

3、JDBC驅動程序、JDBCURL：

(3ODI_IUBIAOX0

測試連接

定義

oracle.jdbc.OracleDriver|

IJDBCJDBC強動程序q

[Jdbc：oracle：thin：Q172.17.7.50:1521:orcl

連接/斷開連接時JDKURL：q

屬性

數據源

版本

權限

靈適字段

概覽

4、保留后新建目標物理方案

點擊ODLMUBIAO-右鍵->新建物理方案

食品安全綜合監苣項目］OracleDataIntegrator11g

文件(E)編痘?查看00搜索⑤QDI工具CD?D(W)幫助?

N?◎IX■■I?

掇計器X|七安全X|曼操作Xi應拓撲I國

幽

D物理體系結構I

?QlHetezza

?■JODITools

|±JOperatingSystem

ROracle

&rj0DI_MUBIA0j

，國的數據類型

■由冠操作?(B)

+」之索弓I類型

￡ijOracleBAM◎耐g

田”Q)OracleBI復制選定項

!

GD..I1PQV-O/^AVX刪除Delete

＞上下文；i▼

:答新建吻理方案(￡)

邏輯體系結構

?語言導入匈

b資料檔案庫導出⑥..?

田^MASTERREPOSITORT_vO4.03.04.02

-T工作姿料檔案庫

+^jWORKREPl

5、定義方案(方案)、方案(工作方案)：

保留后報沒有選擇上下文警告，先忽略之。

善0D工JUMAO.SPAQ_OD工

I定義I慧物理方案［淋［據眼務器：ODIJUBIAO］

上下文

版本名稱:ODI_MUBIAQSPAQ_ODI

權限方案方案）:

靈活字段

方案（工作方案）：|SPAQODI▼

回默認值

工作表前綴

錯誤：叵二加載：凡|集成：|工$|臨時索引：叵

日記記錄元素前綴

數據存楮：:|視圖：階|觸發器：

目命名版貝1

本地對象攢碼：底CHEMA.初BJKT

遠程對象掩碼：區CHEHA.ME最CT@%DSERVER

分區攢碼：|%SCHEMA.MBJKTPARiniO】T（%PARTITIOD

子分區掩碼-I^HEMA.為比JICTSUBPARTniOH（%PARIIIIOlT）

本地序列撞碼：|%SCHEMA.%OBJICT.nextval

遠程序列掩碼：際HEMA.MBJICI.nextval0%DSERVER

概覽

6、創建源系統物理體系結構和源物理方案（以ODLYUAN為例）

圖1-3

圖1

①ODI.TUO司E

則i延接

定義

JDBC鎏動程序：oracle.jdbc.OracleDriver

IJMCA

連接/斷開連接時JDBCURL:jdbc：oracle：thin：＜?172.17.7.223:1521:gbkQ

屬性

數揖源

版本

權限

靈活字段

圖2

4^0DI_TUAI.KCIS0

I菽I鬟物理方案[獺據眼勢涔：ODIJUU]

上下文

版本名稱：ODI.TUAnRCMS

權限

怛案6案）：RCMS▼

靈活學段1方案（I作方案）：

RCMS卜

回默認值

工作表前繚

錯誤：卜$_加載：，一集成：|i5J蝴寸索引：回匚

日記記錄元素前綴

數據存儲："栩3：m?觸發者（1$

-命名凱貝4

本地對象掩碼：1^SCHEMA.%OBJKI

遠程對象掩碼：^SCHEMA.?OBJICI?H）SERVER

分區掩碼：!%SCHEMA.%OBJICIPARIIIIOIT(%PARIIIIOI)

子分區掩碼：I^SCHEMAWBJICTSUBPARTITIOH(XPARIITIOD)

本地序列掩碼:1%SCMEMAVOBJECT.ntxtval|

遠程序列掩碼先CKEMAWBJICTn?tvalQ%DSERVER

概覽

圖3

注：連接用戶和口令為目標數據庫用戶和口令rcms/123456。

最終止果以下圖:

.[食品安全繪合監爸項目]OracleDataIntegrator11g

文件(E)領@)M(Y)搜索⑤ODI工具①@n(w)幫助?

「設計器x1f安全X|q操作X宓拓撲X

l□

物理體委結構

由QlTetRexx

1±]\_JlTetezza

ij\_JODITools

國…OperatingSystem

;Oracle

白。ODI_MUBIA。

1-1SODI_MUJIAO.SPAQ.ODI

向①ODJYUAIT

田^ODI.TUAIT.RCMS

!，山Q贏類型

&d操作

國金索引類型

it)JOracleEAM

國JOracleBI

EParadox

國.JPostgreSQL

+_]Progress

j田QSAPABAP

I田QSAPJavaCorrector

田―i_JSAS(deprecated)

E(JSalesforce.con(deprecated)

上下文

。邏輯體系結構

?語言

?濱料檔案庫

一般操作

六、創建邏輯體系結構

1、創建目標系統邏輯體系結構(以ODLMUBIAO為例)

拓撲f邏輯體系結構-技術foraclef右鍵oracle-新

建邏輯方案圖1-2：

ji食品安全綜合監邕項目］OracleDataIntegrator11g

文件⑥絡揖⑥查看M搜索⑤ODI工具①窗口他)幫助(H)

N?◎X■■?A

e設計器XI歲安全X園操作)一齒拓撲弓____________________________________□

?物理體系結構I

?上下文窗，I

?P邏輯體系結構"|

團「MicrosoftAccess

|國^jMicrosoftExcel

王，_JMicrosoftSQLServer

用QMySQL

3JlTetRexx

\ffil^jlletezza

田.(%3ODITools

?j田…OperatingSystem____________________

Oracle

打開9)

s

iJ新建⑥

y

r

.，復制選定項

T7

漢刪除Delete

圖新建澄看方案9)

數據類型逆句工程(B...

導入g

+

導出㈤…

語言

資料檔案庫

一般操作

圖1

圖2

2、創建源系統邏輯體系結構（以ODLYUAN為例）

七、創建項目

1、設計器f項目f點擊噎▼f新建項目（以shipin項目為例）

以下圖1-2：

圖1

圖2

2、導入知識模塊

設計器一項目—shipinj右鍵知識模塊—導入知識模塊

圖1-2

j［食品安全綜合監嘗項目］OracleDataIntegrator11g

文件⑨編輯⑥查看M搜索⑤ODI工具①窗口他）幫助但）

!」設計器司a安全xir操作x|盾拓撲x

項目

E晶shipin

田￡二第一個文件夾

田@變里

序列

用戶函數

知識模塊?

導入知識模塊...

國叩看記?

圖1

L導入知識模塊（XML文件）

導入類型：3

文件導入目錄：）duct'11.1.l.OracleODIl\oracltdi\client\..xml-reference;Q

選擇要導入的文件:

□<

CKMHive5_01COMPOllEinNAMECKMOr..□一

CKMHSQL5C0MP0HE1TIHAMECKMHS..□

'.KMlletezza6CUMPOlitlllllAMtLKMHe..□

CKMOracle一19COMPOlTEin1TAMECKMOr..□

CKMSQL?COMPOHEin1TAMECKMSQ..□

CKMSybaseIQ5C0MP011E1H1TAMECKMSy..□

CKMTeradata8COMPOHEITI1TAMECKMTe..□

IKMAccessIncremental...6COMPOHEin1TAMEIKMAc..□

IKMDB2400Incrementa...8COMPOllEinNAMEmDB..□

IKMDB2400Incrementa..9C0MP0HE1TTNAMEIKMDB..

幫助國）確定取消

圖2I

溫馨提醒：點擊叵?即可全選知識模塊，也能夠逐一選擇需要知識模

塊，為簡單起見，全選后確定。不過全部導入比較耗時和占空間，看

下面滾動條和右下腳空間占用就知道了。

八、創建模型

1、創建目標系統模型（以ODLMUBIAO為例）

設計器一模型一點擊生二一新模型

按下圖內容輸入定義名稱、技術、邏輯方案

后ODIIUBIAO父|叵

陷逆向工程/

逆向工程

選擇性逆向工程名稱：ODI_MUBIAO

控制代碼：ODI.MUBIAO

日記記錄

技術：Oracle▼

已進行日記記錄的表

標記邏錯方案ODI.MUBIAO▼

服務操作組：J般操作＞▼

船主

默認文件夾

版本_______________________1q〃

權限顯示模型樹中的元數據更改

靈活字段說明：

2、創建源系統模型（以ODLYUAN為例）

嚙逆向工程W

定義

扇模型

畫用工桎

選擇性逆向工程名稱0D.TUAH|

控制代碼0DJUAII

日記記錄

技術Oracle▼

匕出仃口不雙

標記邏指方案：ODIJUM▼|

服勞操作組：〈一般操作）▼

默認文件夾：||Q〃

權限□顯示模型樹中的元數據更改

靈活字段說明

3、逆向工程

把目標系統（spaq_odi用戶）下表全部反向工程到我們目標模型內。

逆向工程頁簽一上下文選擇Globalf點擊I嚙逆向工程按鈕

S

幗逆向工程，

定義

D⑶i標d,v住EkC-/主AEQ制U

逆向工程

上下文：［Global▼

選擇性逆向工程

控制邏輯代理：|

日記記錄

要進行逆向工程的對依的類整

已進行日記記錄的表

標記叼亮□視圖口隊列□系統裘匚表別名□同義詢

服務

撞碼：%

備注

要從表別名刪除的字符：

版本

權限表別名最大長度：35

靈活字段

4、創建源系統模型（以0DI.YUAN為例）

跟目標模塊一致，逆向工程把源系統（rcms用戶）下表全部反向工程

到我們源模塊內。

OD_TUABx

碣逆向建I—

定義

④標準C定制

1逆向工程1

選擇性逆向工程上下文：Global▼

控制邏輯代理：

日記談

萼遂行逆向丁祥的對敦的類型

已進行日記記錄的表

標記回表回視圖回隊列同系統表國表別名回同義詞

雕務

掩碼：無

菅注

要從表別名刪除的字符：

版本

權限表別名最大長度：35_

靈活學段

5、創建目標模塊ODLMUBIAO主鍵：

設計器->模型-ODIJIUBIAO->EMP->右鍵約束條件一新建

關鍵字

[Q設計善x]l^變缸I操作x|應拓撲x

的

項目

模型

3feODI.MUBIAO

1￡笊一使用次數

；由叨圖表

+品層次

FFIQDEPT

I占i口EMP1

由田列

二一/里痣器

:約束條件?

W二]用于填充■新建關鍵字⑷

國□填充者伊新引用⑥

:反曠使用次數0

新建豺牛g

.+隱藏額據存儲

ffiJgORCL_SCOTT

名稱:PK_EMPNO_1、關鍵字或索引類型：主鍵、歹U：EMPNO

PI_E?PIO_1x9

一片關健字[極亶：ODIJUBIAO，數據存睛：E?P]

控制名稱：,Kggno:

標記關謎字或索引類

曾主。.弓I不是的

版本I2主鍵1

權限O替代鍵

靈活字段

圖1

，?PKEIPIO1x0

說明

所有列所送列

C0HMEMPITO

控制

DEPI1T0

標

記

E1IAME

著

、

汪KIREDAIE

版

本JOB

權MGR

限

SAL

泠

《

圖2

注：目標模型表必需添加主鍵，不然抽取數據時候會犯錯。

九、創建接口

1、設計器一項目-shipin-第一個文件夾一右鍵接口一

新建接口

"y【食品安全綜合監管項目］OracleDataIntegrator11g

文件（D編轉（?查看M搜索⑤ODI工具①窗口他）幫助?

B■9?X■>??

設計善x|二安全x|笛操作x|齒拓撲x□

二贈shipin

日國第一個文件夾

i所由程序句______________________

接口

0手過好j新豌口?

書/變里暖導入接口⑥…

由他序列--------------------

田囁用戶函數

田f知識模塊

+⑶標記

2、輸入接口名稱

3、映射目標模塊和源模塊表。

點擊“映射”標簽頁-將ODLMUBIAO內EMP拖至目標數據庫存放

區域一將ODLYUAN內EMP拖至源默認值區域-提醒是否實施自

動映射，選擇是即可。

4、切換到“流”標簽頁。

選中SrcSetO,LKM已默認采取LKMOracletoOracle(DBLINK),我

們需要把下面AUTO_CREATE_DB_LINK改為真。

注:假如我們己經在數據庫中手工創建了DBLINK,而且名字和定義“數

據服務器”時定義一樣，這里就保持默認直否。選中“目標+臨時區

域”，能夠看到下面己經默認使用了IKMOracleIncrementalUpdate

5、切換到“控制”標簽頁。

CKM選擇器選上：CKMOracle，保留接口。

弓POP.MTW

允許的最大錨誤效□*

CKW選擇若CKMOracl*COMPO1TE1TTKAME：CMOracl*

選項:AUTHOR：Oracle

值

名稱

直

￡>假

DROP_ERRJR_TABLE<!

值

卡

假DESCRIPTIOH

<!

DROP_CHECK_IABLE小>:

值

真"CheckKnowledgeModuleforOracle

CREAIE_ERROR_inDEX⑨>:

值>:9-Thisacdul*controlsth*validityofth*

COMPAIIBU嘲

亙

出

>:假constraintsof?Datastor*5dth*invalid

VALTDAIE

值

f>>:假recordsinanerrorItcanbeusedfor

EnABLE_EDIIIOn_SUPPORT<!

直

假staticcontrolsaswellasflowcontrols.

<!

UPGRADE_ERR'：'R_TABLI-Thisncdxilecreatesnonuniqueindexonthe

1$tablebeforecheckingAKandPKandanindexonthe

約束條件:

十、實施接口

1、設計器一項目-shipin一接口一右鍵POP.EMPI實施

我們不使用代理，保持上面選項點擊“確定”，將會開啟ELT會話。

執行包三

群助?]|臉][取消

2、檢驗是否實施成功

操作一會話列表-全部實施

.:食品安全綜合監管項目）OracleDataIntegrator11g

文件⑨領⑥查看M搜索⑤ODI工具CD窗口他）幫助?

QB9A

Q設計器x|晶安全x同操作工|應拓撲x0

|磁▽瞬「碉S7

會話列表

日期

代理

會話

狀態

關鍵

字

用戶

二至所有執行

-IQ1001-POP.EG.GROUP-2015-12-1810:51:24

金與變里

BQ1-POP.EG.GROUP-2015-12-1810:51:24

1>-加載-SrcSetO-Altersessionglobal_names

田。2-加載-SrcSetO-Altersessionlglobal_names

|+i。3-加載-SrcSetO-Dropdatabaselinkontarget

+,生4-加載-SrcSetO-Dropworktable

i+-加戮-SrcSetO-Createdatabaselinkontarget

田?6-加載-SrcSetO-Createview/tableonsource

莊,心7-加載-SrcSetO-Dropsynonymontarget

也。8-加載-SrcSetO-Createsynonymontarget

由金12-集成-POP.EG.GROUP-Dropflowtable

??13-隼成-POP.EG_GROUP-Createflowtable1$

+?14-集成?POP.EG-GROUP-Insertflo?into1$table

分層會話

加載計劃執行

調度

加載計劃和場景

解決方案

程序包

3、查看數據

設計器—模型-ODIMUBIAO-右鍵EMP-查看數據

到這里假如有數據話，證實已經成功將ODLMUBIAO內EMP表數據導

進ODI_YUAN內EMP表里面了。

I^一、問題診療

假如出現問題，Operator也提供了比很好調式方法:

以下圖：

文件0E）編相?直看GD搜索⑤ODI工具CD窗口?幫助?

3設計器X|赧安全X圓操作可后拓撲Xs

磁字曲匚Hi

▼會話列表

0O日期

出電代理

囹曠會話

4,8狀態

囹夕關鍵字

向戶一

同斫有執行

Q^2001-POP.EMP-2015-12-1117:56:38

~田?呻戈里

Q?1-POP.EMP-2015-12-1117:56:38

+冬1-加羲-SrcSetO-Dropworktable

+。2-加寬-SrcSetO-Createview/tableonsource

.+@3-加氮-SrcSetO-Dropsynonymontarget

+。4-加戴-SrcSetO-Createsynonymontarget

+。7-集成-POP.EMP-Dropflowtable

5gbR-^成一POPFMP-rrAA?Aflt

,+^^9-集成—POP.EMP—Insertfl。*into1$table

一

成

：

10集

1-POP.EMr-CreateIndexonflowtable

成

A11拿

2-POP.EMP-Analyzeintegrationtable

：

空制

1?

1.?-EMP-createchecktable

13

A-EMP-deletepreviouschecksum

分層會話

加載計劃執行

調度

加載計劃和場景

解決方案

1、由上圖能夠看到該實施到第9步犯錯了，能夠雙擊該步奏打開會

話任務窗口查看錯誤信息。

；Repo$itoryJO*cWDato1ntei/?iu?

?<DMGOMf?QO1IUCDIDOfiO

3B9X?—A

Idwa，也xJ..N|山制卜R

的/咐?：定義

◎合通儀努

?日曰電心裕

?e代理prw京慶

?“第

照俸：b嗣

?o狀必:n?e???2$21.

.e美"

日評例11M日—例可r:加酬

6*RP

G?斷向鼠行記錄虢計信電

E0?ot-w-2015-12-111?5638