1、一、【kettle】window安裝與配置1、下載kettle包，并解壓2、安裝jdk，并配置java環(huán)境a).打開我的電腦-屬性-高級-環(huán)境變量b).新建系統(tǒng)變量JAVA_HOME和CLASSPATH變量名：JAVA_HOME變量值：C:Program FilesJavajdk1.7.0具體路徑以自己本機安裝目錄為準(zhǔn)變量名：CLASSPATH變量值：.;%JAVA_HOME%libdt.jar;%JAVA_HOME%libtools.jar;c). 選擇“系統(tǒng)變量”中變量名為“Path”的環(huán)境變量，雙擊該變量，把JDK安裝路徑中bin目錄的絕對路徑，添加到Path變量的值中，并使用半角的分號

2、和已有的路徑進行分隔。變量名：Path變量值：%JAVA_HOME%bin;%JAVA_HOME%jrebin;3、配置kettle環(huán)境在系統(tǒng)的環(huán)境變量中添加KETTLE_HOME變量，目錄指向kettle的安裝目錄：D:kettledata-integration4、啟動spoonWindows直接雙擊批處理文件 Spoon.bat具體路徑為：kettledata-integrationSpoon.batLinux 則是執(zhí)行spoon.sh,具體路徑為： /kettle/data-integration/spoon.sh二、 使用Kettle同步數(shù)據(jù)同步數(shù)據(jù)常見的應(yīng)用場景包括以下4

3、個種類型：Ø 只增加、無更新、無刪除Ø 只更新、無增加、無刪除Ø 增加+更新、無刪除Ø 增加+更新+刪除只增加、無更新、無刪除對于這種只增加數(shù)據(jù)的情況，可細分為以下2種類型：1) 基表存在更新字段。通過獲取目標(biāo)表上最大的更新時間或最大ID，在“表輸入”步驟中加入條件限制只讀取新增的數(shù)據(jù)。2) 基表不存在更新字段。通過“插入/更新”步驟進行插入。插入/更新步驟選項：只更新、無增加、無刪除通過“更新”步驟進行更新。更新選項：增加+更新、無刪除通過“插入/更新”步驟進行插入。區(qū)別是“插入/更新步驟”中的選項，去掉“不執(zhí)行任何更新”的勾選：增加+更新+刪除這種數(shù)

4、據(jù)同步情況，可細分為以下2種情況：1) 源庫有表保存刪除、更新和新增的信息。通過條件判斷，分別進行“插入/更新”和“刪除”即可，如下圖所示。2) 源庫沒有保存增刪改信息Kettle提供了一種對比增量更新的機制處理這種情況，可通過“合并記錄”步驟實現(xiàn)，該步驟的輸入是新舊兩個數(shù)據(jù)源，通過關(guān)鍵字進行數(shù)據(jù)值比對，對比結(jié)果分為以下4種類型：“Identical”: 關(guān)鍵字在新舊數(shù)據(jù)源中都存在，域值相同“changed”: 關(guān)鍵字在新舊數(shù)據(jù)源中都存在，但域值不同“new”: 舊數(shù)據(jù)源中沒有找到關(guān)鍵字“deleted”: 新數(shù)據(jù)源中沒有找到關(guān)鍵字兩個數(shù)據(jù)源的數(shù)據(jù)都進入下一步驟，上述4種結(jié)果類型作為輸出表的標(biāo)

5、志字段進行保存。以下為示例：Ø 源數(shù)據(jù)庫測試腳本create table k1 (f1 varchar2(200),f2 varchar2(200)truncate table k1;insertinto k1(f1,f2) values('1','11');insert into k1(f1,f2) values('2','22');insert into k1(f1,f2) values('5','5');commit;Ø 目標(biāo)數(shù)據(jù)庫測試腳本create table k1 (

6、f1 varchar2(200),f2 varchar2(200)truncate table k1;insert into k1(f1,f2) values('1','1');insert into k1(f1,f2) values('2','2');insert into k1(f1,f2) values('3','3');insert into k1(f1,f2) values('4','4');commit;合并過程如下：其中“合并記錄”步驟的選項：執(zhí)行后，查

7、詢K1_TEST結(jié)果如下：可以看到，該結(jié)果表的BZ字段保存了更新、刪除、新增的記錄信息，通過條件分支即可分別對這些記錄進行相應(yīng)的處理。“條件”選項：小結(jié)Kettle提供了可視化的設(shè)計工具，基本上可通過拖拉配置的方式實現(xiàn)以上4種類型的數(shù)據(jù)同步，操作上相對較為簡單。數(shù)據(jù)同步的性能與源數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)庫以及執(zhí)行Kettle轉(zhuǎn)換操作的主機相關(guān)，在筆者的測試環(huán)境上（源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫部署在雙核CPU/4G內(nèi)存的PC機上、執(zhí)行Kettle轉(zhuǎn)換操作的主機配置為雙核CPUx2/4G內(nèi)存，JVM內(nèi)存堆棧為256M）、最后一種類型的數(shù)據(jù)同步，15w的數(shù)據(jù)，在3分鐘內(nèi)可以完成。三、案例1，把172.17.100.

8、189 中的ca_fwdj.tpf_txqdjb 數(shù)據(jù)同步到 172.1中的bank.tpf_txqdjb中。 6w級數(shù)據(jù)2，把172.17.100.189 中的ca_fwdj.tpf_jcdjb 數(shù)據(jù)同步到 172.1中的bank.tpf_jcdjb中。 14w級數(shù)據(jù)3,連接異構(gòu)數(shù)據(jù)庫,讀取MySql數(shù)據(jù)保存到Oracle數(shù)據(jù)庫中；如果數(shù)據(jù)轉(zhuǎn)換過程中有異常，可以記錄異常信息（可以記錄到文件或者數(shù)據(jù)中，通過二次開發(fā)，可以實時以短信的形式提醒）4,異常日志：備注：表輸入支持SQL讀取數(shù)據(jù)，支持多表查詢。四、【kettle】JDBC連接oracle報找不到驅(qū)動初次接觸kettle，環(huán)境都配置好以后

9、，啟動kettle的spoon，新建作業(yè)，配置jdbc的oracle數(shù)據(jù)源連接，報找不到驅(qū)動。解決辦法：1、下載OJDBC14.jar包2、將該包拷貝到kettle的 kettlepdi-ce-5.0.1.A-stabledata-integrationlibswt或者kettlepdi-ce-5.0.1.A-stabledata-integrationlib 路徑下都可以。3、重啟kettle，重新配置數(shù)據(jù)源連接。問題解五、【kettle】JDBC連接mysql報找不到驅(qū)動初次接觸kettle，環(huán)境都配置好以后，啟動kettle的spoon，新建作業(yè)，配置jdbc的oracle數(shù)據(jù)源連接，報找不到驅(qū)動。解決辦法：1、下載myr包2、