1、Kettle配置使用文檔說明一、安裝配置Kettle系統環境1.安裝前準備JAVA安裝文件下載地址：1.Windows下安裝JDK1.6，并配置環境變量#下載Jdk1.6.exe直接執行安裝程序2.Linux下配置JDK1.6，并配置環境變量#下載JDK1.6到目錄/usr/java/#更改JDK可執行權限chmod +x jdk1.6.xx.bin#執行安裝./jdk1.6.xx.bin#配置JAVA環境變量vi /etc/profile# java 1.6 setupJAVA_HOME=/usr/java/jdk1.6.0_38PATH=$JAVA_HOME/bin:$PATHCLASSP

2、ATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport JAVA_HOME PATH CLASSPATH#應用環境變量source /etc/profile#查看JAVA版本信息java -version2.Kettle下載解壓到指定目錄,下載kettle標準版工具包:解壓到目錄: D:data-integration (目錄可根據實際情況自定義)二、Kettle基本操作過程數據庫操作說明:生產數據庫: 10.176.0.221 DB : e2tms4 用戶名: e2tms4 密碼:1234567本地文本文件: D:Db_fileoutfile.txtKet

3、tle數據倉庫: 10.176.0.221 DB : kettledb用戶名: kettle 密碼:12345671.啟動Kettlet應用程序,打開D:data-integration下面的Kettle.exe或Spoon.bat，出現Kettle的歡迎界面：之后出現用戶登錄界面,先不加載配置,點擊”沒有資源庫”,打開程序主界面,2.kettle界面顯示3.Kettle配置說明新建transformation文件,雙擊左邊轉換將創建一個新的transformation(也可以通過菜單里面的文件-新建-轉換方式新建文件)，點擊另存為，保存到本地路徑，例如保存到D:/etltest下，保存文件名

4、為EtltestTrans，kettle默認transformation，文件保存后后綴名為ktr。4.創建數據庫連接池.在transformation頁面下，點擊左邊的”主對象樹”，右鍵”DB連接”選擇”新建”， 配置數據庫連接,配置寫成后點擊”Test”查看數據庫連接情況,如下提示表示正常,點擊OK確認保存配置.使用以上方式,創建以下數據連接池.生產數據庫master-data1: 10.176.0.221 DB : data1 用戶名: data1 密碼:1234567生產數據庫master-data2: 10.176.0.221 DB : data2 用戶名: data2 密碼:123

5、4567Kettle數據倉庫 kettledb: 10.176.0.221 DB : kettledb用戶名: kettle 密碼:1234567配置完成后顯示以下列表:5.導入測試數據,(現實數據庫中不需要以下操作)生產數據庫1: 10.176.0.221 DB : data1 用戶名: data1 密碼:1234567USE data1;CREATE TABLE userInfo ( id int(11) NOT NULL, name varchar(20) DEFAULT NULL, age int(11) NOT NULL, address varchar(20) DEFAULT NU

6、LL, PRIMARY KEY (id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;INSERT INTO userInfo(id,NAME,age,address) VALUES(1,'aaa',22,'成都市二環路');INSERT INTO userInfo(id,NAME,age,address) VALUES(2,'東方紅',25,'中國北京');INSERT INTO userInfo(id,NAME,age,address) VALUES(3,'123',19,'

7、;廣州白云區');生產數據庫2: 10.176.0.221 DB : data2 用戶名: data2 密碼:1234567Use data2;CREATE TABLE login ( id int(11) NOT NULL, realname varchar(20) DEFAULT NULL, username varchar(20) DEFAULT NULL, password varchar(20) NOT NULL, active int(11) DEFAULT '0', PRIMARY KEY (id), UNIQUE KEY realname (realna

8、me), UNIQUE KEY username (username) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;insert into login values(1,'aaa','admin','admin',0);insert into login values(2,'東方紅','test','test',1);insert into login values(3,'123','xxx123','123456',1)

9、;本地文本文件: D:Db_filedbfile.txt 文件內容:sid; sname; teacher34; 123;徐老師78;aaa ;李老師152; 東方紅;Mr Wu三、使用Kettle抽取、轉換、裝載數據1.表輸入: 在EtltestTrans頁面下，點擊左側的【核心對象】，點擊【輸入】，選中【表輸入】，拖動到主窗口釋放鼠標。雙擊工作區中【表輸入】圖標，數據庫連接選擇剛剛創建好的連接名為Oracle的數據庫連接，在主窗口寫入對應的查詢語句：SELECT ID, NAME, AGE, ADDRESSFROM userInfoORDER BY NAME同上所述,將master-dat

10、a2生產數據庫2也加入到表輸入界面中.SELECT Id, realname, username, password, activeFROM login ORDER BY realname2.表連接查詢在EtltestTrans頁面下，點擊左側的【核心對象】，點擊【連接】，選中【Merge Join】，拖動到主窗口釋放鼠標：點擊表輸入，按住shift鍵，再拖動鼠標到Merge Join，這時就實現了在兩個組建之間的連線。如圖：3.第一次連接查詢雙擊工作區中的Merge Join，在出現的窗口里：步驟名稱命名為：表連接查詢第一個步驟選擇：master-data1表輸入第二個步驟選擇：master

11、-data1表輸入連接類型選擇：FULL OUTER在連接字段里，第一個步驟寫：NAME，第二個步驟寫：realname(或者自動獲得連接字段后將多余字段刪除)4.文本文件輸入數據在EtltestTrans頁面下，點擊左側的【核心對象】，點擊【輸入】，選中【文本文件輸入】，拖動到主窗口釋放鼠標。雙擊這個圖標，進入編輯窗口：在文件或目錄中選擇輸入的文件,點擊增加.打開字段選項,點擊獲取字段,顯示出文本文件中所有字段信息,刪除多余空白字段,點擊預覽記錄,顯示文本文件中取數據條數信息后顯示出文本文件數據內容.5.第二次連接查詢再次拖入一個表連接查詢圖標，將上次的查詢結果與文本文件相連，再進行一次表連

12、接查詢。6.插入/更新在EtltestTrans頁面下，點擊左側的【核心對象】，點擊【輸出】，選中【插入/更新】，拖動到主窗口釋放鼠標。將它與第三次表連接查詢進行連線。7.將數據導入指定kettledb數據倉庫雙擊”插入/更新”圖標，進入編輯窗口。數據庫連接選擇數據倉庫的kettledb數據庫，目標表選擇對應的datatable表，在查詢關鍵字里，表字段寫name(表示倉庫表里的字段)，流里的字段1里寫入NAME(即上一個步驟輸入的內容里的NAME)。比較符用”=”號。第一次向數據倉庫導入數據時,點擊SQL選項,查看創建表語句結構,點擊Execute執行創建.8.執行工作流,進行數據導出導入.

13、點擊運行，測試創建的transformation是否成功。點擊這個按鈕，就會執行ETL過程，這時我們可以查看數據倉庫的表，如果有數據，并符合我們的要求，那么說明我們的transformation成功了。四、創建job工作流過程,Job就是把一個或多個transformation按照一定的順序組合起來，形成一個流程。1.創建job文件,通過菜單里的“文件-新建-作業”就可以創建一個job文件，點擊另存為D:etltestjobtest.kjb。2.創建工作作業流程拖入圖標并連線,在EtlscriptJob頁面，點擊【核心對象】，點擊【通用】，選中【START】拖動到主窗口釋放鼠標，再選中一個【T

14、ransformation】，拖動到主窗口釋放鼠標，建立【START】與【Transformation】之間的連接。3. 編輯”開始”流程雙擊”START”圖標，就進入編輯窗口,可根據實際需求更改定時時間操作。4. 編輯transformation流程雙擊”transformation”圖標，就進入編輯窗口。輸入job名稱：如Etl-testpro，點擊轉換文件名后面的按鈕，瀏覽我們我們要轉換的文件，并選中。其他的選項可以根據實際需要再進行配置。點擊確定按鈕，退出編輯窗口。圖中各選項,根據實際情況進行選擇使用.5.運行JOB工作流點擊按鈕，就可以運行這個job,運行情況會在界面下顯示,job跟

15、上面的轉換其實是完成了同樣的工作，job可以把多個transformation放在一起組成一個流程，什么時候用job或transformation，是根據需要來定的，比如只有一個transformation時，就可以直接用transformation,但如果這個轉換需要定時，那么就必須用job了。多個transformation需要組成一個流程時也必須用job。備注:命令行執行命令行運行ktr和kjb在上面的過程中，我們都是在IDE工具中，直接點擊按鈕進行運行文件的，但在實際中，我們需要脫離IDE，進行單獨的運行，這時就必須用到命令行來運行文件了。1.cmd方式運行1.ktr的運行：運行transformation文件是通過Pan.bat來運行的。打開cmd命令行窗口，轉到Pan.bat所在的目錄，如d:data-integration,然后執行文件的命令為：pan /file D:etltestEtl-testpro.ktr2.kjb的運行：運行job文件是通過kitchen.bat來運行的。打開cmd命令行窗口，轉到Pan.bat所在的目錄，如d:data-integration,然后執行文件的命令為：kitchen /file D:etltestTestj