1、Kettle使用方法介紹1、Kettle概念Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，綠色無需安裝，數據抽取高效穩定。Kettle 中文名稱叫水壺，該項目的主程序員MATT 希望把各種數據放到一個壺里，然后以一種指定的格式流出。Kettle這個ETL工具集，它允許你管理來自不同數據庫的數據，通過提供一個圖形化的用戶環境來描述你想做什么，而不是你想怎么做。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數據的基礎轉換，job則完成整個工作流的控制。2、下載和部署下載kettle壓

2、縮包，因kettle為綠色軟件，解壓縮到任意本地路徑即可3、Kettle環境配置1.安裝JDK（略）2.測試JDK安裝成功（略）3.運行KettleWindows下找到$KETTLE_HOME/spoon.dat，雙擊運行歡迎界面如下圖所示：4、KETTLE組件介紹與使用4.1 Kettle使用Kettle提供了資源庫的方式來整合所有的工作，；1）創建一個新的transformation，點擊 保存到本地路徑，例如保存到D:/etltest下，保存文件名為Trans，kettle默認transformation文件保存后后綴名為ktr；2）創建一個新的job，點擊 保存到本地路徑，例如保存到D

3、:/etltest下，保存文件名為Job，kettle默認job文件保存后后綴名為kjb；4.2 組件樹介紹ransformation 的主對象樹和核心對象分別如下圖： Transformation中的節點介紹如下：Main Tree：菜單列出的是一個transformation中基本的屬性，可以通過各個節點來查看。DB連接：顯示當前transformation中的數據庫連接，每一個transformation的數據庫連接都需要單獨配置。Steps：一個transformation中應用到的環節列表Hops：一個transformation中應用到的節點連接列表核心對象菜單列出的是transf

4、ormation中可以調用的環節列表，可以通過鼠標拖動的方式對環節進行添加：Input：輸入環節Output：輸出環節Lookup：查詢環節Transform：轉化環節Joins：連接環節Scripting：腳本環節4.2.2 Job 的主對象樹和核心對象分別如下圖： Main Tree菜單列出的是一個Job中基本的屬性，可以通過各個節點來查看。DB連接：顯示當前Job中的數據庫連接，每一個Job的數據庫連接都需要單獨配置。Job entries/作業項目：一個Job中引用的環節列表核心對象菜單列出的是Job中可以調用的環節列表，可以通過鼠標拖動的方式對環節進行添加。每一個環節可以通過鼠標拖動

5、來將環節添加到主窗口中。并可通過shift+鼠標拖動，實現環節之間的連接。4.3使用舉例1建立轉換選中列表中的的“表輸入”、“表輸出”、“插入/更新”，拖拽到右側工作區。鼠標選中節點鍵盤按shift鍵，拖拽即可連線。下圖是一個轉換，有兩個動作，一是直接從數據源表同步數據到目標表，一是檢查源表的插入和更新，同步到目標表。黑色線為生效，灰色線為失效，節點和連接可雙擊進行編輯。可預覽數據是否正確。雙擊編輯表輸出動作。操作的數據庫名要獲取的字段設置如下所示：點擊“Enter field mapping/輸入字段映射”進行字段選擇。選擇要用的字段后點確定，注意字段的約束條件。編輯好后點擊上面的執行即可。

6、左側參數暫不說明，執行完成后可以觀看下方的日志。雙擊編輯“插入/更新”動作。然后點擊運行。執行前，在源庫里加條新紀錄。確定作業執行正常后可以保存作業，如保存路徑到本地磁盤地址C: etl2.ktr。4.3.2建立執行的JOB/作業建立JOB的前提是有可以完整執行的作業，上面步驟定制的作業進行保存。從左側列表拖拽“START”，“Success”，“轉換”，“發送郵件”到工作區并連接，如下圖。然后雙擊“START”動作進行編輯。然后雙擊編輯“Transformation”活動。轉換文件名選擇上一步編輯好的.ktr文件雙擊發送郵件，參數設置如下：編輯完成后直接點擊運行即可。運行后查看日志。當任務執

7、行以后可以查看相對應的日志，也可自行配置日志。4.4使用舉例2本例是完成讀取目錄下的.log文件，找出其中包含錯誤代碼的行，并統計個數新建Transformation本例所用到的步驟和組件如下圖所示：連接圖如下所示：a)獲取文件名設置如下：其中已選擇的文件名稱的變量都需要手寫輸入，可以點擊顯示文件名和預覽記錄檢查是否配置正確。b)文本文件輸入設置如下：文本文件輸入選項中選擇從上一步驟獲取文件名，其中在輸入里的字段被當做文件名一欄輸入uri，步驟讀取的文件名來自填寫獲取文件名2內容選項卡的設置如下：文件類型選擇CSV，分隔符自己定義，格式為mixed，編碼方式選擇UTF-8字段選項可設置如下：需要手寫輸入str名稱，設置類型為Stringc)獲取字符串設置如下：d)測試腳本設置如下其中可以點擊獲取變量和測試腳本來測試腳本的正確性點擊測試腳本界面如下：腳本代碼由JavaScript編寫e)聚合記錄聚合記錄就是將上一步的結果進行聚合，這里的名稱字段是點擊獲取字段獲取的，而不是自己輸入的，new name一列是制定新名字，可以自己輸入填寫，f)文本文件輸出文本文件的輸出設置如下，其中字段屬