Kettle使用培訓文檔,2020/5/6,1,Kettle使用-ETL&Kettle,ETL（Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載的過程），對于金融IT來說，經常會遇到大數據量的處理，轉換，遷移，所以了解并掌握一種etl工具的使用，必不可少。Kettle是一款國外開源的etl工具，純java編寫，綠色無需安裝，數據抽取高效穩定。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數據的基礎轉換，job則完成整個工作流的控制。,2020/5/6,2,Kettle使用-下載&部署,Kettle可以在/網站下載下載kettle壓縮包，因kettle為綠色軟件，解壓縮到任意本地路徑即可,2020/5/6,3,Kettle使用-運行,進入到Kettle目錄，如果Kettle部署在windows環境下，雙擊運行spoon.bat文件，出現如下界面,2020/5/6,4,Kettle使用-運行,Kettle提供了資源庫方式的方式來整合所有的工作，但是因為資源庫移植不方便，所以選擇沒有資源庫,2020/5/6,5,Kettle使用-ktr&kjb,點擊頁面左上角的創建一個新的transformation，點擊保存到本地路徑，例如保存到D:/etltest下，保存文件名為EtltestTrans，kettle默認transformation文件保存后后綴名為ktr點擊頁面左上角的創建一個新的job，點擊保存到本地路徑，例如保存到D:/etltest下，保存文件名為EtltestJob，kettle默認job文件保存后后綴名為kjb,2020/5/6,6,Kettle使用-transformation,菜單介紹,MainTree菜單列出的是一個transformation中基本的屬性，可以通過各個節點來查看。DB連接：顯示當前transformation中的數據庫連接，每一個transformation的數據庫連接都需要單獨配置。Steps：一個transformation中應用到的環節列表Hops：一個transformation中應用到的節點連接列表,2020/5/6,7,Kettle使用-transformation,菜單介紹,CoreObjects菜單列出的是transformation中可以調用的環節列表，可以通過鼠標拖動的方式對環節進行添加。Input：輸入環節Output：輸出環節Lookup：查詢環節Transform：轉化環節Joins：連接環節Scripting：腳本環節,2020/5/6,8,Kettle使用-Transformation,每一個環節可以通過鼠標拖動來將環節添加到主窗口中。并可通過shift+鼠標拖動，實現環節之間的連接。,2020/5/6,9,Kettle使用-Transformation,常用環節介紹,2020/5/6,10,Kettle使用-Job,菜單介紹,MainTree菜單列出的是一個Job中基本的屬性，可以通過各個節點來查看。DB連接：顯示當前Job中的數據庫連接，每一個Job的數據庫連接都需要單獨配置。Jobentries：一個Job中引用的環節列表,2020/5/6,11,Kettle使用-Job,菜單介紹,Jobentries菜單列出的是Job中可以調用的環節列表，可以通過鼠標拖動的方式對環節進行添加。每一個環節可以通過鼠標拖動來將環節添加到主窗口中。并可通過shift+鼠標拖動，實現環節之間的連接。,2020/5/6,12,Kettle使用-Job,常用環節介紹,2020/5/6,13,Kettle使用案例從多個數據庫抽取數據放到一個公共表中,2020/5/6,14,Kettle使用案例,創建transformation過程,2020/5/6,15,Kettle使用案例,新建transformation文件雙擊左邊轉換將創建一個新的transformation(也可以通過菜單里面的文件-新建-轉換方式新建文件)，點擊另存為，保存到本地路徑，例如保存到D:/etltest下，保存文件名為EtltestTrans，kettle默認transformation，文件保存后后綴名為ktr。,2020/5/6,16,Kettle使用案例,創建數據庫連接在transformation頁面下，點擊左邊的【主對象樹】，雙擊【DB連接】，進行數據庫連接配置。,2020/5/6,18,Kettle使用案例,2020/5/6,19,Kettle使用案例,抽取、轉換、裝載過程1.表輸入在EtltestTrans頁面下，點擊左側的【核心對象】，點擊【輸入】，選中【表輸入】，拖動到主窗口釋放鼠標。,2020/5/6,20,Kettle使用案例,2020/5/6,21,Kettle使用案例,雙擊工作區中【表輸入】圖標，數據庫連接選擇剛剛創建好的連接名為Oracle的數據庫連接，在主窗口寫入對應的查詢語句：SELECTID,NAME,AGE,ADDRESSFROMUSERINFOORDERBYNAME步驟名稱寫為：oracle-userInfo表輸入,2020/5/6,22,Kettle使用案例,2020/5/6,23,Kettle使用案例,2020/5/6,24,Kettle使用案例,2020/5/6,25,Kettle使用案例,2020/5/6,26,Kettle使用案例,2020/5/6,27,Kettle使用案例,3.表連接查詢與表輸入再次連接查詢SQLServer表輸入，如圖：,2020/5/6,28,Kettle使用案例,2020/5/6,29,Kettle使用案例,2020/5/6,30,Kettle使用案例,插入/更新在EtltestTrans頁面下，點擊左側的【核心對象】，點擊【輸出】，選中【插入/更新】，拖動到主窗口釋放鼠標。將它與第三次表連接查詢進行連線。雙擊”插入/更新”圖標，進入編輯窗口。,2020/5/6,31,Kettle使用案例,2020/5/6,32,Kettle使用案例,數據庫連接選擇數據倉庫的數據庫，目標表選擇對應的infortaotal表，在查詢關鍵字里，表字段寫name(表示倉庫