ETL數據預處理技術主講人：王浩任務6-2增量加載01.目錄增量加載案例CONTENTS增量加載是指目標表僅加載源數據表中新增和發生變化的數據。優秀的增量加載機制不但能夠將業務系統中的變化數據按一定的頻率準確地捕獲到并加載到目標表中，同時還不會對業務系統造成太大的壓力，也不會影響現有業務。通過Kettle工具將數據表incremental_source中的數據增量加載到數據表incremental_target中。案例介紹數據準備假設，現有兩張數據表，分別為incremental_source和incremental_target_copy，其中incremental_source為源數據表，incremental_target為目標數據表。數據表incremental_source和incremental_target_copy的表結構、數據都是相同的，具體如圖所示。數據表incremental_source數據表incremental_target創建轉換1使用Kettle工具，創建一個轉換incremental_load，并添加表輸入控件、插入/更新控件以及Hop跳連接線，具體如圖所示。2配置表輸入控件雙擊“表輸入”控件，進入“表輸入”配置界面，單擊【新建】按鈕，配置數據庫連接，配置完成后單擊【確認】按鈕。MySQL數據庫連接的配置，具體如圖所示。2配置表輸入控件在SQL框中編寫查詢數據表incremental_source的SQL語句，然后單擊【預覽】按鈕，查看數據表incremental_source的數據是否成功從MySQL數據庫中抽取到表輸入流中。3配置插入/更新控件雙擊“插入/更新”控件，進入“插入/更新”配置界面，單擊【新建】按鈕，配置數據庫連接，配置完成后單擊【確認】按鈕。MySQL數據庫連接的配置，具體如圖所示。3配置插入/更新控件單擊目標表處的【瀏覽】按鈕，彈出“數據庫瀏覽器”窗口，選擇目標表incremental_target_copy，具體如圖所示。3配置插入/更新控件單擊【獲取字段】按鈕，用來指定查詢數據所需要的關鍵字，這里通過比較數據表incremental_target的字段id與輸入流里的字段id是否一致為關鍵條件，更新數據表中的其它字段數據；單擊【獲取和更新字段】按鈕，用來指定需要更新的字段，具體如圖所示。4修改數據表incremental_source中的數據在數據表incremental_source中新增一條id為6、name為Mary、age為24的數據；對數據表incremental_source中id為2的數據進行修改，即將這條數據的年齡（age）改為25。修改后的數據表incremental_source中的數據內容如圖所示。5運行轉換incremental_load單擊轉換工作區頂部的按鈕，運行創建的轉換incremental_load，實現將數據表incremental_source中的數據增量加載到數據表incremental_target中，如圖所示。6查看數據表incremental_target中的數據通過SQLyog工具，查看數據表in