1、China Datang Corporation中國大唐集團公司中國大唐集團公司數據共享平臺項目建設數據共享平臺項目建設視頻培訓會視頻培訓會 China Datang Corporation第十課：工具第十課：工具Mapper的使用和數據的使用和數據的簡單轉換的簡單轉換China Datang Corporation本課內容本課內容 第二個例子，數據的簡單轉換 工具Mapper的使用China Datang Corporation上周回顧上周回顧China Datang Corporation攔截數據Fiorano可以通過設置斷點來攔截數據，將前面的組件發往后面組件的數據攔截到程序員的電腦。根

2、據攔截到的數據可以測試前面的組件是否正確。攔截數據的窗口提供了一些按鈕，可以對攔截到的數據操作。China Datang CorporationDB組件介紹Fiorano提供DB組件對數據庫進行操作。DB組件有4個配置的分頁，分別是數據庫連接、sql配置、執行方式和異常處理。數據庫連接中的重要參數參數包括：數據庫類型、驅動程序、url、用戶名、密碼和sql執行的時間限制。Sql配置頁面用來配置sql語句。可以查詢、添加、修改、刪除sql語句，也可以測試運行sql語句。一個DB組件可以運行多個sql語句，不同的sql語句用一個名稱來識別。Sql配置頁面中的其他重要參數包括，提交方式、DB傳出的數

3、據每一個批次的數據量。Sql配置頁面中有一個執行方式的選項，只有選擇DB組件按照某種計劃運行時，才能配置的后面的執行方式頁面。異常處理頁面中，提供了一些異常發生后，提供了一些可供選擇的處理方式。China Datang CorporationDB組件加載驅動默認安裝的DB組件是沒有驅動的。在使用時還需要添加驅動。Fiorano提供工具FSSM連接到FES后，可以對FES上的組件進行管理。FSSM可以導入導出組件，也可以給DB組件添加驅動程序。添加驅動的話，可以通過選中DB右鍵-Upgrade Business Service，在彈出的頁面中的第二個分頁中添加。China Datang Corp

4、oration數據的簡單轉換數據的簡單轉換China Datang Corporation范例說明以渭河電廠的實時采集為例，將渭河電廠的實時數據采集到集團公司。渭河電廠的數據庫類型sqlserver2000，表結構數據表名稱 數據項名稱 數據類型長度備注Yc_table Yc_name Char 32實時數據名稱 Yc_no Small 2實時數據編碼 Yc_val Real 4 實時數據的值目前表中的數據：，yc_no為2時表示1號機組，3時表示2號機組China Datang Corporation范例說明集團公司的表結構RT_J_POWERNUMRTDATACURR POWER_PLAN

5、T_CODE VARCHAR2(20) 電廠編碼 MACHINE_NO NUMBER(10) 機組編號 GROUP_RT_DATA_CODE NUMBER(10) 指標編碼 POWER_NUM_VALUE NUMBER(15,4) 指標值 VALUE_TYPE INTEGER 數據類型 VALUE_DATE DATE 數據時間China Datang Corporation范例分析在渭河的數據庫中只有指標編碼和指標值是實際需要的。存放在集團公司的數據還需要電廠編碼、機組編號、指標編碼、數據類型和數據時間等渭河數據庫中沒有的或者是有差異的數據項。對于電廠編碼，所有的渭河的數據都用一個編碼，假定為

6、0910007。機組編號通過渭河數據庫中yc_no來區分，為2時表示1號機組，3時表示2號機組。指標編碼，集團公司有功的指標編碼為20047。指標類型，放為1。數據時間，渭河的數據庫對應的表中沒有時間項，那么取數據庫的當前時間或是服務器的當前時間作為數據的時間。China Datang Corporation范例分析這個例子中涉及到的問題：數據庫類型不同表結構不同編碼不同數據庫類型的不同通過DB組件解決。表結構和編碼的不同可以通過SQL語句解決也可以通過Fiorano解決，在范例中通過fiorano解決。程序設計：使用兩個組件，前面的組件用于取數據，后面的組件用于存入數據。數據間的轉換通過DB

7、組件間的連接線來完成。China Datang Corporation配置第一個組件China Datang Corporation選擇數據庫類型源數據庫并不是真實的渭河的數據庫，是一個基本相同數據庫China Datang Corporation使用默認驅動網上對sqlserver2000的官方驅動的評價不是很好，sqlserver還可以使用JDBC：ODBC橋連接或是使用第三方的驅動。這里使用的事JDBC：ODBC橋連接。使用的驅動為：sun.jdbc.odbc.JdbcOdbcDriver。該驅動程序DB組件已包含，不需要添加。 China Datang Corporation配置URL

8、jdbc:odbc:driver=sql server;server=10.81.12.96;database=pubs格式與驅動和數據庫類型對應，使用JDBC：ODBC橋連接或是使用其它的驅動連接，URL的格式將是不同的。China Datang Corporation用戶名和密碼China Datang Corporation測試連接連接成功China Datang Corporation配置SQL選擇表格：dbo下面的Yc_table.China Datang Corporation配置SQLChina Datang Corporation配置SQL取數據庫當前時間作為數據時間。Getd

9、ate（）：sqlserver的函數，取數據庫當前時間。China Datang Corporation運行SQLChina Datang Corporation選擇執行方式China Datang Corporation配置執行方式調試階段，只讓組件執行一次。China Datang Corporation配置第二個組件China Datang Corporation配置第二個組件99上面的oracle數據庫。China Datang Corporation配置第二個組件Insert語句，選擇數據寫入的表格。China Datang Corporation配置SQLChina Datang

10、Corporation時間字段使用傳入值目標表的時間字段有默認值sysdate（oracle函數，數據庫的當前時間）。在sql中默認使用默認值。China Datang Corporation時間字段使用傳入值將sysdate改為？。？表示使用傳入的值而不是默認值。China Datang CorporationSQL執行方式目標表中有主鍵，為了避免不必要的損失，使用逐條提交China Datang Corporation配置組件間的聯系China Datang Corporation建立組件間的聯系本例中組件的配置與以前例子中的配置基本相同，數據的轉換在組件間的聯系中實現。China Dat

11、ang Corporation建立組件間的聯系China Datang Corporation建立組件間的聯系上圖的左側還是前面組件的出口，右側是后面組件的入口。在此例中前面組件的出口后面組件的入口并不相同。電廠編碼：power_plant_code賦以渭河的電廠編碼（ 0910007 ）。機組編號：查詢源表中的Yc_no,當值為2時為1號機組，為3時為2號機組，所以Machine_no=Yc_no-1。指標編碼：源表中的數據均是有功，group_rt_data_code賦以有功的指標編碼（20047）。China Datang Corporation建立組件間的聯系指標值：power_num

12、_value對應于源表的Yc_val。數據類型：Value_type實時數據賦以常數1。數據時間：value_date對應于Val_date,由前面組件的sql中getdate（）得到。前面組件的出口，Yc_name在后面的組件并不需要，所以不用拖線。本例中中的拖線有三種情況：直接由前面的組件的某個屬性得到，由前面的某個或是幾個屬性處理后得到，賦以某個默認值。China Datang Corporation建立組件間的聯系電廠編碼：power_plant_code賦以渭河的電廠編碼（ 0910007 ）。在下面的窗口中選擇Funclet分頁。China Datang Corporation建立

13、組件間的聯系在Mapper工具下面部分的窗口中，左邊部分是可用的函數，右邊部分是所選中的部分的數據傳輸線路。China Datang Corporation建立組件間的聯系使用默認的String Functions，字符處理函數。China Datang Corporation建立組件間的聯系選擇String Functions中的Constant函數（常數），將Constant函數圖標拖到右邊的框中。China Datang Corporation建立組件間的聯系雙擊Constant函數圖標，在彈出的窗口中輸入需要的常數值也就是渭河的電廠編碼（ 0910007 ） 。完成后顯示如下面的第二張

14、圖。China Datang Corporation建立組件間的聯系由Constant函數圖標的出口拖線到power_plant_code的入口，完成拖線。China Datang Corporation建立組件間的聯系利用按鈕自動美化一下連接線中的圖標的位置。在使用的函數較多的時候，圖標可能看上去非常凌亂，很有必要重新排列一下。China Datang Corporation建立組件間的聯系機組編號：Machine_no=Yc_no-1。選中machine_no，并將Yc_no 拖入其中。China Datang Corporation建立組件間的聯系選擇算術類函數：Arithmetic F

15、uctions。DB組件取道的數據無論是字符型、數字型甚至時間型，在傳送過程中均以字符方式傳輸，所以算術運行前先要把數據轉換為數值型。China Datang Corporation建立組件間的聯系選擇算術類函數：Arithmetic Fuctions。使用Number將Yc_no的數據轉換為數值型。將Yc_no的出口拖到Number的入口，再由Number的入口出來的數據就是數值型數據。China Datang Corporation建立組件間的聯系選擇String Functions中的Constant，設置為常數1。再選擇Arithmetic Fuctions中的Number，將常數1轉

16、換為數值型。China Datang Corporation建立組件間的聯系使用Arithmetic Fuctions中的減函數，進行減法運算。該函數區分減數和被減數。China Datang Corporation建立組件間的聯系將減函數的出口拖到machine_no的入口，完成拖線。China Datang Corporation建立組件間的聯系重新排列一下函數圖標。下面的連接線就完成Machine_no=Yc_no-1的運算。China Datang Corporation建立組件間的聯系group_rt_data_code等于常數20047。Value_type等于常數1。China

17、Datang Corporation建立組件間的聯系將Yc_val拖給power_num_value，val_date拖給Value_date。完成連接線的配置。China Datang Corporation建立組件間的聯系經確認沒有問題后保存退出。China Datang Corporation執行和檢查結果China Datang Corporation設置斷點后運行先將組件發布到需要的節點，后設置斷點運行程序，通過觀察攔截到數據觀察數據是否有問題。China Datang Corporation設置斷點后運行查看攔截到數據，從攔截到的數據可以看到渭河電廠數據庫中的數據已經轉換成了集團公

18、司需要的數據。將這條數據放到下一個組件，寫入數據庫。China Datang Corporation查詢數據庫中的數據渭河電廠源表中的數據。在這個例子中，程序調試完成后，如果設置為前面的組件，每個5分鐘執行一次，那么正常情況下每隔5分鐘集團公司將會收到一批渭河電廠的數據。China Datang Corporation工具Mapper的使用China Datang CorporationMapper介紹上面例子中的數據的轉換，主要是在組件的連接線上進行，通過Fiorano來完成。由攔截到的數據的結果來看，數據轉換由數據發出的組件所在的節點服務器FPS完成。在配置攔截線時是通過調用Mapper工

19、具實現，其實Mapper工具是一個獨立的工具，可以單獨調用。China Datang CorporationMapper介紹在程序中調用Mapper，Mapper是對程序中組件間的聯系進行直接的配置，Mapper也可以把這種配置導出成文件。在獨立調用的時候就可以對導出的文件進行修改。工具Mapper是對組件間的聯系進行配置，在主工作面板的上邊的左邊是前方組件的出口，右邊是后方組件的入口，中間是轉換部分。在主工作面板的下邊是一個編程的區域，這里提供了很多可用與轉換的函數。China Datang Corporation查看每個屬性的轉換用Mapper工具可以查看到組件的聯系中有兩種顏色的線條。紅

20、色的表示是記錄間的聯系，灰色的表示是記錄中屬性間的聯系。在前面組件的出口和后面的出口間沒有Fn圖標的聯系表示，前面的記錄或是屬性直接傳遞給后面的記錄或是屬性。如果有Fn圖標表示前面的記錄或是屬性，通過某種轉換后傳遞給后面的屬性或是記錄。只有Fn圖標的線條，表示后面組件的值是通過函數計算的。China Datang Corporation查看每個屬性的轉換后面組件的入口，黑色的話表示沒有默認參數。綠色表示該入口有默認參數。China Datang Corporation查看每個屬性的轉換對于已編好的程序，可以在中間區域雙擊連接線，調出連接的信息。例如雙擊機組編號，查看機組編號的轉換。China

21、Datang Corporation可以使用的函數Fiorano在數據整合中的功能之所以這么強大，是與提供了豐富的函數有關。Fiorano提供的函數很多，不可能詳細介紹，對于大部分函數的使用還需要通過查看幫助文件。Fiorano中的函數大體分為：算術函數：Arithmetic字符函數：String邏輯函數：Boolean控制函數：Control時間函數：Date-Time數學函數：MathChina Datang Corporation算術函數從上到下依次是加減除除法求余數乘向下取整向上取整四舍五入取整將字符表示的數字轉換為數據型數據China Datang Corporation字符函數對字

22、符進行操作，從上到下依次是字符串相加求長度常數字符串定位取到（）結束的子字符串取由（）開始的子字符串取自第（）個字符開始的后面的子字符串取第（）個字符開始的后面（）個字符的子字符串刪除字符串中的空格后形成新的字符串將字符串中出現的字符（）轉換為新的字符（）China Datang Corporation邏輯函數得到的結果是一個邏輯值即真或假，從上到下依次是等于不等于大于小于大于等于小于等于OrAndNotBool：非空時為真，空時為假Isnumber：是否為數字China Datang Corporation控制函數用于記錄或是屬性的控制，分別是If-then-else：對記錄如果條件為真這取數據（），為假則取其他的數據（）。Sort：對記錄分類Filter：對記錄進行過濾，滿足條件的紀錄可以傳往后面的組件，不滿足條件的紀錄將被拋棄。China Datang Corporation其他函數時間函數、數學函數、轉換函數等China Datang Corporation函數的說明Fiorano在連接線時提供的函數不可能全部介紹，對于特定的函數可以通過查看幫助文件來得到相關信息，而可以在需要使用時再講解。當把函數圖標拖到編程區域后，在編程區就可以通過右鍵-Help來查看幫助文件。當然而可以在右鍵的菜單中通過Delet