1、中國石化數據倉庫(EDW) 詳細設計2008.07介紹本文檔為中國石化數據倉庫（EDW）項目的詳細設計文檔本文檔的目的是供EDW項目需求分析和設計組討論使用目錄設計原則系統架構數據層次架構設計數據源設計信息范圍設計信息對象設計特性（Big Entity / Common Entity )關鍵指標抽取層設計合并層設計轉換設計接口設計處理鏈設計設計原則遵循中國石化ERP&數據倉庫規劃統一設計統一管控適應未來架構變化ERP從分散走向集中ERP重新上線新的ERP上線企業運維方便應用擴展中國石化數據倉庫EDW未來業務藍圖煉化ERP煉化ERP煉化ERPMES化工銷售CRM化工銷售ERP中石化 EDWNLS

2、BIA煉化ERP油田ERP生產營運指揮平臺集中 EP銷售ERP銷售POSDM銷售SSR銷售ERP銷售ERP銷售CRM人力資源ERP企業用戶企業用戶總部用戶物裝ERP物裝電子商務總部用戶其它非ERP系統主數據管理（物料、客戶、供應商等）中石化門戶財務BCS物裝化工銷售價稅銷售設備管理BEx- Excel訪問BEx - Excel訪問科研ERP其它ERPBO門戶&服務器物裝物流物裝CRM預算編制數據收集系統EDW系統環境EDW開發(BD0)EDW測試(BT0)EDW生產(BP0)應用開發(BD2)應用測試(BT2)應用生產(BP2)應用開發(BD3)應用測試(BT3)應用生產(BP3)ERP 1E

3、RP 1ERP 1Non-ERP數據流向開發傳輸EDW數據層次架構總體設計 源系統：為數據倉庫提供數據的業務系統數據抽取層：來自于源系統的原始數據存儲數據合并層：經過統一清洗、編碼轉換、語義轉換后的數據存儲數據輸出層：針對不同應用的數據輸出接口層數據倉庫應用層：針對不同部門應用的數據集市其中的數據抽取層、數據合并層統稱為EDW數據輸出層雖然在EDW服務器上，但是它是基于部門級應用設計源系統：SAP ERP & 其它業務系統 數據抽取層Data Extraction數據合并層(Consolidation Layer)信息展現層EDW數據倉庫應用服務器1數據倉庫應用層數據倉庫應用服務器n數據倉庫應

4、用層.數據輸出層(Outbound Layer)EDW數據層次架構總體設計（示例）EDW 數據合并層Integration LayerBI應用-銷售BI應用-財務云南石油事業部銷售茂名財務銷售云南銷售行項目廣東銷售行項目浙江銷售行項目茂名銷售行項目揚子銷售行項目燕山銷售行項目Data SourceData SourceEDW 數據抽取層Propagation Layer云南銷售行項目廣東銷售行項目浙江銷售行項目茂名銷售行項目揚子銷售行項目燕山銷售行項目EDW 數據輸出層Outbound Layer銷售行項目銷售行項目銷售行項目Data Source單據Data SourceERP系統&非ERP

5、數據源系統Source SystemEDW數據存儲邏輯分區設計從企業ERP抽取的主數據、業務數據按照邏輯分區的原則進行存儲分散企業ERP到抽取層、合并層采用的是源系統和目標存儲1:1對應集中企業采用一個寫優化的DSO首先進行數據上載，然后在抽取層按照企業進行分散存儲集中企業的主數據對于基本視圖采用集中方式存儲：物料，客戶，供應商，會計科目，工廠，庫存地，員工，成本中心，利潤中心 ，EDW 數據合并層Integration Layer云南銷售行項目廣東銷售行項目浙江銷售行項目江西銷售行項目安徽銷售行項目湖北銷售行項目EDW 數據抽取層Propagation Layer云南銷售行項目廣東銷售行項目

6、浙江銷售行項目江西銷售行項目安徽銷售行項目湖北銷售行項目源系統Source System銷售集中銷售行項目云南ERP廣東ERP浙江ERP集中ERP集中物料集中物料ERP架構變遷EDW建設完成后，ERP架構變遷對于EDW中如何保存企業歷史數據和新上線數據存在重大挑戰對于企業或者總部而言，完整的歷史數據是相當重要的ERP架構變遷存在如下幾種可能場景描述例子建議處理一新上線ERP企業2008年川渝公司按照正常的開發流程作為新開發在EDW中實現二在原有的Client中已上線ERP企業重新上線2007年湖南石油一般是采用新公司重新上線，原有的抽取層和合并層繼續使用，僅對部分處理邏輯或者對照進行調整三在新

7、的Client中已上線ERP企業重新上線2006年江蘇石油在新的 Client中重新上線，原有的流程和新的流程變化一般較小，因此原有的抽取層和合并層可以繼續使用，僅對部分處理邏輯或者對照進行調整四在新的系統中已上線ERP企業重新上線 2008年華北大區流程變化較大的重新上線建議創建新的抽取層，合并層保持不變五原有的已上線ERP企業遷移到集中系統建議創建新的抽取層，處理邏輯參考已有集中系統上的分散企業六ERP升級抽取層、合并層一般情況無需變更，但是財務新總賬數據源需要進行調整ERP架構變遷-在新的系統中已上線ERP企業重新上線 合并層繼續沿用已存在的合并層（基于目前的邏輯，無論是否重新上線，合并

8、層本身應該不會變化，否則總部匯總是無法上線的）后續數據上載邏輯、處理不變單據追溯不變抽取層采用新的DSO利于區分原有抽取層到合并層的邏輯處理適應主數據的修改（合并層中大量的主數據屬性讀取）新的抽取層的命名采用ZX(ZT)存在的問題主數據編碼不一致，比如原有系統中銷售小組ABC代表長皮加油站，新的系統中ABCF代表順風加油站這種情形一般較少見，因為絕大部分的主數據編碼應該是統一的，對于不統一的情況在后續BW中采用最新的數據，或者采用邏輯系統進行區分EDW 數據合并層Integration Layer云南銷售行項目EDW 數據抽取層Propagation Layer云南銷售行項目源系統Source

9、 System云南ERP云南ERP New云南銷售行項目BI應用-銷售云南石油事業部銷售單據Data Source云南物料移動行項目云南物料移動行項目-沖銷云南物料移動行項目ERP架構變遷-原有的已上線ERP企業遷移到集中系統基本處理原則同：在新的系統中已上線ERP企業重新上線 EDW 數據合并層Integration Layer云南銷售行項目EDW 數據抽取層Propagation Layer云南銷售行項目源系統Source System云南ERP銷售集中云南銷售行項目BI應用-銷售云南石油事業部銷售單據Data Source集中銷售行項目ERP數據歸檔中國石化正在試點對于ERP企業的數據歸

10、檔，并且可能在今后的幾年逐步開始常規性的ERP數據歸檔歸檔的主要內容是業務數據，主數據本身并不進行歸檔ERP數據歸檔對于EDW的影響：數據歸檔后，EDW將無法直接從原有的系統抽取到相關的數據雖然SAP提供手段可以恢復歸檔數據，但是歸檔的數據是恢復到新的數據表，或者信息結構中，此時原有的標準數據源的抽數邏輯不再適用，事實上是很難從恢復的表中重新抽取數據的ERP數據歸檔在EDW中的處理原則在數據歸檔前將其抽取到EDW中進行保存采用多種備份進行歸檔數據的保存建議ERP歸檔流程為了避免數據尚未抽取到EDW之前做歸檔，建議今后ERP歸檔流程中應該加入下述事項1、在ERP執行實際數據歸檔之前，由歸檔項目組

11、提前1個月通知EDW項目組，確認將要歸檔數據和歸檔數據的歷史時間（比如2年前的數據）2、EDW項目組對于歸檔內容進行評估：如果EDW中已經抽取該部分數據，則只需要和歸檔項目組確認并安排數據的抽取備份如果EDW中尚未抽取該部分數據，則需要由EDW項目組通知各應用項目組評估，確認是否有需要此部分數據的應用項目3、如果評估后需要進行此部分數據的抽取，則由EDW項目小組負責創建新的數據源進行該部分數據的抽取，并保存在EDW的抽取層4、在EDW項目組確認需要抽取的歸檔數據已經成功保存在EDW中后，歸檔小組可以進行數據的歸檔工作了原則上，自歸檔項目組通知EDW項目組1個月之后，EDW項目組需要保證處理完畢

12、ERP數據歸檔-EDW處理邏輯為了避免歸檔數據的丟失，對于已經完成歸檔的數據，建議在EDW中保存一份相關的備份備份保存在特別的信息范圍下，該信息范圍僅授予12名具有歸檔數據處理的用戶如果對于某個ERP需要重新抽取其生產系統數據，則原有的已歸檔數據直接從EDW中的歸檔備份抽取，無需在ERP中進行歸檔數據的恢復歸檔數據備份抽取層：物料移動憑證ERP系統合并層:物料移動憑證12341將ERP中需要歸檔的數據抽取到EDW中特殊保存；并且采用脫機歸檔的方式將數據備份到磁帶上23數據從ERP中增量上載到抽取層，抽取層中包含了原有的歸檔數據數據從抽取層增量上載到合并層4如果抽取層的數據徹底需要從新更新以前歸

13、檔的數據可以從備份中恢復1物料編碼處理 數據源-設計原則ERP數據源設計原則 ：基本原則參見數據倉庫技術規范自定義數據源新的自定義數據源及其相關的視圖、結構、函數、開發類需要遵循EDW命名規范原有的采用信息集的數據源建議修改為函數，或者視圖(SQ01在ERP上的權限在EDW結束后收回）數據源增強程序采用配置表方案進行數據源增強程序的調用管理新增數據源需要通知EDW項目組（黃才生/李坤），由項目組維護相關的文檔 未通知EDW項目組的新數據源，EDW項目組有權拒絕數據的抽取標準數據源增強結構開發規則目前的數據源增強結構不允許刪除字段建議對分散企業今后新增字段時候，按照板塊或者應用隔離BCS 采用一

14、個專用的結構針對板塊建議再細分結構物裝共用結構針對板塊建議再細分結構板塊應用油品銷售按照板塊創建專用的結構增強結構傳輸時：僅允許傳輸自己使用的結構必須和EDW項目組進行連線集中系統所有的增強放在一個結構中在進行標準數據源增強結構時需要報EDW項目組進行統一的協調數據源增強程序隔離設計INCLUDE程序采用統一的函數（由EDW項目組統一開發和實現）采用配置表的方式決定在每一個ERP系統上增強程序調用的函數（由EDW項目組統一開發配置表的維護）項目組根據需要在ERP上進行配置數據源的增強一律采用函數處理FUNCTION EXIT_SAPLRSAP_001.*-* IMPORTING* VALUE(

15、I_DATASOURCE) TYPE RSAOT_OLTPSOURCE* VALUE(I_ISOURCE) TYPE SBIWA_S_INTERFACE-ISOURCE* VALUE(I_UPDMODE) TYPE SBIWA_S_INTERFACE-UPDMODE* TABLES* I_T_SELECT TYPE SBIWA_T_SELECT* I_T_FIELDS TYPE SBIWA_T_FIELDS* C_T_DATA* C_T_MESSAGES STRUCTURE BALMI OPTIONAL* EXCEPTIONS* RSAP_CUSTOMER_EXIT_ERROR*- INCLU

16、DE ZXRSAU01.ENDFUNCTION.Include中采用公共函數INCLUDE ZXRSAU01 CALL FUNCTION ZDS_EDW_YWSJ_ZQCX 銷售板塊FUNCTION ZDS_EDW_YWSJ_ZQCX*-* IMPORTING* VALUE(I_DATASOURCE) TYPE RSAOT_OLTPSOURCE* VALUE(I_ISOURCE) TYPE SBIWA_S_INTERFACE-ISOURCE* VALUE(I_UPDMODE) TYPE SBIWA_S_INTERFACE-UPDMODE* TABLES* I_T_SELECT TYPE SBI

17、WA_T_SELECT* I_T_FIELDS TYPE SBIWA_T_FIELDS* C_T_DATA* C_T_MESSAGES STRUCTURE BALMI OPTIONAL* EXCEPTIONS* RSAP_CUSTOMER_EXIT_ERROR*- Read function list from configuration table by dataourceLoop function list. check function exist if function exists. call functionElse.Continue.Endif.endloop 公共函數將根據配置

18、表的情況進行數據源對應增強函數處理的調用數據源增強程序隔離設計-INCLUDE中的公共函數開發類ZDS_EDW函數組ZDS_EDW業務數據增強函數ZDS_EDW_YWSJ_ZQCX主數據增強函數ZDS_EDW_ZSJSX_ZQCX主數據文本增強函數ZDS_EDW_ZSJWB_ZQCXINCLUDE中的公共函數命名在公共函數傳輸到ERP生產系統并啟用后，無需再更改 INCLUDE程序公共函數由EDW項目組統一維護（原則上，項目結束后無需再維護）數據源增強程序隔離設計-配置表每個ERP系統上數據源的增強處理程序調用采用函數配置表進行暫定命名為ZDS_EDW_FUNC_CONFEDW項目組將開發一個

19、配置表的維護程序，傳輸到各ERP系統數據源步驟序號BW抽取用戶函數僅調試最后修改人 備注0FI_GL_41ZDS_XSFS_01_FI_GL_4宋永濤銷售分散企業增強處理0FI_GL_42ZDS_BCS_01_FI_GL_4方曉波BCS通用增強處理0FI_GL_43ZDS_XSFS_01_FI_GL_4_TX宋永濤測試新的數據字段增強數據源：要進行增強處理的數據源技術名稱步驟序號：執行處理時的順序號函數：執行增強處理的函數技術名稱僅調試：如果設置該標志，則僅在ERP中采用RSA3時函數將被調用，BW抽取數據時函數將不被調用 （如果函數調用出現錯誤，可以快捷的在生產系統上臨時將該函數增強設置為僅

20、調試而禁止）最后修改人：最后修改配置的用戶名稱（要求填寫實際的用戶名稱）備注：文本描述數據源增強程序隔離設計-函數調用由公共函數根據配置表的內容進行實際的函數調用FUNCTION ZDS_EDW_YWSJ_ZQCX*-* IMPORTING* VALUE(I_DATASOURCE) TYPE RSAOT_OLTPSOURCE* VALUE(I_ISOURCE) TYPE SBIWA_S_INTERFACE-ISOURCE* VALUE(I_UPDMODE) TYPE SBIWA_S_INTERFACE-UPDMODE* TABLES* I_T_SELECT TYPE SBIWA_T_SELEC

21、T* I_T_FIELDS TYPE SBIWA_T_FIELDS* C_T_DATA* C_T_MESSAGES STRUCTURE BALMI OPTIONAL* EXCEPTIONS* RSAP_CUSTOMER_EXIT_ERROR*- 從配置表中讀出I_DATASOURCE對應的函數清單循環處理函數清單 if 函數僅調試標志未設置 或者 標志設置但是程序執行模式為前臺（RSA3） 調用該函數（參數同本函數） endif. 循環結束 數據源增強程序隔離設計-增強函數命名規則對于每個數據源的增強函數采用EDW命名規范的規定比如ZDS_XSFS_01_FI_GL_4: 銷售分散企業：0FI

22、_GL_4增強程序ZDS_BCS_01_FI_GL_4：財務BCS：0FI_GL_4增強程序（所有企業）注：我們首先鼓勵在同一個板塊上對于相同數據源的處理放置在同一個函數中，但是考慮到物裝、財務等跨板塊的需要，以及后續維護的方便，允許對于同一個數據源使用多個處理函數切換路線圖1、EDW項目組開發相應的配置表和維護程序2、EDW項目組開發公共函數（暫不更改INCLUDE程序）3、項目組將原有的增強程序代碼轉換為函數4、將項目組開發的配置表、維護程序、公共函數傳輸到系統5、項目組將增強程序函數傳輸到ERP系統6、在ERP系統上完成配置表的維護7、修改原有INCLUDE中的函數，使之能夠在調試模式下

23、調用新的公共函數，在后臺執行模型下調用原有的代碼8、測試成功后，將原有INCLUDE程序中的函數更正為新的公共函數公共開發部分8月底完成實現，原有增強遷移部分，9月底完成 方案優缺點說明優點采用配置表可以針對不同板塊、不同企業進行數據源增強邏輯處理；既可以保持共性的處理邏輯，也可以在特殊情形下保持個性邏輯處理每次數據源增強修改前，可以利用測試函數進行測試，杜絕強行傳輸對于EDW平穩數據抽取的影響增強程序發生錯誤的情況下，可以將錯誤限制在最小的范圍，避免整個數據抽取不能進行缺點需要在每家企業進行配置表的數據維護基于保證EDW日常數據抽取，以及今后運維的方便，決定采用此方案BW數據源設計原則基本原

24、則參見：數據倉庫技術規范針對ERP系統的BW數據源一律由源系統復制而得，一律采用BI7.0格式進行復制針對文本文件的BW數據源為手工創建PSA保存歷史在EDW上線試運行期間暫不刪除數據不超過一個月，采用處理鏈定期刪除信息范圍 基本原則信息范圍的主要作用包括:對象分組,授權在構建EDW時，我們可以按照數據層次板塊企業進行信息范圍的分組設計；也可以按照企業進行分組設計基于權限考慮，目前項目團隊的情形，數據輸出層，按照對應的應用進行設計；數據合并層和數據抽取層按照板塊/企業設計范例如下（注意，數據輸出層中在各應用下可以按照企業進行細分，由各應用項目組自行決定）中國石化數據倉庫輸出層 物裝應用 財務應

25、用 油品銷售 化工銷售 煉化中國石化數據倉庫EDW 油品銷售應用（事業部/企業） 主數據 銷售 采購 . 財務應用 主數據 銷售 采購 . 油田板塊 煉化板塊 銷售板塊 總部 山東石油 數據合并層 主數據 銷售 采購 . 數據抽取層 主數據 銷售 采購 . 上海石油 人力資源 科研板塊企業信息范圍設計原則總部信息范圍設計原則信息對象-基本原則原則抽取層上優先使用SAP標準的信息對象 ；僅當不存在對應的標準信息對象時再考慮自定義禁止修改標準信息對象的數據類型、長度等定義（描述除外）合并層上原則上一律使用自定義的信息對象，例外的情況是：沒有主數據的某些特性（如SAP的時間特性，SAP的單據號等等）

26、，或者某些指標（原則上，對于指標我們要求自定義）跨事業部應用需要的分析特性需要采用共同命名，如公司代碼、成本中心、利潤中心等等由專人統一管理信息對象的技術名稱命名信息對象的創建和修改抽取層-基本原則基本原則參見數據倉庫技術規范分企業進行數據的存儲，DSO采用標準的DSO集中系統數據首先上載到寫優化的DSO，然后上載到按企業分散的DSO進行存儲禁止在抽取層進行邏輯或者編碼轉換 , 部分例外RECORDMODE的處理非法中文字符的處理增加源系統、上載時間戳合并層-基本原則基本原則參見數據倉庫技術規范轉換設計SAP提供從源DSO到目標DSO的1：1轉換轉換的處理方式包括：專家例程開始例程數據字段轉換

27、規則結束例程轉換設計-SAP轉換處理功能 在數據上載時，SAP BI提供了下述用戶自定義的數據處理功能專家例程如果采用專家例程，那末開始例程、結束例程、字段轉換規則均失效所有的處理邏輯需要在專家例程中由用戶編寫的程序進行控制用戶不能控制字段是否更新，所有的數據字段均會被覆蓋開始例程刪除DSO中無需保存的企業數據對指標，或者特性進行預處理根據源數據進行數據記錄的復制（比如，主數據按時間保存） 在抽取層上載到合并層時，開始例程中讀取的DSO應該為抽取層的DSO，原則上禁止讀取合并層的DSO字段轉換規則允許針對具體的字段進行相應的賦值，例程處理結束例程根據加油站編號讀取加油站的時間相關歷史屬性根據成

28、本中心獲得對應的裝置編號在抽取層上載到合并層時，結束例程中讀取的DSO應該為合并層的DSO，原則上禁止讀取抽取層的DSO轉換設計-EDW規則 在下述例程中，要求必須包含相應的INCLUDE程序專家例程：ZDEDW_INCL_ZJLC開始例程：ZDEDW_INCL_KSLC結束例程：ZDEDW_INCL_JSLC這3個INCLUDE程序為EDW小組開發，禁止其他項目組進行修改專家例程和開始例程僅允許進行簡單的非目標DSO包含數據的刪除比如，從集中的寫優化DSO到江西DSO數據上載，刪除非江西石油的數據數據字段轉換盡量減少轉換例程必須的轉換例程采用函數處理INCLUDE ZDEDW_INCL_KSLC data: ls_source_fields type _ty_s_sc_1, lt_tmp_package type _ty_t_sc_1. Get source and target from p_r_requestGet function list & parameter table by source and *target from configuration tableSort function list by step.Loop at functions into