IBMDatastage培訓

Day5

六子2013/7/18Agenda2314DS中大字段處理DS存儲過程調用PivotStage使用Surrogatekey使用5JobSequence使用6書籍推薦大字段類型大字段常用于存儲照片、音頻、視頻等。DataStage數據類型被視為LOB：LongVarBinary，用于數據庫二進制大對象（BLOB）列LongVarChar，用于數據庫字符大對象（CLOB）列LongNVarChar，用于數據庫本地字符大對象（NCLOB）列DB2中處理大字段例子DS中調用過程Pivotstage使用水平透視（列轉行）垂直透視（行專列）水平透視1水平透視2垂直透視通過垂直數據透視，可以將多組輸入列映射到多個輸出列。垂直會將輸入數據中的一組行映射到單個或多個輸出列。數組大小確定輸出數據中的行數，垂直數據透視操作的輸出數據通常比輸入數據具有更多的列，但行更少。垂直透視-設置垂直透視-映射Agenda2314

DS中大字段處理DS存儲過程調用PivotStage使用Surrogatekey使用5JobSequence使用6書籍推薦代理鍵代理鍵（SurrogateKeys）專用于惟一地標識維度表行在維度表中跟蹤歷史時，相同的業務鍵在維度表中會有多個行，也就是我們通常說的緩慢變化維。因此，不能將業務鍵作為主鍵使用。通常，作為業務鍵使用的字段不會更改，但這種情況并非絕對。舉例來說，美國公民可以被賦予最新的社會保障號碼，銀行在兼并后也可能會重新分配帳號。代理鍵-文件類型文件數據庫序列（建議）代理鍵-數據庫序列文件數據庫序列（建議）Agenda2314

DS中大字段處理DS存儲過程調用PivotStage使用Surrogatekey使用5JobSequence使用6書籍推薦JobSequence一個主控制job，控制一系列子job控制JOB執行的順序對下個JOB執行指定條件設置復雜的控制流循環等待文件調用操作系統相關功能電子郵件執行系統命令和可執行文件重新啟動檢查點JobSequencerStage例子RunjobWaitfor

fileExecuteacommandSendemailHandleexceptionsAgenda2314

DS中大字段處理DS存儲過程調用PivotStage使用Surrogatekey使用5JobSequence使用6書籍推薦數據倉庫第1章決策支持系統的發展第2章數據倉庫環境第3章設計數據倉庫第4章數據倉庫中的粒度第5章數據倉庫和技術第6章分布式數據倉庫第7章主管信息系統和數據倉庫第8章外部數據與數據倉庫第9章遷移到體系結構化環境第10章數據倉庫和Web第11章非結構化數據和數據倉庫第12章大型數據倉庫第13章關系模型和多維模型數據庫設計基礎第14章數據倉庫高級話題第15章數據倉庫的成本論證和投資回報第16章數據倉庫和ODS第17章企業信息依從準則和數據倉庫第18章最終用戶社區第19章數據倉庫設計的復查要目數據倉庫工具箱第1章維度建模初步

第2章營銷

第3章庫存

第4章采購

第5章訂單管理

第6章客戶關系管理

第7章賬目

第8章人力資源管理

第9章財經服務

第10章電信與公用事業

第11章交通

第12章教育

第13章衛生保健

第14章電子商務

第15章保險

第16章建立數據倉庫

第17章相關知識與展望

DW2.0下一代數據倉庫的構架第1章數據倉庫簡史及第一代數據倉庫第2章DW2.0簡介第3章DW2.0組成部分——關于不同區第4章DW2.0中的元數據第5章DW2.0技術基礎設施的流動性第6章DW2.0的方法與途徑第7章統計處理和DW2.0第8章數據模型與DW2.0第9章監視DW2.0環境第10章DW2.0與安全第11章時間相關數據第12章DW2.0的數據流第13章ETL處理與DW2.0第14章DW2.0與粒度管理器第15章DW2.0和性能第16章遷移第17章成本驗證和DW2.0第18章DW2.0中的數據質量第19章DW2.0和非結構化數據第20章DW2.0與記錄系統第21章多方面的話題第22章DW2.0環境中的處理第23章管理DW2.0環境

數據倉庫ETL具箱第一部分需求、現狀和架構第一章一切從需求出發