為什么要做數倉分層不做行嗎_第1頁
為什么要做數倉分層不做行嗎_第2頁
為什么要做數倉分層不做行嗎_第3頁
全文預覽已結束

付費下載

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

1、01經典的數倉分層首先跟大家聊一個經典的數倉分層結構，主要包括ODS、DWS、DW、APP四層。ODS：抽取的原始業務數據，結構一般和原始業務數據庫表結構或者抽取的業務日志數據結構保持一致。一句話：從業務系統增量抽取，數據不做清洗轉換，與業務系統數據模型保持一致。DWS：根據ODS層，增加一些維度信息，過濾一些異常數據。為DW層提供來源明細數據，提供業務系統細節數據的長期沉淀，為未來分析類需求的擴展提供歷史數據支撐。DW：模型層，根據DWS層數據，按各個業務需求，以某個維度ID進行粗粒度匯總聚合。此層一般會根據數倉涉及的業務發展或者主數據的建立等，抽象出一些公用的聚合匯總模型APP：應用層/指

2、標層/報表層，每個公司的叫法不一樣，一般指根據特定的某個應用或者報表進行的數據指標開發匯總。02數倉為什么分層那么為什么數據倉庫會有分層呢？每多一層不就會多一些開發工作嗎？還會經常有多層數據重復？不分層可不可以？也許上面這些問題會困擾你，可能還會有人說，我來公司的時候已經有開發規范了，不分層不行！其實數據倉庫分層原因可以概括為以下4個方面：1、用空間換時間數倉的發展已經幾十年了，在大數據技術出現之前，我們一般采用Oracle等一些關系型數據庫來做數倉，但隨著數據量的發展，特別是電信和銀行業務的快速發展（那時候互聯網企業還沒起來），在進行一個數倉應用開發過程中，我們需要分很多步驟來進行，所以會考

3、慮用空間來換時間，包括現在市面上也會有一些用空間換時間這樣的OLAP產品。2、減少重復開發可以把一些指標用到的匯總數據進行抽象，建立一個或者多個模型，這些模型可以支撐我們建立多個數倉報表，這一步需要對業務非常了解，不然就會出現上面問題說的“ 還會經常有多層數據重復？”3、復雜的問題簡單化做過傳統數倉的都知道，以前Oracle的存儲過程會寫幾千行，所以現在我們一般很少寫幾千行的業務ETL邏輯了，而是分為多個ETL過程，從明細層到應用層進行邏輯拆解，中間也會進行一些邏輯合并，形成模型層。4、數據安全通過分層，可以更方便地對不同層，不同的數據模型進行權限管理，特定業務場景下，對不同的開發人員和業務人員屏蔽一些敏感的數據。03數倉分層的模板我們可以看到現在網上有很多數倉建模的規范，那么到底有沒有一套萬能的規范模板，直接拿來就能用呢？每個公司的業務發展都不盡相同，不能完全套搬一些規范，在建立數倉之前是要對自己公司的業務進行梳理，包括業務種類、數據量、需求量等，也許公司的數據量本來就不大，而且業務比較單一，那么明細層(DWS)可以不要呀，直接通過原始數據層來建立模型匯總層。規范是給大家拓展思路參考的，

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論