1、 數據倉庫技術6.1 數據倉庫概述6.2 數據倉庫的結構框架6.3 數據倉庫系統及開發過程6.4 數據倉庫管理系統中的關鍵技術6.5 可視數據倉庫6.6 SAS數據倉庫的結構與功能1歡迎下載 可修改6.1 數據倉庫概述6.1.1數據倉庫的定義數據倉庫就是面向主題的、集成的、穩定的、不同時間的數據集合，用以支持經營管理中的決策制定過程。 數據倉庫是一種解決方案，是對原始的操作數據進行各種處理并轉換成有用信息的處理過程，用戶可以通過分析這些信息，從而作出策略性的決策。 也把數據倉庫系統稱為“決策支持系統”。 2歡迎下載 可修改6.1 數據倉庫概述6.1.2 數據倉庫查詢系統的特點數據倉庫系統的查詢

2、通常都非常復雜，主要有兩種查詢方式： 一種以報表為主，從數據庫中產生各種形式的業務報表，這種查詢是預先規劃好的（predefined query）； 2. 另一種則是隨機的、動態的查詢（ad hoc query），對查詢的結果也是不能預料的。因此，系統的可擴展能力是必須考慮的重要因素之一 3歡迎下載 可修改6.1 數據倉庫概述6.1.3 OLTP與OLAP的特點OLTP系統也稱為生產系統,它是事件驅動、面向應用的。 OLTP的基本特點如下： (1)對響應時間要求非常高；用戶數量非常龐大，主要是操作人員；(2)數據庫的各種操作基于索引進行。 聯機分析處理（online analytical pr

3、ocessing,OLAP)是基于數據倉庫的信息分析處理過程，是數據倉庫的用戶接口部分。OLAP系統是跨部門、面向主題的。 基本特點是： 基礎數據來源于生產系統中的操作數據（operation data);響應時間合理;用戶數量相對較少，其用戶主要是業務決策與管理人員;數據庫的各種操作不能完全基于索引進行。4歡迎下載 可修改6.1 數據倉庫概述6.1.4 詳細數據與小結數據詳細數據中包含了許多有價值的信息，經小結處理后，可能會丟失這些信息。 處理原因： (1)數據倉庫的引擎（數據庫系統）不適合處理大量的數據 ;(2)降低存儲系統投資。在以前，存儲介質是非常昂貴的 ;(3)降低MIPS投資 ;5

4、歡迎下載 可修改6.1 數據倉庫概述 6.1.5 數據倉庫與數據集市數據倉庫是企業級的，能為整個企業各個部門的運行提供決策支持手段； 數據集市是部門級的，一般只能為某個局部范圍內的管理人員服務。有些供應商也稱為“部門級數據倉庫”（departmental data warehouse）。6歡迎下載 可修改6.1 數據倉庫概述 6.1.5 數據倉庫與數據集市數據集市分類：兩種；獨立的數據集市（independent data mart）從屬的數據集市（dependent data mart）。 7歡迎下載 可修改6.1 數據倉庫概述6.1.6 數據倉庫引擎的選擇所謂數據倉庫引擎，就是數據庫管理系

5、統。從前面的分析可以看到，作為數據倉庫引擎的數據庫管理系統，其性能的優劣對整個數據倉庫解決方案的成功實施起著舉足輕重的作用。 衡量其數據庫性能的主要指標是TPC-D；主要有3方面的數據需要考慮。（1） QppD。 （2） QthD。 （3） QppD。 8歡迎下載 可修改6.2 數據倉庫的結構框架6.2.1 框架的概念和重要性所謂框架就是利用簡化類比的集合，把復雜事物分為若干細小的易于理解的構件的方法。 2. 能夠把數據倉庫方案的各組成部分進行分離的框架稱通用框架，有的也稱參照結構 ，如圖9歡迎下載 可修改6.2 數據倉庫的結構框架6.2.1 框架的重要性（1） 提出一種通用的“藍圖”框架。

6、（2） 為實現企業的目標創建一個持久的基礎，框架是實現一個目標的持久有效的方法。 （3） 實現可以提供可供選擇的替換。 （4） 在參照結構框架內提供制售商的情況。 （5） 突出方案中有生產價值的解題成分。 10歡迎下載 可修改9、 人的價值，在招收誘惑的一瞬間被決定。2022-5-22022-5-2Monday, May 02, 202210、低頭要有勇氣，抬頭要有低氣。2022-5-22022-5-22022-5-25/2/2022 3:46:57 AM11、人總是珍惜為得到。2022-5-22022-5-22022-5-2May-222-May-2212、人亂于心，不寬余請。2022-5-

7、22022-5-22022-5-2Monday, May 02, 202213、生氣是拿別人做錯的事來懲罰自己。2022-5-22022-5-22022-5-22022-5-25/2/202214、抱最大的希望，作最大的努力。2022年5月2日星期一2022-5-22022-5-22022-5-215、一個人炫耀什么，說明他內心缺少什么。2022年5月2022-5-22022-5-22022-5-25/2/202216、業余生活要有意義，不要越軌。2022-5-22022-5-2May 2, 202217、一個人即使已登上頂峰，也仍要自強不息。2022-5-22022-5-22022-5-22

8、022-5-26.2 數據倉庫的結構框架6.2.2 通用框架結構數據倉庫參照結構把數據倉庫的組成部分劃分成許多塊和層，塊主要有數據源、數據站場、數據倉庫、存取與使用；層主要有數據管理、元數據管理、傳輸和基礎結構。塊與特定的數據倉庫相關，而層則表示用于實現塊的環境。 12歡迎下載 可修改9、 人的價值，在招收誘惑的一瞬間被決定。2022-5-22022-5-2Monday, May 02, 202210、低頭要有勇氣，抬頭要有低氣。2022-5-22022-5-22022-5-25/2/2022 3:46:58 AM11、人總是珍惜為得到。2022-5-22022-5-22022-5-2May-

9、222-May-2212、人亂于心，不寬余請。2022-5-22022-5-22022-5-2Monday, May 02, 202213、生氣是拿別人做錯的事來懲罰自己。2022-5-22022-5-22022-5-22022-5-25/2/202214、抱最大的希望，作最大的努力。2022年5月2日星期一2022-5-22022-5-22022-5-215、一個人炫耀什么，說明他內心缺少什么。2022年5月2022-5-22022-5-22022-5-25/2/202216、業余生活要有意義，不要越軌。2022-5-22022-5-2May 2, 202217、一個人即使已登上頂峰，也仍要

10、自強不息。2022-5-22022-5-22022-5-22022-5-26.2 數據倉庫的結構框架6.2.3 數據源塊 產品數據2. 遺留數據3. 內部辦公系統4. 外部系統5. 數據源元數據14歡迎下載 可修改6.2 數據倉庫的結構框架6.2.4 數據倉庫結構塊(1)“求精” ：元數據被映射為標準數據名稱和定義，為被抽取數據的時間戳及其來源以及已增加的新域再創建和捕獲一些元數據；(2)重構工程部分負責檢驗數據是否滿足商業用戶分析的需求； (3)數據倉庫成分負責數據建模等；15歡迎下載 可修改6.2 數據倉庫的結構框架6.2.5 數據站場結構塊數據站場中的求精與重構工程構件主要完成以下工作：

11、 (1)過濾與匹配從數據倉庫中抽取的數據；將數據倉庫集成到新的或重新定義的主題域；(2)創建新的概括或聚集；(3)將數據倉庫中初步概括的數據求精為高度概括的數據；(4)對所有時間和來源戳的數據預測和導出新的數據。16歡迎下載 可修改6.2 數據倉庫的結構框架6.2.6 數據倉庫的存取和使用模塊由兩部分組成： 一是存取與檢索；二是分析與報表。該塊為整個數據倉庫的實現提供決策性的和有價值的東西 17歡迎下載 可修改6.2 數據倉庫的結構框架6.2.7 數據管理層模塊（1） 從所選的數據源中抽取并挑選數據，為進一步求精和重構工程以及存儲到數據倉庫中做準備。（2） 從新的或當前的數據源中按需求追蹤和充

12、實新數據。（3） 捕獲運作數據源中數據的變化，然后刷新或更新數據倉庫。從數據倉庫的觀點來看，主要完成的功能：18歡迎下載 可修改6.2 數據倉庫的結構框架6.2.8 運輸層模塊該模塊使用了刷新與復制技術、數據傳輸、傳送網絡，以及中間件等構件，它也為傳輸請求提供了安全保障。 運輸層在硬件/軟件平臺之間建起了必要的信息通道，這些通道在參照結構中被不同的模塊分割成一個個平臺。19歡迎下載 可修改6.2 數據倉庫的結構框架6.2.9 基礎結構層模塊由系統管理，工作流程管理，存儲系統和處理系統組成。提供諸如執行、管理、終止工具和應用程序等功能 維護和系統管理任務 多維存儲系統和本地存儲系統 主要模塊的基

13、本操作環境 20歡迎下載 可修改6.3 數據倉庫系統及其開發過程6.3.1 數據倉庫系統(data warehouse system,DWS)由數據倉庫、倉庫管理和分析工具3部分組成 21歡迎下載 可修改6.3 數據倉庫系統及其開發過程6.3.2 開發過程（1） 啟動工程。（2） 建立技術環境。 （3） 設計主題進行數據建模。 （4） 設計數據倉庫中的數據庫。 （5） 數據轉換程序。 （6） 管理元數據。 （7） 開發用戶決策的數據分析工具。 （8） 管理數據倉庫環境。 22歡迎下載 可修改6.4 數據倉庫管理系統中的關鍵技術6.4.1 引言DSSOLAP數據開采多庫系統數據倉庫技術所謂數據倉

14、庫就是一個專門的數據倉儲（repository），用來保存從多個數據庫或其他信息源選取的已有數據，并為上層應用提供統一的用戶接口，用以完成數據查詢和分析。 23歡迎下載 可修改6.4 數據倉庫管理系統中的關鍵技術6.4.2 系統結構數據倉庫系統的基礎仍是一個數據庫管理系統，通過利用一個專門的數據庫管理系統，對數據倉庫中數據進行存儲和維護。數據倉庫可以是集中的，也可以是分布的，不同之處在于采用集中式DBMS還是分布式DBMS。 24歡迎下載 可修改6.4 數據倉庫管理系統中的關鍵技術6.4.2 系統結構數據倉庫系統多級視圖機制。 具體過程分為兩級映射：第一級，數據將從局部數據庫中，經過數據翻譯、

15、轉換并具體化成符合公共模型格式的中間視圖，這些具體化模型是臨時性的，在生成上層模式后不必保留； 第二級，經過消除語義沖突、數據集成和數據導出處理，將有關的實體化中間視圖集成為滿足專門應用的集成視圖。 25歡迎下載 可修改6.4 數據倉庫管理系統中的關鍵技術6.4.3 系統主要模塊1.翻譯器2.監控器3.集成器數據翻譯工作包括數據結構的翻譯和數據類型的翻譯 通過檢測數據源發生的變化，監視數據倉庫與數據源之間的數據誤差，或者說數據增量，并報告給上層的集成器。 (1)負責進行數據倉庫初始化和目錄管理(2)接收監控器的變化，并將數據源的新變化反映到數據倉庫26歡迎下載 可修改6.4 數據倉庫管理系統中

16、的關鍵技術6.4.3 關鍵技術優化處理：為了提高數據倉庫的效率，需要采用一些專門的優化措施，以節省存儲空間、加快響應速度、減少維護費用等。可采用的技術主要有以下3種：(1) 過濾源場地上無關的修改操作。 (2) 可自維護性。 (3) 多視圖的優化。 其他問題(1) 數據倉庫的維護管理。 (2) 數據源的演變。 (3) 老化數據。 27歡迎下載 可修改6.5 可視數據倉庫6.5.1 引言可視數據倉庫是數據倉庫解決方案的重要組成部分主要由以下幾部分組成： 數據訪問 數據轉換 數據分布 數據存儲 靠描述性數據查找和理解數據 顯示 分析和發掘數據 數據轉換過程的自動化及其管理 28歡迎下載 可修改6.

17、5 可視數據倉庫6.5.2可視數據倉庫的功能1. 描述性數據的存儲 2. 小型數據倉庫的規模化擴展3. 開發系統環境6.5.3 數據倉庫規模化的體系結構 1. 管理員2. 控制數據庫3. 客戶端管理員4. 代理Visual Warehouse提供一個完整的分布式客戶機服務器系統環境，它使得用戶可以充分享受到“網絡計算”帶來的便利，而且適用于多種平臺。29歡迎下載 可修改6.5 可視數據倉庫6.5.4 可視數據倉庫管理Visual Warehouse的管理是由其客戶端管理員實現的，它使管理得以集中于一點。它包括以下6點：1. 商業視圖3. 編輯版2. 監控數據轉換過程4. 定期執行5. 級聯式商

18、業視圖（cascaded business view）6. 版本30歡迎下載 可修改6.5 可視數據倉庫6.5.5 IBM可視數據倉庫解決方案IBM的Visual Warehouse提供了強有力的工具，以定義、建立、管理、監控和維護一個商用信息系統環境數據倉庫。但是，IBM并不滿足于此，為了更好地滿足用戶的要求，IBM設計了一個完整的解決方案。1. 信息分類表Data Guide將數據倉庫中的所有信息分類展示給商業用戶。 2. 查詢和報表工具(1) 分階段機制。 (2) 容錯機制。 (3) 異步機制。 31歡迎下載 可修改6.6 SAS數據倉庫的結構與功能6.6.1 SAS數據倉庫的體系結構數

19、據倉庫是一個適用于對企業級數據、信息的多維、快速查詢、進行OLAP操作和決策支持的數據、信息的采集、管理、處理和展現的架構體系。 環境(environment)是屬于數據倉庫的體系結構的一部分，它由兩大部分組成： 一部分是分別含有不同主題內容的若干個數據倉庫；另一部分是對數據源的定義。這構成了從數據采集到直接應用的完整的支持體系。數據倉庫（data warehouse）可以由不同層次的多個數據倉庫組成 主題(detail)表系統放置的是從各個數據源取出、經過清理、整合的原始數據。 32歡迎下載 可修改6.6 SAS數據倉庫的結構與功能6.6.1 SAS數據倉庫的體系結構在匯總表組(summar

20、y group)中定義進行數據匯總處理時的層次維數和所分析的變量。 信息市場(information marts)是信息市場的分組，在一項主題中可以有若干組信息市場。 信息市場項目(information mart items)是信息市場中一項具體的信息，它是對數據倉庫中的數據處理后產生的結果。 數據市場組（data mart group）是對市場項目的分組，在一個數據庫中可以有多組數據市場，這也是按內容不同進行數據分組的。 運行數據定義組（operational data definition group）是對要從數據源取出的數據進行定義的分組。 33歡迎下載 可修改6.6.1 SAS數據倉

21、庫的體系結構SAS數據倉庫有一個十分完善的體系結構，不僅為建立決策支持系統提供了完整的解決方案，而且為今后的發展留下了廣闊的天地。34歡迎下載 可修改6.6 SAS數據倉庫的結構與功能6.6.2 SAS數據倉庫的功能數據倉庫是適應決策支持系統的需要而產生的，所以人們希望所采用的軟件產品能支持決策過程的全部工作內容，SAS的數據倉庫技術就可以支持決策全過程。 （1） 從任何業務處理系統或數據源中取出決策所需數據。（2） 對源數據進行清理和整合。（3） 按計劃或規則進行數據倉庫的裝載和更新。（4） 按決策的需要，以多種形式進行數據和信息的組織。（5） 最豐富的決策數據處理能力。（6） 靈活多樣的數

22、據展現方式。35歡迎下載 可修改6.6 SAS數據倉庫的結構與功能SAS的功能1. SAS系統的數據存取能力2. 數據的清理和整合3. 數據倉庫的加載和更新4. 按決策需要重組數據和信息5. 豐富的決策數據處理能力6. 靈活多樣的結果展現方式36歡迎下載 可修改6.6 SAS數據倉庫的結構與功能6.6.3 SAS數據倉庫有助于數據開采早期：數據處理、數值計算大量繁雜事務的在線處理、生成設備的實時控制等 數據處理、數據開采SAS的豐富數據采集、數據管理、數據分析和信息展現的能力，又使之成為決策支持的最好工具。 SAS又推出了套裝的SAS Enterprise Miner這一企業級的數據處理分析和決策支持軟件包。 SAS通過改變支持數據開采37歡迎下載 可修改9、 人的價值，在招收誘惑的一瞬間被決定。22.5.222.5.2Monday, May 02, 202210、低頭要有勇氣，抬頭要有低氣。*5/2/2022 3:47:02 AM11、人總是珍惜為得到。22.5.2*