1、第四章聯機分析處理技術OLAP概述OLAP中的多維分析操作OLAP的基本數據模型OLAP的衡量標準內容OLAP概述OLAP的由來 聯機事務處理（OLTP）：利用關系數據庫存儲和管理業務數據，并建立相應的應用系統來支持日常業務運作。這種應用以支持業務處理為主要目的。所存儲的數據被稱為操作型數據或業務數據 對OLTP數據庫中的數據進行再加工，形成一個綜合的、面向分析的、更好的支持決策制定的決策支持系統（DSS）OLAP概述 聯機分析處理（OnLine Analysis Processing，OLAP）在數據倉庫系統中，聯機分析處理是重要的數據分析工具。 OLAP的基本思想是從多方面和多角度以多維的

2、形式來觀察企業的狀態和了解企業的變化。 OLAP是獨立于數據倉庫的一種技術概念 當OLAP與數據倉庫結合時，OLAP的數據源為數據倉庫，數據倉庫的大量數據是根據多維方式組織的。OLAP概述OLAP的由來 Codd提出了多維數據庫和多維分析的概念，即聯機分析處理OLAP的定義 OLAP是一種軟件技術，它使分析人員能夠迅速、一致、交是一種軟件技術，它使分析人員能夠迅速、一致、交互地從各個方面觀察信息，以達到深入理解數據的目的?；サ貜母鱾€方面觀察信息，以達到深入理解數據的目的。這些信息是從原始數據轉換過來的，按照用戶的理解，它這些信息是從原始數據轉換過來的，按照用戶的理解，它反映了企業真實的方方面面

3、。（反映了企業真實的方方面面。（ OLAP理事會理事會）OLAP概述OLAP的基本概念 維dimension 人們觀察數據的特定角度 如產品維、顧客維、時間維等 維層次level 人們觀察數據的某個特定角度（即某個維）還可以存在細節程度不同的各個描述方面 如時間維的日、月、季、年OLAP概述OLAP的基本概念 維成員member 維的一個取值稱為該維的一個維成員 是數據項在某維中位置的描述 如“2012年9月10日”是在時間維上位置的描述OLAP概述OLAP的基本概念 多維數據集 是決策支持的支柱 OLAP的核心 又稱立方體或超立方體 三維數據可以利用三維坐標建立立方體進行表示 超三維數據可以

4、利用一個多維表來進行顯示OLAP概述OLAP的基本概念 數據單元 在多維數據集中每個維都選定一個維成員后，這些維成員的組合就唯一確定了一個數據單元 多維數據集的度量值 在多維數據集中有一組度量值，這些值是基于多維數據集中事實表的一列或多列數字 度量值是多維數據集的核心值，是最終用戶在數據倉庫應用中所需要查看的數據事實表維表OLAP概述OLAP的基本概念 數據立方體由維和事實定義； 每一個維都有一個表與之相關聯，這些表叫維表； 每一個維表包含各種屬性； 多維數據模型圍繞中心主題組織； 該主題用事實表示； 事實是數值度量的； 一個電子公司的銷售一般從三個方面分析銷售額：一個電子公司的銷售一般從三個

5、方面分析銷售額： 時間：時間：在某一段時間內的銷售情況，其度量為（年、在某一段時間內的銷售情況，其度量為（年、季度、月、旬、天）季度、月、旬、天） 地區：地區：在某個地區的銷售情況，度量可分為（地區、在某個地區的銷售情況，度量可分為（地區、國家、省、市）國家、省、市） 產品：產品：某類或某型號產品的銷售情況，度量可分為某類或某型號產品的銷售情況，度量可分為（類別、型號等）（類別、型號等） 此處，（時間，地區，產品）就構成了三個維。此處，（時間，地區，產品）就構成了三個維。維有層次結構，可以在某個層上察看數據。維有層次結構，可以在某個層上察看數據。11維的例子 地區的層次12維的例子全國江蘇北京

6、上海蘇州市揚州市寶應縣OLAP數據立方體的計算（物化）數據立方體的計算（物化） 一般，若有一般，若有n個維，則立方體個數是個維，則立方體個數是nnnnnccc2.1013(city,item,date),(city,item),(city,date), (item,date),(city),(item),(date),all all 表示不對任何維分組，這組形成了該數據立方體的方體格OLAP概述OLAP的基本概念 事實表包括事實的名稱或度量，以及每個相關維表的關鍵字； 數據立方體是對多維數據存儲的一種比喻； 實際維上有分層，如（年、季度、月、星期、日），所以實際的實際維上有分層，如（年、季度、

7、月、星期、日），所以實際的立方體個數是極大的。所以，實時計算的工作量極大，但全部事立方體個數是極大的。所以，實時計算的工作量極大，但全部事先計算，則存儲量又極大。先計算，則存儲量又極大。 方體的選擇計算：方體的選擇計算： 不物化：即不預先計算任何不物化：即不預先計算任何“非基本非基本”方體方體 全物化：預先計算所有的方體全物化：預先計算所有的方體 部分物化：在整個可能的方體集中，有選擇地物化部分物化：在整個可能的方體集中，有選擇地物化一些適當一些適當的的子集子集 在在OLAP中一般采用部分物化，應考慮三個因素中一般采用部分物化，應考慮三個因素: (1)確定要物化的方體子集；確定要物化的方體子集

8、； (2)利用查詢處理時物化的方體；利用查詢處理時物化的方體； (3)在裝入和刷新時，有效地更新物化的方體。在裝入和刷新時，有效地更新物化的方體。15OLAP數據立方體的計算（物化）數據立方體的計算（物化）OLAP概述 OLAP的基本概念 概念分層（concept hierarchy）：定義一映射序列，將低層概念映射到更一般的高層概念； 如維location的概念分層：城市省國家OLAP概述OLAP的定義與特征 使分析、管理或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、并真實反映企業維特性的信息進行快速、一致、交互地存取，從而獲得對數據更深入了解的一類軟件技術 從不

9、同的角度看同樣的數據！OLAP概述OLAP的定義與特征 如分析銷售數據 時間周期 產品類別 分銷渠道 地理分布 客戶群類OLAP概述OLAP的定義與特征 主要特征 快速性 系統必須能快速響應用戶的分析查詢要求，對于用戶大部分分析要求在5秒鐘內作出反應 可分析性 OLAP系統能處理任何與用戶和應用有關的邏輯分析和統計分析，在需要的情況下還允許用戶無需編程就可為分析和生成報表定義一些新的特殊運算 多維性指對數據分析的多維視圖和分析 信息性 能管理大量的數據并即時地獲得用戶所需信息 數據的透明性OLAP中的多維分析操作鉆取Drill/Roll up , Drill down 改變維的層次，變換分析的

10、粒度 分向上鉆取和向下鉆取 向上鉆?。涸谀骋痪S上將低層次的細節數據概括到高層次的匯總數據，或者減少維數 向下鉆?。簭膮R總數據深入到細節數據進行觀察或增加新維OLAP中的多維分析操作OLAP中的多維分析操作切片和切塊 切片：在給定數據立方體的一個維上進行選擇操作，切片的結果是得到一個二維平面數據，如銀行分行=“分行1”OLAP中的多維分析操作切片和切塊 切塊：在給定數據立方體的兩個或多個維上進行選擇操作，切塊的結果是得到一個子立方體，如（銀行分行=“分行1”OR “分行2”）AND (時間=“2007年”OR “2008年”) AND（銀行支行=支行1”OR “支行2” ）OLAP中的多維分析操

11、作旋轉 變換維的方向，即在表格中重新安排維的放置，如行列互換OLAP中的多維分析操作旋轉 變換維的方向，即在表格中重新安排維的放置，如行列互換OLAP中的多維分析操作概化（generalize） 通過用高層抽象（如time維的year）值替換低層抽象（如time維的day）值，概念分層可以用于概化數據；特化（specialize） 通過用低層抽象（如time維的day）值替換高層抽象（如time維的year）值，概念分層可以用于特化數據；OLAP的基本數據模型OLAP系統一般以數據倉庫作為基礎，從數據倉庫中抽取詳細數據的一個子集，經過必要的聚集存儲到OLAP存儲器中供前端分析工具讀取為了保證信

12、息處理所需的數據以合適的粒度、合理的抽象程度和標準化程度存儲，按照其數據存儲格式可以分為關系OLAP（ROLAP）、多維OLAP（MOLAP）和混合OLAP（HOLAP）OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型以關系型的結果進行多維數據的表示與存儲數據的預處理程度不高，靈活性高一般采用星狀模式或雪花模式來表達多維數據視圖OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型星狀模式 一個事實表：包含大批數據并且不含冗余的中心表 一組小的維表，每維一個OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型星狀模式OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型

13、雪花模式 是星狀模式的變種 某些維是規范化的，把數據進一步分解到附加表中OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型雪花模式OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型雪花模式與星狀模式的區別 雪花狀的維表可能是規范化形式，以便減少冗余，易于維護，節省存儲空間 由于執行查詢需要更多的連接操作，雪花狀結構可能降低瀏覽的性能OLAP的基本數據模型多維聯機分析處理MOLAP利用一種專有的多維數據庫來存儲OLAP分析所需要的數據數據采用n維數組的多維方式存儲，形成“立方體”結構MOLAP存儲模式將數據與計算結果都存儲在立方體結構中，即將多維數據集區的聚合、維度、匯總數據以及

14、其源數據的副本等信息均以多維結構存儲在分析服務器上。MOLAP的數據模型 MOLAPMOLAP是表現為是表現為“超立方超立方”結構，采用類似于結構，采用類似于多維數多維數組組的結構。的結構。 例如，二維例如，二維MDDB（數組，即矩陣）的數據組織見下（數組，即矩陣）的數據組織見下表表北京上海廣州衣服600700500鞋800900700帽子1002008035OLAP的基本數據模型多維聯機分析處理MOLAP的優缺點迅速響應決策分析人員的分析請求（預處理程度高）用戶很難對維數進行動態變化，如增加一維對數據變化的適應能力較差-需重構多維數據庫處理大量細節數據的能力差OLAP的基本數據模型MOLAP

15、和ROLAP的比較 ROLAP服務器需要將服務器需要將SQL語句轉化為多維存儲語句，語句轉化為多維存儲語句，臨時臨時“拼合拼合”出多維數據立方體。因此，出多維數據立方體。因此，ROLAP的的響應時間較長。響應時間較長。 MOLAP在數據存儲速度上性能好，響應速度快。在數據存儲速度上性能好，響應速度快。 38數據存取速度數據存取速度 ROLAP使用的傳統關系數據庫的存儲方法，在存使用的傳統關系數據庫的存儲方法，在存儲容量上基本沒有限制。儲容量上基本沒有限制。 MOLAP通常采用多平面疊加成立體的方式存放通常采用多平面疊加成立體的方式存放數據。數據。 MOLAP受操作系統平臺中文件大小的限制，受操

16、作系統平臺中文件大小的限制，當當數據量超過操作系統最大文件長度時，需要進行數據量超過操作系統最大文件長度時，需要進行數據分割。數據分割。 多維數據庫的數據量級難以達到多維數據庫的數據量級難以達到TB TB 級級( (只能只能1020G1020G）39數據存儲的容量數據存儲的容量 MOLAP增加新的維度，則多維數據庫通常需要重新增加新的維度，則多維數據庫通常需要重新建立。建立。 ROLAP對于維表的變更有很好的適應性。對于維表的變更有很好的適應性。40維度變化的適應性維度變化的適應性 當數據頻繁的變化時，MOLAP需要進行大量的重新計算，甚至重新建立索引乃至重構多維數據庫。 在ROLAP中靈活性

17、較好，對于數據變化的適應性高。41數據變化的適應性數據變化的適應性42MOLAP VS ROLAPMOLAPMOLAPROLAPROLAP固定維固定維可變維可變維維交叉計算維交叉計算多維視圖多維視圖行級計算行級計算超大型數據庫超大型數據庫讀讀- -寫應用寫應用維數據變化速度快維數據變化速度快數據集市數據集市數據倉庫數據倉庫OLAP的基本數據模型 混合型聯機分析處理 原始數據存儲在原來的關系數據庫中 聚合數據則以多維的形式存儲 準則 維數可以被動態更新 可根據關系數據庫管理系統的元數據產生多維視圖 可以快速地存取各種級別的匯總數據 可適應大數據量數據的分析 可以方便地對計算和匯總算法進行維護和修改OLAP的衡量標準1993年，E.F.Codd提出了關于OLAP的12條標準目的是加深對OLAP的理解已成為OLAP工具所應有的關鍵特性的最小描述OLAP的衡量標準 準則1：OLAP 模型必須提供多維概念視圖 準則2：透明性準則 OLAP的數據源對用戶是透明的 準則3：存取能力準則 提供高效的存取策略 準則4：穩定的報表性能 當維數和數據綜合層次增加時，其報表能力和響應速度不