1、在線分析(fnx)處理Online Analytical Processing趙衛(wèi)東 博士復(fù)旦大學(xué)軟件(run jin)學(xué)院共三十一頁OLAP發(fā)展(fzhn)背景60年代，關(guān)系(gun x)數(shù)據(jù)庫之父E.F.Codd提出了關(guān)系(gun x)模型，促進了聯(lián)機事務(wù)處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方式存儲)。1993年，E.F.Codd提出了OLAP概念，認為OLTP已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要，SQL對大型數(shù)據(jù)庫進行的簡單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對關(guān)系(gun x)數(shù)據(jù)庫進行大量計算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此，

2、E.F.Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。 OLAP是目前RDBMS不可缺少的功能，可以作為一個獨立的OLAP服務(wù)器實現(xiàn)，也可以集成在RDBMS中。共三十一頁什么(shn me)是OLAP？定義1 ：OLAP(聯(lián)機分析處理)是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析。通過對信息(維數(shù)據(jù))的多種可能(knng)的觀察形式進行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進行深入觀察。定義2 ：OLAP(聯(lián)機分析處理) 是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實反映企業(yè)維特性的信息進行快速、一致、交互地存取，從而獲得對數(shù)

3、據(jù)的更深入了解的一類軟件技術(shù)。(OLAP委員會的定義)OLAP的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術(shù)核心是“維”這個概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。共三十一頁OLAP決策分析OLAP分析屬于驗證驅(qū)動型發(fā)現(xiàn)：用戶首先提出自己的假設(shè)，然后利用(lyng)OLAP工具檢索查詢以驗證或否定假設(shè)。共三十一頁OLAP的數(shù)據(jù)源OLTP & LegacyERPFlat FilesData Warehouses,Data Marts, ODSSpreadsheets共三十一頁OLAP基本概念維：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時的一類屬性 (時間維、地理維等)。維的

4、層次：人們觀察數(shù)據(jù)的某個特定角度(即某個維)還可以存在細節(jié)程度不同的各個描述(mio sh)方面(時間維：日期、月份、季度、年)。維的成員：維的一個取值。是數(shù)據(jù)項在某維中位置的描述。(“某年某月某日”是在時間維上位置的描述)多維數(shù)組：維和變量的組合表示。一個多維數(shù)組可以表示為：(維1，維2，維n，變量)。(時間，地區(qū)，產(chǎn)品，銷售額)數(shù)據(jù)單元(單元格)：多維數(shù)組的取值。(2000年1月，上海，筆記本電腦，$100000)共三十一頁OLAP特性(txng)快速性:用戶對OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在5秒內(nèi)對用戶的大部分分析要求做出反應(yīng)。客戶/服務(wù)器體系結(jié)構(gòu)兩層或三層C/S結(jié)構(gòu)?？煞?/p>

5、析性:OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計分析。多維性:多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析,包括對層次維和多重層次維的完全支持。信息性:不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應(yīng)能及時獲得信息，并且(bngqi)管理大容量信息。共三十一頁OLAP多維數(shù)據(jù)結(jié)構(gòu)(sh j ji u)超立方結(jié)構(gòu)(Hypercube) 多維數(shù)據(jù)集立方體或超立方結(jié)構(gòu)指用三維或更多的維數(shù)來描述一個對象(duxing),每個維彼此垂直。數(shù)據(jù)的測量值發(fā)生在維的交叉點上,數(shù)據(jù)空間的各個部分都有相同的維屬性 (收縮超立方結(jié)構(gòu)，這種結(jié)構(gòu)的數(shù)據(jù)密度更大,數(shù)據(jù)的維數(shù)更少,并可加入額

6、外的分析維)。 共三十一頁客戶種類數(shù)量(shling)分布多維立方 共三十一頁OLAP操作(cozu)Codd從可視化角度提出，主要基于統(tǒng)計的方法：切片和切塊(Slice and Dice)在多維數(shù)據(jù)結(jié)構(gòu)中,按二維進行切片,按三維進行切塊,可得到所需要(xyo)的數(shù)據(jù)。如在“城市、產(chǎn)品、時間”三維立方體中進行切塊和切片,可得到各城市、各產(chǎn)品的銷售情況。鉆取(Drill) 鉆取包含向下鉆取(Drill-down)和向上鉆取(Drill-up)/上卷(Roll-up)操作，鉆取的深度與維所劃分的層次相對應(yīng)。 旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot)通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。輔之于各種圖形展示

7、分析結(jié)果 共三十一頁切片(qi pin)、切塊共三十一頁銷售(xioshu)數(shù)據(jù)的4-D表示 共三十一頁Dicing ExampleDicing:Filtering by AUS1+AUS2 and Wholesale共三十一頁Slicing ExampleSlicing:Filtering by AUS2共三十一頁Web數(shù)據(jù)(shj)的多維分析共三十一頁鉆取數(shù)據(jù)(shj)聚集共三十一頁旋轉(zhuǎn)(xunzhun)時間產(chǎn)品財務(wù)指標(biāo)財務(wù)指標(biāo)產(chǎn)品時間共三十一頁pivotDrill-across: Distribution first, Sales Org. second共三十一頁按城市(chngsh)的

8、銷售數(shù)據(jù)按產(chǎn)品(chnpn)的銷售數(shù)據(jù)國際體育用品公司的數(shù)據(jù)分析（1）IBM Visual Warehouse V3.1 Lotus Approach或Microsoft Access Intelligent Miner for data/text 共三十一頁國際(guj)體育用品公司的數(shù)據(jù)分析（2）按地區(qū)劃分的頭盔(tu ku)銷售數(shù)據(jù)按地區(qū)和國家劃分的頭盔銷售數(shù)據(jù) 共三十一頁國際(guj)體育用品公司的數(shù)據(jù)分析（3）按地區(qū)、國家和城市劃分的頭盔銷售(xioshu)數(shù)據(jù) 山地車和頭盔銷售的比較共三十一頁Brio Enterprise豐富(fngf)的鉆取功能 共三十一頁圖4.5 Cognos

9、的鉆取操作(cozu)IBM Cognos的鉆取操作(cozu) 共三十一頁OLAP分類(fn li)按照存儲方式OLAPMOLAPHOLAPROLAP按照處理地點Client OLAPServer OLAPRelational databaseCubeMicrosoft SQL Server OLAP ServiceROLAPMOLAPHOLAP共三十一頁基于(jy)關(guān)系數(shù)據(jù)庫的OLAPROLAP用關(guān)系表達式描述(mio sh)多維概念大量的關(guān)系表。用星型模型、雪花模型構(gòu)造維模型。DBDW基礎(chǔ)數(shù)據(jù)元數(shù)據(jù)計算結(jié)果多維綜合引擎多維視圖SQL存取多維存取RDBMS服務(wù)器關(guān)系型OLAP 服務(wù)器 客戶

10、共三十一頁MOLAP的多維立方體(Multicube)DBDW多維視圖 基礎(chǔ)數(shù)據(jù) 計算結(jié)果多維數(shù)據(jù)庫引擎客戶多維存取基于多維數(shù)據(jù)庫(MDDB)的OLAPMOLAPOLAP服務(wù)器：存儲OLAP服務(wù)軟件和多維數(shù)據(jù)庫MDDB存儲：采用“超立方體”形式(xngsh)MDDB存取：多維操作共三十一頁數(shù)據(jù)組織形式(xngsh)RDB數(shù)據(jù)組織 - MDDB數(shù)據(jù)(shj)組織 - 關(guān)系表中綜合數(shù)據(jù)(shj)的存放 多維數(shù)據(jù)庫中綜合數(shù)據(jù)的存放 產(chǎn)品名稱地區(qū)銷售量冰箱東北50冰箱西北60冰箱華北100彩電東北40彩電西北70彩電華北80空調(diào)東北90空調(diào)西北120空調(diào)華北140東北西北華北冰箱5060100彩電40

11、7080空調(diào)90120140產(chǎn)品名稱地區(qū)銷售量冰箱東北50冰箱西北60冰箱華北100冰箱總和210彩電東北40彩電西北70彩電華北80彩電總和190空調(diào)東北90空調(diào)西北120空調(diào)華北140空調(diào)總和350總和東北180總和西北250總和華北320總和總和750東北西北華北總和冰箱5060100210彩電407080190空調(diào)90120140350總和180250320750共三十一頁ROLAP與MOLAP比較(bjio)在MOLAP中，不但把多維實視圖在概念上看成一個超立方體，而且在物理上把多維實視圖組成一個多維數(shù)組，而不象ROLAP以表的形式存儲實視圖。在MOLAP中，維的屬性值被映射成多維數(shù)

12、組的下標(biāo)值或下標(biāo)的范圍，而總數(shù)據(jù)作為多維數(shù)組的值存儲在數(shù)據(jù)的單元(dnyun)中。ROLAP在節(jié)省存儲空間、靈活性、與關(guān)系數(shù)據(jù)庫保持一致性等方面有明顯的優(yōu)勢； MOLAP則在性能和管理的簡便性方面有其優(yōu)點。共三十一頁MOLAP的查詢速度比較快，但有下面限制：用多維數(shù)組實現(xiàn)多維實視圖，需要很大的存儲空間。在實際的數(shù)據(jù)倉庫中，每維的屬性值個數(shù)可能數(shù)萬。例如幾萬種產(chǎn)品、幾萬個連鎖店等。而實際的維數(shù)可能多達幾十乃至幾百。耗費的存儲空間相當(dāng)可觀，由此帶來加載、維護等問題。在多維數(shù)組中，很可能有些單元是空白的，如節(jié)假日商店不營業(yè)；某些產(chǎn)品在某些地區(qū)不銷售(xioshu)等。MOLAP與關(guān)系數(shù)據(jù)庫系統(tǒng)從存儲結(jié)構(gòu)到查詢語言都有相當(dāng)大的差別，不可能在RDBMS的基礎(chǔ)上實現(xiàn)。ROLAP與MOLAP比較(bjio)（續(xù)）共三十一頁推薦(tujin)資料（IBM紅皮書）DB2 OLAP ServerIBM BI certification guide共三十一頁內(nèi)容摘要在線(zi xin)分析處理。趙衛(wèi)東 博士復(fù)旦大學(xué)軟件學(xué)院。定義1 ：OLAP(聯(lián)機分析處理)是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析。OLAP分析屬于驗證驅(qū)動型發(fā)現(xiàn)：用戶首先提出自己的假