通信線路狀態(tài)統(tǒng)計(jì)數(shù)據(jù)倉(cāng)庫(kù)與OLAP應(yīng)用

1OLAP數(shù)據(jù)倉(cāng)庫(kù)總體設(shè)計(jì)

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、非易失的，隨時(shí)間變化的數(shù)據(jù)集合、支持管理部門(mén)的決策過(guò)程［1］。為了滿足企業(yè)的需求，首先要對(duì)關(guān)系型數(shù)據(jù)和其它外部數(shù)據(jù)源進(jìn)行抽取、轉(zhuǎn)換、清洗，然后將處理過(guò)的數(shù)據(jù)裝載到數(shù)據(jù)倉(cāng)庫(kù)中。聯(lián)機(jī)分析處理從數(shù)據(jù)倉(cāng)庫(kù)中提取數(shù)據(jù)并建立多維數(shù)據(jù)集，使得用戶可以利用多維數(shù)據(jù)集多角度、多層次地觀察數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，從而選取有價(jià)值的信息。線路狀態(tài)統(tǒng)計(jì)系統(tǒng)的OLAP數(shù)據(jù)倉(cāng)庫(kù)總體結(jié)構(gòu)如圖1所示。圖1數(shù)據(jù)倉(cāng)庫(kù)總體結(jié)構(gòu)圖通信源數(shù)據(jù)。源數(shù)據(jù)主要包括了通信運(yùn)營(yíng)企業(yè)的各種業(yè)務(wù)數(shù)據(jù)、外部數(shù)據(jù)以及與之相關(guān)規(guī)定的文檔資料等。數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器。通信源數(shù)據(jù)通過(guò)ETL工具的數(shù)據(jù)清洗、轉(zhuǎn)換等操作后，把歷史數(shù)據(jù)集成到數(shù)據(jù)倉(cāng)庫(kù)中。其中，還包含數(shù)據(jù)倉(cāng)庫(kù)監(jiān)控管理和數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)管理。OLAP及數(shù)據(jù)挖掘。數(shù)據(jù)倉(cāng)庫(kù)搭建好之后，在其基礎(chǔ)之上建立多維數(shù)據(jù)集和進(jìn)行數(shù)據(jù)挖掘工作。

2通信線路狀態(tài)統(tǒng)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的建立

2．1通信線路狀態(tài)統(tǒng)計(jì)系統(tǒng)數(shù)據(jù)分析近年來(lái)，通信行業(yè)的快速發(fā)展，累積了大量的業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)包含了大量與企業(yè)發(fā)展相關(guān)的信息。通過(guò)對(duì)通信線路狀態(tài)統(tǒng)計(jì)系統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的研究，得到與之相關(guān)的主要源數(shù)據(jù)表有32個(gè)，如端口統(tǒng)計(jì)表、測(cè)試統(tǒng)計(jì)表、每小時(shí)統(tǒng)計(jì)表等。

2．2數(shù)據(jù)倉(cāng)庫(kù)主題的確定數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是面向主題組織的。主題是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)進(jìn)行綜合、歸類和分析利用的一個(gè)抽象概念，每一個(gè)主題基本對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域［2］。針對(duì)需求分析，根據(jù)得到的分析型業(yè)務(wù)需求，結(jié)合應(yīng)用系統(tǒng)及其數(shù)據(jù)的調(diào)研與數(shù)據(jù)分析的結(jié)果，按照通信公司數(shù)據(jù)庫(kù)的特點(diǎn)，通信線路狀態(tài)統(tǒng)計(jì)系統(tǒng)的主題可以分為端口統(tǒng)計(jì)主題、小時(shí)類統(tǒng)計(jì)主題、測(cè)試類統(tǒng)計(jì)主題。

2．3設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)邏輯模型和物理模型目前，最流行的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型是多維模型［3］。多維模型大多以星型模式、雪花型模式或事實(shí)星座模式的形式存在。本文采用雪花型模式。雪花型模式雖不如星型模式流行，但雪花型模式減少了數(shù)據(jù)的冗余。在數(shù)據(jù)倉(cāng)庫(kù)的邏輯結(jié)構(gòu)中，數(shù)據(jù)表可以劃分為兩類:一類是事實(shí)數(shù)據(jù)表，用來(lái)存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)的實(shí)際數(shù)據(jù)，如通信線路狀態(tài)統(tǒng)計(jì)的端口統(tǒng)計(jì)表即是一個(gè)事實(shí)表;另一類是維度數(shù)據(jù)表，用來(lái)存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)的維度數(shù)據(jù)，如端口數(shù)目表、端口類別表、日期表、設(shè)備表等分析角度均為維度表等。事實(shí)表是數(shù)據(jù)倉(cāng)庫(kù)的核心，也是數(shù)據(jù)倉(cāng)庫(kù)中最大的表。事實(shí)表包含了通信線路狀態(tài)統(tǒng)計(jì)的基本情況等詳細(xì)信息，是對(duì)通信線路狀態(tài)統(tǒng)計(jì)進(jìn)行分析的素材。事實(shí)表的設(shè)計(jì)包括對(duì)事實(shí)的選擇、量度的構(gòu)造、粒度的設(shè)計(jì)和聚合的設(shè)計(jì)等。在本數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中，共有3個(gè)事實(shí)表:端口統(tǒng)計(jì)事實(shí)表、測(cè)試統(tǒng)計(jì)事實(shí)表、每小時(shí)統(tǒng)計(jì)事實(shí)表。維度表是商務(wù)智能的基本驅(qū)動(dòng)力。通過(guò)維的切換，可以從不同的角度觀察客觀世界。基于不同的維度，可以看到各量度的匯總情況，也可以同時(shí)從多個(gè)不同的維度進(jìn)行交叉分析。該數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中，主要有29個(gè)維度表。如時(shí)間表、日期表、設(shè)備表、端口表等。在確定了數(shù)據(jù)倉(cāng)庫(kù)邏輯模型的事實(shí)表和維度表后，就要確定物理模型。數(shù)據(jù)倉(cāng)庫(kù)的物理模型就是數(shù)據(jù)倉(cāng)庫(kù)邏輯模型在物理系統(tǒng)中的實(shí)現(xiàn)模式，包括了邏輯模型中各種實(shí)體表的具體化，例如表的數(shù)據(jù)結(jié)構(gòu)類型、索引策略、數(shù)據(jù)存放位置和數(shù)據(jù)存儲(chǔ)分配以及物理模型的優(yōu)化操作等［4］。完成數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型和物理模型的設(shè)計(jì)后，就可以創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)也是一種數(shù)據(jù)庫(kù)，因此在邏輯結(jié)構(gòu)設(shè)計(jì)完成之后可以跟普通的數(shù)據(jù)庫(kù)一樣創(chuàng)建、修改和刪除。

2．4數(shù)據(jù)抽取、轉(zhuǎn)換和加載完成數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)后，就需要通過(guò)ETL工具往數(shù)據(jù)倉(cāng)庫(kù)中裝載數(shù)據(jù)。ETL，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過(guò)程，是負(fù)責(zé)完成數(shù)據(jù)從源數(shù)據(jù)向目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)化的過(guò)程，是實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的重要步驟，是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要一環(huán)［5］。用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中。目前，通信業(yè)務(wù)數(shù)據(jù)量越來(lái)越大，并且分布散亂、存儲(chǔ)形式多樣化，而原有的系統(tǒng)都是各公司根據(jù)自己的需求建立的小型系統(tǒng)，統(tǒng)計(jì)的標(biāo)準(zhǔn)多樣化，數(shù)據(jù)的存儲(chǔ)形式也不統(tǒng)一。如數(shù)據(jù)源可以是Oracle數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)、純文本數(shù)據(jù)、XML文件等，這就給編碼增加了難度。因此首先要搜集通信企業(yè)各分公司的數(shù)據(jù)，然后將分公司的數(shù)據(jù)從Oracle數(shù)據(jù)庫(kù)或Excel表格等數(shù)據(jù)源中抽取到企業(yè)數(shù)據(jù)庫(kù)中，然后再進(jìn)行ETL轉(zhuǎn)換。首先對(duì)以前的數(shù)據(jù)代碼進(jìn)行統(tǒng)一規(guī)范，然后建立數(shù)據(jù)維表進(jìn)行規(guī)范，最后按照清洗規(guī)范對(duì)數(shù)據(jù)進(jìn)行ETL。ETL的設(shè)計(jì)和實(shí)施約占在整個(gè)項(xiàng)目中工作量的60%～80%，這是從眾多實(shí)踐中得到的普遍共識(shí)［6］。

2．5建立OLAP多維數(shù)據(jù)集根據(jù)通信線路狀態(tài)統(tǒng)計(jì)系統(tǒng)的需求分析，可以將數(shù)據(jù)倉(cāng)庫(kù)劃分主題，根據(jù)不同的主題建立相應(yīng)的多維數(shù)據(jù)集:由于在線路狀態(tài)統(tǒng)計(jì)過(guò)程中要統(tǒng)計(jì)分析的報(bào)表較多，因此數(shù)據(jù)倉(cāng)庫(kù)按照要統(tǒng)計(jì)分析報(bào)表的類別來(lái)劃分多維數(shù)據(jù)集，大致劃分為以下3個(gè):端口統(tǒng)計(jì)模型分析，常用報(bào)表是使用頻率較高的報(bào)表，如端口類型、端口穩(wěn)定性、端口狀態(tài)、端口在線時(shí)長(zhǎng)等。在此多維數(shù)據(jù)集中有45個(gè)維度。如端口維度、日期維度、區(qū)域維度、設(shè)備維度、端口狀態(tài)維度、端口穩(wěn)定性維度、終端類型維度、實(shí)際激活模式維度、端口黑名單維度、上行實(shí)際速率分段維度、下行實(shí)際速率分段維度等。小時(shí)類統(tǒng)計(jì)模型分析，小時(shí)類報(bào)表是按小時(shí)統(tǒng)計(jì)分析的報(bào)表，如誤碼1小時(shí)統(tǒng)計(jì)、掉線1小時(shí)統(tǒng)計(jì)等。在此多維數(shù)據(jù)集中有3個(gè)維度，分別為:日期維度、設(shè)備維度、區(qū)域維度。小時(shí)類統(tǒng)計(jì)模型如圖2所示。圖2小時(shí)類統(tǒng)計(jì)模型主題分析圖3測(cè)試統(tǒng)計(jì)模型主題分析測(cè)試統(tǒng)計(jì)模型分析，測(cè)試類報(bào)表時(shí)統(tǒng)計(jì)測(cè)試數(shù)據(jù)的報(bào)表，如線路測(cè)試故障統(tǒng)計(jì)、測(cè)試端口數(shù)統(tǒng)計(jì)、TOPn測(cè)試端口統(tǒng)計(jì)、測(cè)試策略統(tǒng)計(jì)等。在測(cè)試統(tǒng)計(jì)模型中有8個(gè)維度，分別為:測(cè)試線路維度、日期維度、區(qū)域維度、設(shè)備維度、測(cè)試結(jié)論維度、測(cè)試結(jié)論分段維度、測(cè)試項(xiàng)目維度和測(cè)試策略維度。測(cè)試統(tǒng)計(jì)模型如圖3所示。本文利用SSAS建立多維數(shù)據(jù)集。首先建立數(shù)據(jù)源與數(shù)據(jù)源視圖，然后建立多維數(shù)據(jù)集模型，定義維度與事實(shí)度量，建立多維數(shù)據(jù)集。

3通信線路狀態(tài)統(tǒng)計(jì)系統(tǒng)的實(shí)例分析

商務(wù)智能的前端產(chǎn)品負(fù)責(zé)直接面向用戶，將用戶的請(qǐng)求轉(zhuǎn)發(fā)給服務(wù)器層、數(shù)據(jù)層，同時(shí)也向用戶展現(xiàn)所需信息。下面將對(duì)通信線路狀態(tài)統(tǒng)計(jì)系統(tǒng)進(jìn)行實(shí)例分析。在實(shí)例中，分析結(jié)果采用重慶宏信軟件公司的極光商務(wù)智能工具進(jìn)行前端展示，并利用表格和圖形等形式將分析的結(jié)果直觀地呈現(xiàn)給最終用戶，使用戶更容易理解。

3．1端口狀態(tài)統(tǒng)計(jì)分析端口穩(wěn)定性統(tǒng)計(jì)趨勢(shì)報(bào)表用來(lái)顯示一段日期的一定范圍內(nèi)的xDSL端口穩(wěn)定性的統(tǒng)計(jì)變化趨勢(shì)如圖4所示。行元素選取“端口穩(wěn)定性”，列元素選取“端口數(shù)”和“日期”，其中“日期”選取“日”為粒度。端口穩(wěn)定性有“穩(wěn)定”、“有風(fēng)險(xiǎn)的”、“不穩(wěn)定的”和“未標(biāo)明的”的4種狀態(tài)。圖表中選取2011．01．24-2011．04．30的數(shù)據(jù)。其中圖形還可以選擇用柱形、曲線、餅圖和密度圖等多種形式展現(xiàn)出來(lái)。由圖表所展示的統(tǒng)計(jì)信息可看出，在4種端口穩(wěn)定性中，變化趨勢(shì)是比較清晰的，沒(méi)有交叉?！拔礃?biāo)明的”端口數(shù)目明顯比其它幾種的多一些且呈逐漸上升的趨勢(shì)，說(shuō)明端口數(shù)目在不斷地增加，客戶越來(lái)越多;“穩(wěn)定的”端口呈先升后降的趨勢(shì);“有風(fēng)險(xiǎn)的”端口和“不穩(wěn)定的”端口是比較少的，說(shuō)明整個(gè)端口穩(wěn)定性是維持在一個(gè)相對(duì)理想的狀態(tài)。運(yùn)營(yíng)商可針對(duì)以上統(tǒng)計(jì)分析，對(duì)端口穩(wěn)定性的運(yùn)行和維護(hù)做有效的調(diào)整，以保證為廣大用戶提供更完善的服務(wù)。

3．2小時(shí)類統(tǒng)計(jì)模型分析掉線1小時(shí)統(tǒng)計(jì)趨勢(shì)報(bào)表用來(lái)顯示一天每小時(shí)的一定范圍內(nèi)的xDSL端口的掉線端口數(shù)。結(jié)果如圖5所示，行元素選取“異常掉線端口數(shù)”、“異常掉線端口數(shù)”和“設(shè)備”，列元素選取“年-月-日-小時(shí)”。圖表中所選為2011年4月30日的數(shù)據(jù)。由圖表所展現(xiàn)的統(tǒng)計(jì)信息可以看出，在一天內(nèi)各時(shí)段的異常掉線端口數(shù)中，凌晨2點(diǎn)以前的掉線端口數(shù)幾乎可以忽略不計(jì)，從凌晨2點(diǎn)開(kāi)始異常掉線端口數(shù)呈上升的趨勢(shì)，中午12時(shí)達(dá)到頂峰，然后呈下降的趨勢(shì);而一天內(nèi)各時(shí)段的異常掉線端口數(shù)基本維持在0．5%以下。一天內(nèi)各時(shí)段的異常掉線端口數(shù)變化趨勢(shì)可以提前讓運(yùn)營(yíng)商對(duì)運(yùn)維人員做出相應(yīng)的調(diào)整;而一天內(nèi)各時(shí)段的異常掉線端口數(shù)說(shuō)明了掉線端口數(shù)整體上維持在相對(duì)合理的水平。

3．3測(cè)試端口數(shù)統(tǒng)計(jì)分析測(cè)試端口數(shù)統(tǒng)計(jì)趨勢(shì)報(bào)表顯示一段日期的線路測(cè)試次數(shù)的統(tǒng)計(jì)變化趨勢(shì)。如圖6所示，行元素選取“測(cè)試線路數(shù)”，列元素選取“日期-年-月-日”，圖表中所選為2010．8．1到2010．8．7的數(shù)據(jù)。分析這幾日的線路測(cè)試次數(shù)的變化，借助趨勢(shì)圖可以看出測(cè)試線路測(cè)試次數(shù)的統(tǒng)計(jì)變化趨勢(shì)。如此，可以根據(jù)趨勢(shì)圖來(lái)預(yù)測(cè)測(cè)