1、元數(shù)據(jù)管理模塊方案目錄1 .現(xiàn)狀分析錯誤!未指定書簽1.1 目前的困境錯誤!未指定書簽1.2 什么是元數(shù)據(jù)管理錯誤!未指定書簽2 .目標(biāo)分析錯誤!未指定書簽2.1 建立完善的指標(biāo)解釋體系錯誤!未指定書簽2.2 建立規(guī)范的元數(shù)據(jù)管理體系錯誤!未指定書簽2.3 建立有效的數(shù)據(jù)稽核體系錯誤!未指定書簽3 .功能概述錯誤!未指定書簽3.1 元數(shù)據(jù)管理錯誤!未指定書簽3.1.1 業(yè)務(wù)元數(shù)據(jù)錯誤!未指定書簽3.2.2技術(shù)元數(shù)據(jù)錯誤!未指定書簽3.3 元數(shù)據(jù)分析錯誤!未指定書簽3.3.1 血統(tǒng)分析錯誤!未指定書簽3.3.2 影響分析錯誤!未指定書簽3.3.3 重要性分析錯誤!未指定書簽3.3.4 無關(guān)性分析

2、錯誤!未指定書簽3.4 數(shù)據(jù)稽核錯誤!未指定書簽3.4.1 稽核規(guī)則管理錯誤!未指定書簽3.4.2 稽核任務(wù)調(diào)度錯誤!未指定書簽3.4.3 稽核結(jié)果分析錯誤!未指定書簽3.4.4 數(shù)據(jù)質(zhì)量評估錯誤!未指定書簽3.4.5 數(shù)據(jù)問題管理錯誤!未指定書簽1/14元數(shù)據(jù)管理模塊方案元數(shù)據(jù)管理系統(tǒng)概述1.現(xiàn)狀分析隨著經(jīng)營分析系統(tǒng)規(guī)模不斷擴(kuò)大，系統(tǒng)所積累數(shù)據(jù)量也越來越大，收集到的海量數(shù)據(jù)背后隱藏著大量珍貴重要的信息，但也同時提高了系統(tǒng)的數(shù)據(jù)管理難度：一方面難以對這些數(shù)據(jù)進(jìn)行有效解釋，缺乏對業(yè)務(wù)流程執(zhí)行的實(shí)時監(jiān)控和管理；另一方面各部門數(shù)據(jù)與數(shù)據(jù)整合的難度也不斷加大，影響到了經(jīng)營分析系統(tǒng)中的數(shù)據(jù)質(zhì)量。如何對現(xiàn)

3、有數(shù)據(jù)進(jìn)行深層發(fā)掘，并揭示出埋藏在元數(shù)據(jù)中的趨勢、因果關(guān)系、關(guān)聯(lián)模式等核心信息？這是下一步深化經(jīng)營分析系統(tǒng)應(yīng)用的電信運(yùn)營商需要解決的頭等大事。構(gòu)建，首先要保證的是數(shù)據(jù)質(zhì)量。元數(shù)據(jù)管理解決的問題就是如何把業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)分門別類地進(jìn)行管理，并建立數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，為數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量監(jiān)控提供基礎(chǔ)素材。1.1 目前的困境使用者（決策層、業(yè)務(wù)分析人員）：1）經(jīng)營分析系統(tǒng)中存在有很多報表，不同報表中存在一些相同的指標(biāo)，這些指標(biāo)往往不一致，給業(yè)務(wù)分析和決策工作造成很多困惑，必須花費(fèi)很大的精力去檢查核實(shí)。2）對于很多指標(biāo)，不清楚其具體含義，不清楚其反映的問題，不清楚其具體算法和來龍去脈。數(shù)據(jù)倉庫項(xiàng)目開

4、發(fā)維護(hù)者：1）不同報表中的同一指標(biāo)不一致，必須花費(fèi)很大的精力去檢查，目前基本上是通過手工檢查表和存儲過程的方式，效率較低。2）沒有完善的開發(fā)、維護(hù)規(guī)范。比如，新增一張分析報表，開發(fā)人員根據(jù)業(yè)務(wù)人員的需求制作完成之后，往往沒有整理完善相應(yīng)的數(shù)據(jù)指標(biāo)解釋和元數(shù)據(jù)管理，造成日后檢查困難。3）開發(fā)、維護(hù)規(guī)范的執(zhí)行力較低，沒有行之有效的管控手段。不嚴(yán)格按照2/14元數(shù)據(jù)管理模塊方案規(guī)范執(zhí)行，隨著項(xiàng)目的發(fā)展和時間的推移，導(dǎo)致數(shù)據(jù)倉庫項(xiàng)目的健壯性和可維護(hù)性呈幾何級數(shù)下降，給數(shù)據(jù)倉庫的建設(shè)帶來大量的重復(fù)工作。1.2什么是元數(shù)據(jù)管理元數(shù)據(jù)最本質(zhì)，最抽象的定義為：（關(guān)于數(shù)據(jù)的數(shù)據(jù)）o而對于經(jīng)營分析數(shù)據(jù)倉庫而言，形

5、象的定義為：元數(shù)據(jù)就是數(shù)據(jù)倉庫的規(guī)范。這些規(guī)范包括對各種指標(biāo)的定義、解釋；包括對各表中數(shù)據(jù)的來龍去脈、數(shù)據(jù)的大小和格式的定義。元數(shù)據(jù)管理，就是要建立一套行之有效的規(guī)范以及該規(guī)范的管控體系，實(shí)現(xiàn)從管理到查詢到綜合分析的全面管控，管理層次從接口到處理、業(yè)務(wù)邏輯處理、結(jié)果展現(xiàn)處理和指標(biāo)分析的方方面面，構(gòu)成數(shù)據(jù)倉庫應(yīng)用系統(tǒng)的核心和基礎(chǔ)。做到開發(fā)者能嚴(yán)格遵守規(guī)范，維護(hù)者和使用者有規(guī)范可查，有力的保障數(shù)據(jù)倉庫項(xiàng)目的健壯性和可維護(hù)性。2 .目標(biāo)分析要走出目前的困境，有下面三個方面的問題急待解決：2.1 建立完善的指標(biāo)解釋體系滿足用戶對業(yè)務(wù)和數(shù)據(jù)理解的需求，建立標(biāo)準(zhǔn)的企業(yè)內(nèi)部知識傳承的信息承載平臺，建立業(yè)務(wù)分

6、析知識庫，實(shí)現(xiàn)知識共享。能夠回答諸如以下問題：什么是出帳用戶數(shù)？在網(wǎng)用戶數(shù)和網(wǎng)上用戶數(shù)有何區(qū)別？什么是套餐的生命周期？競爭對手新發(fā)展用戶數(shù)是怎么得來的？這個數(shù)據(jù)還叫什么名字？3/14元數(shù)據(jù)管理模塊方案2.2 建立規(guī)范的元數(shù)據(jù)管理體系讓用戶能夠清晰的了解數(shù)據(jù)倉庫中數(shù)據(jù)流的來龍去脈，業(yè)務(wù)處理規(guī)則、發(fā)展情況等，提高系統(tǒng)的可維護(hù)性、適應(yīng)性和集成性，支持?jǐn)?shù)據(jù)倉庫/集市的成長需求，減少因員工換崗造成的影響。具體來講，主要是對數(shù)據(jù)倉庫建設(shè)、運(yùn)行和維護(hù)的規(guī)范的管理。能夠回答諸如以下的問題：哪張表是從業(yè)務(wù)系統(tǒng)抽取過來的原始話單表？競爭對手新發(fā)展用戶事實(shí)表中的數(shù)據(jù)，是從哪些表匯總計算出來的？用戶下的這個存儲過程是

7、誰寫的，現(xiàn)在還有用嗎？我是新手，要生成套餐生命周期演化分析事實(shí)表，我該怎么做？表空間不夠了，哪些表的數(shù)據(jù)可以刪掉？2.3 建立有效的數(shù)據(jù)稽核體系促進(jìn)數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量建設(shè)，為提高整個系統(tǒng)的數(shù)據(jù)質(zhì)量奠定堅實(shí)的基礎(chǔ)。建立報警、監(jiān)控機(jī)制，出現(xiàn)故障，能及時發(fā)現(xiàn)問題。提供整體系統(tǒng)運(yùn)營的情況分析。能夠回答諸如以下問題：今天的出帳用戶數(shù)過高，是怎么回事？數(shù)據(jù)集市層中的表中數(shù)據(jù)為空，什么原因？A報表中的全省值和B報表中的值為什么不同？3 .功能概述3.1 元數(shù)據(jù)管理對數(shù)據(jù)倉庫的層次結(jié)構(gòu)、主題域劃分，各層的各種對象，如表、存儲過程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。能夠清晰的展現(xiàn)各層次結(jié)構(gòu)之間的數(shù)據(jù)流程，圖形化展

8、現(xiàn)各對象之間的關(guān)系，展現(xiàn)表中數(shù)據(jù)的來龍去脈。4/14元數(shù)據(jù)管理模塊方案3.1.1業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)包括以下信息：使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對象名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)來源；系統(tǒng)所提供的分析方法及公式、報表信息。業(yè)務(wù)元數(shù)據(jù)管理除了管理上述信息外，還提供對業(yè)務(wù)元數(shù)據(jù)來源的管理和差異性對比功能，使用戶能夠方便的查詢、比較和追溯。包括兩個子模塊，指標(biāo)管理和指標(biāo)解釋接口。指標(biāo)管理：主要實(shí)現(xiàn)對所有指標(biāo)的維護(hù)功能，維護(hù)指標(biāo)的基本信息、業(yè)務(wù)規(guī)則和技術(shù)算法等。能夠展現(xiàn)各個主題分析中的指標(biāo)，以及指標(biāo)間的區(qū)別等信息。5Fg序號荒行名標(biāo)計量單位芟堡1EDJ度髭同尸部后苴A射直勘2匕工收入曲HJC口C

9、FM3E03移過電詁詈及率時.例-，總等全標(biāo)與系+本需存+$J6;寸英及說明n的匕口4印。果道網(wǎng)點(diǎn)數(shù)個時月收觸IED3=香干祈荊鬲招日話首耳率+D高層法第鎮(zhèn)i球蕊對M赤戶漸占座計區(qū)厘內(nèi)乂口料的比網(wǎng)CELECT#FROMUF_GSMqLL_TaWL理用力.熟i+量單位無也陛時詢機(jī)屜俳匚NUUJ年UJ月23日計為例一憎抗至交椅索|聊日琳一|修磔甯標(biāo)|M闋甌指標(biāo)解釋接口：提供統(tǒng)一的接口，使用戶能夠在經(jīng)營分析系統(tǒng)或系統(tǒng)中,點(diǎn)擊任一指標(biāo)名稱，即可查看該指標(biāo)的詳細(xì)描述和解釋說明經(jīng)營分析系統(tǒng)聯(lián)機(jī)幫助或失用戶數(shù)上月出帳本月不出帳的用戶數(shù)5/14元數(shù)據(jù)管理模塊方案3.2.2技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫

10、系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉庫的數(shù)據(jù)，主要包括數(shù)據(jù)倉庫結(jié)構(gòu)的描述（各個主題的定義，星型模式或雪花型模式的描述定義等）、層（操作數(shù)據(jù)存儲）的企業(yè)數(shù)據(jù)模型描述（以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式）、對數(shù)據(jù)稽核規(guī)則的定義、數(shù)據(jù)集市定義描述與裝載描述（包括的維度、層次、度量以及相應(yīng)事實(shí)表、概要表的抽取規(guī)則）。系統(tǒng)除了維護(hù)技術(shù)員數(shù)據(jù)的基本信息外，更以圖形的方式展現(xiàn)和管理各技術(shù)元數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系和來源。技術(shù)元數(shù)據(jù)管理主要包括以下幾個功能模塊：元數(shù)據(jù)查詢：按關(guān)鍵字、分類、主題域名稱等維度進(jìn)行查詢，展現(xiàn)該元數(shù)據(jù)的基本信息，如業(yè)務(wù)描述、技術(shù)描述、計量單位、所屬分類等信息。元數(shù)據(jù)維護(hù)：對元數(shù)據(jù)的基本信

11、息進(jìn)行維護(hù)，包括增、刪、改。元撒橫檔芯-二匚囹胡曷之.口專用零二3智攵析正式障心加a分析期訊障+-DMJ-DMCODClDSSW1豆|6/14元數(shù)據(jù)管理模塊方案元數(shù)據(jù)關(guān)系查詢：展現(xiàn)元數(shù)據(jù)之間的關(guān)系，如：按經(jīng)營分析數(shù)據(jù)倉庫的各個層次進(jìn)行展現(xiàn)；按元數(shù)據(jù)之間的映射關(guān)系展現(xiàn)；按元數(shù)據(jù)的處理流程進(jìn)行展現(xiàn)等等。元城樨中里：魚解一元數(shù)樨名前1:七一_zrc.B=CDW4-T2SK22直擊勝桎，進(jìn)；tl元鼾第kt推“用，滯行情修也趣,出帳用V數(shù)1蟒聲耳卜仁差.1割也LJT二ESS2X/；二1EBi_JF.M.CiPPOWEMTJM?JflCN三5a-=_CFFOHEtn_M&aX/P_CCUPETE.KJfl

12、U-_*1FACT_VIPU5E-_-rJ11:疆.指懷：出做用戶題市牌中蟲或鼠/鼠為W健一點(diǎn)擊某元甑據(jù)節(jié)點(diǎn)，進(jìn)入該元數(shù)揖的我妻雉于界面，克其與其眄三數(shù)據(jù)之同的關(guān)某由行域刪改掾心_|LEJOli、.點(diǎn)擊某元塞!揖節(jié)點(diǎn)展酶元amn.rtUu7/14元數(shù)據(jù)管理模塊方案元數(shù)據(jù)關(guān)系管理：對元數(shù)據(jù)關(guān)系進(jìn)行維護(hù)，包括增加、刪除和修改或擊陞揖，彈出元敷露選擇界面，送行培瑜選揖.元數(shù)搪關(guān)整：全陵,元教據(jù)名林：出依用戶數(shù)增加上級節(jié)點(diǎn)眼據(jù)投用控制，忸標(biāo)右鍵點(diǎn)擊某元款密節(jié)點(diǎn)進(jìn)入四元氯靄的關(guān)系雄護(hù)界面對瓦特;K地元料據(jù)7g的齊軍遂行增船理點(diǎn)擊基元鉆科8點(diǎn)，息現(xiàn)懣元數(shù)據(jù)的關(guān)第限.融中諄中立修改元/樨信息金作.如上圖所示

13、，鼠標(biāo)右鍵點(diǎn)擊某個節(jié)點(diǎn)，對該節(jié)點(diǎn)進(jìn)行增、刪、改操作。點(diǎn)擊健攆，售卅元S蜻選腳界而，身行指所國掘,tt味用F/增加元釉稠節(jié)占口叩口仁孫鞋瓷、上想奈迪：IttS幽U出代目廣變李痂三明：8/14元數(shù)據(jù)管理模塊方案點(diǎn)擊您擇L彈出元數(shù)據(jù)近探界面.進(jìn)仃精確世也擇I-詢方恍用戶漱名稱二擊居地雙修肺定黃刪除詼黃點(diǎn)嗎?FJf-OFUMtNTMUN.3.3元數(shù)據(jù)分析血統(tǒng)分析、影響分析、表重要程度分析、表無關(guān)程度分析等等。通過上述分析，讓用戶對整個數(shù)據(jù)倉庫總體上有清晰的認(rèn)識和理解，解決數(shù)據(jù)孤島的問題。3.3.1血統(tǒng)分析數(shù)據(jù)血統(tǒng)-，通過數(shù)據(jù)血統(tǒng)分析，用戶可以知道數(shù)據(jù)何時更新、如何計算以及從何處而來，所有這些手段幫助用

14、戶追溯報表中數(shù)據(jù)產(chǎn)生的來源。這種深入洞查數(shù)據(jù)來龍去脈的能力對于幫助用戶更加信賴他們的信息來說，具有至關(guān)重要的作用。9/14元數(shù)據(jù)管理模塊方案營帳系統(tǒng)話單表業(yè)務(wù)生產(chǎn)系統(tǒng)ET甘由取話單二_F聯(lián)通用戶通話詳單源數(shù)據(jù)SRC層從詳單中抽取與移動用戶的通話記錄移動用戶通話詳單表ODS層與移動在網(wǎng)用戶比較移動新入網(wǎng)用戶表數(shù)據(jù)倉庫DW層匯總產(chǎn)生大客戶信息匯總產(chǎn)生新入網(wǎng)用戶信息數(shù)據(jù)集市DM層移動大客戶信息展現(xiàn)移動新入網(wǎng)用戶信息展現(xiàn)3.3.2影響分析影響分析關(guān)注的重點(diǎn)是數(shù)據(jù)的流向，提供端對端影響分析，使您能夠看見源系統(tǒng)發(fā)生變化時，報表受到的影響，而因此可以輕松地處理環(huán)境中的變化。10/14競爭專題用戶分析競爭專題

15、策反高層決策市場分析競爭專題大客尸明細(xì)目標(biāo)元數(shù)據(jù)對象高層決策4爭對手3.3.3重要性分析分析系統(tǒng)中，用戶最關(guān)心的分析主題、報表和指標(biāo)，追溯這些分析主題、報表和指標(biāo)涉及到的元數(shù)據(jù)，這對于系統(tǒng)和數(shù)據(jù)倉庫開發(fā)團(tuán)隊具有重要的指導(dǎo)意義。朗戶關(guān)蛀工瑪姓美tnsiAat)itSS詆43：號片面J.N不更用3459產(chǎn)晶布分并舊錯與注后對叁修：出電響3442對朝榮遒和莊竟231414H府由母期名春工直營市號及的下二方三詁。=三好.用戶工板對比的I分析各元數(shù)據(jù)對象之間的關(guān)聯(lián)密集度，分析數(shù)據(jù)倉庫中各層次的包、表等對象的重要程度，指導(dǎo)數(shù)據(jù)倉庫開發(fā)和維護(hù)團(tuán)隊對重點(diǎn)元數(shù)據(jù)進(jìn)行重點(diǎn)關(guān)注和質(zhì)量監(jiān)控。11/14元數(shù)據(jù)管理模塊方

16、案3.3.4無關(guān)性分析與重要性分析相反，隨著數(shù)據(jù)倉庫系統(tǒng)的規(guī)模不斷擴(kuò)大，業(yè)務(wù)需求的日益變化，會產(chǎn)生一定數(shù)量的無關(guān)數(shù)據(jù)、信息和報表，找出這些無關(guān)的內(nèi)容，結(jié)合業(yè)務(wù)需求分析其產(chǎn)生的根源，從而為用戶簡化工作負(fù)載，降低項(xiàng)目總擁有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。提表無關(guān)程度報表名稱望在關(guān)注度（人次）渠道明細(xì)日報面向領(lǐng)導(dǎo)層面的決策支持0自定文套春日報分析政策與市場對品牌發(fā)展的也暗鬣響2產(chǎn)品群分析分析渠道的發(fā)展和收益3基站法務(wù)量分析與S常業(yè)國運(yùn)營相關(guān)的數(shù)據(jù)7點(diǎn)擊報版名禰可查看該報表讓吊利的相工動據(jù)未源7折n3.4數(shù)據(jù)稽核根據(jù)預(yù)先配置的規(guī)則、算法和質(zhì)量檢查度量，對數(shù)據(jù)的準(zhǔn)確性、合理性等多角度的檢查，以及

17、時發(fā)現(xiàn)問題，解決問題。對于稽核結(jié)果，進(jìn)行統(tǒng)計分析，形成結(jié)果報告，為以后的數(shù)據(jù)倉庫建設(shè)、實(shí)施和維護(hù)的改進(jìn)打下堅實(shí)的基礎(chǔ)。12/14元數(shù)據(jù)管理模塊方案3.4.1 稽核規(guī)則管理接口數(shù)據(jù)檢驗(yàn)：對接口數(shù)據(jù)的過程進(jìn)行稽核和校驗(yàn)，分為文件接口，接口，其他異構(gòu)數(shù)據(jù)庫接口。處理過程檢驗(yàn)：對數(shù)據(jù)處理過程進(jìn)行監(jiān)控和稽核，分為稽核，工作流稽核，其他處理方式稽核等。處理環(huán)境檢驗(yàn)：對數(shù)據(jù)處理環(huán)境進(jìn)行檢查，針對不同的應(yīng)用環(huán)境，主要分為數(shù)據(jù)庫系統(tǒng)檢查、主機(jī)系統(tǒng)檢查、接口機(jī)檢查、應(yīng)用服務(wù)器檢查。日志監(jiān)控：在自動運(yùn)行的過程中可能出現(xiàn)各種各樣的錯誤，比如過程申請的資源超過硬件的物理限制（存儲不足或者排序空間不足）。通過檢測過程的日

18、志可以判斷出該過程輸出的目標(biāo)表數(shù)據(jù)是否完整。提供選擇日志監(jiān)控的各種信息供選擇，如：過程名、所屬模塊（營業(yè)數(shù)據(jù)、計費(fèi)數(shù)據(jù)、維表數(shù)據(jù)等）、執(zhí)行時間、完成時間、執(zhí)行時長、執(zhí)行用戶、執(zhí)行結(jié)果、預(yù)警等。維度檢驗(yàn)：如：所屬模塊（營業(yè)數(shù)據(jù)、計費(fèi)數(shù)據(jù)、維表數(shù)據(jù)等）、日期、表名、維度名稱、緯度格式、緯度說明、緯度關(guān)聯(lián)編碼表、各緯度記錄分布情況、是否有空值、空值記錄數(shù)、空值率、預(yù)警區(qū)間等指標(biāo)。指標(biāo)值檢驗(yàn)：包括數(shù)據(jù)量校驗(yàn)、單指標(biāo)校驗(yàn)、交叉校驗(yàn)等。3.4.2 稽核任務(wù)調(diào)度在設(shè)定數(shù)據(jù)稽核的模板后，可以對稽核任務(wù)實(shí)行自動化處理，也可以通過定制方式來完成，可以定時調(diào)用或觸發(fā)。由不同類型數(shù)據(jù)檢驗(yàn)確定。比如：前序數(shù)據(jù)（計費(fèi)營帳數(shù)據(jù)），可以使用定時調(diào)度任務(wù)檢查數(shù)據(jù)完整性，后序數(shù)據(jù)（層數(shù)據(jù)直到數(shù)據(jù)集市展示層的匯總數(shù)據(jù)）的調(diào)用可以通過日志記錄觸發(fā)開始，