歸一大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)設(shè)計(jì)闡明書(shū)件控制檔編號(hào)版本號(hào)分冊(cè)名稱第冊(cè)/共冊(cè)總頁(yè)數(shù)正文附錄編制審批生效日期修變化更統(tǒng)計(jì)：更改條款及內(nèi)容更改人審批人更改日期創(chuàng)立文檔閻飛謝益武-11-5目錄TOC\o"1-3"\h\z1 引言 51.1 文檔編制目的 51.2 背景 61.3 詞匯表 61.4 參考資料 62 總體設(shè)計(jì) 62.1 軟件體系構(gòu)造 62.2 系統(tǒng)運(yùn)行體系 72.2.1 運(yùn)行體系圖 72.2.2 程序/模塊對(duì)應(yīng)表 72.3 系統(tǒng)物理構(gòu)造 82.4 技術(shù)路線 83 系統(tǒng)接口設(shè)計(jì) 83.1 顧客接口 84 子系統(tǒng)/模塊設(shè)計(jì) 94.1 數(shù)據(jù)倉(cāng)庫(kù) 94.1.1 ODL(操作數(shù)據(jù))層設(shè)計(jì) 94.1.2 BDL(數(shù)據(jù)倉(cāng)庫(kù))層設(shè)計(jì) 104.1.3 IDL(寬表)層設(shè)計(jì) 124.1.4 PDL(應(yīng)用)層設(shè)計(jì) 134.1.5 PUB(維度)層設(shè)計(jì) 144.1.6 數(shù)據(jù)導(dǎo)出設(shè)計(jì) 165 數(shù)據(jù)構(gòu)造與數(shù)據(jù)庫(kù)設(shè)計(jì) 176 外部存儲(chǔ)構(gòu)造設(shè)計(jì) 177 故障解決闡明 178 尚需解決的問(wèn)題 17編寫(xiě)指南：本模板力圖給出系統(tǒng)設(shè)計(jì)階段可能涉及的基本信息，重點(diǎn)在于和需求分析文檔相聯(lián)系。描述系統(tǒng)整體狀況。如果某個(gè)章節(jié)在項(xiàng)目或現(xiàn)在階段中無(wú)法描述，則可保存其標(biāo)題，注明“不合用”；如果需要對(duì)本模板的個(gè)別章節(jié)具體描述，也可將其形成單獨(dú)的文檔，成為本文檔附件。若文檔中的某個(gè)章節(jié)已經(jīng)在其它項(xiàng)目文檔中加以描述，可保存標(biāo)題，注明“參見(jiàn)（文檔編號(hào)）（文檔名稱）（條款）”。形成正式文檔后須刪除斜體字內(nèi)容。0 報(bào)告編制規(guī)定這里列出本系統(tǒng)設(shè)計(jì)報(bào)告編制的經(jīng)驗(yàn)性規(guī)定，須由系統(tǒng)設(shè)計(jì)人員參考其進(jìn)行裁剪以擬定本次報(bào)告編制的有關(guān)規(guī)定。序號(hào)規(guī)定1對(duì)多個(gè)構(gòu)造圖規(guī)定采用Visio繪制。2軟件體系構(gòu)造圖普通涉及：子系統(tǒng)實(shí)體、子系統(tǒng)間數(shù)據(jù)流、有關(guān)闡明。3軟件構(gòu)造圖普通涉及：模塊實(shí)體、模塊間數(shù)據(jù)流、數(shù)據(jù)存儲(chǔ)、有關(guān)闡明。4運(yùn)行體系圖涉及：進(jìn)程實(shí)體、啟動(dòng)次序、并發(fā)性、數(shù)據(jù)交換。5物理構(gòu)造圖涉及：物理節(jié)點(diǎn)實(shí)體、物理節(jié)點(diǎn)分布、物理節(jié)點(diǎn)描述、物理節(jié)點(diǎn)間互有關(guān)系。6對(duì)數(shù)據(jù)庫(kù)構(gòu)造的描述規(guī)定采用構(gòu)造圖方式描述，而非采用過(guò)多表格。7數(shù)據(jù)庫(kù)構(gòu)造圖重要涉及：表實(shí)體、表間關(guān)系、重要字段、有關(guān)闡明四部分。8對(duì)于平臺(tái)性產(chǎn)品，規(guī)定有系統(tǒng)層次的劃分圖。9普通要隔離應(yīng)用對(duì)數(shù)據(jù)庫(kù)的直接訪問(wèn)。引言文檔編制目的指導(dǎo)開(kāi)發(fā)人員進(jìn)行后期的開(kāi)發(fā)工作；指導(dǎo)測(cè)試人員進(jìn)行解決方案級(jí)的系統(tǒng)測(cè)試；背景敘述系統(tǒng)設(shè)計(jì)階段的目的、作用范疇以及其它應(yīng)向讀者闡明的理解本報(bào)告所需的背景，如與公司其它軟件之間的聯(lián)系等。詞匯表列出本系統(tǒng)設(shè)計(jì)闡明書(shū)中專門(mén)術(shù)語(yǔ)的定義、英文縮寫(xiě)詞的原詞組和意義、項(xiàng)目組內(nèi)達(dá)成一致意見(jiàn)的專用詞匯，同時(shí)規(guī)定繼承全部的先前過(guò)程中定義過(guò)的詞匯。詞匯名稱詞匯含義備注備注中注明該詞匯的來(lái)源，或有其它更具體的解釋的文檔位置；以及對(duì)該詞匯的其它叫法。參考資料需求規(guī)格闡明書(shū)系統(tǒng)架構(gòu)設(shè)計(jì)闡明書(shū)數(shù)據(jù)倉(cāng)庫(kù)命名規(guī)范.docx總體設(shè)計(jì)軟件體系構(gòu)造系統(tǒng)物理構(gòu)造描述使用本軟件系統(tǒng)典型顧客的物理設(shè)備分布圖及設(shè)備上對(duì)應(yīng)基本軟件配備。軟件環(huán)境涉及：操作系統(tǒng)、數(shù)據(jù)庫(kù)、以及其它支撐軟件；硬件環(huán)境涉及：主機(jī)類型、網(wǎng)絡(luò)類型、存儲(chǔ)器容量、其它特殊設(shè)備。規(guī)定：1） 盡量為系統(tǒng)的每個(gè)物理節(jié)點(diǎn)定義一種和功效有關(guān)的名稱，名稱的含義在詞匯表中闡明；2） 結(jié)合運(yùn)行體系圖中提到的“程序”，將有關(guān)的“運(yùn)行程序”分布到各個(gè)物理節(jié)點(diǎn)中；3） 采用網(wǎng)絡(luò)拓?fù)鋱D表達(dá)。技術(shù)路線描述本軟件系統(tǒng)在實(shí)現(xiàn)過(guò)程中所采用的技術(shù)路線、辦法。對(duì)較新的技術(shù)予以具體的敘述及必要的闡明，在可能的狀況下給出對(duì)應(yīng)的技術(shù)參考資料。系統(tǒng)接口設(shè)計(jì)顧客接口無(wú)接口。子系統(tǒng)/模塊設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)ODL(操作數(shù)據(jù)層)設(shè)計(jì)功效描述實(shí)現(xiàn)從外部系統(tǒng)導(dǎo)入數(shù)據(jù)到大數(shù)據(jù)平臺(tái),ODL層數(shù)據(jù)與數(shù)據(jù)源保持一致.同時(shí)方式涉及:增量同時(shí)全量同時(shí)數(shù)據(jù)源類型涉及:數(shù)據(jù)庫(kù)業(yè)務(wù)流程流程圖:流程闡明:1.調(diào)度系統(tǒng)定時(shí)啟動(dòng)數(shù)據(jù)同時(shí)作業(yè).2.作業(yè)讀取數(shù)據(jù)同時(shí)腳本,遠(yuǎn)程調(diào)用數(shù)據(jù)庫(kù)接口.3.數(shù)據(jù)庫(kù)接口返回遠(yuǎn)程調(diào)用成果.4.接受數(shù)據(jù)庫(kù)接口返回的數(shù)據(jù)集,裝載到ODL本地表.異常解決:調(diào)度系統(tǒng)捕獲異常并解決日志闡明:由調(diào)度系統(tǒng)負(fù)責(zé)統(tǒng)計(jì)作業(yè)(正常和異常)日志.數(shù)據(jù)源闡明:1.通過(guò)視圖封裝需要同時(shí)的物理表,與業(yè)務(wù)進(jìn)行隔離.當(dāng)物理表發(fā)生變動(dòng),盡量通過(guò)修改視圖兼容.2.數(shù)據(jù)同時(shí)程序訪問(wèn)數(shù)據(jù)源視圖.數(shù)據(jù)粒度闡明：與數(shù)據(jù)源保持完全一致。作業(yè)設(shè)計(jì)詳見(jiàn)<<數(shù)據(jù)同時(shí)列表.xlsx>>BDL(事物層)設(shè)計(jì)功效描述BDL層對(duì)ODL數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換，實(shí)現(xiàn)統(tǒng)一維度的數(shù)據(jù)整合。業(yè)務(wù)流程流程圖:流程闡明:1.調(diào)度系統(tǒng)定時(shí)啟動(dòng)數(shù)據(jù)同時(shí)作業(yè).2.作業(yè)讀取ODL表，進(jìn)行數(shù)據(jù)清洗，對(duì)不符合規(guī)則的數(shù)據(jù)進(jìn)行丟棄或轉(zhuǎn)換.3.將轉(zhuǎn)換后的成果數(shù)據(jù)裝載到BDL本地表.異常解決:調(diào)度系統(tǒng)捕獲異常并解決.日志闡明:由調(diào)度系統(tǒng)負(fù)責(zé)統(tǒng)計(jì)作業(yè)(正常和異常)日志.數(shù)據(jù)粒度闡明：與ODL保持一致.作業(yè)設(shè)計(jì)詳見(jiàn)<<數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)換文檔.xlsx>>IDL(寬表層)設(shè)計(jì)功效描述在IDL層對(duì)BDL事實(shí)表按主題進(jìn)行合并,形成一次寫(xiě)多次讀的寬表,減少系統(tǒng)整體開(kāi)銷.并實(shí)際根據(jù)需要進(jìn)行顧客級(jí)粒度的聚合,進(jìn)一步提高查詢效率.業(yè)務(wù)流程流程圖:流程闡明:1.調(diào)度系統(tǒng)定時(shí)啟動(dòng)數(shù)據(jù)同時(shí)作業(yè).2.按主題讀取有關(guān)BDL表,進(jìn)行關(guān)聯(lián),盡量補(bǔ)齊維度字段,生成事物級(jí)寬表.3.按顧客級(jí)粒度聚合,生成顧客級(jí)寬表.異常解決:調(diào)度系統(tǒng)捕獲異常并解決日志闡明:由調(diào)度系統(tǒng)負(fù)責(zé)統(tǒng)計(jì)作業(yè)(正常和異常)日志.數(shù)據(jù)粒度闡明:1.事物級(jí)粒度.2.顧客級(jí)粒度.作業(yè)設(shè)計(jì)詳見(jiàn)<<數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)換文檔.xlsx>>PDL(應(yīng)用層)設(shè)計(jì)功效描述PDL層按業(yè)務(wù)需求,IDL寬表匯總查詢生成多個(gè)成果表.業(yè)務(wù)流程流程圖:流程闡明:1.調(diào)度系統(tǒng)定時(shí)啟動(dòng)數(shù)據(jù)同時(shí)作業(yè).2.讀取IDL寬表,按業(yè)務(wù)需求進(jìn)行聚合,篩選,生成指標(biāo)數(shù)據(jù).3.成果寫(xiě)入PDL層成果表.異常解決:調(diào)度系統(tǒng)捕獲異常并解決日志闡明:由調(diào)度系統(tǒng)負(fù)責(zé)統(tǒng)計(jì)作業(yè)(正常和異常)日志.數(shù)據(jù)粒度闡明:1.按業(yè)務(wù)需求的多個(gè)粒度.業(yè)務(wù)賬數(shù)據(jù)統(tǒng)計(jì)設(shè)計(jì)業(yè)務(wù)賬數(shù)據(jù)統(tǒng)計(jì)以下特點(diǎn):業(yè)務(wù)賬指標(biāo)由多個(gè)交易類型代碼組合,一種交易類型代碼對(duì)應(yīng)多個(gè)業(yè)務(wù)指標(biāo),例如:業(yè)務(wù)賬指標(biāo)A交易類型代碼{M00010,M00001,M00002,M00003,…}業(yè)務(wù)賬指標(biāo)B交易類型代碼{M00010,M00011,M00012,M00013,…}業(yè)務(wù)賬指標(biāo)C交易類型代碼{M00000,M00011,M00002,M00023,…}隨需求也業(yè)務(wù)變化,業(yè)務(wù)賬指標(biāo)及其交易類型代碼也會(huì)變化.每個(gè)業(yè)務(wù)賬指標(biāo)統(tǒng)計(jì)算法相似,只是其交易類型代碼組合不同.每個(gè)業(yè)務(wù)賬指標(biāo)可能會(huì)被多個(gè)報(bào)表調(diào)用，例如“積分總金額”針對(duì)以上特性,通過(guò)抽象的辦法，設(shè)計(jì)對(duì)指標(biāo)（交易類型代碼）配備化管理、運(yùn)算統(tǒng)一化技術(shù)的功效，減少系統(tǒng)維護(hù)成本。作業(yè)設(shè)計(jì)詳見(jiàn)<<數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)換文檔.xlsx>>PUB(維度)庫(kù)設(shè)計(jì)功效描述采用異步LOOUP辦法,主動(dòng)捕獲非法維度數(shù)據(jù),通過(guò)人工識(shí)別生成維度數(shù)據(jù).業(yè)務(wù)流程流程圖:流程闡明:1.調(diào)度系統(tǒng)定時(shí)啟動(dòng)數(shù)據(jù)同時(shí)作業(yè).2.異步讀取ODL表和維表,對(duì)比維度映射表查找與否有不存在的維度數(shù)據(jù).3.如果發(fā)現(xiàn)非法維度數(shù)據(jù),通過(guò)人工識(shí)別,寫(xiě)入維度映射表和維度表.異常解決:調(diào)度系統(tǒng)捕獲異常并解決日志闡明:由調(diào)度系統(tǒng)負(fù)責(zé)統(tǒng)計(jì)作業(yè)(正常和異常)日志.作業(yè)設(shè)計(jì)詳見(jiàn)<<數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)換文檔.xlsx>>業(yè)務(wù)賬(數(shù)據(jù)集市)庫(kù)數(shù)據(jù)導(dǎo)出設(shè)計(jì)功效描述將PDL表和維度導(dǎo)出,同時(shí)給mysql庫(kù),供統(tǒng)計(jì)報(bào)表查詢使用.業(yè)務(wù)流程流程闡明:1.調(diào)度系統(tǒng)定時(shí)啟動(dòng)數(shù)據(jù)同時(shí)作業(yè).2.讀取PDL表和維表,將數(shù)據(jù)裝載到MYSQL庫(kù)對(duì)應(yīng)的表中.異常解決:調(diào)度系統(tǒng)捕獲異常并解決日志闡明:由調(diào)度系統(tǒng)負(fù)責(zé)統(tǒng)計(jì)作業(yè)(正常和異常)日志.作業(yè)設(shè)計(jì)數(shù)據(jù)構(gòu)造與數(shù)據(jù)庫(kù)設(shè)計(jì)詳見(jiàn)<<數(shù)據(jù)庫(kù)設(shè)計(jì)闡明書(shū).docx>>外部存儲(chǔ)構(gòu)造設(shè)計(jì)闡明本系統(tǒng)存貯于磁盤(pán)等持久性存貯介質(zhì)，并且不是由數(shù)據(jù)庫(kù)管理系統(tǒng)進(jìn)行管理的數(shù)據(jù)的組織構(gòu)造，涉及數(shù)據(jù)名稱、用途、每個(gè)數(shù)據(jù)項(xiàng)的標(biāo)