




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
數(shù)據(jù)服務(wù)平臺(tái)及一表通管
理系統(tǒng)技術(shù)參數(shù)
黑龍江建筑職業(yè)技術(shù)學(xué)院
第1章項(xiàng)目建設(shè)背景
隨著高校信息化建設(shè)的發(fā)展,應(yīng)用信息化的逐步深入,管理精細(xì)化程度加深,各系統(tǒng)的
數(shù)據(jù)割裂,形成多個(gè)信息孤島。數(shù)據(jù)部門產(chǎn)生大量異構(gòu)數(shù)據(jù),如何能方便高效地開放出去,
是學(xué)校信息化一直想要解決的難題。在從前校園沒有太多應(yīng)用系統(tǒng)的時(shí)候,數(shù)據(jù)的開放方式
一般是直接將數(shù)據(jù)導(dǎo)出給對(duì)方。隨著業(yè)務(wù)系統(tǒng)的不斷增加,簡單的數(shù)據(jù)直連方式不僅低效,
還帶來了管理與安全等諸多問題。針對(duì)該需求,建設(shè)數(shù)據(jù)總線的解決方案在大量高校中進(jìn)行
落地,解決了數(shù)據(jù)共享與數(shù)據(jù)交換的部分需求。時(shí)至今天,隨著業(yè)務(wù)需求的不斷增加,業(yè)務(wù)
服務(wù)對(duì)象由從前的各單位部門變?yōu)槿7秶鷥?nèi)的師生,更多的應(yīng)用、更多的用戶導(dǎo)致業(yè)務(wù)共
享與交換的壓力呈指數(shù)上升,對(duì)數(shù)據(jù)服務(wù)架構(gòu)性能、穩(wěn)定性、擴(kuò)展性、可控性有著更高的需
求,數(shù)據(jù)服務(wù)共享缺乏統(tǒng)一管控,多頭采集,重復(fù)采集,服務(wù)通訊無法統(tǒng)一管控等問題日益
突出。與此同時(shí),日益增加的業(yè)務(wù)數(shù)據(jù)交換需求與數(shù)據(jù)交換管理內(nèi)容為技術(shù)部門帶來了沉重
的工作壓力,如何減輕工作量,并且方便業(yè)務(wù)部門進(jìn)行數(shù)據(jù)管理,實(shí)現(xiàn)數(shù)據(jù)“誰生產(chǎn),誰維
護(hù),誰負(fù)責(zé)”,為了解決各類數(shù)據(jù)問題,打造一個(gè)數(shù)據(jù)服務(wù)平臺(tái)的需求應(yīng)運(yùn)而生。
總體來說,目前國內(nèi)高校所開展的數(shù)據(jù)治理工作還都處于初級(jí)階段。數(shù)據(jù)的應(yīng)用與數(shù)據(jù)
質(zhì)量是一個(gè)相輔相成、相互推動(dòng)的關(guān)系,對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行治理,是提升高校數(shù)據(jù)管理與應(yīng)用
水平的關(guān)鍵舉措。高校應(yīng)該著眼于長期持續(xù)有效的數(shù)據(jù)治理,建立行之有效的數(shù)據(jù)治理體系,
挖掘數(shù)據(jù)的潛力,從而發(fā)揮數(shù)據(jù)資產(chǎn)在高校中的核心價(jià)值。
第2章項(xiàng)目需求分析
數(shù)據(jù)是學(xué)校重要資產(chǎn),也是學(xué)校管理與發(fā)展核心的支撐前提。因此通過全校性數(shù)據(jù)治理
解決數(shù)據(jù)問題,提升信息化應(yīng)用水平,已是當(dāng)務(wù)之急,刻不容緩。
本項(xiàng)目需要對(duì)學(xué)校進(jìn)行數(shù)據(jù)治理,將通過一套科學(xué)數(shù)據(jù)管理方法,對(duì)學(xué)校各業(yè)務(wù)域分散、
重復(fù)、混亂的數(shù)據(jù),進(jìn)行梳理、建模、整合、評(píng)價(jià)、控制,制定數(shù)據(jù)標(biāo)準(zhǔn)和工作規(guī)范,打破
信息壁壘,消除信息孤島,提高數(shù)據(jù)合規(guī)監(jiān)管和安全控制,對(duì)數(shù)據(jù)從產(chǎn)生、處理、整合、共
享、應(yīng)用、銷毀等全生命周期進(jìn)行管理,從而建立高質(zhì)量的數(shù)據(jù)管理體系和統(tǒng)一的基礎(chǔ)數(shù)據(jù)
庫,支撐各相關(guān)業(yè)務(wù)高效運(yùn)行,支持學(xué)校管理者方便、安全、快速、可靠地利用數(shù)據(jù)進(jìn)決策。
根據(jù)行業(yè)實(shí)踐經(jīng)驗(yàn),數(shù)據(jù)治理是破解信息孤島、數(shù)據(jù)質(zhì)量不高、信息安全隱患等數(shù)據(jù)管
理難題行之有效的做法。本項(xiàng)目希望啟動(dòng)全校性數(shù)據(jù)治理工作,對(duì)全校數(shù)據(jù)開展數(shù)據(jù)梳理、
數(shù)據(jù)標(biāo)準(zhǔn)制定、數(shù)據(jù)治理體制機(jī)制建立等工作,并建立數(shù)據(jù)治理平臺(tái)0
第3章詳細(xì)技術(shù)設(shè)計(jì)及指標(biāo)
3.1數(shù)據(jù)服務(wù)平臺(tái)
序號(hào)數(shù)據(jù)服務(wù)平臺(tái)總體技術(shù)框架及實(shí)現(xiàn)功能要求
AAAR受務(wù)APIikftAPiftAAPI*????Aflttai**????
數(shù)據(jù)服務(wù)平臺(tái)提供各業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入的接口,實(shí)現(xiàn)數(shù)據(jù)交換平臺(tái)和
各信息系統(tǒng)的有機(jī)結(jié)合,以統(tǒng)一的數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和接口規(guī)
范實(shí)現(xiàn)數(shù)據(jù)自動(dòng)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)送、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)審核
等,同時(shí)支持?jǐn)?shù)據(jù)同步、歷史數(shù)據(jù)遷移等。數(shù)據(jù)交換平臺(tái)是以“統(tǒng)一
標(biāo)準(zhǔn)”、“統(tǒng)一處理”、“統(tǒng)一交換”、“保證質(zhì)量”、“透明開
放”的方式,為不同業(yè)務(wù)系統(tǒng)、不同數(shù)據(jù)庫、不同數(shù)據(jù)格式之間進(jìn)行
數(shù)據(jù)交換而提供服務(wù)的平臺(tái)。
模型管理平臺(tái):管理學(xué)校數(shù)據(jù)項(xiàng)、數(shù)據(jù)元素、編號(hào)、代碼以及資源目錄
2等內(nèi)容,通過平臺(tái)實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)到資源目錄的轉(zhuǎn)換,為學(xué)校標(biāo)準(zhǔn)落地應(yīng)提供
用到數(shù)據(jù)上提供了必要的前提條件。
數(shù)據(jù)質(zhì)量管理模塊:管理不同數(shù)據(jù)項(xiàng)所應(yīng)用的檢測(cè)方法、檢測(cè)腳本、檢
測(cè)方案等,并提供數(shù)據(jù)質(zhì)量報(bào)告,顯示不同數(shù)據(jù)內(nèi)容的數(shù)據(jù)檢測(cè)結(jié)果。提供
數(shù)據(jù)共享交換模塊:數(shù)據(jù)共享交換模塊是打破信息壁壘、消除信息孤島
的前提,起到橋梁樞紐作用。在全校業(yè)務(wù)系統(tǒng)在治理后,通過該平臺(tái)便
4提供
捷地實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)在不同業(yè)務(wù)系統(tǒng)間順暢、實(shí)時(shí)、批量傳輸。
5中心庫管理:對(duì)學(xué)校中心庫進(jìn)行數(shù)據(jù)的采集、清洗、轉(zhuǎn)換、映射、集成提供
過程管理,對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化,提供數(shù)據(jù)集成等功能。
實(shí)現(xiàn)重新梳理數(shù)據(jù)資產(chǎn),并常態(tài)化監(jiān)控學(xué)校現(xiàn)有數(shù)據(jù)情況。學(xué)校從前并
不了解所擁有的數(shù)據(jù)的整體情況,每當(dāng)需要進(jìn)行資源共享時(shí),才委托信
息化部門到各業(yè)務(wù)部門中了解與調(diào)研數(shù)據(jù),為數(shù)據(jù)共享帶來了巨大的
工作壓力。本次中心建設(shè)將學(xué)校范圍內(nèi)的所有數(shù)據(jù)資源(數(shù)據(jù)形態(tài)包括
文件、數(shù)據(jù)庫、WebService接口、RESTful接口等)進(jìn)行注冊(cè),梳理數(shù)
6提供
據(jù)資產(chǎn),并選擇性進(jìn)行資源上架。并對(duì)注冊(cè)資源進(jìn)行常態(tài)化監(jiān)控與運(yùn)
維,讓學(xué)校時(shí)刻了解到各數(shù)據(jù)的狀況,實(shí)現(xiàn)注冊(cè)上的數(shù)據(jù)資源將有平臺(tái)
進(jìn)行常態(tài)化監(jiān)控,如應(yīng)用接口服務(wù)是否開啟、數(shù)據(jù)庫表結(jié)構(gòu)是否變化
等,如有變化啟動(dòng)相關(guān)資源管理流程。
實(shí)現(xiàn)利用分布式技術(shù),實(shí)現(xiàn)數(shù)據(jù)高效共享。學(xué)校原有ODI體系系統(tǒng)存在
一定的性能瓶頸問題,本次建設(shè)需通過先進(jìn)的分布式數(shù)據(jù)采集同步技
術(shù),在技術(shù)底層上完成交換傳輸性能的橫向擴(kuò)展,并且將共享流程融入
7提供
到整個(gè)數(shù)據(jù)共享管理過程中,聯(lián)動(dòng)平臺(tái)的授權(quán)、注冊(cè)、資源變更、資源
監(jiān)控、任務(wù)監(jiān)控、系統(tǒng)監(jiān)控等功能。
實(shí)現(xiàn)自動(dòng)化自助共享服務(wù)。數(shù)據(jù)需求部門(包括數(shù)據(jù)中心)可自行在數(shù)
據(jù)服務(wù)平臺(tái)上對(duì)所需數(shù)據(jù)資源(或接口資源)發(fā)起申請(qǐng),數(shù)據(jù)提供方審
批完成后,資源將由平臺(tái)自動(dòng)推送,全過程不需要額外人工參與。通過
8提供
該方式讓數(shù)據(jù)共享24小時(shí)常態(tài)化運(yùn)行,極大程度減少共享的溝通成本
與免除繁瑣的重復(fù)工作。
實(shí)現(xiàn)常態(tài)化數(shù)據(jù)治理體系:將通過一套科學(xué)數(shù)據(jù)管理方法,對(duì)學(xué)校數(shù)據(jù)
進(jìn)行數(shù)據(jù)治理,建立統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),對(duì)學(xué)校各業(yè)務(wù)域分散、重復(fù)、混亂
的數(shù)據(jù),進(jìn)行梳理、建模、整合、評(píng)價(jià)、控制,制定數(shù)據(jù)標(biāo)準(zhǔn)和工作規(guī)
9提供
范,提高數(shù)據(jù)合規(guī)監(jiān)管和安全控制,對(duì)數(shù)據(jù)從產(chǎn)生、處理、整合、應(yīng)用、
銷毀等全生命周期進(jìn)行管理,從而建立高質(zhì)量的數(shù)據(jù)管理體系和統(tǒng)一
的主數(shù)據(jù)庫,支撐各相關(guān)業(yè)務(wù)高效運(yùn)行,支持學(xué)校管理者方便、安全、
快速、可靠地利用數(shù)據(jù)進(jìn)決策。
實(shí)現(xiàn)數(shù)據(jù)自治,打造數(shù)據(jù)服務(wù)生態(tài)圈。通過數(shù)據(jù)資源中心,按照“誰主
管,誰提供,誰負(fù)責(zé)”的原則,在數(shù)據(jù)共享全流程過程中,數(shù)據(jù)提供方、
平臺(tái)管理員、數(shù)據(jù)需求方各自承擔(dān)應(yīng)有的責(zé)任并享有相應(yīng)的權(quán)限。從而
10達(dá)到數(shù)據(jù)自治的效果,并且吸引各業(yè)務(wù)相關(guān)人員使用該平臺(tái)完成各種提供
數(shù)據(jù)調(diào)研、數(shù)據(jù)共享、數(shù)據(jù)管理等業(yè)務(wù),提高平臺(tái)粘著力,讓更多的人
員參與到數(shù)據(jù)的挖掘與共享的生態(tài)圈中,實(shí)現(xiàn)智慧校園數(shù)據(jù)價(jià)值。
3.1.1平臺(tái)首頁
序號(hào)技術(shù)指標(biāo)描述要求
1需提供平臺(tái)首頁功能,首頁應(yīng)包含數(shù)據(jù)概覽、資產(chǎn)詳情、平臺(tái)運(yùn)行監(jiān)控提供
數(shù)據(jù)概覽
數(shù)據(jù)概覽需提供平臺(tái)部門系統(tǒng)接入情況、主題表建設(shè)情況、數(shù)據(jù)交換情
2提供
況
交換供需關(guān)系應(yīng)展示數(shù)據(jù)提供方業(yè)務(wù)系統(tǒng)、數(shù)據(jù)需求方業(yè)務(wù)系統(tǒng)的分布
3提供
情況
數(shù)據(jù)資產(chǎn)概況應(yīng)支持以標(biāo)準(zhǔn)數(shù)據(jù)項(xiàng)、標(biāo)準(zhǔn)代碼、交換資源為視角展示所
4提供
涉及表數(shù)量和業(yè)務(wù)系統(tǒng)數(shù)量
交換資源詳情應(yīng)通過API資源和數(shù)據(jù)庫資源兩個(gè)維度展示交換次數(shù)和所
5提供
涉及業(yè)務(wù)系統(tǒng)數(shù)量
6資源交換熱度需展示交換熱度的Top5情況提供
7資源交換失敗需展示交換任務(wù)失敗的Top5情況提供
8費(fèi)源交換耗時(shí)需展示交換任務(wù)耗時(shí)的Top5情況提供
質(zhì)量概況需以統(tǒng)計(jì)方式展示今日數(shù)據(jù)質(zhì)量所涉及的部門、業(yè)務(wù)系統(tǒng)、檢
9核表、檢核數(shù)據(jù)量、問題數(shù)據(jù)量、問題率,同時(shí)也可展示業(yè)務(wù)系統(tǒng)問題提供
率排行
資產(chǎn)詳情
數(shù)據(jù)資產(chǎn)應(yīng)包含系統(tǒng)標(biāo)準(zhǔn)化排行、平臺(tái)數(shù)據(jù)量趨勢(shì)、原始庫、標(biāo)準(zhǔn)庫、
10主題庫數(shù)據(jù)情況、主題域數(shù)據(jù)情況統(tǒng)計(jì)、檢核類別分布、數(shù)據(jù)質(zhì)量報(bào)提供
告、系統(tǒng)質(zhì)量排行
11系統(tǒng)標(biāo)準(zhǔn)化排行需能展示校內(nèi)系統(tǒng)標(biāo)準(zhǔn)化排行情況提供
平臺(tái)數(shù)據(jù)量趨勢(shì)需展示原始庫、標(biāo)準(zhǔn)庫、主題庫近一個(gè)月的數(shù)據(jù)量變化
12提供
情況
數(shù)據(jù)庫情況要求能展示原始庫和標(biāo)準(zhǔn)庫的數(shù)據(jù)統(tǒng)計(jì)情況;主題庫能夠展
13提供
示主題資產(chǎn)統(tǒng)計(jì)情況
14主題域情況應(yīng)能展示各主題域數(shù)據(jù)統(tǒng)計(jì)情況和共享交換情況提供
15檢核類別分部應(yīng)能展示平臺(tái)所使用檢核類別分部情況提供
數(shù)據(jù)質(zhì)量報(bào)告需能展示數(shù)據(jù)質(zhì)量問題率、總體概況、質(zhì)量情況、問題詳
16提供
情、重點(diǎn)字段、檢核概況
系統(tǒng)質(zhì)量排行需展示平臺(tái)接入業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量排行情況,同時(shí)應(yīng)支持
17提供
下鉆至系統(tǒng)質(zhì)量報(bào)告進(jìn)行問題詳情查看
平臺(tái)運(yùn)行監(jiān)控
平臺(tái)運(yùn)行監(jiān)控應(yīng)包含平臺(tái)資源使用情況、磁盤空間占用情況、平臺(tái)任務(wù)
18提供
監(jiān)控情況、任務(wù)運(yùn)行耗時(shí)ToplO、平臺(tái)服務(wù)進(jìn)程監(jiān)控
平臺(tái)資源使用情況需以儀表盤方式展示平臺(tái)底層CPU、磁盤、內(nèi)存分配和
19提供
使用情況
磁盤數(shù)據(jù)占用情況需能以儀表盤方式展示治理數(shù)據(jù)所配置的磁盤空間及
20提供
使用情況
平臺(tái)任務(wù)監(jiān)控需能以圖表形式展示采集、轉(zhuǎn)換、集成、交換任務(wù)數(shù)量和
21提供
失敗任務(wù)數(shù)量
平臺(tái)任務(wù)耗時(shí)需能展示采集任務(wù)、轉(zhuǎn)換任務(wù)、集成任務(wù)、交換任務(wù)的耗
22提供
時(shí)ToplO排行情況
23平臺(tái)服務(wù)進(jìn)程監(jiān)控應(yīng)能展示維持平臺(tái)運(yùn)行所必須的進(jìn)程狀態(tài)提供
24投標(biāo)時(shí)需提供集中展示的數(shù)據(jù)概覽、資產(chǎn)詳情、平臺(tái)運(yùn)行監(jiān)控功能截圖提供
3.1.2標(biāo)準(zhǔn)管理
進(jìn)行本地化擴(kuò)充。《教育部教育管理信息標(biāo)準(zhǔn)》是由國家教育部頒布的標(biāo)準(zhǔn),
它對(duì)信息化標(biāo)準(zhǔn)建設(shè)起宏觀指導(dǎo)作用,信息標(biāo)準(zhǔn)的建設(shè)將以此為基本依據(jù);
本地化標(biāo)準(zhǔn)是各學(xué)校在以往工作中,根據(jù)實(shí)際工作需要規(guī)范學(xué)校信息編碼而
設(shè)立的信息標(biāo)準(zhǔn),它對(duì)統(tǒng)一信息標(biāo)準(zhǔn)建設(shè)起輔助和補(bǔ)充作用。
數(shù)據(jù)標(biāo)準(zhǔn)類型
管理學(xué)校不同的標(biāo)準(zhǔn)類型,如國標(biāo)/校標(biāo),國標(biāo)第幾版、校標(biāo)第幾版。
管理學(xué)校數(shù)據(jù)標(biāo)準(zhǔn)修改內(nèi)容,對(duì)每次修改的時(shí)間、修改人、描述、所屬版本號(hào)
進(jìn)行詳細(xì)描述。
學(xué)校數(shù)據(jù)標(biāo)準(zhǔn)版本管理。
學(xué)校數(shù)據(jù)標(biāo)準(zhǔn)版本詳細(xì)描述。
2提供
數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)管理。
管理學(xué)校數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn),支持Excel表格導(dǎo)入、導(dǎo)出功能。
搜索數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn),支持條件搜索、模糊查詢。
支持修改、添加功能,能按照格式修改或添加某一數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn),并生成新的
版本,并提交。
編碼標(biāo)準(zhǔn)
管理學(xué)校的編碼標(biāo)準(zhǔn),可查看編碼類型、標(biāo)準(zhǔn)類型、編碼標(biāo)準(zhǔn)。
3支持Excel表格導(dǎo)入、導(dǎo)出功能。提供
搜索編碼標(biāo)準(zhǔn),支持條件搜索、模糊查詢。
代碼標(biāo)準(zhǔn)
管理學(xué)校的基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn),可查看編碼編號(hào)、含義及枚舉。
4支持Excel表格導(dǎo)入、導(dǎo)出功能。提供
搜索基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn),支持條件搜索、模糊查詢。
數(shù)據(jù)質(zhì)量核驗(yàn)規(guī)則
管理學(xué)校編碼標(biāo)準(zhǔn)的數(shù)據(jù)質(zhì)量核驗(yàn)規(guī)則,可查看所屬系統(tǒng)、檢核類型、檢核
規(guī)則、責(zé)任部門,日期等。
支持Excel表格導(dǎo)入、導(dǎo)出功能。
5提供
搜索基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn),支持條件搜索、模糊查詢。
支持編輯、添加功能,能按照格式編輯或添加某一數(shù)據(jù)質(zhì)量核驗(yàn)規(guī)則,生成
新的版本,并提交。
主數(shù)據(jù)標(biāo)準(zhǔn)
管理表與表之間的關(guān)系。
6可支持表合并,并定義表名、字段、索引、SQL預(yù)覽功能。提供
根據(jù)條件選擇具體的表。
序號(hào)元數(shù)據(jù)管理設(shè)計(jì)技術(shù)要求
元數(shù)據(jù)管理
元數(shù)據(jù)管理基于CWM規(guī)范,同時(shí)提供內(nèi)置數(shù)據(jù)字典、代碼管理等技術(shù)元數(shù)據(jù)
和指標(biāo)、業(yè)務(wù)規(guī)則等業(yè)務(wù)元數(shù)據(jù),符合學(xué)校數(shù)據(jù)倉庫環(huán)境的各類元數(shù)據(jù)管理
模型。元模型可由用戶自定義擴(kuò)展,滿足客戶化元數(shù)據(jù)的需求。有元模型查
詢、元模型增加、元模型修改、元模型刪除、添加關(guān)系、權(quán)限設(shè)置等功能。
元數(shù)據(jù)管理是關(guān)于元數(shù)據(jù)的創(chuàng)建、存儲(chǔ)、整合以及控制的集合,用以支持和
基于元數(shù)據(jù)的相關(guān)應(yīng)用。通過對(duì)元數(shù)據(jù)的管理,主要達(dá)到以下目標(biāo):
1提供
提供校級(jí)數(shù)據(jù)字典,便于內(nèi)外部用戶更好地了解學(xué)校的數(shù)據(jù)概況;
提供全局元數(shù)據(jù)查詢檢索,便于用戶快速定位元數(shù)據(jù);
提供元數(shù)據(jù)詳細(xì)描述,使用戶了解數(shù)據(jù)組成、結(jié)構(gòu)及數(shù)據(jù)流向;
提供血緣/影響分析功能,便于用戶進(jìn)行分析判斷、問題定位;
提供數(shù)據(jù)屬性標(biāo)簽,便于用戶了解數(shù)據(jù)內(nèi)容含義,并為后續(xù)的數(shù)據(jù)質(zhì)量檢測(cè)、
學(xué)校搜索、維護(hù)數(shù)據(jù)提供支撐
元數(shù)據(jù)管理與維護(hù)
主要提供元數(shù)據(jù)的采集、變更維護(hù)等功能,便于數(shù)據(jù)中心的管理員能夠?qū)υ?/p>
2提供
數(shù)據(jù)進(jìn)行有效的管理。
元數(shù)據(jù)的版本管理
7$MLAf-HIT
IKSXSXXB.gatM
1*,,*?*??????mumflkax.—e初awh
HMVI?B*ntwk?rai*??
XSkBKSXSXXBflPurtHX
(j:":bnanmnw9aBMU.IMauawwr*.
.m..MB?WI**?B.W
BKSXSXX*
**??MUMMA.MVWMt
amit”,
BUSXSXXSo
■?^St?:R*g**9MA:law?UtflmrtMil:X>l*KinUfl提供
3awn?a.1■■■■■*—.
SKSXSXX*9
1WFS'S:xctstouHtmsaavasoax:工■■tanmai:xMwmue
MS?望。*0MNMkWa****
>a34s>e*M:?O6?.M4;nHn|aw|
主要提供元數(shù)據(jù)的歷史版本存儲(chǔ)、分析和比對(duì)的功能,使得用戶能夠根
據(jù)此對(duì)元數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)對(duì)象的變化情況進(jìn)行溯源。
影響分析
影響分析:為了實(shí)現(xiàn)正確、及時(shí)的分析功能,產(chǎn)品將學(xué)校元數(shù)據(jù)進(jìn)行整合,
改變了原有各IT系統(tǒng)、BI工具集數(shù)據(jù)模型等元數(shù)據(jù)間各自隔離、互補(bǔ)關(guān)聯(lián)
的現(xiàn)狀,有效地將各部分的局部表述統(tǒng)一為整體,歸并重復(fù)表述,并對(duì)沖突
4表述進(jìn)行甄別并提供進(jìn)一步處理,在此基礎(chǔ)上影響分析提供基于數(shù)據(jù)流影響提供
分析功能。用戶分析能迅速了解分析對(duì)象的下游數(shù)據(jù)信息,快速識(shí)別元數(shù)據(jù)
的價(jià)值,掌握元數(shù)據(jù)變更可能造成的影響,以便更有效的評(píng)估變化帶來的風(fēng)
險(xiǎn),從而幫助用戶有高效準(zhǔn)確的對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行清理、維護(hù)與使用。
血緣分析
血緣分析:與影響分析類似,血緣分析是建立在學(xué)校整體元數(shù)據(jù)整合的
基礎(chǔ)上,提供了跨IT系統(tǒng)、跨BI工具的元數(shù)據(jù)分析,實(shí)現(xiàn)以數(shù)據(jù)流向?yàn)橹?/p>
線的血緣追溯。血緣分析的作用主要表現(xiàn)為以下幾個(gè)方面,提升報(bào)表信息的
5提供
可信度,為學(xué)校數(shù)據(jù)的合規(guī)性提供驗(yàn)證手段,幫助業(yè)務(wù)部門與IT支撐部門實(shí)
現(xiàn)信息共享、提升協(xié)調(diào)工作效率。
數(shù)據(jù)地圖
數(shù)據(jù)地圖:學(xué)校內(nèi)的元數(shù)據(jù),種類繁多、形式各異,集中管理元數(shù)據(jù)后,如何
提供便捷的使用方式,變成為發(fā)揮學(xué)校信息資產(chǎn)價(jià)值的關(guān)鍵。無論是元數(shù)據(jù)
查詢等功能,面向元數(shù)據(jù)細(xì)節(jié)信息的使用需求,更適用于具體的人員、部門
基于元數(shù)據(jù)開展相關(guān)工作,對(duì)于學(xué)校管理人員等高層用于,由于關(guān)注范圍廣
泛,大量的細(xì)節(jié)信息不能有效的滿足該類用戶的需要,而學(xué)校的數(shù)據(jù)地圖用
于宏觀層面,組織信息,力求以用戶視角對(duì)學(xué)校信息進(jìn)行歸并、整理,展現(xiàn)
學(xué)校的宏觀信息,有效挖掘?qū)W校信息的潛在價(jià)值。
數(shù)據(jù)概覽
存儲(chǔ)等排名、主題域數(shù)據(jù)分布、應(yīng)用引用數(shù)據(jù)表分布、我最近訪問的表、我
最近收藏的表等功能。
序號(hào)技術(shù)指標(biāo)描述要求
數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布中心
數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布中心支持發(fā)布數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)、數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)對(duì)比、編輯公告信息、
1提供
上傳相關(guān)附件及國際文件操作
2支持平臺(tái)所發(fā)布的信息公告查看提供
為了方便學(xué)校對(duì)數(shù)據(jù)標(biāo)準(zhǔn)維護(hù),要求平臺(tái)能展示已發(fā)布的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)信息,
3提供
同時(shí)對(duì)己發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)提供下載、word版導(dǎo)出功能
支持查看當(dāng)前數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)版本的使用情況,包含數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)數(shù)量、代碼標(biāo)準(zhǔn)
4提供
數(shù)量、教育部標(biāo)準(zhǔn)數(shù)量、發(fā)布版本數(shù)量、分類數(shù)量、數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的執(zhí)行率
5支持下載、上傳國家/教育部的標(biāo)準(zhǔn)文檔提供
6支持下載、上傳其他相關(guān)附件提供
數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)
需支持?jǐn)?shù)據(jù)項(xiàng)顆粒度級(jí)別的標(biāo)準(zhǔn)的查看、新增、修改、刪除、導(dǎo)入、導(dǎo)出、
7提供
下載模板功能
需支持按照數(shù)據(jù)項(xiàng)分類、數(shù)據(jù)項(xiàng)子集名稱(精確查詢、模糊查詢)、審核狀
8提供
態(tài)條件進(jìn)行數(shù)據(jù)項(xiàng)查詢
9需支持對(duì)數(shù)據(jù)項(xiàng)所屬代碼標(biāo)準(zhǔn)、對(duì)應(yīng)數(shù)據(jù)項(xiàng)執(zhí)行的檢核規(guī)則進(jìn)行管理提供
支持記錄并展示單個(gè)數(shù)據(jù)項(xiàng)的版本變化情況、當(dāng)前版本以及每個(gè)版本數(shù)據(jù)項(xiàng)
10提供
的使用情況
11需支持?jǐn)?shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的提交審核功能,顯示數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的審核狀態(tài)提供
需支持?jǐn)?shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的新增功能,支持定義數(shù)據(jù)項(xiàng)編碼、中文簡稱、數(shù)據(jù)項(xiàng)
12提供
名、業(yè)務(wù)定義及規(guī)則、類型、長度信息。
13需支持關(guān)聯(lián)數(shù)據(jù)子集、針對(duì)已審批通過的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)選擇關(guān)聯(lián)的數(shù)據(jù)子集提供
需要支持?jǐn)?shù)據(jù)項(xiàng)子集分類結(jié)構(gòu)的管理,包含數(shù)據(jù)項(xiàng)子集的新增、修改、刪除
14提供
功能
15需要支持?jǐn)?shù)據(jù)項(xiàng)子集關(guān)聯(lián)數(shù)據(jù)項(xiàng),在關(guān)聯(lián)過程中支持定義數(shù)據(jù)項(xiàng)的約束提供
16需要支持按照數(shù)據(jù)項(xiàng)名、數(shù)據(jù)項(xiàng)中文名條件進(jìn)行數(shù)據(jù)子集的查詢提供
17需支持?jǐn)?shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的發(fā)布功能,支持填寫數(shù)據(jù)項(xiàng)版本和版本描述提供
需要支持代碼管理功能,包含代碼標(biāo)準(zhǔn)的新增、刪除、導(dǎo)入、導(dǎo)出、修改、
18提供
下載模板功能
需要支持按照代碼標(biāo)準(zhǔn)中文名稱、拼音標(biāo)識(shí)、標(biāo)準(zhǔn)類型、審核狀態(tài)條件進(jìn)行
19提供
代碼標(biāo)準(zhǔn)的查詢
需要支持代碼的新增、編輯功能,支持定義代碼基本信息和代碼內(nèi)容,可設(shè)
20提供
置代碼內(nèi)容的啟停用
元數(shù)據(jù)管理
需要支持通過UC矩陣功能,對(duì)于標(biāo)準(zhǔn)表的數(shù)據(jù)生產(chǎn)部門、生產(chǎn)系統(tǒng)、使用
21提供
部門、使用系統(tǒng)進(jìn)行查看
需要支持通過UC矩陣功能,對(duì)于標(biāo)準(zhǔn)表字段的數(shù)據(jù)生產(chǎn)部門、生成系統(tǒng)、
22提供
使用系統(tǒng)、使用部門進(jìn)行查看
23需要支持?jǐn)?shù)據(jù)定責(zé)功能,通過數(shù)據(jù)定責(zé)可維護(hù)各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)責(zé)任人提供
24對(duì)于數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)應(yīng)支持?jǐn)?shù)據(jù)生產(chǎn)部門的調(diào)整,以輔助學(xué)校定位“一數(shù)一源”提供
需要支持?jǐn)?shù)據(jù)地圖功能,支持查詢標(biāo)準(zhǔn)庫、主題庫的數(shù)據(jù)表的數(shù)據(jù)鏈路關(guān)
25提供
系,包括血緣分析、影響分析、全鏈分析
支持查詢標(biāo)準(zhǔn)庫、主題庫的數(shù)據(jù)庫表內(nèi)數(shù)據(jù)字段的數(shù)據(jù)鏈路關(guān)系,包括血緣
26提供
分析、影響分析、全鏈分析
支持查詢標(biāo)準(zhǔn)庫、主題庫的數(shù)據(jù)庫表內(nèi)數(shù)據(jù)內(nèi)容的數(shù)據(jù)鏈路關(guān)系,包括血緣
27提供
分析、影響分析、全鏈分析
★需支持?jǐn)?shù)據(jù)鏈路圖各節(jié)點(diǎn)的上下游情況查看,點(diǎn)擊某個(gè)節(jié)點(diǎn)查看該節(jié)點(diǎn)上
28提供
下游的操作詳情
需要支持?jǐn)?shù)據(jù)字典查看、搜索功能,可根據(jù)數(shù)據(jù)存儲(chǔ)層級(jí)、業(yè)務(wù)系統(tǒng)、表
29提供
名,對(duì)數(shù)據(jù)字典進(jìn)行查看,同時(shí)可支持按照層級(jí)、業(yè)務(wù)系統(tǒng)、表名進(jìn)行查詢
支持?jǐn)?shù)據(jù)字典管理功能,平臺(tái)需提供對(duì)數(shù)據(jù)字典進(jìn)行收藏、修改、刪除等功
30提供
能,同時(shí)也應(yīng)支持對(duì)數(shù)據(jù)字典的添加、導(dǎo)出等功能。
數(shù)據(jù)字典支持查看數(shù)據(jù)詳情。包含數(shù)據(jù)字典基本信息、表結(jié)構(gòu)及歷史、血緣
31提供
關(guān)系、數(shù)據(jù)預(yù)覽,表結(jié)構(gòu)及歷史、下載表結(jié)構(gòu)等。
數(shù)據(jù)項(xiàng)版本
需支持查看學(xué)校發(fā)布的所有數(shù)據(jù)項(xiàng)版本信息,可根據(jù)數(shù)據(jù)項(xiàng)版本和版本描述
32提供
對(duì)數(shù)據(jù)項(xiàng)版本信息進(jìn)行查詢
支持查看所有已發(fā)布的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn),支持選擇任意兩個(gè)已發(fā)布的數(shù)據(jù)版本進(jìn)
33提供
行對(duì)比。展示版本間的差異,包括新增、修改、刪除
34需支持對(duì)學(xué)校發(fā)布的數(shù)據(jù)項(xiàng)版本導(dǎo)出提供
數(shù)據(jù)審核
★需具有數(shù)據(jù)標(biāo)準(zhǔn)審批流程,當(dāng)對(duì)代碼標(biāo)準(zhǔn)、數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)、標(biāo)準(zhǔn)表結(jié)構(gòu)、檢
35核規(guī)則的新增、修改操作時(shí)平臺(tái)需要進(jìn)行審核(“審核通過”或者“審核不提供
通過”),完善數(shù)據(jù)標(biāo)準(zhǔn)管理體系。
數(shù)據(jù)審核可查看表變更、基礎(chǔ)數(shù)據(jù)變更的詳細(xì)情況,支持通過審核情況及審
36提供
核日期進(jìn)行查詢
3.1,3主數(shù)據(jù)管理
序主數(shù)據(jù)管理技術(shù)設(shè)計(jì)
要求
號(hào)
主數(shù)據(jù)集成過程管理
1-----------------?…-----------------9---------------------------------------g1
■waawanannHneanan*
""M?sR?t*c?■!<?-1A-[-.)aatte
im?MnO
aaafljiimw?>oslim
as?■V?aattc
1ZSJ9.t.cod(.iUn(MJDOWCJHT*?t6@2。
1提供
iZ&KLMMMOUH4VSS?BO
>mQQwcktxMpdataqMut/ARB(BRO
4J*”5l?B??RO
B2MjMtunx.?*>c?an?CB<B0O
圖:數(shù)據(jù)集成過程管理
數(shù)據(jù)集成過程中,第一步需要進(jìn)行的是數(shù)據(jù)清洗與轉(zhuǎn)換,數(shù)據(jù)清洗的主要目的
是把數(shù)據(jù)中的臟數(shù)據(jù)進(jìn)行過濾,把多個(gè)數(shù)據(jù)源中同一個(gè)屬性的描述統(tǒng)一表示。原始
庫中的數(shù)據(jù)經(jīng)過數(shù)據(jù)清洗會(huì)保存到標(biāo)準(zhǔn)庫中。數(shù)據(jù)清洗列表中展示了當(dāng)前的清洗作
業(yè),可以批量設(shè)置作業(yè)的開啟和關(guān)閉狀態(tài),同時(shí)也提供了設(shè)置調(diào)度時(shí)間。數(shù)據(jù)清洗
設(shè)置包含了數(shù)據(jù)過濾和數(shù)據(jù)替換兩個(gè)功能。數(shù)據(jù)過濾主要是把原始庫中的臟數(shù)據(jù)過
濾掉,保證標(biāo)準(zhǔn)庫中數(shù)據(jù)都是滿足業(yè)務(wù)要求的。數(shù)據(jù)替換的主要功能是把各個(gè)業(yè)務(wù)
系統(tǒng)中對(duì)同一個(gè)屬性的描述替換成同一個(gè)數(shù)據(jù),保證屬性描述的一致性。在數(shù)據(jù)替
換模塊,引進(jìn)了標(biāo)準(zhǔn)化數(shù)據(jù)。把常用的枚舉數(shù)據(jù)保存到標(biāo)準(zhǔn)庫中,主要包括性別,
生源地,學(xué)院等屬性。
數(shù)據(jù)清洗完畢后,第二步進(jìn)行中心庫數(shù)據(jù)集成。在中心庫管理模塊對(duì)數(shù)據(jù)進(jìn)行
歸并和校正時(shí),有時(shí)會(huì)遇到數(shù)據(jù)異常現(xiàn)象將使用區(qū)間限定法和歷史數(shù)據(jù)近似值等方
法修復(fù),如:成績信息,可能存在異常填寫,超出正常范圍,此時(shí)需要采用區(qū)間限
定方法去除異常數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行校正,如果存在數(shù)據(jù)格式錯(cuò)誤,將通過規(guī)則對(duì)數(shù)
據(jù)進(jìn)行修復(fù),如:日期的表現(xiàn)格式中不同的系統(tǒng)中可能格式不一樣,因此,需要使
用同步規(guī)則將日期轉(zhuǎn)換成統(tǒng)一的標(biāo)準(zhǔn)。在對(duì)數(shù)據(jù)進(jìn)行修復(fù)是,有時(shí)也需要人工干預(yù)
判斷。對(duì)于數(shù)據(jù)缺失,將根據(jù)業(yè)務(wù)系統(tǒng)特點(diǎn),如果在業(yè)務(wù)系統(tǒng)中存在該數(shù)據(jù),將采
取從業(yè)務(wù)系統(tǒng)再次導(dǎo)入,如果不存在該數(shù)據(jù),將根據(jù)數(shù)據(jù)規(guī)則手動(dòng)校正數(shù)據(jù)和補(bǔ)入,
同時(shí)建立補(bǔ)入規(guī)則,實(shí)現(xiàn)后續(xù)缺失數(shù)據(jù)的自動(dòng)補(bǔ)入。對(duì)于沒有價(jià)值或不影響業(yè)務(wù)的
數(shù)據(jù),將放棄該數(shù)據(jù)。
由于業(yè)務(wù)系統(tǒng)眾多并相對(duì)獨(dú)立,從而數(shù)據(jù)重復(fù)在建立統(tǒng)一數(shù)據(jù)庫時(shí)將是數(shù)據(jù)治
理中很大的一部分內(nèi)容,因此將采用自動(dòng)對(duì)比方式,清除完全重復(fù)的數(shù)據(jù)記錄,同
一種記錄存在差異,但有效只能保存一條時(shí),將采用按時(shí)間對(duì)比的方式,去除過期
數(shù)據(jù)。在面臨程序不能正確判斷數(shù)據(jù)是否正確的邏輯數(shù)據(jù)時(shí),則需要人工加以判斷,
制定去重規(guī)則。
數(shù)據(jù)類型支持:
數(shù)據(jù)庫:Oracle、DB2、Teradata、MSSQLServer>MySQL等
大數(shù)據(jù)文件:Hive、HDFS等文件
其他來源:XML、Excel.CSV,TXT、log文件等客戶化元數(shù)據(jù)
中心庫構(gòu)建與管理設(shè)計(jì)
圖:中心庫結(jié)構(gòu)效果圖
根據(jù)數(shù)據(jù)治理的數(shù)據(jù)關(guān)系模型和數(shù)據(jù)標(biāo)準(zhǔn)(數(shù)據(jù)元素標(biāo)準(zhǔn)、代碼標(biāo)準(zhǔn)),構(gòu)建
以人(教師、學(xué)生)為核心的數(shù)據(jù)管理中心庫物理模型并建庫。基礎(chǔ)庫的內(nèi)容主要
包括且不僅限于:公共代碼、組織機(jī)構(gòu)信息、人事基本信息、學(xué)生基本信息、科研
2項(xiàng)目基本信息、科研論文基本信息、科研機(jī)構(gòu)基本信息、設(shè)備基本信息、房產(chǎn)基本提供
信息、專業(yè)基本信息、課程庫基本信息、人事耿務(wù)信息、人事職稱信息、人事崗位
信息、研究生導(dǎo)師信息、學(xué)生選課信息、學(xué)生成績信息、獎(jiǎng)助貸信息、參與科研項(xiàng)
目信息、參與科研論文編寫信息、設(shè)備保管信息、房產(chǎn)管理信息。中心基礎(chǔ)庫的建
設(shè)要兼顧到國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)以及學(xué)校實(shí)際業(yè)務(wù)情況,滿足學(xué)校管理需要以及上
報(bào)數(shù)據(jù)需求。
根據(jù)數(shù)據(jù)關(guān)系模型,通過數(shù)據(jù)共享交換平臺(tái)抽取業(yè)務(wù)數(shù)據(jù),集成包括基礎(chǔ)數(shù)據(jù)
庫、業(yè)務(wù)共享數(shù)據(jù)庫和決策支持?jǐn)?shù)據(jù)庫在內(nèi)的統(tǒng)一、完整、準(zhǔn)確、實(shí)時(shí)的中心數(shù)據(jù)
庫。基礎(chǔ)數(shù)據(jù)庫主要以人員(教工、學(xué)生)、教學(xué)、科研、財(cái)務(wù)、資產(chǎn)等對(duì)象的基
礎(chǔ)信息組成,具有識(shí)別唯一性、特征一致性和業(yè)務(wù)穩(wěn)定性等特點(diǎn);業(yè)務(wù)共享數(shù)據(jù)庫
主要以面向業(yè)務(wù)主題的共享信息組成,具有事務(wù)性、擴(kuò)展性和多應(yīng)用共享復(fù)用等特
點(diǎn);決策支持?jǐn)?shù)據(jù)庫存儲(chǔ)決策分析模型、報(bào)表、圖表等信息。
中心數(shù)據(jù)庫根據(jù)業(yè)務(wù)規(guī)則,通過數(shù)據(jù)共享交換平臺(tái)提供接口調(diào)用和主動(dòng)推送方式,
分發(fā)同步至相關(guān)業(yè)務(wù)系統(tǒng)中,達(dá)到消除數(shù)據(jù)多頭采集、重復(fù)采集造成的數(shù)據(jù)不一致
現(xiàn)象。中心數(shù)據(jù)庫作為學(xué)校的核心數(shù)據(jù)庫,運(yùn)維工作非常重要,需要制訂完備的運(yùn)
行維護(hù)機(jī)制,包括數(shù)據(jù)備份、恢復(fù)、歸檔等的策略和實(shí)施。
序號(hào)技術(shù)指標(biāo)描述要求
數(shù)據(jù)概覽
需通過柱狀圖展示主題庫記錄數(shù)分布情況;通過餅狀圖展示主題庫存儲(chǔ)
1占用分布;通過環(huán)形圖展示主數(shù)據(jù)檢核類型分布;通過折線圖展示主數(shù)提供
據(jù)質(zhì)量趨勢(shì)
標(biāo)準(zhǔn)庫結(jié)構(gòu)管理
需支持標(biāo)準(zhǔn)庫結(jié)構(gòu)管理功能,可基于業(yè)務(wù)部門、業(yè)務(wù)系統(tǒng)等維度對(duì)標(biāo)準(zhǔn)
2提供
庫表進(jìn)行查詢,同時(shí)也應(yīng)支持對(duì)標(biāo)準(zhǔn)庫表按照表名和更新時(shí)間進(jìn)行排序
3需支持以可視化方式對(duì)標(biāo)準(zhǔn)庫表新增、拷貝、修改提供
需支持標(biāo)準(zhǔn)庫表詳情查看功能。選擇標(biāo)準(zhǔn)庫表,可跳轉(zhuǎn)查看表詳情,表
4詳情應(yīng)包含:基本信息、表字段信息、索引信息;基本信息應(yīng)可查看表提供
名稱、數(shù)據(jù)庫來源、業(yè)務(wù)系統(tǒng)來源等
★標(biāo)準(zhǔn)庫表新建過程中須引用已審核通過的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn);檢索數(shù)據(jù)項(xiàng)標(biāo)
5準(zhǔn)時(shí)需支持按照數(shù)據(jù)子集、數(shù)據(jù)項(xiàng)名、數(shù)據(jù)項(xiàng)中文名檢索數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn);提供
新建或修改的標(biāo)準(zhǔn)庫表結(jié)構(gòu)時(shí),提交并審核通過后方能生效
6為方便用戶去使用標(biāo)準(zhǔn)庫表,需支持標(biāo)準(zhǔn)庫表的索引添加提供
主題庫結(jié)構(gòu)管理
需支持圖形化界面展示主題庫信息、,同時(shí)還應(yīng)支持以列表形式展示主題
7提供
庫信息
列表方式需支持搜索功能,可對(duì)主題庫表進(jìn)行搜索,同時(shí)也應(yīng)支持對(duì)主
8提供
題庫表按照表名、更新時(shí)間進(jìn)行排序
需支持以可視化方式對(duì)主題庫表的新增、拷貝、修改,同時(shí)也應(yīng)支持基
9提供
于各業(yè)務(wù)分析、展示需求建立主題庫表,支持建表SQL預(yù)覽功能
需支持主題庫表詳情查看功能。選擇標(biāo)準(zhǔn)庫表,可跳轉(zhuǎn)查看表詳情,表
10提供
詳情應(yīng)包含:基本信息、表字段信息、索引信息
主題庫表新建過程中須引用已審核通過的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn);檢索數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)
11時(shí)需支持按照數(shù)據(jù)子集、數(shù)據(jù)項(xiàng)名、數(shù)據(jù)項(xiàng)中文名檢索數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn);新提供
建或修改的主題庫表結(jié)構(gòu)時(shí),提交并審核通過后方能生效
12為方便用戶去使用主題庫表,需支持標(biāo)準(zhǔn)庫表的索引添加提供
數(shù)據(jù)關(guān)系管理
★需支持以可視化方式展示數(shù)據(jù)流轉(zhuǎn)架構(gòu)。界面應(yīng)呈現(xiàn)原始庫、主題
13庫、標(biāo)準(zhǔn)庫數(shù)據(jù)流轉(zhuǎn)關(guān)系;同時(shí)可以通過視化界面實(shí)現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)提供
轉(zhuǎn)換、數(shù)據(jù)集成功能
支持可視化數(shù)據(jù)集成功能,可根據(jù)業(yè)務(wù)需求對(duì)單表、多表處理。如單表
14提供
轉(zhuǎn)換、多表集成、多表轉(zhuǎn)換功能
數(shù)據(jù)采集需支持根據(jù)表名、采集狀態(tài)、是否開啟、增量狀態(tài)、定時(shí)狀態(tài)
15提供
五種檢索條件查詢采集任務(wù)
數(shù)據(jù)采集需支持設(shè)置增量字段,單個(gè)采集表單可以配置多個(gè)增量字段進(jìn)
16提供
行采集
數(shù)據(jù)采集需要支持采集任務(wù)調(diào)度設(shè)置。應(yīng)具有查看標(biāo)準(zhǔn)化、手動(dòng)執(zhí)行、
17提供
查看執(zhí)行日志、查看鏈路分析、初始化、啟停用采集的功能
數(shù)據(jù)采集需要支持對(duì)采集數(shù)據(jù)表原始結(jié)構(gòu)變動(dòng)的感知同步功能,當(dāng)業(yè)務(wù)
18系統(tǒng)原始數(shù)據(jù)表結(jié)構(gòu)發(fā)生變化時(shí)平臺(tái)采集會(huì)自動(dòng)感知結(jié)構(gòu)變化并以消息提供
通知提醒
數(shù)據(jù)采集需要支持原始表結(jié)構(gòu)變更同步,展示變更結(jié)構(gòu)與原結(jié)構(gòu)變化對(duì)
19提供
比,點(diǎn)擊同步按鈕則會(huì)應(yīng)用新的業(yè)務(wù)表結(jié)構(gòu)并保存歷史記錄
數(shù)據(jù)轉(zhuǎn)換需要支持轉(zhuǎn)換任務(wù)調(diào)度設(shè)置功能。應(yīng)具有手動(dòng)執(zhí)行、查看執(zhí)行
20提供
日志、查看配置、編輯、初始化、刪除的功能。
數(shù)據(jù)轉(zhuǎn)換需支持根據(jù)表名、轉(zhuǎn)換方式、是否開啟、執(zhí)行狀態(tài)、定時(shí)狀態(tài)
21提供
五種檢索條件查詢轉(zhuǎn)換任務(wù)
數(shù)據(jù)轉(zhuǎn)化需要支持代碼轉(zhuǎn)化功能,選擇原始代碼表并配置標(biāo)準(zhǔn)代碼轉(zhuǎn)換
22提供
規(guī)則即可完成標(biāo)準(zhǔn)代碼轉(zhuǎn)換工作。
數(shù)據(jù)集成需支持根據(jù)表名、集成方式、是否開啟、執(zhí)行狀態(tài)、定時(shí)狀態(tài)
23提供
五種檢索條件查詢集成任務(wù)
數(shù)據(jù)集成需要支持集成任務(wù)調(diào)度設(shè)置功能。應(yīng)具有手動(dòng)執(zhí)行、查看執(zhí)行
24提供
日志、查看配置、編輯、初始化、刪除的功能
數(shù)據(jù)集成應(yīng)支持對(duì)兩個(gè)或多個(gè)表單進(jìn)行關(guān)聯(lián)配置,最終集成為一個(gè)數(shù)據(jù)
25提供
表單,形成主體數(shù)據(jù)進(jìn)行存放。
數(shù)據(jù)查詢
需支持原始庫的查詢功能,需提供通過多組檢索條件對(duì)原始層數(shù)據(jù)進(jìn)行
查詢。對(duì)于增量采集的數(shù)據(jù)需開放單個(gè)數(shù)據(jù)的歷史數(shù)據(jù)查詢;展示該數(shù)
26據(jù)變化的歷程,支持查看失效數(shù)據(jù)、查看對(duì)于學(xué)校已經(jīng)刪除的數(shù)據(jù)、查提供
看學(xué)校某個(gè)時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài),方便學(xué)校對(duì)于原始庫數(shù)據(jù)的管理,監(jiān)測(cè)
數(shù)據(jù)采集的真實(shí)性、有效性
需支持標(biāo)準(zhǔn)庫的查詢功能,需提供通過多組檢索條件對(duì)原始層數(shù)據(jù)進(jìn)行
查詢。對(duì)于增量采集的數(shù)據(jù)需開放單個(gè)數(shù)據(jù)的歷史數(shù)據(jù)查詢;展示該數(shù)
27據(jù)變化的歷程,支持查看失效數(shù)據(jù)、查看對(duì)于學(xué)校已經(jīng)刪除的數(shù)據(jù)、查提供
看學(xué)校某個(gè)時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài),方便學(xué)校對(duì)于標(biāo)準(zhǔn)庫數(shù)據(jù)的管理,監(jiān)測(cè)
數(shù)據(jù)采集的真實(shí)性、有效性
需支持主題庫的查詢功能,需提供通過多組檢索條件對(duì)原始層數(shù)據(jù)進(jìn)行
查詢。對(duì)于增量采集的數(shù)據(jù)需開放單個(gè)數(shù)據(jù)的歷史數(shù)據(jù)查詢;展示該數(shù)
28據(jù)變化的歷程,支持查看失效數(shù)據(jù)、查看對(duì)于學(xué)校已經(jīng)刪除的數(shù)據(jù)、查提供
看學(xué)校某個(gè)時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài),方便學(xué)校對(duì)于主題庫數(shù)據(jù)的管理,監(jiān)測(cè)
數(shù)據(jù)采集的真實(shí)性、有效性
★需支持原始庫、標(biāo)準(zhǔn)庫、主題庫數(shù)據(jù)查詢結(jié)果顯示列的篩選功能,通
29提供
過選擇需要顯示的字段,控制數(shù)據(jù)查詢界面展示結(jié)果
離線表導(dǎo)入
為滿足學(xué)校離線數(shù)據(jù)使用需求平臺(tái)需支持離線表導(dǎo)入功能。要求根據(jù)線
30提供
下EXCEL表信息在線建立表結(jié)構(gòu),設(shè)置字段的校驗(yàn)規(guī)則
需支持在線填報(bào)數(shù)據(jù)和線下表導(dǎo)入。支持?jǐn)?shù)據(jù)的新增、修改、刪除、模
31板下載、導(dǎo)入、導(dǎo)出操作。輔助學(xué)校將一些需要治理交換的表格電子化提供
并納入治理交換流程
備份管理
32需支持原始庫、標(biāo)準(zhǔn)庫、主題庫數(shù)據(jù)備份管理提供
支持配置備份任務(wù)、手動(dòng)執(zhí)行備份、刪除備份、查看備份內(nèi)容設(shè)置、備
33提供
份是否開啟操作
3.1.4數(shù)據(jù)共享交換
序號(hào)數(shù)據(jù)共享交換設(shè)計(jì)技術(shù)要求
數(shù)據(jù)共享交換模塊提供各業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入的接口,實(shí)現(xiàn)數(shù)據(jù)交換
平臺(tái)和各信息系統(tǒng)的有機(jī)結(jié)合,以統(tǒng)一的數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和接口
1提供
規(guī)范實(shí)現(xiàn)數(shù)據(jù)自動(dòng)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)送、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)審核等,
同時(shí)支持?jǐn)?shù)據(jù)同步、歷史數(shù)據(jù)遷移等。數(shù)據(jù)交換平臺(tái)是以“統(tǒng)一標(biāo)準(zhǔn)”、
“統(tǒng)一處理"、“統(tǒng)一交換”、“保證質(zhì)量”、“透明開放”的方式,為
不同業(yè)務(wù)系統(tǒng)、不同數(shù)據(jù)庫、不同數(shù)據(jù)格式之間進(jìn)行數(shù)據(jù)交換而提供服務(wù)
的平臺(tái)。數(shù)據(jù)交換平臺(tái)主要通過以下兩大類模式提供數(shù)據(jù)的共享發(fā)布和對(duì)
外開放:數(shù)據(jù)訂閱類與實(shí)時(shí)傳輸類。其中數(shù)據(jù)訂閱類含有輪詢訂閱模式,
實(shí)時(shí)傳輸類有實(shí)時(shí)接口模式、API共享模式。其計(jì)算框架主要由數(shù)據(jù)傳輸
框架與報(bào)文傳輸框架組成。
數(shù)據(jù)傳輸技術(shù)框架
分布式數(shù)據(jù)交換系統(tǒng)能夠把各種紛繁復(fù)雜的數(shù)據(jù)系統(tǒng)集成在一起完成特
定業(yè)務(wù),提供同構(gòu)數(shù)據(jù)、異構(gòu)數(shù)據(jù)之間的數(shù)據(jù)抽取、格式轉(zhuǎn)換、內(nèi)容過
濾、內(nèi)容轉(zhuǎn)換、同異步傳輸、動(dòng)態(tài)部署、可視化管理監(jiān)控等方面功能,
支持的數(shù)據(jù)庫包括各主流數(shù)據(jù)庫(如Oracle、SQLServer,MySQL等)、
地理空間數(shù)據(jù)(如衛(wèi)星影像、矢量數(shù)據(jù))、常規(guī)文件(word、excel、
pdf)等各種格式。分布式數(shù)據(jù)交換平臺(tái)可以實(shí)時(shí)或定時(shí)源系統(tǒng)采集數(shù)
據(jù),在數(shù)據(jù)從原始庫流向標(biāo)準(zhǔn)庫的過程中,監(jiān)控?cái)?shù)據(jù)量、數(shù)據(jù)內(nèi)容、數(shù)
據(jù)唯一性、正確性的變化情況,形成數(shù)據(jù)質(zhì)量報(bào)告和數(shù)據(jù)質(zhì)量告警。
實(shí)際部署過程中,將采用數(shù)臺(tái)服務(wù)器充當(dāng)ETL采集器,然后對(duì)接的目標(biāo)
系統(tǒng)的數(shù)據(jù)視圖、JDBC、共享網(wǎng)絡(luò)發(fā)現(xiàn)等接口,即可對(duì)數(shù)據(jù)進(jìn)行相關(guān)采
集。
數(shù)據(jù)報(bào)文傳輸技術(shù)框架
00)
數(shù)據(jù)提供方數(shù)據(jù)提供方
0)提供
數(shù)據(jù)提供方
數(shù)據(jù)提供方
數(shù)據(jù)提供方
分布式服務(wù)系統(tǒng)正是使用目前主流的分布式服務(wù)框架進(jìn)行開發(fā)的分布式
數(shù)據(jù)服務(wù)平臺(tái),通過分布式的服務(wù)節(jié)點(diǎn)將所有數(shù)據(jù)服務(wù)的調(diào)度申請(qǐng)與處
理進(jìn)行統(tǒng)一調(diào)度。分布式服務(wù)系統(tǒng)為所有的業(yè)務(wù)系統(tǒng)提供統(tǒng)一的服務(wù)管
理,數(shù)據(jù)使用者在取得數(shù)據(jù)授權(quán)的前提下,開發(fā)應(yīng)用客戶端調(diào)用數(shù)據(jù)接
口獲取數(shù)據(jù)服務(wù),系統(tǒng)將記錄接口調(diào)用記錄,形成接口調(diào)用分析表。
數(shù)據(jù)輪詢模式:數(shù)據(jù)輪詢交換模式,指數(shù)據(jù)使用者訂閱數(shù)據(jù),在運(yùn)營者審
批授權(quán)后,數(shù)據(jù)提供者根據(jù)訂閱信息從業(yè)務(wù)系統(tǒng)中提取數(shù)據(jù)生成數(shù)據(jù)文
件,由數(shù)據(jù)交換平臺(tái)采集、處理、推送到使用者端,或者將數(shù)據(jù)文件放置
在安全的FTP服務(wù)器,供訂閱人下載的服務(wù)模式。該模式適合于數(shù)據(jù)實(shí)時(shí)
性要求不太高的情況。
當(dāng)數(shù)據(jù)提供方與數(shù)據(jù)需求方建立起訂閱關(guān)系時(shí),分別可以選擇兩種
不同的訂閱模式。以下分別說明:
增量數(shù)據(jù)訂閱:增量數(shù)據(jù)訂閱分兩個(gè)階段:初始化與更新訂閱。初始
化階段為數(shù)據(jù)全量采集階段,并在數(shù)據(jù)共享交換平臺(tái)中保留增量標(biāo)識(shí)(時(shí)
間戳/版本號(hào)/狀態(tài)位)。更新訂閱階段時(shí)將檢測(cè)上一次增量標(biāo)識(shí)與本次增
量標(biāo)識(shí)的差距,并對(duì)差距范圍內(nèi)的數(shù)據(jù)進(jìn)行更新。
全量數(shù)據(jù)訂閱:每次數(shù)據(jù)更新進(jìn)行全量數(shù)據(jù)覆蓋,數(shù)據(jù)更新條件可以
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 文化IP開發(fā)師崗位面試問題及答案
- 數(shù)據(jù)倉庫開發(fā)工程師崗位面試問題及答案
- 江西省贛州市四校協(xié)作體2025年高二下化學(xué)期末監(jiān)測(cè)試題含解析
- 河南省輝縣一高2025屆高一化學(xué)第二學(xué)期期末復(fù)習(xí)檢測(cè)試題含解析
- 民工工資管理暫行辦法
- 國企資產(chǎn)轉(zhuǎn)讓管理辦法
- 北京教師處境管理辦法
- 就業(yè)創(chuàng)業(yè)指導(dǎo)的新策略
- 公園管理良策管理辦法
- 公墓收費(fèi)管理辦法貴州
- 涂裝廠協(xié)議書范本
- 服裝立體裁剪試題及答案
- 2025-2030中國近地軌道衛(wèi)星行業(yè)市場(chǎng)發(fā)展趨勢(shì)與前景展望戰(zhàn)略研究報(bào)告
- 板式家具生產(chǎn)工藝流程
- 《神經(jīng)母細(xì)胞瘤》課件
- 植保知識(shí)無人機(jī)課件圖片
- 材料欠款擔(dān)保協(xié)議書
- T-CCASC 0038-2024 廢鹽為原料離子膜法燒堿應(yīng)用核查技術(shù)規(guī)范
- 工程建設(shè)項(xiàng)目EPC總承包管理規(guī)范
- 輸血錯(cuò)誤應(yīng)急預(yù)案及處理流程
- 《精益生產(chǎn)培訓(xùn)教材》課件
評(píng)論
0/150
提交評(píng)論