數(shù)據(jù)服務(wù)平臺(tái)及一表通管理系統(tǒng)技術(shù)參數(shù)_第1頁
數(shù)據(jù)服務(wù)平臺(tái)及一表通管理系統(tǒng)技術(shù)參數(shù)_第2頁
數(shù)據(jù)服務(wù)平臺(tái)及一表通管理系統(tǒng)技術(shù)參數(shù)_第3頁
數(shù)據(jù)服務(wù)平臺(tái)及一表通管理系統(tǒng)技術(shù)參數(shù)_第4頁
數(shù)據(jù)服務(wù)平臺(tái)及一表通管理系統(tǒng)技術(shù)參數(shù)_第5頁
已閱讀5頁,還剩58頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

數(shù)據(jù)服務(wù)平臺(tái)及一表通管

理系統(tǒng)技術(shù)參數(shù)

黑龍江建筑職業(yè)技術(shù)學(xué)院

第1章項(xiàng)目建設(shè)背景

隨著高校信息化建設(shè)的發(fā)展,應(yīng)用信息化的逐步深入,管理精細(xì)化程度加深,各系統(tǒng)的

數(shù)據(jù)割裂,形成多個(gè)信息孤島。數(shù)據(jù)部門產(chǎn)生大量異構(gòu)數(shù)據(jù),如何能方便高效地開放出去,

是學(xué)校信息化一直想要解決的難題。在從前校園沒有太多應(yīng)用系統(tǒng)的時(shí)候,數(shù)據(jù)的開放方式

一般是直接將數(shù)據(jù)導(dǎo)出給對(duì)方。隨著業(yè)務(wù)系統(tǒng)的不斷增加,簡單的數(shù)據(jù)直連方式不僅低效,

還帶來了管理與安全等諸多問題。針對(duì)該需求,建設(shè)數(shù)據(jù)總線的解決方案在大量高校中進(jìn)行

落地,解決了數(shù)據(jù)共享與數(shù)據(jù)交換的部分需求。時(shí)至今天,隨著業(yè)務(wù)需求的不斷增加,業(yè)務(wù)

服務(wù)對(duì)象由從前的各單位部門變?yōu)槿7秶鷥?nèi)的師生,更多的應(yīng)用、更多的用戶導(dǎo)致業(yè)務(wù)共

享與交換的壓力呈指數(shù)上升,對(duì)數(shù)據(jù)服務(wù)架構(gòu)性能、穩(wěn)定性、擴(kuò)展性、可控性有著更高的需

求,數(shù)據(jù)服務(wù)共享缺乏統(tǒng)一管控,多頭采集,重復(fù)采集,服務(wù)通訊無法統(tǒng)一管控等問題日益

突出。與此同時(shí),日益增加的業(yè)務(wù)數(shù)據(jù)交換需求與數(shù)據(jù)交換管理內(nèi)容為技術(shù)部門帶來了沉重

的工作壓力,如何減輕工作量,并且方便業(yè)務(wù)部門進(jìn)行數(shù)據(jù)管理,實(shí)現(xiàn)數(shù)據(jù)“誰生產(chǎn),誰維

護(hù),誰負(fù)責(zé)”,為了解決各類數(shù)據(jù)問題,打造一個(gè)數(shù)據(jù)服務(wù)平臺(tái)的需求應(yīng)運(yùn)而生。

總體來說,目前國內(nèi)高校所開展的數(shù)據(jù)治理工作還都處于初級(jí)階段。數(shù)據(jù)的應(yīng)用與數(shù)據(jù)

質(zhì)量是一個(gè)相輔相成、相互推動(dòng)的關(guān)系,對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行治理,是提升高校數(shù)據(jù)管理與應(yīng)用

水平的關(guān)鍵舉措。高校應(yīng)該著眼于長期持續(xù)有效的數(shù)據(jù)治理,建立行之有效的數(shù)據(jù)治理體系,

挖掘數(shù)據(jù)的潛力,從而發(fā)揮數(shù)據(jù)資產(chǎn)在高校中的核心價(jià)值。

第2章項(xiàng)目需求分析

數(shù)據(jù)是學(xué)校重要資產(chǎn),也是學(xué)校管理與發(fā)展核心的支撐前提。因此通過全校性數(shù)據(jù)治理

解決數(shù)據(jù)問題,提升信息化應(yīng)用水平,已是當(dāng)務(wù)之急,刻不容緩。

本項(xiàng)目需要對(duì)學(xué)校進(jìn)行數(shù)據(jù)治理,將通過一套科學(xué)數(shù)據(jù)管理方法,對(duì)學(xué)校各業(yè)務(wù)域分散、

重復(fù)、混亂的數(shù)據(jù),進(jìn)行梳理、建模、整合、評(píng)價(jià)、控制,制定數(shù)據(jù)標(biāo)準(zhǔn)和工作規(guī)范,打破

信息壁壘,消除信息孤島,提高數(shù)據(jù)合規(guī)監(jiān)管和安全控制,對(duì)數(shù)據(jù)從產(chǎn)生、處理、整合、共

享、應(yīng)用、銷毀等全生命周期進(jìn)行管理,從而建立高質(zhì)量的數(shù)據(jù)管理體系和統(tǒng)一的基礎(chǔ)數(shù)據(jù)

庫,支撐各相關(guān)業(yè)務(wù)高效運(yùn)行,支持學(xué)校管理者方便、安全、快速、可靠地利用數(shù)據(jù)進(jìn)決策。

根據(jù)行業(yè)實(shí)踐經(jīng)驗(yàn),數(shù)據(jù)治理是破解信息孤島、數(shù)據(jù)質(zhì)量不高、信息安全隱患等數(shù)據(jù)管

理難題行之有效的做法。本項(xiàng)目希望啟動(dòng)全校性數(shù)據(jù)治理工作,對(duì)全校數(shù)據(jù)開展數(shù)據(jù)梳理、

數(shù)據(jù)標(biāo)準(zhǔn)制定、數(shù)據(jù)治理體制機(jī)制建立等工作,并建立數(shù)據(jù)治理平臺(tái)0

第3章詳細(xì)技術(shù)設(shè)計(jì)及指標(biāo)

3.1數(shù)據(jù)服務(wù)平臺(tái)

序號(hào)數(shù)據(jù)服務(wù)平臺(tái)總體技術(shù)框架及實(shí)現(xiàn)功能要求

AAAR受務(wù)APIikftAPiftAAPI*????Aflttai**????

數(shù)據(jù)服務(wù)平臺(tái)提供各業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入的接口,實(shí)現(xiàn)數(shù)據(jù)交換平臺(tái)和

各信息系統(tǒng)的有機(jī)結(jié)合,以統(tǒng)一的數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和接口規(guī)

范實(shí)現(xiàn)數(shù)據(jù)自動(dòng)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)送、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)審核

等,同時(shí)支持?jǐn)?shù)據(jù)同步、歷史數(shù)據(jù)遷移等。數(shù)據(jù)交換平臺(tái)是以“統(tǒng)一

標(biāo)準(zhǔn)”、“統(tǒng)一處理”、“統(tǒng)一交換”、“保證質(zhì)量”、“透明開

放”的方式,為不同業(yè)務(wù)系統(tǒng)、不同數(shù)據(jù)庫、不同數(shù)據(jù)格式之間進(jìn)行

數(shù)據(jù)交換而提供服務(wù)的平臺(tái)。

模型管理平臺(tái):管理學(xué)校數(shù)據(jù)項(xiàng)、數(shù)據(jù)元素、編號(hào)、代碼以及資源目錄

2等內(nèi)容,通過平臺(tái)實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)到資源目錄的轉(zhuǎn)換,為學(xué)校標(biāo)準(zhǔn)落地應(yīng)提供

用到數(shù)據(jù)上提供了必要的前提條件。

數(shù)據(jù)質(zhì)量管理模塊:管理不同數(shù)據(jù)項(xiàng)所應(yīng)用的檢測(cè)方法、檢測(cè)腳本、檢

測(cè)方案等,并提供數(shù)據(jù)質(zhì)量報(bào)告,顯示不同數(shù)據(jù)內(nèi)容的數(shù)據(jù)檢測(cè)結(jié)果。提供

數(shù)據(jù)共享交換模塊:數(shù)據(jù)共享交換模塊是打破信息壁壘、消除信息孤島

的前提,起到橋梁樞紐作用。在全校業(yè)務(wù)系統(tǒng)在治理后,通過該平臺(tái)便

4提供

捷地實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)在不同業(yè)務(wù)系統(tǒng)間順暢、實(shí)時(shí)、批量傳輸。

5中心庫管理:對(duì)學(xué)校中心庫進(jìn)行數(shù)據(jù)的采集、清洗、轉(zhuǎn)換、映射、集成提供

過程管理,對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化,提供數(shù)據(jù)集成等功能。

實(shí)現(xiàn)重新梳理數(shù)據(jù)資產(chǎn),并常態(tài)化監(jiān)控學(xué)校現(xiàn)有數(shù)據(jù)情況。學(xué)校從前并

不了解所擁有的數(shù)據(jù)的整體情況,每當(dāng)需要進(jìn)行資源共享時(shí),才委托信

息化部門到各業(yè)務(wù)部門中了解與調(diào)研數(shù)據(jù),為數(shù)據(jù)共享帶來了巨大的

工作壓力。本次中心建設(shè)將學(xué)校范圍內(nèi)的所有數(shù)據(jù)資源(數(shù)據(jù)形態(tài)包括

文件、數(shù)據(jù)庫、WebService接口、RESTful接口等)進(jìn)行注冊(cè),梳理數(shù)

6提供

據(jù)資產(chǎn),并選擇性進(jìn)行資源上架。并對(duì)注冊(cè)資源進(jìn)行常態(tài)化監(jiān)控與運(yùn)

維,讓學(xué)校時(shí)刻了解到各數(shù)據(jù)的狀況,實(shí)現(xiàn)注冊(cè)上的數(shù)據(jù)資源將有平臺(tái)

進(jìn)行常態(tài)化監(jiān)控,如應(yīng)用接口服務(wù)是否開啟、數(shù)據(jù)庫表結(jié)構(gòu)是否變化

等,如有變化啟動(dòng)相關(guān)資源管理流程。

實(shí)現(xiàn)利用分布式技術(shù),實(shí)現(xiàn)數(shù)據(jù)高效共享。學(xué)校原有ODI體系系統(tǒng)存在

一定的性能瓶頸問題,本次建設(shè)需通過先進(jìn)的分布式數(shù)據(jù)采集同步技

術(shù),在技術(shù)底層上完成交換傳輸性能的橫向擴(kuò)展,并且將共享流程融入

7提供

到整個(gè)數(shù)據(jù)共享管理過程中,聯(lián)動(dòng)平臺(tái)的授權(quán)、注冊(cè)、資源變更、資源

監(jiān)控、任務(wù)監(jiān)控、系統(tǒng)監(jiān)控等功能。

實(shí)現(xiàn)自動(dòng)化自助共享服務(wù)。數(shù)據(jù)需求部門(包括數(shù)據(jù)中心)可自行在數(shù)

據(jù)服務(wù)平臺(tái)上對(duì)所需數(shù)據(jù)資源(或接口資源)發(fā)起申請(qǐng),數(shù)據(jù)提供方審

批完成后,資源將由平臺(tái)自動(dòng)推送,全過程不需要額外人工參與。通過

8提供

該方式讓數(shù)據(jù)共享24小時(shí)常態(tài)化運(yùn)行,極大程度減少共享的溝通成本

與免除繁瑣的重復(fù)工作。

實(shí)現(xiàn)常態(tài)化數(shù)據(jù)治理體系:將通過一套科學(xué)數(shù)據(jù)管理方法,對(duì)學(xué)校數(shù)據(jù)

進(jìn)行數(shù)據(jù)治理,建立統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),對(duì)學(xué)校各業(yè)務(wù)域分散、重復(fù)、混亂

的數(shù)據(jù),進(jìn)行梳理、建模、整合、評(píng)價(jià)、控制,制定數(shù)據(jù)標(biāo)準(zhǔn)和工作規(guī)

9提供

范,提高數(shù)據(jù)合規(guī)監(jiān)管和安全控制,對(duì)數(shù)據(jù)從產(chǎn)生、處理、整合、應(yīng)用、

銷毀等全生命周期進(jìn)行管理,從而建立高質(zhì)量的數(shù)據(jù)管理體系和統(tǒng)一

的主數(shù)據(jù)庫,支撐各相關(guān)業(yè)務(wù)高效運(yùn)行,支持學(xué)校管理者方便、安全、

快速、可靠地利用數(shù)據(jù)進(jìn)決策。

實(shí)現(xiàn)數(shù)據(jù)自治,打造數(shù)據(jù)服務(wù)生態(tài)圈。通過數(shù)據(jù)資源中心,按照“誰主

管,誰提供,誰負(fù)責(zé)”的原則,在數(shù)據(jù)共享全流程過程中,數(shù)據(jù)提供方、

平臺(tái)管理員、數(shù)據(jù)需求方各自承擔(dān)應(yīng)有的責(zé)任并享有相應(yīng)的權(quán)限。從而

10達(dá)到數(shù)據(jù)自治的效果,并且吸引各業(yè)務(wù)相關(guān)人員使用該平臺(tái)完成各種提供

數(shù)據(jù)調(diào)研、數(shù)據(jù)共享、數(shù)據(jù)管理等業(yè)務(wù),提高平臺(tái)粘著力,讓更多的人

員參與到數(shù)據(jù)的挖掘與共享的生態(tài)圈中,實(shí)現(xiàn)智慧校園數(shù)據(jù)價(jià)值。

3.1.1平臺(tái)首頁

序號(hào)技術(shù)指標(biāo)描述要求

1需提供平臺(tái)首頁功能,首頁應(yīng)包含數(shù)據(jù)概覽、資產(chǎn)詳情、平臺(tái)運(yùn)行監(jiān)控提供

數(shù)據(jù)概覽

數(shù)據(jù)概覽需提供平臺(tái)部門系統(tǒng)接入情況、主題表建設(shè)情況、數(shù)據(jù)交換情

2提供

交換供需關(guān)系應(yīng)展示數(shù)據(jù)提供方業(yè)務(wù)系統(tǒng)、數(shù)據(jù)需求方業(yè)務(wù)系統(tǒng)的分布

3提供

情況

數(shù)據(jù)資產(chǎn)概況應(yīng)支持以標(biāo)準(zhǔn)數(shù)據(jù)項(xiàng)、標(biāo)準(zhǔn)代碼、交換資源為視角展示所

4提供

涉及表數(shù)量和業(yè)務(wù)系統(tǒng)數(shù)量

交換資源詳情應(yīng)通過API資源和數(shù)據(jù)庫資源兩個(gè)維度展示交換次數(shù)和所

5提供

涉及業(yè)務(wù)系統(tǒng)數(shù)量

6資源交換熱度需展示交換熱度的Top5情況提供

7資源交換失敗需展示交換任務(wù)失敗的Top5情況提供

8費(fèi)源交換耗時(shí)需展示交換任務(wù)耗時(shí)的Top5情況提供

質(zhì)量概況需以統(tǒng)計(jì)方式展示今日數(shù)據(jù)質(zhì)量所涉及的部門、業(yè)務(wù)系統(tǒng)、檢

9核表、檢核數(shù)據(jù)量、問題數(shù)據(jù)量、問題率,同時(shí)也可展示業(yè)務(wù)系統(tǒng)問題提供

率排行

資產(chǎn)詳情

數(shù)據(jù)資產(chǎn)應(yīng)包含系統(tǒng)標(biāo)準(zhǔn)化排行、平臺(tái)數(shù)據(jù)量趨勢(shì)、原始庫、標(biāo)準(zhǔn)庫、

10主題庫數(shù)據(jù)情況、主題域數(shù)據(jù)情況統(tǒng)計(jì)、檢核類別分布、數(shù)據(jù)質(zhì)量報(bào)提供

告、系統(tǒng)質(zhì)量排行

11系統(tǒng)標(biāo)準(zhǔn)化排行需能展示校內(nèi)系統(tǒng)標(biāo)準(zhǔn)化排行情況提供

平臺(tái)數(shù)據(jù)量趨勢(shì)需展示原始庫、標(biāo)準(zhǔn)庫、主題庫近一個(gè)月的數(shù)據(jù)量變化

12提供

情況

數(shù)據(jù)庫情況要求能展示原始庫和標(biāo)準(zhǔn)庫的數(shù)據(jù)統(tǒng)計(jì)情況;主題庫能夠展

13提供

示主題資產(chǎn)統(tǒng)計(jì)情況

14主題域情況應(yīng)能展示各主題域數(shù)據(jù)統(tǒng)計(jì)情況和共享交換情況提供

15檢核類別分部應(yīng)能展示平臺(tái)所使用檢核類別分部情況提供

數(shù)據(jù)質(zhì)量報(bào)告需能展示數(shù)據(jù)質(zhì)量問題率、總體概況、質(zhì)量情況、問題詳

16提供

情、重點(diǎn)字段、檢核概況

系統(tǒng)質(zhì)量排行需展示平臺(tái)接入業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量排行情況,同時(shí)應(yīng)支持

17提供

下鉆至系統(tǒng)質(zhì)量報(bào)告進(jìn)行問題詳情查看

平臺(tái)運(yùn)行監(jiān)控

平臺(tái)運(yùn)行監(jiān)控應(yīng)包含平臺(tái)資源使用情況、磁盤空間占用情況、平臺(tái)任務(wù)

18提供

監(jiān)控情況、任務(wù)運(yùn)行耗時(shí)ToplO、平臺(tái)服務(wù)進(jìn)程監(jiān)控

平臺(tái)資源使用情況需以儀表盤方式展示平臺(tái)底層CPU、磁盤、內(nèi)存分配和

19提供

使用情況

磁盤數(shù)據(jù)占用情況需能以儀表盤方式展示治理數(shù)據(jù)所配置的磁盤空間及

20提供

使用情況

平臺(tái)任務(wù)監(jiān)控需能以圖表形式展示采集、轉(zhuǎn)換、集成、交換任務(wù)數(shù)量和

21提供

失敗任務(wù)數(shù)量

平臺(tái)任務(wù)耗時(shí)需能展示采集任務(wù)、轉(zhuǎn)換任務(wù)、集成任務(wù)、交換任務(wù)的耗

22提供

時(shí)ToplO排行情況

23平臺(tái)服務(wù)進(jìn)程監(jiān)控應(yīng)能展示維持平臺(tái)運(yùn)行所必須的進(jìn)程狀態(tài)提供

24投標(biāo)時(shí)需提供集中展示的數(shù)據(jù)概覽、資產(chǎn)詳情、平臺(tái)運(yùn)行監(jiān)控功能截圖提供

3.1.2標(biāo)準(zhǔn)管理

進(jìn)行本地化擴(kuò)充。《教育部教育管理信息標(biāo)準(zhǔn)》是由國家教育部頒布的標(biāo)準(zhǔn),

它對(duì)信息化標(biāo)準(zhǔn)建設(shè)起宏觀指導(dǎo)作用,信息標(biāo)準(zhǔn)的建設(shè)將以此為基本依據(jù);

本地化標(biāo)準(zhǔn)是各學(xué)校在以往工作中,根據(jù)實(shí)際工作需要規(guī)范學(xué)校信息編碼而

設(shè)立的信息標(biāo)準(zhǔn),它對(duì)統(tǒng)一信息標(biāo)準(zhǔn)建設(shè)起輔助和補(bǔ)充作用。

數(shù)據(jù)標(biāo)準(zhǔn)類型

管理學(xué)校不同的標(biāo)準(zhǔn)類型,如國標(biāo)/校標(biāo),國標(biāo)第幾版、校標(biāo)第幾版。

管理學(xué)校數(shù)據(jù)標(biāo)準(zhǔn)修改內(nèi)容,對(duì)每次修改的時(shí)間、修改人、描述、所屬版本號(hào)

進(jìn)行詳細(xì)描述。

學(xué)校數(shù)據(jù)標(biāo)準(zhǔn)版本管理。

學(xué)校數(shù)據(jù)標(biāo)準(zhǔn)版本詳細(xì)描述。

2提供

數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)管理。

管理學(xué)校數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn),支持Excel表格導(dǎo)入、導(dǎo)出功能。

搜索數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn),支持條件搜索、模糊查詢。

支持修改、添加功能,能按照格式修改或添加某一數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn),并生成新的

版本,并提交。

編碼標(biāo)準(zhǔn)

管理學(xué)校的編碼標(biāo)準(zhǔn),可查看編碼類型、標(biāo)準(zhǔn)類型、編碼標(biāo)準(zhǔn)。

3支持Excel表格導(dǎo)入、導(dǎo)出功能。提供

搜索編碼標(biāo)準(zhǔn),支持條件搜索、模糊查詢。

代碼標(biāo)準(zhǔn)

管理學(xué)校的基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn),可查看編碼編號(hào)、含義及枚舉。

4支持Excel表格導(dǎo)入、導(dǎo)出功能。提供

搜索基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn),支持條件搜索、模糊查詢。

數(shù)據(jù)質(zhì)量核驗(yàn)規(guī)則

管理學(xué)校編碼標(biāo)準(zhǔn)的數(shù)據(jù)質(zhì)量核驗(yàn)規(guī)則,可查看所屬系統(tǒng)、檢核類型、檢核

規(guī)則、責(zé)任部門,日期等。

支持Excel表格導(dǎo)入、導(dǎo)出功能。

5提供

搜索基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn),支持條件搜索、模糊查詢。

支持編輯、添加功能,能按照格式編輯或添加某一數(shù)據(jù)質(zhì)量核驗(yàn)規(guī)則,生成

新的版本,并提交。

主數(shù)據(jù)標(biāo)準(zhǔn)

管理表與表之間的關(guān)系。

6可支持表合并,并定義表名、字段、索引、SQL預(yù)覽功能。提供

根據(jù)條件選擇具體的表。

序號(hào)元數(shù)據(jù)管理設(shè)計(jì)技術(shù)要求

元數(shù)據(jù)管理

元數(shù)據(jù)管理基于CWM規(guī)范,同時(shí)提供內(nèi)置數(shù)據(jù)字典、代碼管理等技術(shù)元數(shù)據(jù)

和指標(biāo)、業(yè)務(wù)規(guī)則等業(yè)務(wù)元數(shù)據(jù),符合學(xué)校數(shù)據(jù)倉庫環(huán)境的各類元數(shù)據(jù)管理

模型。元模型可由用戶自定義擴(kuò)展,滿足客戶化元數(shù)據(jù)的需求。有元模型查

詢、元模型增加、元模型修改、元模型刪除、添加關(guān)系、權(quán)限設(shè)置等功能。

元數(shù)據(jù)管理是關(guān)于元數(shù)據(jù)的創(chuàng)建、存儲(chǔ)、整合以及控制的集合,用以支持和

基于元數(shù)據(jù)的相關(guān)應(yīng)用。通過對(duì)元數(shù)據(jù)的管理,主要達(dá)到以下目標(biāo):

1提供

提供校級(jí)數(shù)據(jù)字典,便于內(nèi)外部用戶更好地了解學(xué)校的數(shù)據(jù)概況;

提供全局元數(shù)據(jù)查詢檢索,便于用戶快速定位元數(shù)據(jù);

提供元數(shù)據(jù)詳細(xì)描述,使用戶了解數(shù)據(jù)組成、結(jié)構(gòu)及數(shù)據(jù)流向;

提供血緣/影響分析功能,便于用戶進(jìn)行分析判斷、問題定位;

提供數(shù)據(jù)屬性標(biāo)簽,便于用戶了解數(shù)據(jù)內(nèi)容含義,并為后續(xù)的數(shù)據(jù)質(zhì)量檢測(cè)、

學(xué)校搜索、維護(hù)數(shù)據(jù)提供支撐

元數(shù)據(jù)管理與維護(hù)

主要提供元數(shù)據(jù)的采集、變更維護(hù)等功能,便于數(shù)據(jù)中心的管理員能夠?qū)υ?/p>

2提供

數(shù)據(jù)進(jìn)行有效的管理。

元數(shù)據(jù)的版本管理

7$MLAf-HIT

IKSXSXXB.gatM

1*,,*?*??????mumflkax.—e初awh

HMVI?B*ntwk?rai*??

XSkBKSXSXXBflPurtHX

(j:":bnanmnw9aBMU.IMauawwr*.

.m..MB?WI**?B.W

BKSXSXX*

**??MUMMA.MVWMt

amit”,

BUSXSXXSo

■?^St?:R*g**9MA:law?UtflmrtMil:X>l*KinUfl提供

3awn?a.1■■■■■*—.

SKSXSXX*9

1WFS'S:xctstouHtmsaavasoax:工■■tanmai:xMwmue

MS?望。*0MNMkWa****

>a34s>e*M:?O6?.M4;nHn|aw|

主要提供元數(shù)據(jù)的歷史版本存儲(chǔ)、分析和比對(duì)的功能,使得用戶能夠根

據(jù)此對(duì)元數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)對(duì)象的變化情況進(jìn)行溯源。

影響分析

影響分析:為了實(shí)現(xiàn)正確、及時(shí)的分析功能,產(chǎn)品將學(xué)校元數(shù)據(jù)進(jìn)行整合,

改變了原有各IT系統(tǒng)、BI工具集數(shù)據(jù)模型等元數(shù)據(jù)間各自隔離、互補(bǔ)關(guān)聯(lián)

的現(xiàn)狀,有效地將各部分的局部表述統(tǒng)一為整體,歸并重復(fù)表述,并對(duì)沖突

4表述進(jìn)行甄別并提供進(jìn)一步處理,在此基礎(chǔ)上影響分析提供基于數(shù)據(jù)流影響提供

分析功能。用戶分析能迅速了解分析對(duì)象的下游數(shù)據(jù)信息,快速識(shí)別元數(shù)據(jù)

的價(jià)值,掌握元數(shù)據(jù)變更可能造成的影響,以便更有效的評(píng)估變化帶來的風(fēng)

險(xiǎn),從而幫助用戶有高效準(zhǔn)確的對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行清理、維護(hù)與使用。

血緣分析

血緣分析:與影響分析類似,血緣分析是建立在學(xué)校整體元數(shù)據(jù)整合的

基礎(chǔ)上,提供了跨IT系統(tǒng)、跨BI工具的元數(shù)據(jù)分析,實(shí)現(xiàn)以數(shù)據(jù)流向?yàn)橹?/p>

線的血緣追溯。血緣分析的作用主要表現(xiàn)為以下幾個(gè)方面,提升報(bào)表信息的

5提供

可信度,為學(xué)校數(shù)據(jù)的合規(guī)性提供驗(yàn)證手段,幫助業(yè)務(wù)部門與IT支撐部門實(shí)

現(xiàn)信息共享、提升協(xié)調(diào)工作效率。

數(shù)據(jù)地圖

數(shù)據(jù)地圖:學(xué)校內(nèi)的元數(shù)據(jù),種類繁多、形式各異,集中管理元數(shù)據(jù)后,如何

提供便捷的使用方式,變成為發(fā)揮學(xué)校信息資產(chǎn)價(jià)值的關(guān)鍵。無論是元數(shù)據(jù)

查詢等功能,面向元數(shù)據(jù)細(xì)節(jié)信息的使用需求,更適用于具體的人員、部門

基于元數(shù)據(jù)開展相關(guān)工作,對(duì)于學(xué)校管理人員等高層用于,由于關(guān)注范圍廣

泛,大量的細(xì)節(jié)信息不能有效的滿足該類用戶的需要,而學(xué)校的數(shù)據(jù)地圖用

于宏觀層面,組織信息,力求以用戶視角對(duì)學(xué)校信息進(jìn)行歸并、整理,展現(xiàn)

學(xué)校的宏觀信息,有效挖掘?qū)W校信息的潛在價(jià)值。

數(shù)據(jù)概覽

存儲(chǔ)等排名、主題域數(shù)據(jù)分布、應(yīng)用引用數(shù)據(jù)表分布、我最近訪問的表、我

最近收藏的表等功能。

序號(hào)技術(shù)指標(biāo)描述要求

數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布中心

數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布中心支持發(fā)布數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)、數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)對(duì)比、編輯公告信息、

1提供

上傳相關(guān)附件及國際文件操作

2支持平臺(tái)所發(fā)布的信息公告查看提供

為了方便學(xué)校對(duì)數(shù)據(jù)標(biāo)準(zhǔn)維護(hù),要求平臺(tái)能展示已發(fā)布的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)信息,

3提供

同時(shí)對(duì)己發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)提供下載、word版導(dǎo)出功能

支持查看當(dāng)前數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)版本的使用情況,包含數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)數(shù)量、代碼標(biāo)準(zhǔn)

4提供

數(shù)量、教育部標(biāo)準(zhǔn)數(shù)量、發(fā)布版本數(shù)量、分類數(shù)量、數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的執(zhí)行率

5支持下載、上傳國家/教育部的標(biāo)準(zhǔn)文檔提供

6支持下載、上傳其他相關(guān)附件提供

數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)

需支持?jǐn)?shù)據(jù)項(xiàng)顆粒度級(jí)別的標(biāo)準(zhǔn)的查看、新增、修改、刪除、導(dǎo)入、導(dǎo)出、

7提供

下載模板功能

需支持按照數(shù)據(jù)項(xiàng)分類、數(shù)據(jù)項(xiàng)子集名稱(精確查詢、模糊查詢)、審核狀

8提供

態(tài)條件進(jìn)行數(shù)據(jù)項(xiàng)查詢

9需支持對(duì)數(shù)據(jù)項(xiàng)所屬代碼標(biāo)準(zhǔn)、對(duì)應(yīng)數(shù)據(jù)項(xiàng)執(zhí)行的檢核規(guī)則進(jìn)行管理提供

支持記錄并展示單個(gè)數(shù)據(jù)項(xiàng)的版本變化情況、當(dāng)前版本以及每個(gè)版本數(shù)據(jù)項(xiàng)

10提供

的使用情況

11需支持?jǐn)?shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的提交審核功能,顯示數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的審核狀態(tài)提供

需支持?jǐn)?shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的新增功能,支持定義數(shù)據(jù)項(xiàng)編碼、中文簡稱、數(shù)據(jù)項(xiàng)

12提供

名、業(yè)務(wù)定義及規(guī)則、類型、長度信息。

13需支持關(guān)聯(lián)數(shù)據(jù)子集、針對(duì)已審批通過的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)選擇關(guān)聯(lián)的數(shù)據(jù)子集提供

需要支持?jǐn)?shù)據(jù)項(xiàng)子集分類結(jié)構(gòu)的管理,包含數(shù)據(jù)項(xiàng)子集的新增、修改、刪除

14提供

功能

15需要支持?jǐn)?shù)據(jù)項(xiàng)子集關(guān)聯(lián)數(shù)據(jù)項(xiàng),在關(guān)聯(lián)過程中支持定義數(shù)據(jù)項(xiàng)的約束提供

16需要支持按照數(shù)據(jù)項(xiàng)名、數(shù)據(jù)項(xiàng)中文名條件進(jìn)行數(shù)據(jù)子集的查詢提供

17需支持?jǐn)?shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的發(fā)布功能,支持填寫數(shù)據(jù)項(xiàng)版本和版本描述提供

需要支持代碼管理功能,包含代碼標(biāo)準(zhǔn)的新增、刪除、導(dǎo)入、導(dǎo)出、修改、

18提供

下載模板功能

需要支持按照代碼標(biāo)準(zhǔn)中文名稱、拼音標(biāo)識(shí)、標(biāo)準(zhǔn)類型、審核狀態(tài)條件進(jìn)行

19提供

代碼標(biāo)準(zhǔn)的查詢

需要支持代碼的新增、編輯功能,支持定義代碼基本信息和代碼內(nèi)容,可設(shè)

20提供

置代碼內(nèi)容的啟停用

元數(shù)據(jù)管理

需要支持通過UC矩陣功能,對(duì)于標(biāo)準(zhǔn)表的數(shù)據(jù)生產(chǎn)部門、生產(chǎn)系統(tǒng)、使用

21提供

部門、使用系統(tǒng)進(jìn)行查看

需要支持通過UC矩陣功能,對(duì)于標(biāo)準(zhǔn)表字段的數(shù)據(jù)生產(chǎn)部門、生成系統(tǒng)、

22提供

使用系統(tǒng)、使用部門進(jìn)行查看

23需要支持?jǐn)?shù)據(jù)定責(zé)功能,通過數(shù)據(jù)定責(zé)可維護(hù)各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)責(zé)任人提供

24對(duì)于數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)應(yīng)支持?jǐn)?shù)據(jù)生產(chǎn)部門的調(diào)整,以輔助學(xué)校定位“一數(shù)一源”提供

需要支持?jǐn)?shù)據(jù)地圖功能,支持查詢標(biāo)準(zhǔn)庫、主題庫的數(shù)據(jù)表的數(shù)據(jù)鏈路關(guān)

25提供

系,包括血緣分析、影響分析、全鏈分析

支持查詢標(biāo)準(zhǔn)庫、主題庫的數(shù)據(jù)庫表內(nèi)數(shù)據(jù)字段的數(shù)據(jù)鏈路關(guān)系,包括血緣

26提供

分析、影響分析、全鏈分析

支持查詢標(biāo)準(zhǔn)庫、主題庫的數(shù)據(jù)庫表內(nèi)數(shù)據(jù)內(nèi)容的數(shù)據(jù)鏈路關(guān)系,包括血緣

27提供

分析、影響分析、全鏈分析

★需支持?jǐn)?shù)據(jù)鏈路圖各節(jié)點(diǎn)的上下游情況查看,點(diǎn)擊某個(gè)節(jié)點(diǎn)查看該節(jié)點(diǎn)上

28提供

下游的操作詳情

需要支持?jǐn)?shù)據(jù)字典查看、搜索功能,可根據(jù)數(shù)據(jù)存儲(chǔ)層級(jí)、業(yè)務(wù)系統(tǒng)、表

29提供

名,對(duì)數(shù)據(jù)字典進(jìn)行查看,同時(shí)可支持按照層級(jí)、業(yè)務(wù)系統(tǒng)、表名進(jìn)行查詢

支持?jǐn)?shù)據(jù)字典管理功能,平臺(tái)需提供對(duì)數(shù)據(jù)字典進(jìn)行收藏、修改、刪除等功

30提供

能,同時(shí)也應(yīng)支持對(duì)數(shù)據(jù)字典的添加、導(dǎo)出等功能。

數(shù)據(jù)字典支持查看數(shù)據(jù)詳情。包含數(shù)據(jù)字典基本信息、表結(jié)構(gòu)及歷史、血緣

31提供

關(guān)系、數(shù)據(jù)預(yù)覽,表結(jié)構(gòu)及歷史、下載表結(jié)構(gòu)等。

數(shù)據(jù)項(xiàng)版本

需支持查看學(xué)校發(fā)布的所有數(shù)據(jù)項(xiàng)版本信息,可根據(jù)數(shù)據(jù)項(xiàng)版本和版本描述

32提供

對(duì)數(shù)據(jù)項(xiàng)版本信息進(jìn)行查詢

支持查看所有已發(fā)布的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn),支持選擇任意兩個(gè)已發(fā)布的數(shù)據(jù)版本進(jìn)

33提供

行對(duì)比。展示版本間的差異,包括新增、修改、刪除

34需支持對(duì)學(xué)校發(fā)布的數(shù)據(jù)項(xiàng)版本導(dǎo)出提供

數(shù)據(jù)審核

★需具有數(shù)據(jù)標(biāo)準(zhǔn)審批流程,當(dāng)對(duì)代碼標(biāo)準(zhǔn)、數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)、標(biāo)準(zhǔn)表結(jié)構(gòu)、檢

35核規(guī)則的新增、修改操作時(shí)平臺(tái)需要進(jìn)行審核(“審核通過”或者“審核不提供

通過”),完善數(shù)據(jù)標(biāo)準(zhǔn)管理體系。

數(shù)據(jù)審核可查看表變更、基礎(chǔ)數(shù)據(jù)變更的詳細(xì)情況,支持通過審核情況及審

36提供

核日期進(jìn)行查詢

3.1,3主數(shù)據(jù)管理

序主數(shù)據(jù)管理技術(shù)設(shè)計(jì)

要求

號(hào)

主數(shù)據(jù)集成過程管理

1-----------------?…-----------------9---------------------------------------g1

■waawanannHneanan*

""M?sR?t*c?■!<?-1A-[-.)aatte

im?MnO

aaafljiimw?>oslim

as?■V?aattc

1ZSJ9.t.cod(.iUn(MJDOWCJHT*?t6@2。

1提供

iZ&KLMMMOUH4VSS?BO

>mQQwcktxMpdataqMut/ARB(BRO

4J*”5l?B??RO

B2MjMtunx.?*>c?an?CB<B0O

圖:數(shù)據(jù)集成過程管理

數(shù)據(jù)集成過程中,第一步需要進(jìn)行的是數(shù)據(jù)清洗與轉(zhuǎn)換,數(shù)據(jù)清洗的主要目的

是把數(shù)據(jù)中的臟數(shù)據(jù)進(jìn)行過濾,把多個(gè)數(shù)據(jù)源中同一個(gè)屬性的描述統(tǒng)一表示。原始

庫中的數(shù)據(jù)經(jīng)過數(shù)據(jù)清洗會(huì)保存到標(biāo)準(zhǔn)庫中。數(shù)據(jù)清洗列表中展示了當(dāng)前的清洗作

業(yè),可以批量設(shè)置作業(yè)的開啟和關(guān)閉狀態(tài),同時(shí)也提供了設(shè)置調(diào)度時(shí)間。數(shù)據(jù)清洗

設(shè)置包含了數(shù)據(jù)過濾和數(shù)據(jù)替換兩個(gè)功能。數(shù)據(jù)過濾主要是把原始庫中的臟數(shù)據(jù)過

濾掉,保證標(biāo)準(zhǔn)庫中數(shù)據(jù)都是滿足業(yè)務(wù)要求的。數(shù)據(jù)替換的主要功能是把各個(gè)業(yè)務(wù)

系統(tǒng)中對(duì)同一個(gè)屬性的描述替換成同一個(gè)數(shù)據(jù),保證屬性描述的一致性。在數(shù)據(jù)替

換模塊,引進(jìn)了標(biāo)準(zhǔn)化數(shù)據(jù)。把常用的枚舉數(shù)據(jù)保存到標(biāo)準(zhǔn)庫中,主要包括性別,

生源地,學(xué)院等屬性。

數(shù)據(jù)清洗完畢后,第二步進(jìn)行中心庫數(shù)據(jù)集成。在中心庫管理模塊對(duì)數(shù)據(jù)進(jìn)行

歸并和校正時(shí),有時(shí)會(huì)遇到數(shù)據(jù)異常現(xiàn)象將使用區(qū)間限定法和歷史數(shù)據(jù)近似值等方

法修復(fù),如:成績信息,可能存在異常填寫,超出正常范圍,此時(shí)需要采用區(qū)間限

定方法去除異常數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行校正,如果存在數(shù)據(jù)格式錯(cuò)誤,將通過規(guī)則對(duì)數(shù)

據(jù)進(jìn)行修復(fù),如:日期的表現(xiàn)格式中不同的系統(tǒng)中可能格式不一樣,因此,需要使

用同步規(guī)則將日期轉(zhuǎn)換成統(tǒng)一的標(biāo)準(zhǔn)。在對(duì)數(shù)據(jù)進(jìn)行修復(fù)是,有時(shí)也需要人工干預(yù)

判斷。對(duì)于數(shù)據(jù)缺失,將根據(jù)業(yè)務(wù)系統(tǒng)特點(diǎn),如果在業(yè)務(wù)系統(tǒng)中存在該數(shù)據(jù),將采

取從業(yè)務(wù)系統(tǒng)再次導(dǎo)入,如果不存在該數(shù)據(jù),將根據(jù)數(shù)據(jù)規(guī)則手動(dòng)校正數(shù)據(jù)和補(bǔ)入,

同時(shí)建立補(bǔ)入規(guī)則,實(shí)現(xiàn)后續(xù)缺失數(shù)據(jù)的自動(dòng)補(bǔ)入。對(duì)于沒有價(jià)值或不影響業(yè)務(wù)的

數(shù)據(jù),將放棄該數(shù)據(jù)。

由于業(yè)務(wù)系統(tǒng)眾多并相對(duì)獨(dú)立,從而數(shù)據(jù)重復(fù)在建立統(tǒng)一數(shù)據(jù)庫時(shí)將是數(shù)據(jù)治

理中很大的一部分內(nèi)容,因此將采用自動(dòng)對(duì)比方式,清除完全重復(fù)的數(shù)據(jù)記錄,同

一種記錄存在差異,但有效只能保存一條時(shí),將采用按時(shí)間對(duì)比的方式,去除過期

數(shù)據(jù)。在面臨程序不能正確判斷數(shù)據(jù)是否正確的邏輯數(shù)據(jù)時(shí),則需要人工加以判斷,

制定去重規(guī)則。

數(shù)據(jù)類型支持:

數(shù)據(jù)庫:Oracle、DB2、Teradata、MSSQLServer>MySQL等

大數(shù)據(jù)文件:Hive、HDFS等文件

其他來源:XML、Excel.CSV,TXT、log文件等客戶化元數(shù)據(jù)

中心庫構(gòu)建與管理設(shè)計(jì)

圖:中心庫結(jié)構(gòu)效果圖

根據(jù)數(shù)據(jù)治理的數(shù)據(jù)關(guān)系模型和數(shù)據(jù)標(biāo)準(zhǔn)(數(shù)據(jù)元素標(biāo)準(zhǔn)、代碼標(biāo)準(zhǔn)),構(gòu)建

以人(教師、學(xué)生)為核心的數(shù)據(jù)管理中心庫物理模型并建庫。基礎(chǔ)庫的內(nèi)容主要

包括且不僅限于:公共代碼、組織機(jī)構(gòu)信息、人事基本信息、學(xué)生基本信息、科研

2項(xiàng)目基本信息、科研論文基本信息、科研機(jī)構(gòu)基本信息、設(shè)備基本信息、房產(chǎn)基本提供

信息、專業(yè)基本信息、課程庫基本信息、人事耿務(wù)信息、人事職稱信息、人事崗位

信息、研究生導(dǎo)師信息、學(xué)生選課信息、學(xué)生成績信息、獎(jiǎng)助貸信息、參與科研項(xiàng)

目信息、參與科研論文編寫信息、設(shè)備保管信息、房產(chǎn)管理信息。中心基礎(chǔ)庫的建

設(shè)要兼顧到國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)以及學(xué)校實(shí)際業(yè)務(wù)情況,滿足學(xué)校管理需要以及上

報(bào)數(shù)據(jù)需求。

根據(jù)數(shù)據(jù)關(guān)系模型,通過數(shù)據(jù)共享交換平臺(tái)抽取業(yè)務(wù)數(shù)據(jù),集成包括基礎(chǔ)數(shù)據(jù)

庫、業(yè)務(wù)共享數(shù)據(jù)庫和決策支持?jǐn)?shù)據(jù)庫在內(nèi)的統(tǒng)一、完整、準(zhǔn)確、實(shí)時(shí)的中心數(shù)據(jù)

庫。基礎(chǔ)數(shù)據(jù)庫主要以人員(教工、學(xué)生)、教學(xué)、科研、財(cái)務(wù)、資產(chǎn)等對(duì)象的基

礎(chǔ)信息組成,具有識(shí)別唯一性、特征一致性和業(yè)務(wù)穩(wěn)定性等特點(diǎn);業(yè)務(wù)共享數(shù)據(jù)庫

主要以面向業(yè)務(wù)主題的共享信息組成,具有事務(wù)性、擴(kuò)展性和多應(yīng)用共享復(fù)用等特

點(diǎn);決策支持?jǐn)?shù)據(jù)庫存儲(chǔ)決策分析模型、報(bào)表、圖表等信息。

中心數(shù)據(jù)庫根據(jù)業(yè)務(wù)規(guī)則,通過數(shù)據(jù)共享交換平臺(tái)提供接口調(diào)用和主動(dòng)推送方式,

分發(fā)同步至相關(guān)業(yè)務(wù)系統(tǒng)中,達(dá)到消除數(shù)據(jù)多頭采集、重復(fù)采集造成的數(shù)據(jù)不一致

現(xiàn)象。中心數(shù)據(jù)庫作為學(xué)校的核心數(shù)據(jù)庫,運(yùn)維工作非常重要,需要制訂完備的運(yùn)

行維護(hù)機(jī)制,包括數(shù)據(jù)備份、恢復(fù)、歸檔等的策略和實(shí)施。

序號(hào)技術(shù)指標(biāo)描述要求

數(shù)據(jù)概覽

需通過柱狀圖展示主題庫記錄數(shù)分布情況;通過餅狀圖展示主題庫存儲(chǔ)

1占用分布;通過環(huán)形圖展示主數(shù)據(jù)檢核類型分布;通過折線圖展示主數(shù)提供

據(jù)質(zhì)量趨勢(shì)

標(biāo)準(zhǔn)庫結(jié)構(gòu)管理

需支持標(biāo)準(zhǔn)庫結(jié)構(gòu)管理功能,可基于業(yè)務(wù)部門、業(yè)務(wù)系統(tǒng)等維度對(duì)標(biāo)準(zhǔn)

2提供

庫表進(jìn)行查詢,同時(shí)也應(yīng)支持對(duì)標(biāo)準(zhǔn)庫表按照表名和更新時(shí)間進(jìn)行排序

3需支持以可視化方式對(duì)標(biāo)準(zhǔn)庫表新增、拷貝、修改提供

需支持標(biāo)準(zhǔn)庫表詳情查看功能。選擇標(biāo)準(zhǔn)庫表,可跳轉(zhuǎn)查看表詳情,表

4詳情應(yīng)包含:基本信息、表字段信息、索引信息;基本信息應(yīng)可查看表提供

名稱、數(shù)據(jù)庫來源、業(yè)務(wù)系統(tǒng)來源等

★標(biāo)準(zhǔn)庫表新建過程中須引用已審核通過的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn);檢索數(shù)據(jù)項(xiàng)標(biāo)

5準(zhǔn)時(shí)需支持按照數(shù)據(jù)子集、數(shù)據(jù)項(xiàng)名、數(shù)據(jù)項(xiàng)中文名檢索數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn);提供

新建或修改的標(biāo)準(zhǔn)庫表結(jié)構(gòu)時(shí),提交并審核通過后方能生效

6為方便用戶去使用標(biāo)準(zhǔn)庫表,需支持標(biāo)準(zhǔn)庫表的索引添加提供

主題庫結(jié)構(gòu)管理

需支持圖形化界面展示主題庫信息、,同時(shí)還應(yīng)支持以列表形式展示主題

7提供

庫信息

列表方式需支持搜索功能,可對(duì)主題庫表進(jìn)行搜索,同時(shí)也應(yīng)支持對(duì)主

8提供

題庫表按照表名、更新時(shí)間進(jìn)行排序

需支持以可視化方式對(duì)主題庫表的新增、拷貝、修改,同時(shí)也應(yīng)支持基

9提供

于各業(yè)務(wù)分析、展示需求建立主題庫表,支持建表SQL預(yù)覽功能

需支持主題庫表詳情查看功能。選擇標(biāo)準(zhǔn)庫表,可跳轉(zhuǎn)查看表詳情,表

10提供

詳情應(yīng)包含:基本信息、表字段信息、索引信息

主題庫表新建過程中須引用已審核通過的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn);檢索數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)

11時(shí)需支持按照數(shù)據(jù)子集、數(shù)據(jù)項(xiàng)名、數(shù)據(jù)項(xiàng)中文名檢索數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn);新提供

建或修改的主題庫表結(jié)構(gòu)時(shí),提交并審核通過后方能生效

12為方便用戶去使用主題庫表,需支持標(biāo)準(zhǔn)庫表的索引添加提供

數(shù)據(jù)關(guān)系管理

★需支持以可視化方式展示數(shù)據(jù)流轉(zhuǎn)架構(gòu)。界面應(yīng)呈現(xiàn)原始庫、主題

13庫、標(biāo)準(zhǔn)庫數(shù)據(jù)流轉(zhuǎn)關(guān)系;同時(shí)可以通過視化界面實(shí)現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)提供

轉(zhuǎn)換、數(shù)據(jù)集成功能

支持可視化數(shù)據(jù)集成功能,可根據(jù)業(yè)務(wù)需求對(duì)單表、多表處理。如單表

14提供

轉(zhuǎn)換、多表集成、多表轉(zhuǎn)換功能

數(shù)據(jù)采集需支持根據(jù)表名、采集狀態(tài)、是否開啟、增量狀態(tài)、定時(shí)狀態(tài)

15提供

五種檢索條件查詢采集任務(wù)

數(shù)據(jù)采集需支持設(shè)置增量字段,單個(gè)采集表單可以配置多個(gè)增量字段進(jìn)

16提供

行采集

數(shù)據(jù)采集需要支持采集任務(wù)調(diào)度設(shè)置。應(yīng)具有查看標(biāo)準(zhǔn)化、手動(dòng)執(zhí)行、

17提供

查看執(zhí)行日志、查看鏈路分析、初始化、啟停用采集的功能

數(shù)據(jù)采集需要支持對(duì)采集數(shù)據(jù)表原始結(jié)構(gòu)變動(dòng)的感知同步功能,當(dāng)業(yè)務(wù)

18系統(tǒng)原始數(shù)據(jù)表結(jié)構(gòu)發(fā)生變化時(shí)平臺(tái)采集會(huì)自動(dòng)感知結(jié)構(gòu)變化并以消息提供

通知提醒

數(shù)據(jù)采集需要支持原始表結(jié)構(gòu)變更同步,展示變更結(jié)構(gòu)與原結(jié)構(gòu)變化對(duì)

19提供

比,點(diǎn)擊同步按鈕則會(huì)應(yīng)用新的業(yè)務(wù)表結(jié)構(gòu)并保存歷史記錄

數(shù)據(jù)轉(zhuǎn)換需要支持轉(zhuǎn)換任務(wù)調(diào)度設(shè)置功能。應(yīng)具有手動(dòng)執(zhí)行、查看執(zhí)行

20提供

日志、查看配置、編輯、初始化、刪除的功能。

數(shù)據(jù)轉(zhuǎn)換需支持根據(jù)表名、轉(zhuǎn)換方式、是否開啟、執(zhí)行狀態(tài)、定時(shí)狀態(tài)

21提供

五種檢索條件查詢轉(zhuǎn)換任務(wù)

數(shù)據(jù)轉(zhuǎn)化需要支持代碼轉(zhuǎn)化功能,選擇原始代碼表并配置標(biāo)準(zhǔn)代碼轉(zhuǎn)換

22提供

規(guī)則即可完成標(biāo)準(zhǔn)代碼轉(zhuǎn)換工作。

數(shù)據(jù)集成需支持根據(jù)表名、集成方式、是否開啟、執(zhí)行狀態(tài)、定時(shí)狀態(tài)

23提供

五種檢索條件查詢集成任務(wù)

數(shù)據(jù)集成需要支持集成任務(wù)調(diào)度設(shè)置功能。應(yīng)具有手動(dòng)執(zhí)行、查看執(zhí)行

24提供

日志、查看配置、編輯、初始化、刪除的功能

數(shù)據(jù)集成應(yīng)支持對(duì)兩個(gè)或多個(gè)表單進(jìn)行關(guān)聯(lián)配置,最終集成為一個(gè)數(shù)據(jù)

25提供

表單,形成主體數(shù)據(jù)進(jìn)行存放。

數(shù)據(jù)查詢

需支持原始庫的查詢功能,需提供通過多組檢索條件對(duì)原始層數(shù)據(jù)進(jìn)行

查詢。對(duì)于增量采集的數(shù)據(jù)需開放單個(gè)數(shù)據(jù)的歷史數(shù)據(jù)查詢;展示該數(shù)

26據(jù)變化的歷程,支持查看失效數(shù)據(jù)、查看對(duì)于學(xué)校已經(jīng)刪除的數(shù)據(jù)、查提供

看學(xué)校某個(gè)時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài),方便學(xué)校對(duì)于原始庫數(shù)據(jù)的管理,監(jiān)測(cè)

數(shù)據(jù)采集的真實(shí)性、有效性

需支持標(biāo)準(zhǔn)庫的查詢功能,需提供通過多組檢索條件對(duì)原始層數(shù)據(jù)進(jìn)行

查詢。對(duì)于增量采集的數(shù)據(jù)需開放單個(gè)數(shù)據(jù)的歷史數(shù)據(jù)查詢;展示該數(shù)

27據(jù)變化的歷程,支持查看失效數(shù)據(jù)、查看對(duì)于學(xué)校已經(jīng)刪除的數(shù)據(jù)、查提供

看學(xué)校某個(gè)時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài),方便學(xué)校對(duì)于標(biāo)準(zhǔn)庫數(shù)據(jù)的管理,監(jiān)測(cè)

數(shù)據(jù)采集的真實(shí)性、有效性

需支持主題庫的查詢功能,需提供通過多組檢索條件對(duì)原始層數(shù)據(jù)進(jìn)行

查詢。對(duì)于增量采集的數(shù)據(jù)需開放單個(gè)數(shù)據(jù)的歷史數(shù)據(jù)查詢;展示該數(shù)

28據(jù)變化的歷程,支持查看失效數(shù)據(jù)、查看對(duì)于學(xué)校已經(jīng)刪除的數(shù)據(jù)、查提供

看學(xué)校某個(gè)時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài),方便學(xué)校對(duì)于主題庫數(shù)據(jù)的管理,監(jiān)測(cè)

數(shù)據(jù)采集的真實(shí)性、有效性

★需支持原始庫、標(biāo)準(zhǔn)庫、主題庫數(shù)據(jù)查詢結(jié)果顯示列的篩選功能,通

29提供

過選擇需要顯示的字段,控制數(shù)據(jù)查詢界面展示結(jié)果

離線表導(dǎo)入

為滿足學(xué)校離線數(shù)據(jù)使用需求平臺(tái)需支持離線表導(dǎo)入功能。要求根據(jù)線

30提供

下EXCEL表信息在線建立表結(jié)構(gòu),設(shè)置字段的校驗(yàn)規(guī)則

需支持在線填報(bào)數(shù)據(jù)和線下表導(dǎo)入。支持?jǐn)?shù)據(jù)的新增、修改、刪除、模

31板下載、導(dǎo)入、導(dǎo)出操作。輔助學(xué)校將一些需要治理交換的表格電子化提供

并納入治理交換流程

備份管理

32需支持原始庫、標(biāo)準(zhǔn)庫、主題庫數(shù)據(jù)備份管理提供

支持配置備份任務(wù)、手動(dòng)執(zhí)行備份、刪除備份、查看備份內(nèi)容設(shè)置、備

33提供

份是否開啟操作

3.1.4數(shù)據(jù)共享交換

序號(hào)數(shù)據(jù)共享交換設(shè)計(jì)技術(shù)要求

數(shù)據(jù)共享交換模塊提供各業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入的接口,實(shí)現(xiàn)數(shù)據(jù)交換

平臺(tái)和各信息系統(tǒng)的有機(jī)結(jié)合,以統(tǒng)一的數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和接口

1提供

規(guī)范實(shí)現(xiàn)數(shù)據(jù)自動(dòng)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)送、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)審核等,

同時(shí)支持?jǐn)?shù)據(jù)同步、歷史數(shù)據(jù)遷移等。數(shù)據(jù)交換平臺(tái)是以“統(tǒng)一標(biāo)準(zhǔn)”、

“統(tǒng)一處理"、“統(tǒng)一交換”、“保證質(zhì)量”、“透明開放”的方式,為

不同業(yè)務(wù)系統(tǒng)、不同數(shù)據(jù)庫、不同數(shù)據(jù)格式之間進(jìn)行數(shù)據(jù)交換而提供服務(wù)

的平臺(tái)。數(shù)據(jù)交換平臺(tái)主要通過以下兩大類模式提供數(shù)據(jù)的共享發(fā)布和對(duì)

外開放:數(shù)據(jù)訂閱類與實(shí)時(shí)傳輸類。其中數(shù)據(jù)訂閱類含有輪詢訂閱模式,

實(shí)時(shí)傳輸類有實(shí)時(shí)接口模式、API共享模式。其計(jì)算框架主要由數(shù)據(jù)傳輸

框架與報(bào)文傳輸框架組成。

數(shù)據(jù)傳輸技術(shù)框架

分布式數(shù)據(jù)交換系統(tǒng)能夠把各種紛繁復(fù)雜的數(shù)據(jù)系統(tǒng)集成在一起完成特

定業(yè)務(wù),提供同構(gòu)數(shù)據(jù)、異構(gòu)數(shù)據(jù)之間的數(shù)據(jù)抽取、格式轉(zhuǎn)換、內(nèi)容過

濾、內(nèi)容轉(zhuǎn)換、同異步傳輸、動(dòng)態(tài)部署、可視化管理監(jiān)控等方面功能,

支持的數(shù)據(jù)庫包括各主流數(shù)據(jù)庫(如Oracle、SQLServer,MySQL等)、

地理空間數(shù)據(jù)(如衛(wèi)星影像、矢量數(shù)據(jù))、常規(guī)文件(word、excel、

pdf)等各種格式。分布式數(shù)據(jù)交換平臺(tái)可以實(shí)時(shí)或定時(shí)源系統(tǒng)采集數(shù)

據(jù),在數(shù)據(jù)從原始庫流向標(biāo)準(zhǔn)庫的過程中,監(jiān)控?cái)?shù)據(jù)量、數(shù)據(jù)內(nèi)容、數(shù)

據(jù)唯一性、正確性的變化情況,形成數(shù)據(jù)質(zhì)量報(bào)告和數(shù)據(jù)質(zhì)量告警。

實(shí)際部署過程中,將采用數(shù)臺(tái)服務(wù)器充當(dāng)ETL采集器,然后對(duì)接的目標(biāo)

系統(tǒng)的數(shù)據(jù)視圖、JDBC、共享網(wǎng)絡(luò)發(fā)現(xiàn)等接口,即可對(duì)數(shù)據(jù)進(jìn)行相關(guān)采

集。

數(shù)據(jù)報(bào)文傳輸技術(shù)框架

00)

數(shù)據(jù)提供方數(shù)據(jù)提供方

0)提供

數(shù)據(jù)提供方

數(shù)據(jù)提供方

數(shù)據(jù)提供方

分布式服務(wù)系統(tǒng)正是使用目前主流的分布式服務(wù)框架進(jìn)行開發(fā)的分布式

數(shù)據(jù)服務(wù)平臺(tái),通過分布式的服務(wù)節(jié)點(diǎn)將所有數(shù)據(jù)服務(wù)的調(diào)度申請(qǐng)與處

理進(jìn)行統(tǒng)一調(diào)度。分布式服務(wù)系統(tǒng)為所有的業(yè)務(wù)系統(tǒng)提供統(tǒng)一的服務(wù)管

理,數(shù)據(jù)使用者在取得數(shù)據(jù)授權(quán)的前提下,開發(fā)應(yīng)用客戶端調(diào)用數(shù)據(jù)接

口獲取數(shù)據(jù)服務(wù),系統(tǒng)將記錄接口調(diào)用記錄,形成接口調(diào)用分析表。

數(shù)據(jù)輪詢模式:數(shù)據(jù)輪詢交換模式,指數(shù)據(jù)使用者訂閱數(shù)據(jù),在運(yùn)營者審

批授權(quán)后,數(shù)據(jù)提供者根據(jù)訂閱信息從業(yè)務(wù)系統(tǒng)中提取數(shù)據(jù)生成數(shù)據(jù)文

件,由數(shù)據(jù)交換平臺(tái)采集、處理、推送到使用者端,或者將數(shù)據(jù)文件放置

在安全的FTP服務(wù)器,供訂閱人下載的服務(wù)模式。該模式適合于數(shù)據(jù)實(shí)時(shí)

性要求不太高的情況。

當(dāng)數(shù)據(jù)提供方與數(shù)據(jù)需求方建立起訂閱關(guān)系時(shí),分別可以選擇兩種

不同的訂閱模式。以下分別說明:

增量數(shù)據(jù)訂閱:增量數(shù)據(jù)訂閱分兩個(gè)階段:初始化與更新訂閱。初始

化階段為數(shù)據(jù)全量采集階段,并在數(shù)據(jù)共享交換平臺(tái)中保留增量標(biāo)識(shí)(時(shí)

間戳/版本號(hào)/狀態(tài)位)。更新訂閱階段時(shí)將檢測(cè)上一次增量標(biāo)識(shí)與本次增

量標(biāo)識(shí)的差距,并對(duì)差距范圍內(nèi)的數(shù)據(jù)進(jìn)行更新。

全量數(shù)據(jù)訂閱:每次數(shù)據(jù)更新進(jìn)行全量數(shù)據(jù)覆蓋,數(shù)據(jù)更新條件可以

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論