數據服務平臺及一表通管

理系統技術參數

黑龍江建筑職業技術學院

第1章項目建設背景

隨著高校信息化建設的發展，應用信息化的逐步深入，管理精細化程度加深，各系統的

數據割裂，形成多個信息孤島。數據部門產生大量異構數據，如何能方便高效地開放出去,

是學校信息化一直想要解決的難題。在從前校園沒有太多應用系統的時候，數據的開放方式

一般是直接將數據導出給對方。隨著業務系統的不斷增加，簡單的數據直連方式不僅低效,

還帶來了管理與安全等諸多問題。針對該需求，建設數據總線的解決方案在大量高校中進行

落地，解決了數據共享與數據交換的部分需求。時至今天，隨著業務需求的不斷增加，業務

服務對象由從前的各單位部門變為全校范圍內的師生，更多的應用、更多的用戶導致業務共

享與交換的壓力呈指數上升，對數據服務架構性能、穩定性、擴展性、可控性有著更高的需

求，數據服務共享缺乏統一管控，多頭采集，重復采集，服務通訊無法統一管控等問題日益

突出。與此同時，日益增加的業務數據交換需求與數據交換管理內容為技術部門帶來了沉重

的工作壓力，如何減輕工作量，并且方便業務部門進行數據管理，實現數據“誰生產，誰維

護，誰負責”，為了解決各類數據問題，打造一個數據服務平臺的需求應運而生。

總體來說，目前國內高校所開展的數據治理工作還都處于初級階段。數據的應用與數據

質量是一個相輔相成、相互推動的關系，對數據資產進行治理，是提升高校數據管理與應用

水平的關鍵舉措。高校應該著眼于長期持續有效的數據治理，建立行之有效的數據治理體系，

挖掘數據的潛力，從而發揮數據資產在高校中的核心價值。

第2章項目需求分析

數據是學校重要資產，也是學校管理與發展核心的支撐前提。因此通過全校性數據治理

解決數據問題，提升信息化應用水平，已是當務之急，刻不容緩。

本項目需要對學校進行數據治理，將通過一套科學數據管理方法,對學校各業務域分散、

重復、混亂的數據，進行梳理、建模、整合、評價、控制，制定數據標準和工作規范，打破

信息壁壘，消除信息孤島，提高數據合規監管和安全控制，對數據從產生、處理、整合、共

享、應用、銷毀等全生命周期進行管理，從而建立高質量的數據管理體系和統一的基礎數據

庫，支撐各相關業務高效運行，支持學校管理者方便、安全、快速、可靠地利用數據進決策。

根據行業實踐經驗，數據治理是破解信息孤島、數據質量不高、信息安全隱患等數據管

理難題行之有效的做法。本項目希望啟動全校性數據治理工作，對全校數據開展數據梳理、

數據標準制定、數據治理體制機制建立等工作，并建立數據治理平臺0

第3章詳細技術設計及指標

3.1數據服務平臺

序號數據服務平臺總體技術框架及實現功能要求

AAAR受務APIikftAPiftAAPI*????Aflttai**????

數據服務平臺提供各業務系統數據接入的接口，實現數據交換平臺和

各信息系統的有機結合，以統一的數據模型、數據質量標準和接口規

范實現數據自動提取、數據轉換、數據發送、數據校驗、數據審核

等，同時支持數據同步、歷史數據遷移等。數據交換平臺是以“統一

標準”、“統一處理”、“統一交換”、“保證質量”、“透明開

放”的方式，為不同業務系統、不同數據庫、不同數據格式之間進行

數據交換而提供服務的平臺。

模型管理平臺：管理學校數據項、數據元素、編號、代碼以及資源目錄

2等內容，通過平臺實現數據標準到資源目錄的轉換，為學校標準落地應提供

用到數據上提供了必要的前提條件。

數據質量管理模塊：管理不同數據項所應用的檢測方法、檢測腳本、檢

測方案等，并提供數據質量報告，顯示不同數據內容的數據檢測結果。提供

數據共享交換模塊：數據共享交換模塊是打破信息壁壘、消除信息孤島

的前提，起到橋梁樞紐作用。在全校業務系統在治理后，通過該平臺便

4提供

捷地實現業務數據在不同業務系統間順暢、實時、批量傳輸。

5中心庫管理：對學校中心庫進行數據的采集、清洗、轉換、映射、集成提供

過程管理，對基礎數據進行標準化，提供數據集成等功能。

實現重新梳理數據資產，并常態化監控學校現有數據情況。學校從前并

不了解所擁有的數據的整體情況，每當需要進行資源共享時，才委托信

息化部門到各業務部門中了解與調研數據，為數據共享帶來了巨大的

工作壓力。本次中心建設將學校范圍內的所有數據資源（數據形態包括

文件、數據庫、WebService接口、RESTful接口等）進行注冊，梳理數

6提供

據資產，并選擇性進行資源上架。并對注冊資源進行常態化監控與運

維，讓學校時刻了解到各數據的狀況，實現注冊上的數據資源將有平臺

進行常態化監控，如應用接口服務是否開啟、數據庫表結構是否變化

等，如有變化啟動相關資源管理流程。

實現利用分布式技術，實現數據高效共享。學校原有ODI體系系統存在

一定的性能瓶頸問題，本次建設需通過先進的分布式數據采集同步技

術，在技術底層上完成交換傳輸性能的橫向擴展，并且將共享流程融入

7提供

到整個數據共享管理過程中，聯動平臺的授權、注冊、資源變更、資源

監控、任務監控、系統監控等功能。

實現自動化自助共享服務。數據需求部門（包括數據中心）可自行在數

據服務平臺上對所需數據資源（或接口資源）發起申請，數據提供方審

批完成后，資源將由平臺自動推送，全過程不需要額外人工參與。通過

8提供

該方式讓數據共享24小時常態化運行，極大程度減少共享的溝通成本

與免除繁瑣的重復工作。

實現常態化數據治理體系：將通過一套科學數據管理方法，對學校數據

進行數據治理，建立統一數據標準，對學校各業務域分散、重復、混亂

的數據，進行梳理、建模、整合、評價、控制，制定數據標準和工作規

9提供

范，提高數據合規監管和安全控制，對數據從產生、處理、整合、應用、

銷毀等全生命周期進行管理，從而建立高質量的數據管理體系和統一

的主數據庫，支撐各相關業務高效運行，支持學校管理者方便、安全、

快速、可靠地利用數據進決策。

實現數據自治，打造數據服務生態圈。通過數據資源中心，按照“誰主

管，誰提供，誰負責”的原則，在數據共享全流程過程中，數據提供方、

平臺管理員、數據需求方各自承擔應有的責任并享有相應的權限。從而

10達到數據自治的效果，并且吸引各業務相關人員使用該平臺完成各種提供

數據調研、數據共享、數據管理等業務，提高平臺粘著力，讓更多的人

員參與到數據的挖掘與共享的生態圈中，實現智慧校園數據價值。

3.1.1平臺首頁

序號技術指標描述要求

1需提供平臺首頁功能，首頁應包含數據概覽、資產詳情、平臺運行監控提供

數據概覽

數據概覽需提供平臺部門系統接入情況、主題表建設情況、數據交換情

2提供

況

交換供需關系應展示數據提供方業務系統、數據需求方業務系統的分布

3提供

情況

數據資產概況應支持以標準數據項、標準代碼、交換資源為視角展示所

4提供

涉及表數量和業務系統數量

交換資源詳情應通過API資源和數據庫資源兩個維度展示交換次數和所

5提供

涉及業務系統數量

6資源交換熱度需展示交換熱度的Top5情況提供

7資源交換失敗需展示交換任務失敗的Top5情況提供

8費源交換耗時需展示交換任務耗時的Top5情況提供

質量概況需以統計方式展示今日數據質量所涉及的部門、業務系統、檢

9核表、檢核數據量、問題數據量、問題率，同時也可展示業務系統問題提供

率排行

資產詳情

數據資產應包含系統標準化排行、平臺數據量趨勢、原始庫、標準庫、

10主題庫數據情況、主題域數據情況統計、檢核類別分布、數據質量報提供

告、系統質量排行

11系統標準化排行需能展示校內系統標準化排行情況提供

平臺數據量趨勢需展示原始庫、標準庫、主題庫近一個月的數據量變化

12提供

情況

數據庫情況要求能展示原始庫和標準庫的數據統計情況；主題庫能夠展

13提供

示主題資產統計情況

14主題域情況應能展示各主題域數據統計情況和共享交換情況提供

15檢核類別分部應能展示平臺所使用檢核類別分部情況提供

數據質量報告需能展示數據質量問題率、總體概況、質量情況、問題詳

16提供

情、重點字段、檢核概況

系統質量排行需展示平臺接入業務系統數據質量排行情況，同時應支持

17提供

下鉆至系統質量報告進行問題詳情查看

平臺運行監控

平臺運行監控應包含平臺資源使用情況、磁盤空間占用情況、平臺任務

18提供

監控情況、任務運行耗時ToplO、平臺服務進程監控

平臺資源使用情況需以儀表盤方式展示平臺底層CPU、磁盤、內存分配和

19提供

使用情況

磁盤數據占用情況需能以儀表盤方式展示治理數據所配置的磁盤空間及

20提供

使用情況

平臺任務監控需能以圖表形式展示采集、轉換、集成、交換任務數量和

21提供

失敗任務數量

平臺任務耗時需能展示采集任務、轉換任務、集成任務、交換任務的耗

22提供

時ToplO排行情況

23平臺服務進程監控應能展示維持平臺運行所必須的進程狀態提供

24投標時需提供集中展示的數據概覽、資產詳情、平臺運行監控功能截圖提供

3.1.2標準管理

進行本地化擴充。《教育部教育管理信息標準》是由國家教育部頒布的標準，

它對信息化標準建設起宏觀指導作用，信息標準的建設將以此為基本依據；

本地化標準是各學校在以往工作中，根據實際工作需要規范學校信息編碼而

設立的信息標準，它對統一信息標準建設起輔助和補充作用。

數據標準類型

管理學校不同的標準類型，如國標/校標，國標第幾版、校標第幾版。

管理學校數據標準修改內容，對每次修改的時間、修改人、描述、所屬版本號

進行詳細描述。

學校數據標準版本管理。

學校數據標準版本詳細描述。

2提供

數據項標準管理。

管理學校數據項標準，支持Excel表格導入、導出功能。

搜索數據項標準，支持條件搜索、模糊查詢。

支持修改、添加功能，能按照格式修改或添加某一數據項標準，并生成新的

版本，并提交。

編碼標準

管理學校的編碼標準，可查看編碼類型、標準類型、編碼標準。

3支持Excel表格導入、導出功能。提供

搜索編碼標準，支持條件搜索、模糊查詢。

代碼標準

管理學校的基礎數據標準，可查看編碼編號、含義及枚舉。

4支持Excel表格導入、導出功能。提供

搜索基礎數據標準，支持條件搜索、模糊查詢。

數據質量核驗規則

管理學校編碼標準的數據質量核驗規則，可查看所屬系統、檢核類型、檢核

規則、責任部門，日期等。

支持Excel表格導入、導出功能。

5提供

搜索基礎數據標準，支持條件搜索、模糊查詢。

支持編輯、添加功能，能按照格式編輯或添加某一數據質量核驗規則，生成

新的版本，并提交。

主數據標準

管理表與表之間的關系。

6可支持表合并，并定義表名、字段、索引、SQL預覽功能。提供

根據條件選擇具體的表。

序號元數據管理設計技術要求

元數據管理

元數據管理基于CWM規范，同時提供內置數據字典、代碼管理等技術元數據

和指標、業務規則等業務元數據，符合學校數據倉庫環境的各類元數據管理

模型。元模型可由用戶自定義擴展，滿足客戶化元數據的需求。有元模型查

詢、元模型增加、元模型修改、元模型刪除、添加關系、權限設置等功能。

元數據管理是關于元數據的創建、存儲、整合以及控制的集合，用以支持和

基于元數據的相關應用。通過對元數據的管理，主要達到以下目標：

1提供

提供校級數據字典，便于內外部用戶更好地了解學校的數據概況；

提供全局元數據查詢檢索，便于用戶快速定位元數據；

提供元數據詳細描述，使用戶了解數據組成、結構及數據流向；

提供血緣/影響分析功能，便于用戶進行分析判斷、問題定位；

提供數據屬性標簽，便于用戶了解數據內容含義，并為后續的數據質量檢測、

學校搜索、維護數據提供支撐

元數據管理與維護

主要提供元數據的采集、變更維護等功能，便于數據中心的管理員能夠對元

2提供

數據進行有效的管理。

元數據的版本管理

7$MLAf-HIT

IKSXSXXB.gatM

1*，，*?*??????mumflkax.—e初awh

HMVI?B*ntwk?rai*??

XSkBKSXSXXBflPurtHX

(j："：bnanmnw9aBMU.IMauawwr*.

.m..MB?WI**?B.W

BKSXSXX*

**??MUMMA.MVWMt

amit”,

BUSXSXXSo

■?^St?:R*g**9MA:law?UtflmrtMil:X>l*KinUfl提供

3awn?a.1■■■■■*—.

SKSXSXX*9

1WFS'S:xctstouHtmsaavasoax：工■■tanmai：xMwmue

MS?望。*0MNMkWa****

>a34s>e*M：?O6?.M4;nHn|aw|

主要提供元數據的歷史版本存儲、分析和比對的功能，使得用戶能夠根

據此對元數據對應的數據對象的變化情況進行溯源。

影響分析

影響分析：為了實現正確、及時的分析功能，產品將學校元數據進行整合，

改變了原有各IT系統、BI工具集數據模型等元數據間各自隔離、互補關聯

的現狀，有效地將各部分的局部表述統一為整體，歸并重復表述，并對沖突

4表述進行甄別并提供進一步處理，在此基礎上影響分析提供基于數據流影響提供

分析功能。用戶分析能迅速了解分析對象的下游數據信息，快速識別元數據

的價值，掌握元數據變更可能造成的影響，以便更有效的評估變化帶來的風

險，從而幫助用戶有高效準確的對數據資產進行清理、維護與使用。

血緣分析

血緣分析：與影響分析類似，血緣分析是建立在學校整體元數據整合的

基礎上，提供了跨IT系統、跨BI工具的元數據分析，實現以數據流向為主

線的血緣追溯。血緣分析的作用主要表現為以下幾個方面，提升報表信息的

5提供

可信度，為學校數據的合規性提供驗證手段，幫助業務部門與IT支撐部門實

現信息共享、提升協調工作效率。

數據地圖

數據地圖：學校內的元數據，種類繁多、形式各異，集中管理元數據后，如何

提供便捷的使用方式，變成為發揮學校信息資產價值的關鍵。無論是元數據

查詢等功能，面向元數據細節信息的使用需求，更適用于具體的人員、部門

基于元數據開展相關工作，對于學校管理人員等高層用于，由于關注范圍廣

泛，大量的細節信息不能有效的滿足該類用戶的需要，而學校的數據地圖用

于宏觀層面，組織信息，力求以用戶視角對學校信息進行歸并、整理，展現

學校的宏觀信息，有效挖掘學校信息的潛在價值。

數據概覽

存儲等排名、主題域數據分布、應用引用數據表分布、我最近訪問的表、我

最近收藏的表等功能。

序號技術指標描述要求

數據標準發布中心

數據標準發布中心支持發布數據項標準、數據項標準對比、編輯公告信息、

1提供

上傳相關附件及國際文件操作

2支持平臺所發布的信息公告查看提供

為了方便學校對數據標準維護，要求平臺能展示已發布的數據項標準信息，

3提供

同時對己發布的數據標準提供下載、word版導出功能

支持查看當前數據項標準版本的使用情況，包含數據項標準數量、代碼標準

4提供

數量、教育部標準數量、發布版本數量、分類數量、數據項標準的執行率

5支持下載、上傳國家/教育部的標準文檔提供

6支持下載、上傳其他相關附件提供

數據項標準

需支持數據項顆粒度級別的標準的查看、新增、修改、刪除、導入、導出、

7提供

下載模板功能

需支持按照數據項分類、數據項子集名稱（精確查詢、模糊查詢）、審核狀

8提供

態條件進行數據項查詢

9需支持對數據項所屬代碼標準、對應數據項執行的檢核規則進行管理提供

支持記錄并展示單個數據項的版本變化情況、當前版本以及每個版本數據項

10提供

的使用情況

11需支持數據項標準的提交審核功能，顯示數據項標準的審核狀態提供

需支持數據項標準的新增功能，支持定義數據項編碼、中文簡稱、數據項

12提供

名、業務定義及規則、類型、長度信息。

13需支持關聯數據子集、針對已審批通過的數據項標準選擇關聯的數據子集提供

需要支持數據項子集分類結構的管理，包含數據項子集的新增、修改、刪除

14提供

功能

15需要支持數據項子集關聯數據項，在關聯過程中支持定義數據項的約束提供

16需要支持按照數據項名、數據項中文名條件進行數據子集的查詢提供

17需支持數據項標準的發布功能，支持填寫數據項版本和版本描述提供

需要支持代碼管理功能，包含代碼標準的新增、刪除、導入、導出、修改、

18提供

下載模板功能

需要支持按照代碼標準中文名稱、拼音標識、標準類型、審核狀態條件進行

19提供

代碼標準的查詢

需要支持代碼的新增、編輯功能，支持定義代碼基本信息和代碼內容，可設

20提供

置代碼內容的啟停用

元數據管理

需要支持通過UC矩陣功能，對于標準表的數據生產部門、生產系統、使用

21提供

部門、使用系統進行查看

需要支持通過UC矩陣功能，對于標準表字段的數據生產部門、生成系統、

22提供

使用系統、使用部門進行查看

23需要支持數據定責功能，通過數據定責可維護各個業務系統的數據責任人提供

24對于數據項標準應支持數據生產部門的調整，以輔助學校定位“一數一源”提供

需要支持數據地圖功能，支持查詢標準庫、主題庫的數據表的數據鏈路關

25提供

系，包括血緣分析、影響分析、全鏈分析

支持查詢標準庫、主題庫的數據庫表內數據字段的數據鏈路關系，包括血緣

26提供

分析、影響分析、全鏈分析

支持查詢標準庫、主題庫的數據庫表內數據內容的數據鏈路關系，包括血緣

27提供

分析、影響分析、全鏈分析

★需支持數據鏈路圖各節點的上下游情況查看，點擊某個節點查看該節點上

28提供

下游的操作詳情

需要支持數據字典查看、搜索功能，可根據數據存儲層級、業務系統、表

29提供

名，對數據字典進行查看，同時可支持按照層級、業務系統、表名進行查詢

支持數據字典管理功能，平臺需提供對數據字典進行收藏、修改、刪除等功

30提供

能，同時也應支持對數據字典的添加、導出等功能。

數據字典支持查看數據詳情。包含數據字典基本信息、表結構及歷史、血緣

31提供

關系、數據預覽，表結構及歷史、下載表結構等。

數據項版本

需支持查看學校發布的所有數據項版本信息，可根據數據項版本和版本描述

32提供

對數據項版本信息進行查詢

支持查看所有已發布的數據項標準，支持選擇任意兩個已發布的數據版本進

33提供

行對比。展示版本間的差異，包括新增、修改、刪除

34需支持對學校發布的數據項版本導出提供

數據審核

★需具有數據標準審批流程，當對代碼標準、數據項標準、標準表結構、檢

35核規則的新增、修改操作時平臺需要進行審核（“審核通過”或者“審核不提供

通過”），完善數據標準管理體系。

數據審核可查看表變更、基礎數據變更的詳細情況，支持通過審核情況及審

36提供

核日期進行查詢

3.1,3主數據管理

序主數據管理技術設計

要求

號

主數據集成過程管理

1-----------------?…-----------------9---------------------------------------g1

■waawanannHneanan*

""M?sR?t*c?■!<?-1A-[-.)aatte

im?MnO

aaafljiimw?>oslim

as?■V?aattc

1ZSJ9.t.cod(.iUn(MJDOWCJHT*?t6@2。

1提供

iZ&KLMMMOUH4VSS?BO

>mQQwcktxMpdataqMut/ARB(BRO

4J*”5l?B??RO

B2MjMtunx.?*>c?an?CB<B0O

圖：數據集成過程管理

數據集成過程中，第一步需要進行的是數據清洗與轉換，數據清洗的主要目的

是把數據中的臟數據進行過濾，把多個數據源中同一個屬性的描述統一表示。原始

庫中的數據經過數據清洗會保存到標準庫中。數據清洗列表中展示了當前的清洗作

業，可以批量設置作業的開啟和關閉狀態，同時也提供了設置調度時間。數據清洗

設置包含了數據過濾和數據替換兩個功能。數據過濾主要是把原始庫中的臟數據過

濾掉，保證標準庫中數據都是滿足業務要求的。數據替換的主要功能是把各個業務

系統中對同一個屬性的描述替換成同一個數據，保證屬性描述的一致性。在數據替

換模塊，引進了標準化數據。把常用的枚舉數據保存到標準庫中，主要包括性別，

生源地，學院等屬性。

數據清洗完畢后，第二步進行中心庫數據集成。在中心庫管理模塊對數據進行

歸并和校正時，有時會遇到數據異常現象將使用區間限定法和歷史數據近似值等方

法修復，如：成績信息，可能存在異常填寫，超出正常范圍，此時需要采用區間限

定方法去除異常數據，對數據進行校正，如果存在數據格式錯誤，將通過規則對數

據進行修復，如：日期的表現格式中不同的系統中可能格式不一樣，因此，需要使

用同步規則將日期轉換成統一的標準。在對數據進行修復是，有時也需要人工干預

判斷。對于數據缺失，將根據業務系統特點，如果在業務系統中存在該數據，將采

取從業務系統再次導入，如果不存在該數據，將根據數據規則手動校正數據和補入，

同時建立補入規則，實現后續缺失數據的自動補入。對于沒有價值或不影響業務的

數據，將放棄該數據。

由于業務系統眾多并相對獨立，從而數據重復在建立統一數據庫時將是數據治

理中很大的一部分內容，因此將采用自動對比方式，清除完全重復的數據記錄，同

一種記錄存在差異，但有效只能保存一條時，將采用按時間對比的方式，去除過期

數據。在面臨程序不能正確判斷數據是否正確的邏輯數據時，則需要人工加以判斷，

制定去重規則。

數據類型支持：

數據庫：Oracle、DB2、Teradata、MSSQLServer>MySQL等

大數據文件：Hive、HDFS等文件

其他來源：XML、Excel.CSV,TXT、log文件等客戶化元數據

中心庫構建與管理設計

圖：中心庫結構效果圖

根據數據治理的數據關系模型和數據標準（數據元素標準、代碼標準），構建

以人（教師、學生）為核心的數據管理中心庫物理模型并建庫。基礎庫的內容主要

包括且不僅限于：公共代碼、組織機構信息、人事基本信息、學生基本信息、科研

2項目基本信息、科研論文基本信息、科研機構基本信息、設備基本信息、房產基本提供

信息、專業基本信息、課程庫基本信息、人事耿務信息、人事職稱信息、人事崗位

信息、研究生導師信息、學生選課信息、學生成績信息、獎助貸信息、參與科研項

目信息、參與科研論文編寫信息、設備保管信息、房產管理信息。中心基礎庫的建

設要兼顧到國家標準、行業標準以及學校實際業務情況，滿足學校管理需要以及上

報數據需求。

根據數據關系模型，通過數據共享交換平臺抽取業務數據，集成包括基礎數據

庫、業務共享數據庫和決策支持數據庫在內的統一、完整、準確、實時的中心數據

庫。基礎數據庫主要以人員（教工、學生）、教學、科研、財務、資產等對象的基

礎信息組成，具有識別唯一性、特征一致性和業務穩定性等特點；業務共享數據庫

主要以面向業務主題的共享信息組成，具有事務性、擴展性和多應用共享復用等特

點；決策支持數據庫存儲決策分析模型、報表、圖表等信息。

中心數據庫根據業務規則，通過數據共享交換平臺提供接口調用和主動推送方式，

分發同步至相關業務系統中，達到消除數據多頭采集、重復采集造成的數據不一致

現象。中心數據庫作為學校的核心數據庫，運維工作非常重要，需要制訂完備的運

行維護機制，包括數據備份、恢復、歸檔等的策略和實施。

序號技術指標描述要求

數據概覽

需通過柱狀圖展示主題庫記錄數分布情況；通過餅狀圖展示主題庫存儲

1占用分布；通過環形圖展示主數據檢核類型分布；通過折線圖展示主數提供

據質量趨勢

標準庫結構管理

需支持標準庫結構管理功能，可基于業務部門、業務系統等維度對標準

2提供

庫表進行查詢，同時也應支持對標準庫表按照表名和更新時間進行排序

3需支持以可視化方式對標準庫表新增、拷貝、修改提供

需支持標準庫表詳情查看功能。選擇標準庫表，可跳轉查看表詳情，表

4詳情應包含：基本信息、表字段信息、索引信息；基本信息應可查看表提供

名稱、數據庫來源、業務系統來源等

★標準庫表新建過程中須引用已審核通過的數據項標準；檢索數據項標

5準時需支持按照數據子集、數據項名、數據項中文名檢索數據項標準；提供

新建或修改的標準庫表結構時，提交并審核通過后方能生效

6為方便用戶去使用標準庫表，需支持標準庫表的索引添加提供

主題庫結構管理

需支持圖形化界面展示主題庫信息、，同時還應支持以列表形式展示主題

7提供

庫信息

列表方式需支持搜索功能，可對主題庫表進行搜索，同時也應支持對主

8提供

題庫表按照表名、更新時間進行排序

需支持以可視化方式對主題庫表的新增、拷貝、修改，同時也應支持基

9提供

于各業務分析、展示需求建立主題庫表，支持建表SQL預覽功能

需支持主題庫表詳情查看功能。選擇標準庫表，可跳轉查看表詳情，表

10提供

詳情應包含：基本信息、表字段信息、索引信息

主題庫表新建過程中須引用已審核通過的數據項標準；檢索數據項標準

11時需支持按照數據子集、數據項名、數據項中文名檢索數據項標準；新提供

建或修改的主題庫表結構時，提交并審核通過后方能生效

12為方便用戶去使用主題庫表，需支持標準庫表的索引添加提供

數據關系管理

★需支持以可視化方式展示數據流轉架構。界面應呈現原始庫、主題

13庫、標準庫數據流轉關系；同時可以通過視化界面實現數據采集、數據提供

轉換、數據集成功能

支持可視化數據集成功能，可根據業務需求對單表、多表處理。如單表

14提供

轉換、多表集成、多表轉換功能

數據采集需支持根據表名、采集狀態、是否開啟、增量狀態、定時狀態

15提供

五種檢索條件查詢采集任務

數據采集需支持設置增量字段，單個采集表單可以配置多個增量字段進

16提供

行采集

數據采集需要支持采集任務調度設置。應具有查看標準化、手動執行、

17提供

查看執行日志、查看鏈路分析、初始化、啟停用采集的功能

數據采集需要支持對采集數據表原始結構變動的感知同步功能，當業務

18系統原始數據表結構發生變化時平臺采集會自動感知結構變化并以消息提供

通知提醒

數據采集需要支持原始表結構變更同步，展示變更結構與原結構變化對

19提供

比，點擊同步按鈕則會應用新的業務表結構并保存歷史記錄

數據轉換需要支持轉換任務調度設置功能。應具有手動執行、查看執行

20提供

日志、查看配置、編輯、初始化、刪除的功能。

數據轉換需支持根據表名、轉換方式、是否開啟、執行狀態、定時狀態

21提供

五種檢索條件查詢轉換任務

數據轉化需要支持代碼轉化功能，選擇原始代碼表并配置標準代碼轉換

22提供

規則即可完成標準代碼轉換工作。

數據集成需支持根據表名、集成方式、是否開啟、執行狀態、定時狀態

23提供

五種檢索條件查詢集成任務

數據集成需要支持集成任務調度設置功能。應具有手動執行、查看執行

24提供

日志、查看配置、編輯、初始化、刪除的功能

數據集成應支持對兩個或多個表單進行關聯配置，最終集成為一個數據

25提供

表單，形成主體數據進行存放。

數據查詢

需支持原始庫的查詢功能，需提供通過多組檢索條件對原始層數據進行

查詢。對于增量采集的數據需開放單個數據的歷史數據查詢；展示該數

26據變化的歷程，支持查看失效數據、查看對于學校已經刪除的數據、查提供

看學校某個時間點的數據狀態，方便學校對于原始庫數據的管理，監測

數據采集的真實性、有效性

需支持標準庫的查詢功能，需提供通過多組檢索條件對原始層數據進行

查詢。對于增量采集的數據需開放單個數據的歷史數據查詢；展示該數

27據變化的歷程，支持查看失效數據、查看對于學校已經刪除的數據、查提供

看學校某個時間點的數據狀態，方便學校對于標準庫數據的管理，監測

數據采集的真實性、有效性

需支持主題庫的查詢功能，需提供通過多組檢索條件對原始層數據進行

查詢。對于增量采集的數據需開放單個數據的歷史數據查詢；展示該數

28據變化的歷程，支持查看失效數據、查看對于學校已經刪除的數據、查提供

看學校某個時間點的數據狀態，方便學校對于主題庫數據的管理，監測

數據采集的真實性、有效性

★需支持原始庫、標準庫、主題庫數據查詢結果顯示列的篩選功能，通

29提供

過選擇需要顯示的字段，控制數據查詢界面展示結果

離線表導入

為滿足學校離線數據使用需求平臺需支持離線表導入功能。要求根據線

30提供

下EXCEL表信息在線建立表結構，設置字段的校驗規則

需支持在線填報數據和線下表導入。支持數據的新增、修改、刪除、模

31板下載、導入、導出操作。輔助學校將一些需要治理交換的表格電子化提供

并納入治理交換流程

備份管理

32需支持原始庫、標準庫、主題庫數據備份管理提供

支持配置備份任務、手動執行備份、刪除備份、查看備份內容設置、備

33提供

份是否開啟操作

3.1.4數據共享交換

序號數據共享交換設計技術要求

數據共享交換模塊提供各業務系統數據接入的接口，實現數據交換

平臺和各信息系統的有機結合，以統一的數據模型、數據質量標準和接口

1提供

規范實現數據自動提取、數據轉換、數據發送、數據校驗、數據審核等，

同時支持數據同步、歷史數據遷移等。數據交換平臺是以“統一標準”、

“統一處理"、“統一交換”、“保證質量”、“透明開放”的方式，為

不同業務系統、不同數據庫、不同數據格式之間進行數據交換而提供服務

的平臺。數據交換平臺主要通過以下兩大類模式提供數據的共享發布和對

外開放：數據訂閱類與實時傳輸類。其中數據訂閱類含有輪詢訂閱模式,

實時傳輸類有實時接口模式、API共享模式。其計算框架主要由數據傳輸

框架與報文傳輸框架組成。

數據傳輸技術框架

分布式數據交換系統能夠把各種紛繁復雜的數據系統集成在一起完成特

定業務，提供同構數據、異構數據之間的數據抽取、格式轉換、內容過

濾、內容轉換、同異步傳輸、動態部署、可視化管理監控等方面功能，

支持的數據庫包括各主流數據庫（如Oracle、SQLServer,MySQL等）、

地理空間數據（如衛星影像、矢量數據）、常規文件（word、excel、

pdf）等各種格式。分布式數據交換平臺可以實時或定時源系統采集數

據，在數據從原始庫流向標準庫的過程中，監控數據量、數據內容、數

據唯一性、正確性的變化情況，形成數據質量報告和數據質量告警。

實際部署過程中，將采用數臺服務器充當ETL采集器，然后對接的目標

系統的數據視圖、JDBC、共享網絡發現等接口，即可對數據進行相關采

集。

數據報文傳輸技術框架

00）

數據提供方數據提供方

0）提供

數據提供方

數據提供方

數據提供方

分布式服務系統正是使用目前主流的分布式服務框架進行開發的分布式

數據服務平臺，通過分布式的服務節點將所有數據服務的調度申請與處

理進行統一調度。分布式服務系統為所有的業務系統提供統一的服務管

理，數據使用者在取得數據授權的前提下，開發應用客戶端調用數據接

口獲取數據服務，系統將記錄接口調用記錄，形成接口調用分析表。

數據輪詢模式：數據輪詢交換模式，指數據使用者訂閱數據，在運營者審

批授權后，數據提供者根據訂閱信息從業務系統中提取數據生成數據文

件，由數據交換平臺采集、處理、推送到使用者端，或者將數據文件放置

在安全的FTP服務器，供訂閱人下載的服務模式。該模式適合于數據實時

性要求不太高的情況。

當數據提供方與數據需求方建立起訂閱關系時，分別可以選擇兩種

不同的訂閱模式。以下分別說明：

增量數據訂閱：增量數據訂閱分兩個階段：初始化與更新訂閱。初始

化階段為數據全量采集階段，并在數據共享交換平臺中保留增量標識（時

間戳/版本號/狀態位）。更新訂閱階段時將檢測上一次增量標識與本次增

量標識的差距，并對差距范圍內的數據進行更新。

全量數據訂閱：每次數據更新進行全量數據覆蓋，數據更新條件可以