共享數據中心目錄共享數據中心 1術語和符號說明 11. 概述 21.1. 什么是共享數據中心 21.2. 數據共享的難點 21.3. 解決方案 31.3.1. 統一全校信息標準 31.3.2. 動態管理共享數據庫 41.3.3. 嚴格管控共享數據庫對外開放的接口 41.3.4. 通過DCI執行數據交換 52. 產品技術架構 52.1. 設計理念 52.2. 系統架構 73. 產品特色功能 73.1. 信息標準的數字化管理 73.2. 從元數據生成中心庫的SQL語句 83.3. 逆向生成中心庫元數據 83.4. 業務數據的無縫整合 83.5. 面向多層面的數據查詢 83.6. 可訂制的對外數據服務 93.7. 基于角色的用戶權限控制 93.8. 標準數據的一鍵式導入導出 93.9. 標準的備份與還原 93.10. 完善的平臺日志 103.11. 高效的監控手段 104. 產品功能體系 114.1. 共享數據中心平臺 114.1.1. 信息標準體系 124.1.2. 共享數據庫 134.1.3. 數據集成 134.1.4. 數據流分析 144.2. 管理工具 154.2.1. 信息標準管理 154.2.2. 中心庫元數據管理 194.2.3. 數據查詢 244.2.4. 數據服務管理 264.2.5. 系統管理 274.2.6. 監控中心 30概述什么是共享數據中心共享數據中心包括信息標準管理工具、共享中心庫管理工具、數據服務管理工具，它與數據清洗轉換中間件DCI一起協作實現各類應用管理系統間數據共享，逐漸形成全校權威數據中心庫，是為部門領導、學校領導提供全面權威信息查詢統計和數據挖掘分析的重要基礎。數據共享的難點當前，各高校現有應用系統來源不同：主管部門下發、委托校外公司開發或自行開發，沒有統一的數據標準，存在各種不同的數據存儲方式和結構，在數據整合過程中造成了：系統間對稱數據找不到映射規律，只能通過人工維護中間表；系統間有業務關聯的數據因為使用了不同的基礎數據表也不能直接鏈接，需要依賴于基礎數據表間的關聯關系……大量基礎數據在各系統重復管理且沒有進行同步，存在大量數據不一致，學校也難以確定以那個部門的數據為準。正是因為存在以上難題，現有數字校園廠商盡管都能提供相應的數據整合服務，但一方面，廠商數據整合成本高，只能為少數學校提供數據整合服務；另一方面，學校沒有認識到信息孤島間的數據整合重要性和難度，不肯花錢購買服務。最終導致目前我國大多數高校信息化仍然處于“信息孤島”狀態。解決方案統一全校信息標準信息標準的制定信息標準的內容應該滿足：繼承性《JYT1006_高等學校管理信息》是教育部為高等學校信息化制定的通用標準，各校信息標準應該參照該標準及其規范性引用的國家標準、行業標準、教育部其他標準。實用性為保證信息標準能夠真正應用于學校的信息管理，各校需要根據高校信息化的實際情況動態擴增信息標準，包括本校自定義數據子集管理、本校自編代碼子集管理。信息標準體系如下圖所示：信息標準的應用通過元數據管理工具將數據標準中規定的數據項、數據子類生成數據庫表、字段；在數據庫設計過程中參照信息標準，這時信息標準可以當作數據字典使用。動態管理共享數據庫標準化描述共享數據資源，讓用戶能夠讀懂共享數據及其結構，為用戶管理共享數據庫提供了有利條件。學校初建共享數據中心平臺時，可以先滿足舊系統間的數據交換，后續新建應用系統、綜合統計查詢、數據分析挖掘等功能時，可以通過元數據管理工具擴展共享數據庫存儲，再用數據清洗轉換工具配置新的數據抽取作業，將數據抽取到共享數據庫，最終達到靈活管控共享數據庫的目的。嚴格管控共享數據庫對外開放的接口共享數據庫集中了全校豐富的數據，保證數據安全是共享數據中心正常運行的重要前提，因此需要嚴格管控共享數據庫的寫入、讀取功能。產品可視化選擇共享數據并結合數據操作功能，研制了數據接口設計工具及可視化授權管理功能幫助普通用戶快速掌握共享數據庫安全管理技能，自行維護本校共享數據中心讀寫權限。通過DCI執行數據交換通過信息標準管理、共享數據庫管理，保證了共享數據的標準化存儲設計，通過DCI（數據整合中間件）按照共享數據讀寫權限，將各應用系統的數據抽取到共享數據庫或將共享數據庫中的數據推送到各應用系統。產品技術架構設計理念康賽共享數據中心通過“統一全校信息標準”、“集中全校權威數據”、“規范化數據服務”三大功能體系，建立起高校“開放、靈活、可視化”的共享數據中心。“統一全校信息標準”全校信息標準是全校信息化數據字典，信息化項目之間通過使用同一套數據字典對公共數據達成統一認識，從而解決不同應用系統間信息共享時，數據“對不上”的問題。全校信息標準的建立遵循“循序漸進，逐步完善”的原則。“集中全校權威數據”遵循全校信息標準，結合元數據管理工具實現標準、開放的共享數據中心庫設計。“規范化數據服務”為第三方系統提供可自定、統一規范的數據寫入接口和數據查詢接口，前者定義為數據推送服務，后者定義為數據查詢服務。遵循“一數一源”原則設計數據服務、管理數據服務授權，并動態生成的數據服務說明文檔。系統架構產品特色功能共享數據中心是學校業務數據共享與交換的重要樞紐，是學校業務數據和信息資源的有效整合的基礎。包括信息標準管理工具、共享中心庫管理工具、數據服務管理工具，它與數據交換平臺一起協作實現各類應用管理系統間數據共享，逐漸形成全校權威數據中心庫，是為部門領導、學校領導提供全面權威信息查詢統計和數據挖掘分析的重要基礎。共享數據中心的主要功能特色如下：信息標準的數字化管理系統提供了對教育部、省、市等教育主管部門制定各類教育信息化標準的集中管理，主要包括信息標準文檔導入、查詢、瀏覽；從EXECL導入信息標準到數據庫表，并提供查詢和瀏覽等功能；為學校領導以及信息化建設部門提供學校信息化系統設計、開發、實施等活動提供參照標準，為上級教育主管部門采集學校的教學活動信息奠定基礎。從元數據生成中心庫的SQL語句學校在開發新的應用系統時，在設計應用系統的數據庫結構時，需要參照共享數據中心的結構等相關信息，康賽共享數據中心提供了從元數據生成創建中心庫的SQL語句，為系統設計員設計應用系統參照中心庫的結構提供方便；當學校新建立共享數據中心時，該功能為新建中心庫提供了方便。逆向生成中心庫元數據系統在設計共享數據中心時，考慮部分學校已有具有用于數據共享與交換的簡易中心庫，而沒有對國家和學校信息標準管理的功能，同時更不具有對中心庫的元數據進行管理能力。當學校需要采用康賽共享數據中心提升學校信息化水平時，利用中心庫逆向元數據生成功能，容易將原有的中心庫平滑地整合到現有共享數據中心。業務數據的無縫整合康賽共享數據中心結合自主研發的DCI，整合學校各業務系統的數據，將業務應用共享的基礎數據轉化成標準的、權威的數據，通過數據抽取或同步方法，將數據采集到共享數據中心，同時制作數據更新報告，定期分發推送到相關的應用系統。面向多層面的數據查詢信息查詢是應用系統的重要功能之一，康賽共享數據中心在設計中心庫的查詢功能時，既考慮到普通用戶對中心數據瀏覽的需要，同時考慮到共享數據中心的系統管理員對數據復雜查詢的需要。對普通用戶提供了一鍵式的簡易查詢的數據瀏覽功能；同時為具有較好計算機技術基礎的系統管理員提供了可靈活編輯SQL語句的查詢處理功能。可訂制的對外數據服務為了學校業務應用系統能訪問共享數據中心的共享數據，共享數據中心的業務系統提供了WebService訪問的數據服務接口。由于各應用業務系統需要訪問共享數據中心的數據是不相同的，需要的訪問服務接口也不一樣，因此，共享數據中心管理員可以根據各應用系統的需求，靈活訂制出符合業務系統需要的數據服務接口。基于角色的用戶權限控制為了阻止非法用戶訪問共享數據中心的數據，共享數據中心提供了基于角色的授權訪問控制策略。主要功能包括：創建用戶及權限分配，系統功能資源的管理，角色創建以及權限分配，管理員可以將角色分配給用戶，也可以直接將系統功能的使用權授予給用戶，實現了用戶授權簡潔性和靈活性。標準數據的一鍵式導入導出相同類型的不同學校，參照或引用的教育主管部門頒布的信息標準相同，與信息標準相關的元數據也基本相同的。為了方便用戶或實施人員快速部署共享數據中心，系統提供了信息標準及相關元數據的導出和導入功能。標準的備份與還原信息標準是共享數據中心的基礎數據，大多數學校采用的教育主管部門的信息標準是相同的，學校自定義內部信息標準存在許多共性；同時與信息標準相關的元數據存在很大的相似性。為了方便用戶使用，以及快速部署。系統提供了一鍵式的信息標準及元數據的備份與還原。完善的平臺日志平臺提供了系統安全日志、系統日志和事件日志，能全方位的記錄平臺運行狀況，提供問題溯源機制。高效的監控手段平臺提供圖表等多形式的直觀監控畫面，對共享數據中心的性能、負荷和運行狀態進行全方位的監控，并根據運行的監控結果進行智能分析，能有效提高監控質量，當故障發生時及時作出應急預警。產品功能體系共享數據中心平臺數據中心是學院業務的重要樞紐，數據和資源的有效的交流與合作離不開數據中心。數據中心不但能提高機構的生產力，改善業務流程，還能加快變革的進程。數據中心已經成為IT部門優化、保護的戰略重點，教育行業信息中心也成長為參與決策的重要部門。數據中心資源的整合和虛擬化正在不斷發展，這需要高度可擴展的永續安全數據中心網絡基礎。網絡不但能讓用戶安全訪問各種數據中心服務，還能根據需要實現共享數據中心組件的部署、互聯和匯聚，包括各種應用、服務器、設備和存儲。適當規劃的數據中心網絡不僅能保護應用和數據完整性，提高應用可用性和性能，還能增強對不斷變化的市場狀況、業務重要程度和技術先進性的反應能力。建立統一的數據中心，解決數據無法及時更新，產生大量信息孤島，數據重復采集、系統重復建設，無法獲取地理信息資源的問題，將政府機關、事業單位的應用系統數據集中統一起來。學院建立統一共享數據中心作為校內基本數據的唯一共享平臺，集中整理各個業務部門的基本數據，實現統一管理，保證數據的權威和準確，為各個業務應用系統和各類服務系統提供數據支持。共享數據庫提供以下主要的功能：數據采集負責采集學校各個業務系統的數據，利用通用的數據抽取/同步工具將數據采集到共享數據中心，同時生成數據更新報告。數據的整理按照學校數字化校園制定的信息標準對更新的數據進行整理，報告數據異常，保證數據的一致性和準確性，保留歷史數據。數據的共享對數據中心的部分或全部資源進行共享和利用。共享數據中心實時提供數據使用情況報告。數據的挖掘分析通過數據挖掘工具對共享數據和歷史數據的分析和評估，形成各種報表或根據需要展現分析結果，為決策提供參考。信息標準體系構建高校共享數據中心，首先要關注的是信息的標準化問題。整個高校的數據表示需要按照一定的標準編碼，方便校內數據和行業之間數據流通。目前存在國家標準、行業標準、市級標準和高校內部自己標準。如何根據這些標準，兼顧各個標準之間的兼容性，和標準的一致性，以及標準的可擴展性，給出具體高校的信息分類編碼規格說明書成為高校共享數據中心建設的前提。目前在建數字化校園高校的數據標準一般分為基礎代碼數據標準、學校各信息子集信息標準、部門數據信息標準等。基礎代碼數據標準主要記錄一些基礎代碼表，例如民族、籍貫等，這些通常有國家標準或相關權威部門的標準。學校各信息子集信息標準主要以教育部標準為主,部門數據信息標準是根據學校各信息子集標準然后結合學校的部門業務所產生的，該部分集中反映了學校各部門的業務信息標準，是信息標準的核心部分，各學校的差異也比較大。同時，康賽共享數據中心的信息子集管理提供了基于國家標準《高等教育管理信息標準》的參照標準：共享數據庫共享數據中心的共享數據庫是所有共享數據的存放容器，所有應用系統的共享數據在這里集成。它從數據源集成數據并保持更新同步，成為各個應用系統之間的共享數據通道。同時，他被用作統計分析服務的數據源，為統計分析服務提供從各個應用系統集成過來的共享數據。共享數據中心庫通過數據集成工具從數據源的各個應用系統數據庫抽取數據，并根據數據類型分類存儲數據。康賽共享數據中心庫支持市面上主流數據庫。如：Oracle、IBMDB2、Sybase、MySQL、SQLServer、MSAccess等。數據集成共享數據中心庫的數據是從多個數據源集成而來，對于數據符合數據規范應用系統，這個集成的過程就是數據抽取的過程；對于數據不符合數據規范的現有應用系統，集成的過程就是實現將不規范的數據源通過整合轉化成規范的數據并保證數據的準確。數據集成的前提條件是對于每一個要接入的應用系統的數據源進行評估和調研。首先需要確定要從應用系統抽取哪些數據，提供相應的數據字典，并且確定對應于數據中心的數據表。數據源應具有可訪問的數據接口，可接入的數據接口模式包括：1、直接開放數據庫只需要只讀的賬戶權限。需要在保證原有系統數據安全性和完整性，不影響原有系統。2、中間文件數據源如應用系統不能對外開放數據庫，則可以導出差異數據文件到指定的位置。3、前置機數據庫將原有系統數據定時備份至指定的前置數據庫服務器，特別適用于網絡隔離以及數據安全性高的數據環境。數據流分析學校的應用系統比較多，彼此間的數據交換和數據共享也是錯綜復雜。繪制了U/C矩陣，通過使用U/C矩陣的方式可以直觀、形象、清晰的表現出一個過程對相關的一些數據的使用或者在這個過程中所產生的一些數據，從而進一步具體分析學校哪些部門產生哪些數據提供給數據中心，哪些部門需要從數據中心共享哪些數據，明確數據來源和流向。（“U”表示對數據信息的使用，“C”表示數據信息的提供或產生。）以教師的數據流向為例，U/C矩陣表如下圖：管理工具信息標準管理信息標準的管理主要包括信息標準的創建、刪除、修改、查看，信息標準內容的創建、刪除、修改、查看，因為信息標準在制定或修改過程中不能公布，所以將未公布的、處于編輯狀態下的信息標準定義為標準草案；將公布的、不能編輯的信息標準定義為執行標準。在制定各高校信息標準的過程中，可以查看并取用國家標準《高等教育管理信息標準》。由于該標準在各高校信息標準的制定過程中起到了參照作用，因此將其命名為參照標準。制定好的標準草案發布成為執行標準后，學校新建應用系統或舊系統升級都應該基于本校執行標準設計數據庫結構。共享數據中心庫將為各應用系統提供數據，尤其應該基于全校統一的信息標準，因此當執行標準更新時需要提醒中心庫元數據管控中心更新信息標準。標準數據集管理創建數據子集、數據類、數據子類：創建數據項的界面如下圖所示：值空間可以不限制，也可以進行取值限制、代碼化：取值限制取值限制系統默認給出了日期、電子郵箱、url、電話號碼、IP地址、身份證號、銀行卡號。也可以根據實際情況自定義取值格式：代碼化公共代碼庫管理公共代碼庫與數據集所不同的是，代碼項一般只存儲編碼對象的代碼、名稱（、說明）。公共代碼庫按不同職能域將代碼表劃分為不同代碼子集。創建代碼子集、代碼類：創建代碼表的界面如下圖所示：創建代碼時，只按代碼規則輸入代碼和名稱即可：取用參照標準不管是創建數據子集、數據類、數據子類、數據項、代碼子集、代碼類或者代碼表，都可以取用參照標準，取用成功后，相應的表單內容自動填寫所要取用數據對象的內容及下級元數據：中心庫元數據管理中心庫數據集管理數據集按照不同職能域分為不同數據子集，如教學管理數據子集。數據子集按照職能域中的不同業務分為不同數據類，教學數據類可能是一張表，如排課數據類；也可能是多張表，如教學計劃數據類又細分為計劃課程子類、計劃學分學時要求子類、總體計劃子類。創建數據集時，按照以上邏輯關系分級創建：創建數據子集、數據類、數據子類：上圖為創建數據子集、數據類、數據子類的界面，創建時，需要填寫：是否為數據對象、中文簡稱、編號、描述信息、編輯部門。創建字段創建字段的界面如下圖所示：創建字段時，需要填寫：中文簡稱、字段名、長度、數據類型、值空間、約束、主鍵、索引、引用編碼、業務說明。同一標準數據表中，中文簡稱、字段名不能重復。字段名規定為中文簡稱的大寫首字母，當同一標準數據表中出現了相同的字段名，應該在大寫首字母后補充出現的序號。編號是指本信息標準內各數據對象的唯一標識符，編號采用分層級的編碼方式，即下級標準數據對象的編號前幾位將繼承上級標準數據對象的編號，如教學編號為GXJX，而教學計劃數據類的編號為GXJX03。值空間可以不限制，也可以進行取值限制、代碼化：取值限制取值限制系統默認給出了日期、電子郵箱、url、電話號碼、IP地址、身份證號、銀行卡號。也可以根據實際情況自定義取值格式：代碼化中心庫公共代碼庫管理公共代碼庫與數據集所不同的是，代碼項一般只存儲編碼對象的代碼、名稱（、說明）。公共代碼庫按不同職能域將代碼表劃分為不同代碼子集。創建流程如下圖所示：共享數據中心公共代碼庫在系統初始化時自動生成，在公共代碼庫進行編輯。創建代碼子集、代碼類：創建時需要填寫：名稱、編號、描述信息、編制部門。名稱在整個公共代碼庫中不能重復。創建代碼表的界面如下圖所示：創建時需要設置代碼的編碼規則：字段名稱、編碼類型、編碼方式、編碼長度、是否生成代碼表、描述信息、編制部門。字段名稱是指，當這個代碼表中的內容需要進行分類時，應該從代碼上將分類上下級關系確定出來。創建代碼時，只按代碼規則輸入代碼和名稱即可：取用執行標準只有創建數據表、字段、代碼表，代碼才可以取用執行標準：取用成功后，相應的表單內容自動填寫所要取用數據對象的內容并自動生成下級元數據。從已有中心庫結構獲取元數據從中心庫讀取數據表及表設計信息，并將其與標準元數據關聯起來。如：將數據表移至數據子集或數據類中，再將數據表中的字段與已有標準進行關聯。表數據查看在管理中心庫元數據中的數據子類或數據表時，可以查看數據表中存儲的數據，查看流程圖下圖所示：查看表數據的功能界面如下圖所示：數據查詢共享數據中心提供數據查詢工具，系統管理員可以編寫查詢語句查詢中心庫數據。SQL編碼區用戶可通過SQL語句操作共享數據庫中的數據。運行結果SQL編碼區中的SQL語句操作結果可顯示在此處。數據服務管理數據服務是指共享數據中心對第三方應用系統開放的數據查詢接口，數據服務管理主要包括數據服務新增、刪除、修改；應用系統管理；數據服務授權管理及數據服務調用。數據服務發布、停用只有處于發布狀態下的數據服務才能被應用系統成功調用，只有處于停用狀態下的數據服務才能進行修改、刪除。數據服務創建成功后，處于發布狀態，可以發布停用狀態下的數據服務；可以停用發布狀態的數據服務。應用系統安全信息管理創建應用系統信息時，需要輸入以下信息：應用系統名稱、IP地址。創建時的業務判斷有，應用系統信息保存成功后，自動生成授權序列號。對應的應用系統在調用數據服務時需要提供該授權序列號。數據服務授權管理數據服務調用應用系統發起數據服務調用命令時，數據服務相關模塊應該進行以下條件判斷：授權信息判斷：該應用系統是否從規定的IP發布調用命令、是否提供了正確的授權序列號、是否具有命令中的數據服務授權；數據服務是否發布，只有發布