1、基于(jy)云計算的電子政務公共平臺數據管理技術12014年6月共三十三頁數據管理技術(jsh)定義2數據管理技術(jsh)目標31數據管理技術設計和內容提綱2共三十三頁 電子政務公共平臺數據管理技術是結合云計算、大數據的管理技術特征，同時規范公共平臺數據管理核心要素，并兼顧、引導傳統(chuntng)數據管理技術逐步轉化為云數據管理技術。公共平臺管理技術設計應涵蓋數據全生命周期管理，包括數據采集管理、數據存儲管理、數據服務等過程的管理。 （1）定義(dngy)3共三十三頁數據管理技術(jsh)定義2數據管理技術(jsh)目標31數據管理技術設計和內容提綱4共三十三頁目標電子政務公共平臺數據管

2、理的建設，最終要形成信息資源的統一采集管理、統一存儲管理、統一利用管理和基于平臺和共享信息資源的應用系統管理，形成平臺相應的技術和管理規范，保障政務信息資源的有效服務利用。電子政務公共平臺數據管理將是對平臺現有的數據采集、數據存儲、數據服務全過程進行統一的數據管理、質量管控，并且通過標準的云平臺技術下的交換共享服務模式，實現政務數據在公共云平臺上的統一存儲、統一維護和靈活服務，提升政務現有數據的安全存儲和高效使用等能力，更加深入地進行數據挖掘等工作，為政府創造更多的價值。 （2）目標(mbio)5共三十三頁數據管理技術(jsh)定義2數據管理技術(jsh)目標31數據管理技術設計和內容提綱6共

3、三十三頁數據管理總體設計框架(kun ji)7三個環節四部分內容共三十三頁 電子政務云平臺數據管理采集技術設計，是在指依照云平臺管理和服務范圍內政務信息用戶的需求，從電子政務云平臺或者接入云平臺的有關信息源或載體內對各種形態(xngti)的政務信息（包括政務業務應用、物聯網、互聯網等）發現、定位、采集、提取并加以聚合和集中的管理設計。一、數據管理采集技術(jsh)設計數據管理采集技術設計8共三十三頁數據(shj)采集技術要解決的問題：9確定數據源的范圍（什么樣的數據源為平臺合格的數據源）；如何將數據源變成真正的采集對象（服務化，自服務）；采集對象的自描述（含蓋哪些屬性(shxng)）；平臺與采

4、集對象的綁定（采集過程的實現）；對采集過程的監控與追溯；對采集行為及任務完整統計分析；平臺將上述功能的服務化，并為提供給平臺的使用者。共三十三頁（1）采集對象(duxing)管理數據管理采集技術主要(zhyo)內容10數據源： 平臺能管理的數據來源，涵蓋在平臺內外部署的所有應用系統，應包括政務業務應用、物聯網應用、互聯網應用和移動應用等。共三十三頁11采集對象： 能自描述和自服務的所有數據源稱之為采集對象。自描述是指它能提供所屬單位、數據內容、數據關聯、數據類型、更新頻率、訪問方式等屬性，并以服務形式提供給平臺發現和定位；自服務是指它以服務化方式提供接入平臺的方式，以便平臺獲取和收集數據。平臺

5、對采集對象管理(gunl)功能：提供采集對象的屬性描述功能，所有接入的數據源需要有唯一標識、所屬單位、數據內容、數據類型、更新頻率、訪問方式、通信機制等；提供組織功能，可按用戶的組織機構、業務應用等不同方式進行分類管理；提供對采集對象的查詢/檢索功能；提供生命周期控制功能，包括采集對象的注冊、發布、使用授權、變更、注銷；支持數據源管理模型的擴展能力，以便適應多種新型的信息存取方式。共三十三頁（2）采集(cij)過程管理平臺對采集對象的綁定： 通過綁定方式對數據提供者和使用者進行關聯和管理，提供數據生產方與使用方一對一、一對多、多對多的綁定功能(gngnng)，提供綁定生成、綁定變更、綁定解除等

6、。采集流程調度： 在采集過程中，依照數據提供周期及使用周期的不同，提供不同頻次的數據采集調度，包括：可以根據不同業務、不同場景，實時調度或者指定在某一天單一調度，也可以指定在某年、某月、某日、某小時、某分來循環調度。并行采集技術： 為提高采集效率，通過多通道分時復用數據采集、多通道同步數據采集、分布式數據采集等采集技術。共三十三頁（3）采集監控管理狀態監控： 監控采集過程中的所有信息，包括提供采集對象監控，包括采集對象運行狀態、負載情況監控等。 任務監控： 能實時了解供采集任務執行情況，能實時了解任務執行時間、采集數據量、采集數據大小、空間使用情況、內存使用情況等。異常監控： 針對過程中的異常

7、情況，能提供異常情況預警；包括采集任務執行失敗、采集節點狀態異常、網絡情況異常等；對采集異常情況可以進行采集任務追溯。13（3）采集監控(jin kn)管理共三十三頁在數據過程中，采集統計管理負責對采集過程和采集結果的統計，主要包括：采集任務運行情況統計；采集任務資源使用情況統計；采集任務異常事件統計等按照日報(rbo)、周報、月報、年報、實時報方式統計；將各統計信息以不同圖表方式展示。14（4）采集(cij)統計管理共三十三頁 在云計算電子政務公共平臺環境下，針對數據(shj)的非確定性、分布異構性、海量、動態變化等特點，設計采用分布式數據管理技術對數據存儲進行有效管理，為向用戶提供高效的服

8、務奠定基礎。二、數據管理存儲技術設計(shj)數據管理存儲技術設計15共三十三頁存儲技術要解決(jiju)的問題：按不同用戶的需求，確定數據存儲策略；對不同用戶的數據，要實現數據隔離或融合機制；對用戶提供高效管理的工具（配置、導入、導出、安全等）；云服務動態調度策略和機制；為用戶提供對存儲的有效監控；支持(zhch)非結構化和半結構化數據的存儲管理技術；支持大數據存儲與分析。16共三十三頁數據管理存儲技術主要(zhyo)內容（1）存儲管理平臺云存儲的管理： 通過集群、分布式文件系統和網格計算等技術，實現云存儲中多個存儲設備之間的協同工作，使多個的存儲設備可以對外提供同一種存儲服務，并提供更大更

9、強更好的數據訪問性能；存儲管理是實現存儲設備向存儲服務的轉變的核心。云存儲管理要求： 云計算系統能為不同用戶提供不同級別(jbi)的數據存儲策略。應提供可將計算機文件的存放劃分為幾個等級，如單機級、跨服務器級、跨機柜級以及跨數據中心級。為單個用戶提供獨立邏輯數據存儲空間，必須保證各用戶之間的數據不可見性，確保多用戶之間的數據隔離機制。17共三十三頁（2）存儲(cn ch)調度18存儲調度策略： 在存儲調度管理(gunl)過程中，應提供根據不同任務需求和調度模型情況下的云服務動態調度機制： 可通過相應的權限和優先機制進行服務的調度處理，以平衡各類應用壓力，優化資源的應用； 提供讓用戶可以按任意的

10、時間間隔（年、月、日、時、分）自動調度。（3）存儲監控存儲活動的運行狀態監控： 存儲監控指在存儲過程中對存儲的所有活動進行監控和管理，包括存儲狀態監控、對基礎軟硬件進行狀態監控和性能監控等。 分布式文件系統監控： 監控信息包括節點信息、文件/數據塊分析、文件歷史操作、數據塊操作歷史、文件/數據塊排名等監控。共三十三頁19安全設計應考慮支持多實例并行： 任一實例宕機不會影響應用可用性，系統(xtng)自動完成運行實例與數據的恢復。支持集中控制云環境多節點數據并行備份： 應支持系統提供錯誤監控機制，對于故障采取自動遷移，采用多份備份來確保數據的安全性，系統達到高可用性。（4）存儲(cn ch)備份

11、共三十三頁 電子政務云平臺應提供數據管理的服務技術，方便各部門用戶管理、處理(chl)和共享所需的各種數據資源。設計針對服務生命周期不同階段進行管理提供的服務。（3）數據服務管理(gunl)技術設計數據服務管理技術設計共三十三頁服務技術要解決(jiju)的問題數據的使用要以服務方式體現；要支持數據服務的多樣性，形成統一訪問方法；要支持數據服務靈活變更需求；對數據服務要有有效監控手段；平臺要支持多租戶(zh)管理；要有支撐數據服務的支撐技術。21共三十三頁22數據服務管理技術主要(zhyo)內容數據服務發布管理數據服務訪問管理數據服務變更管理數據服務監控管理共三十三頁（4）數據目錄服務技術(js

12、h)設計 信息資源目錄服務技術設計應按照政務信息資源目錄體系系列標準進行目錄的各項功能設計，并將功能(gngnng)按照公告平臺規范要求將各功能(gngnng)進行服務化設計。數據目錄服務技術設計共三十三頁24目錄編目目錄注冊目錄發布目錄查詢目錄維護數據目錄服務(fw)技術主要內容共三十三頁 共享交換服務設計，應在按照政務信息資源交換體系系列標準要求的功能基礎上實現共享交換功能的服務化，并實現政務云平臺內部(nib)應用系統間及政務云平臺內部、外部應用系統間的交換服務。（5）共享交換管理(gunl)技術設計共享交換管理技術設計25共三十三頁共享交換管理(gunl)技術主要內容26交換橋接前置交

13、換交換傳輸交換管理共三十三頁（6）數據集成服務技術(jsh)設計 數據集成服務設計，應提供面向多租戶的ETL服務，即數據抽取（Extraction）、數據轉換（Transformation）、數據加載（Loading）服務，同時提供用戶自主使用的ETL開發配置和監控管理服務，幫助用戶將批量異構的數據集成到統一(tngy)的存儲管理系統中，以便完成進一步的數據挖掘和分析。數據集成服務技術設計27共三十三頁數據集成服務技術主要(zhyo)內容28數據抽取服務數據轉換服務數據加載服務ETL開發配置服務ETL監控管理服務對可支持常見關系型數據庫、非關系型數據庫、文件等不同類型的數據源的數據抽取，必須支

14、持主流國產數據庫。支持全量抽取、增量抽取、基于日志(rzh)的抽取等抽取模式。具備擴展能力，可以非關系數據庫的抽取。共三十三頁（7）數據處理服務(fw)技術設計 主要指為滿足電子政務應用需求而提供的對數據的多種技術處理手段。電子政務中常用的有：數據分析服務(fw)和數據展現服務(fw)等。數據處理服務技術設計29共三十三頁數據處理服務(fw)技術主要內容 公共平臺應根據所管理數據的規模和實際業務需求提供大數據特征的數據分析和預測分析服務：具有(jyu)良好的擴展性、容錯性和大規模并行處理特征，滿足電子政務的智能性分析預測的需求；應支持海量數據挖掘，滿足政府部門單位TB、PB級數據分析需要。 應

15、支持業界流行的大數據存儲、分布式計算框架，靈活處理分布式挖掘分析應用；數據分析結果應滿足多種形式的輸出，分析結果可導出數據、分析結果可生成多種格式的報表、分析結果可通過門戶發布到web頁面、分析模型及分析結果可與現有應用系統無縫集成等。（1）數據分析服務30共三十三頁 公共平臺通過統一的數據門戶提供數據展現服務有關功能，數據門戶提供統一的數據展現服務管理，將各類數據以圖形(txng)、圖像、地圖、動畫等更為生動、易于理解的方式來展現數據。應提供統一的數據門戶服務；支持報表展現：支持專業報表、即席報表、企業級復雜報表等多種報表形式； 支持分析展現：支持假設分析、多維分析等高級應用； 支持圖展現：提供GIS地圖組件、儀表盤、熱度圖、樹圖、組織結構圖、餅狀圖、柱狀圖、曲線圖、曲面圖、雷達圖、漏斗圖、極坐標圖、股票圖等多種交互式圖表等方式。（2）數據(shj)展現服務31END共三十三頁32共三十三頁內容摘要基于云計算的電子政務公共平臺。自服務是指它以服務化方式提供接入平臺的方式，以便平臺獲取和收集數據。提供組織功能(gngnng)，可按用戶的組織機構、業務應