某地數智專業一體化城建設項目大數據平臺實施組織方案概述項目背景應用數據是大數據的重要來源之一，對大數據臺需求迫切目前，應用系統已經是大數據的重要來源之一，多個部門之間，產生了大量的結構化和非結構化數據，包括的人口、企業、車輛數據，人社的社保、勞動等數據，衛計的衛生、計生數據，審批及工作中產生的大量文檔數據，以及安城、執法所產生的海量的視頻數據，構成了海量的、對城的方方面面具有重要影響的數據，海量的數據需要有海量的存儲進行支撐。數據具有公共屬性，需要滿足多個行業的應用需求，因而需要支撐多個部門的應用及綜合類應用，而傳統的電子建設方式，各部門各自為，各地域的數據也不能實現共享和協同，因而急需采用電子大數據處理臺對基礎數據資源進行整合和挖掘利用。大數據具有面向跨行業服務的特點和數據融合、比對的需求數據由于其歷史原因，使得產生的數據往往來自不同的部門，即使是相同的數據，在不同的部門中也有不同的產生途徑，往往會造成數據的不準確和錯誤，這也是經常出現“數據打架”的原因，因而需要充分利用大數據臺實現數據質量的提升，而數據的清洗和跨部門數據之間的比對是實現數據質量提升的重要手段。同時，城管理和民生服務中要求數據之間需要有更強的關聯性，人、地、事、物、視頻、物聯網數據只有深度融合，才能實現對人口的全生命周期、事件的全過程進行管理，因而需要對不同來源的數據進行充分的關聯比對和深度的融合。在某地大數據處理臺建設中，提供了相關的工具，為實現海量數據的比對、分析和融合提供了強有力的支撐。項目目標信息資源整合臺建設目標為：以完善的機制體制和全面的安全體系為保障，以彈性動態的基礎設施臺為基礎，以信息資源數據的共享、交換、融合、服務為核心，以多部門的業務流程協同為手段，打造可持續運營的、實用的、能夠真正服務于社會管理、城管理和社會經濟管理的信息化體系，并探信息化與體制機制深度融合和互相促進，為未來數智專業一體化城的建設打下良好的基礎。目標可分解為如下的子目標：（1） 實現某學習單位、所有部門及臨時設立的機構的數據交換，基礎數據集中、清洗、整理，以合理的數據結構進行存儲，打破部門信息壁壘，解決信息孤島問題。（2） 形成一整套數據清洗整理體系，前期采集數據通過采集-清洗-反饋-修改-再次采集數據循環，清洗整理，后期各個部門新生產的數據，都以幾個數據主體部門數據為基礎，產生數據后，再采集清洗，逐步提升基礎數據質量。（4） 實現綜合應用的建設。在完善的數據采集、清洗、共享體系下，在完整、實時、權威及合理結構化的數據融合服務臺之上，實現區域化整體數據應用，為組織單位、公眾群體提供完整的數據展現、全面的基礎數據服務，以及為領導決策層提供全面的、多層次的、直觀的、實時有效的數據分析，解決當前部門應用片面不完整，無法宏觀把控的面。項目實施原則企業建設，使用。由企業搭建起各部門業務數據之間的共享交換通道，為部門的各種業務改革創新提供技術支持，將新技術運用于業務中，保持業務的與時俱進。項目實施采用原型模型進行實施，先期各業務部門對新的技術體系和實現的效果沒有清晰的認識，所以先進行基礎臺搭建，實現部分數據共享，部分數據融合，展示出數據互聯互通之后可以實現的一些應用效果，業務部門借鑒大數據在示范應用中的應用方式，結合自己部門業務現狀，制定出相應的創新型管理制度和策，以及辦公方式及服務方式。各部門將業務需求反饋與大數據臺及其各示范應用系統，以企共建的方式，實現服務水的提升。項目實施模式（1） 標準性、開放性系統所采用的相關標準必須與國際、國家、、級標準相符合，確保系統具有良好的開放性，能夠實現與多種技術和軟硬件臺的有機集成。（2） 安全性系統應具有完整、全面的安全體系和良好的安全性，能夠提供信息傳輸保密性、數據完整性、身份識別和數字認證、防抵賴性等安全保障措施，確保信息交換的安全運行。系統設計不影響各部門相關信息系統的安全性。（3） 可擴展性系統采用可擴展的技術體系架構，以適應信息化建設和應用系統快速發展的要求。系統必須支持異構數據庫之間數據交換和共享，支持主流關系型數據庫，支持不同操作系統之間信息交換應用的互聯互通。（4） 高可靠性系統應具有良好的可靠性，建立各種故障的快速恢復機制，確保實現7×24小時地正常運轉，確保信息交換工作正常運行。（5） 可管理性系統應具有良好的可管理性，允許管理人員通過管理工具實現系統全面的監控、管理和配置，并為系統故障的判斷、排錯和分析提供支撐，可對信息交換流程進行簡易、靈活地定制和調整，同時對系統運行情況能夠實時的統計分析、報表展示。（6） 實現信息全生命周期管理所謂全生命周期管理，就是指從人們對信息的需求開始，到信息報廢的全部生命歷程的管理。實現全生命周期，需要對城管理部件、企業和公眾的信息進行全方位的收集和管理，優化、控制城部件、企業的生命歷程，提升數據融合服務臺的服務能力和的執能力。（7） 學設計，分步實施某地大數據臺作為數據融合、聯網應用和服務的重要載體其建設是一個龐大而復雜的系統工程，必須采取強有力的統一規劃、統一標準，總體把握、統籌推進，根據發展階段和現實需要，有計劃、有步驟地推進具體項目建設，并能有機融合，形成整體。其中系統的可靠性、高性能、安全性、綠色節能和擴展性五項將成為建設設計重點。（8） 信息為基，應用為本某地大數據臺建設的目的是打造高效的某地城管理、企業服務和公眾服務業務系統。因而，某地大數據臺是業務系統建設的基礎，建立完善的應用系統才是建設臺最終目的。只有基于某地大數據臺建立的業務系統，才能發揮臺的作用。項目實施范圍地域范圍某地對象范圍某地各委辦、各個數智專業一體化城應用系統。項目主要建設內容及思路主要建設內容完成數智專業一體化城規劃的大數據基礎臺、數據交換臺、數據管理臺、運行支撐臺、數據首頁建設。大數據XXX基礎庫某地服務所需要的數據來自于各委辦和街道，包含傳統數據庫數據、視頻、圖片、聲音、日志文件、電子郵件、地圖、Word、PDF等各種文檔。這些數據分為結構化數據、半結構化數據和非結構化數據。這些類型的數據無法用傳統關系型數據庫進行數據處理和分析，必須借助于大數據基礎臺的HDFS、Hbase、MapReduce等技術手段進行處理和分析，支持頂層應用系統的數據利用。大數據基礎臺主要包括如下組件：大數據臺運維管理組件、分布式數據庫、分布式數據倉庫、分布式計算模塊、流數據處理及消息框架、數據采集管理組件、數據運維管理組件、基礎數據庫。其中某地需要建設的XXX庫為：人口信息庫、法人信息庫、基礎地理空間庫、宏觀經濟庫、信用信息庫和城建筑信息庫XXX基礎庫人口庫：人口庫建設是指人口基礎信息的獲取和維護。人口庫是以人口信息為基礎，以電子外網為依托，整合教育、民、勞動保障、計生以及衛生等行管理部門所掌握的相關信息，構成人口基礎信息庫，并以此為支撐，建立集中、統一的信息交換臺和應用服務臺，滿足各級職能部門之間人口基礎信息的校核、引用、共享與交換的需求，為社會企事業單位以及公民個人提供人口信息服務。該數據庫從邏輯上允許對人口基礎信息中的應用進行拓展，滿足數據交換及應用需求。人口庫信息表包括：人口基礎信息、民基礎信息、計生基礎信息、衛生人口信息、教育人口信息等，該類信息主要通過身份證號同主表關聯。法人庫：建立基礎法人數據庫，法人基礎數據庫指的是以法人庫中存儲的法人基本信息數據為基準并結合信用信息庫，建立企業征信體系，構建企業征信模型。從宏觀層面，企業征信為調整產業結構、協調監管機制、規范經濟行為等方面提供數據支撐，提供法人領域的專項深化應用。法人庫信息表包括：工商登記信息、事業單位信息、社團登記信息、單位社保、稅務登記信息等?？臻g地理庫：主要用于建立某地一張圖，通過數據與空間地圖信息的結合，將信息立體化的展現出來，形象的分析出人口遷徙方向，旅游熱點地區等各種空間屬性專題。也可以通過空間特有的圖層疊加效果，將不同信息在同一基礎圖層疊加，以便有一些新的業務模式嘗試，比如網格化管理，數智專業一體化消防等?？臻g地理庫包括：XXX數據、POi信息、城部件、地下管道、消防、交通等想相關數據。宏觀經濟庫：依據業務需要實現宏觀經濟信息的共享，為有關部門和地方開展經濟運行動態監測、產業安全預測預警等分析決策提供信息支持，確保、稅收、統計等宏觀經濟基礎數據真實準確、完整及時，提高統計公信力，提高宏觀調控的學性、預見性和有效性。信用信息庫：依托工商行管理、、司法等相關，采集、整理、保存個人信用信息、和企業信用信息組件成為全面的信用信息數據庫，可以為銀行機構提供信用狀況查詢服務，為行機關監管提供有關的信息服務信用信息包括：行機關的處罰信息、法院的判決信息、失信人員名單、黑名單信息等城建筑庫：城化發展速度加快,數智專業一體化城建設成為土地整治項目的重要內容之一，某地大數據臺將通過匯集住建委、國土、交通的城建筑物信息、管線數據、城部件相關數據，構建某地立體城建筑庫城建筑庫信息包括：城建筑物信息、交通道路信息、城管線信息、地圖數據等數據交換臺數據交換提供基于自動化數據關系構建工具和數據庫同步技術構建的接入組件。由于數據源形態各異，沒有一種通用的工具能解決所有數據的采集問題，需要結合ETL和數據治理技術，針對每個數據源，通過模板定義規范其輸入形態，通過提供多種數據接入能力來實現批量文件型、數據庫導出文件、數據庫實時同步、實時/準實時等形態的數據接入；通過各種方式，逐步采集完善各類基礎數據及專題數據；通過數據交換臺，按照統一的標準和規范，將某地各個委辦的數據資源匯總到某地大數據臺，實現某地信息資源的匯聚和傳遞，滿足全各個委辦對實時信息的橫向交換以及業務協同等需求，為某地協同、公共服務和輔助決策等提供信息交換和共享服務；為保證數據的動態準確性，需要對基礎空間地理信息庫、人口數據庫、法人數據庫、建筑物信息庫、信用信息庫、宏觀經濟庫等基礎數據庫的信息進行數據清洗、數據比對、異常數據反饋、數據入庫等加工處理。數據管理臺主要對通過交換臺進入的數據，進行分類、清洗、比對，根據數據的關聯性、業務關聯性等多個維度對數據進行綜合管理（1）資源資源服務按照國家信息資源資源體系標準，建立統一的信息資源資源體系，建設統一的信息資源管理中心，形成“物理分散、邏輯集中”信息資源管理模式；提高信息的交換能力，支持跨部門間的信息共享和業務協同，提高交各單位、各部門協同、管理水。通過借鑒信息資源資源體系，設計某地大數據中心的信息資源資源服務系統，構建信息資源資源體系和信息資源共享環境，并通過資源服務實現跨部門的共享信息資源發現、定位與獲取。該系統功能主要包括編目傳輸、資源服務、資源管理及共享服務。（2）數據質量管理按照國家信息資源資源體系標準，建立覆蓋全的信息資源資源體系，建設全統一的信息資源管理中心，形成“物理分散、邏輯集中”信息資源管理模式；提高信息的交換能力，支持跨委辦之間的信息共享和業務協同，提高全公共服務和社會管理的水。數據質量管理系統的功能包括數據質量監控、數據質量評估、數據質量報告、數據質量問題處理、數據質量知識庫等功能。（3）業務建模業務建模是構建用戶接口或上層業務應用與基礎數據之間的邏輯模型。業務對象和業務分析模型在此實例化。應用服務層是生成并操作接收信息的業務規則和函數的集合。它們通過業務規則（可以頻繁更改）完成該任務，并由此被封裝到在物理上與應用程序程序邏輯本身相獨立的組件中。（4）數據上報系統還提供數據上報功能，各委辦用戶均可以通過數據上報提供基于Excel模板、csv以及源數據庫為基礎的數據上報體系，結合數據交換臺將上報的數據匯總到XXX基礎庫中。數據共享臺數據共享包括數據資源和數據API。數據資源組件通過提供統一的資源數據發布接口和標準元數據規范，匯集各數據庫所存數據的描述信息，建立信息資源資源，以此作為各類用戶檢索法人、自然人、空間信息、宏觀經濟信息、專題信息的途徑，實現對信息資源的發現和定位，方便用戶快速查詢、瀏覽、申請所需數據。數據API提供一個靈活，方便，快捷的數據API管理工具，讓數據的共享使用變的更加清晰、明朗。用戶可以在自助申請發布定制化的數據API，方便調用不同類別的數據，同時臺對于接口調用情況進行記錄，可以分析出常用的數據調用內容等輔助管理功能。數據治理臺數據治理包括數據清洗、比對和異常數據反饋的展示。其中數據清洗的目的是數是保證數據庫數據質量，可以直觀的展示數據清洗后的結果。數據比對的目的是對數據的字段、要求、合理數值范圍、檢查時段、預警方式等內容，按照不同數據類型、數據來源、變動方式進行單獨或組合設置，由系統按照設置的比對指標，對各基礎數據庫的信息進行綜合比對分析，并生成比對結果并展示。運行支持臺（1）標準引擎。服務引擎主要為頂層應用系統的開發提供共性的服務組件，以減少應用系統對于共性組件的重復采購，減少資源浪費，提高使用效率。服務引擎由手機短消息、即時通信、電子郵件、視頻通信、GIS空間分析、工作流、搜索、表單定制等服務組成。（2）統一權限。權限管理是根據系統設置的安全規則或者安全策略，用戶可以訪問而且只能訪問自己被授權的資源。權限管理主要包括身份認證服務、單點登錄服務和權限驗證服務等服務，可以進行用戶、權限劃分、組織機構等進行模塊化管理，實現用戶與功能、用戶與角色、角色與功能的高自由化組合配置。（3）實時監控。對于某地大數據中心，由于支撐了很多服務和應用，需要把分散在各個應用系統中的監控功能統一管理，形成一套對某地大數據中心有效監控的措施。統一監控服務要包含遠程監控、本地監控、數據庫空間監控、流程監控、負載監控、應用監控、報警通知和監控展示等服務。（4）標準接口。某地大數據臺應充分調動、企業、居民等多方力量共同運營、維護與建設。在臺體系中起主導和方向性引導作用，為大數據臺提供權威數據和管理方法；企業為臺提供創新的應用方式；居民為臺提供動態的、鮮活的社會動態數據。某地大數據中心開放接口服務，是一套專門為這三個方面用戶提供的應用服務，使其方便調用與二次開發。統一數據首頁（一）統一首頁是整套體系中前端的展示部分，提供數據申請、審批、利用、分析的系列功能的集成，通過統一的前端展示界面進行展示。（二）通過數據首頁建設，整合電子信息資源，建立以信息資源展示、二次開發服務為核心的服務系統；基于海量數據，匯集統計分析、工作動態等決策信息，為各級領導提供決策服務；拓展公開信息統一管理、公共服務、在線互動交流等功能，體現服務型數據中心新形象、逐步擴展數據首頁網站功能，建設綜合性信息網站首頁。數據首頁主要包括資源展示、在線查詢和首頁管理等功能。（三）提供統一的用戶認證臺，用戶通過短信、郵件、實名認證的方式進行在線認證，經過統一認證臺認證后的只需要登錄一次就可以訪問所有相互信任的應用系統，同時對不同角色用戶，所使用的系統功能也會按需控制，方便部門管理員、系統管理員進行權限的控制數據可視化臺數據可視化工具委辦提供一站式數據分析及可視化服務，委辦可以通過數據可視化工具對各類數據源進行關聯和管理、快速分析，并提供各類可視化模塊，實現對數據源分析結果的可視化展示，同時，還可以將分析結果進行發布進行領導匯報或大屏展示，對需要展示的數據源實現對接，并可以對所訪問的數據具有要求查詢和過濾能力，支持多維數據的OLAP操作。城運行一張圖根據XXX基礎庫數據，實現數據在地圖上的互聯互通，可以根據不同的專題人口專題服務、城環境監測、城安監管理、城重大危險源、教育事業服務進行數據的整合處理，提供對城基礎資源供應的健康狀態整體評價和綜合分析；利用GIS和大數據技術，實現信息分布、查詢、統計、疊加和關聯分析系統主要用戶（1） 部門數據使用者（各委辦）根據業務需要申請系統中的資源數據，從臺獲得的數據內容必須在授權范圍內進行使用；使用應用或者定制新的應用；查看專題數據或者定制新的專題數據；（2） 部門數據管理員（各委辦）具備部門數據使用者所有使用權限；另外還負責本單位數據資源的注冊、變更、數據上報，對其他單位的數據申請進行審核。（3） 大數據應用服務中心管理員（大數據應用服務中心）具備部門數據管理員所有使用權限；對數據交換流程進行規劃、配置、部署及日常的監控維護;對整個前置交換子系統的交換內容進行管理授權，并保證數據交換系統的安全，確保交換數據在授權的范圍內進行交換共享；負責應用使用或者新應用申請的審批；負責新專題申請的審批；（4） 運維人員（承建單位）負責交換域中各前置交換子系統的管理維護；負責系統的配置管理；負責系統中內容的發布；負責數據交換或者共享實施；負責數據上報的提醒；負責監控臺的運行和安全等。（5） 接口調用人員（第三方臺） 調用使用臺提供的接口供其自己的臺使用。主體建設思路學習研究對各個委辦進行時需求和數據調研，搭建數據交換臺進行數據交換對接，將獲取到的數據放入原始業務庫，保持部門數據的權威與準確性，用以支持現有業務的制度要求。根據原始業務庫中的業務數據進行數據融合整理，形成以人口信息庫，法人信息庫，宏觀經濟庫，空間地理庫，信用信息庫，城建筑庫XXX基礎數據庫，以面向對象的方式將自然人，法人，城建筑描述成一個個信息化主體，形成全息畫像，通過各種數據的描述，讓這些主體鮮活起來，信息越多越豐富，主體越完整，通過大數據存儲計算臺對這些主體進行分析時，也就更加客觀準確，對這些主體進行管理時制定的策也就更貼近實際，更實用有效。將原始業務庫和基礎數據庫中的數據發布到數據資源系統，資源資源發布功能主要是告訴各業務部門現在大數據臺有哪些數據，數據來自于那個部門的業務，數據有哪些數據項，每個數據項是干什么用的，怎么產生的，如何申請和使用這些數據，簡而言之就是個數據場。業務部門的人可以在這里找到所有大數據臺數據的說明信息，然后思考在自己業務中怎么使用這些數據，所以這是給有改革創新理想的業務人員提供的素材。根據開放數據API，進行數據分析等進一步數據挖掘?？梢暬到y分析是基于發布出來的數據對數據進行可視化展示的一個工具，讓枯燥的數字以更形象的圖形方式展示出來，可以直觀的看到各類數據的對比情況，讓分析的結果讓人更容易理解。視頻云統一監控臺主要整合視頻數據，對視頻資源進行整合發布，提供給部門人員在web端和手機端進行視頻功能開發。項目實施流程學習研究系統總體設計系統總體架構學習研究系統軟件結構學習研究系統物理架構學習研究系統安全架構學習研究實施步驟步驟實施內容主要工作1需求、數據調研需求分析準備各委辦需求調研分析確定需求規格說明書2設計設計準備架構設計概要設計詳細設計設計總結3開發XXX基礎庫建庫數據交換臺開發數據上報模塊開發數據共享臺開發數據治理模塊開發統一認證臺開發統一權限臺開發統一首頁系統開發標準規范建設操作手冊和培訓資料編寫開發總結4內部測試測試準備功能測試性能測試壓力測試安全測試集成測試測試總結5系統部署大數據臺各個組件部署整體集成環境測試及調優6生產環境測試測試準備功能測試性能測試壓力測試安全測試集成測試測試總結7驗收及上線運行系統試運行3個月8用戶培訓用戶培訓9售后服務質保期服務10年實施工作分工實施工作項人員配置人員類型數量（人）說明項目經理1對項目進行全面管理，包括質量、進度、成本、變更等系統架構師2負責系統邏輯架構物理架構設計系統研發工程師7負責項目具體的研發工作和實施工作數據分析工程師9負責對各委辦獲取的數據梳理、入庫、分析等相關工作UI設計工程師8負責系統前端界面設計系統測試工程師6負責對系統進行測試，包括功能測試、性能測試及驗收測試等工作委辦配合的工作項各委辦指定直接對接人員協調項目實施中的數據對接交換需求。實施計劃序號年度工作階段工作項計劃時間11990需求調研分析法人庫調研1990.11.9-1990.11.9空間地理信息庫調研1990.11.9-1990.11.9法人庫獲取1990.11.22-1990.11.23空間地理信息庫獲取1990.11.22-1990.11.272系統設計法人庫模型設計。1990.11.20-1990.11.30空間地理庫模型設計、地圖調研、地圖獲取。1990.11.20-1990.11.303系統部署基礎支撐軟件部署。1990.11.25-1990.11.30交換臺部署。1990.11.25-1990.12.1信息資源資源和信息資源服務臺部署。1990.11.25-1990.12.1法人庫建設。1990.11.25-1990.12.5空間地理信息庫建設。1990.11.25-1990.12.54驗收項目驗收1990.12.5-1990.12.1011990調研法人庫調研1990.1.2-1990.5.25人口庫調研1990.1.2-1990.5.25宏觀經濟庫調研1990.1.2-1990.5.25信用信息庫調研1990.1.2-1990.5.25空間地理庫調研1990.1.2-1990.5.25城建筑信息庫調研1990.1.2-1990.5.252系統設計概要設計1990.4.8-1990.4.10數據庫設計1990.04.11-1990.04.153系統功能開發系統詳細設計1990.4.15-1990.5.20臺功能開發1990.4.13-1990.5.15臺功能開發1990.4.13-1990.5.154系統功能測試大數據處理及共享臺測試1990.5.04-1990.5.15大數據可視化臺測試1990.5.9-1990.5.175系統性能測試大數據處理及共享臺測試1990.5.14-1990.5.21大數據可視化臺測試1990.5.16-1990.5.216系統集成測試大數據臺測試1990.5.19-1990.5.227系統部署基礎軟件部署1990.5.22-1990.5.22大數據處理及共享臺部署1990.5.23-1990.5.23大數據可視化臺部署1990.5.24-1990.5.248業務和系統推廣培訓1990.10.20-1990.10.289最終用戶試用試用1990.5.29-1990.5.2910項目驗收驗收1990.12保障措施標準體系保障某地大數據臺建設與標準規范建設是相輔相成的。一方面，某地大數據臺建設必須遵循標準和規范，其設計、開發和實施等需要標準和規范進行指導；另一方面，標準和規范的制訂和維護離不開某地大數據臺建設實踐，標準和規范必需符合某地大數據臺建設的實際需求，隨著某地大數據臺建設的不斷建設和推廣，標準和規范也要根據某地大數據臺建設的進展不斷完善。沒有規矩不成方圓，某地大數據臺建設的開發需要相應的標準和規范進行指導。標準和規范具有以下指導作用：有利于確保某地大數據臺建設信息共享和業務協同有利于確保某地大數據臺建設網絡互聯互通有利于確保某地大數據臺建設安全可靠有利于規范和促進某地大數據臺建設和系統運營有利于某地大數據臺建設總體設計和可持續發展標準和規范的建設要和具體系統的建設結合起來。具體上講，就是要與某地大數據臺建設相結合，在實踐中對標準和規范進行完善和補充。標準體系建設目標某地大數據臺建設標準體系建設的總體目標是：建立并不斷完善某地數智專業一體化城大數據臺標準體系，為數智專業一體化城提供支持與服務；制定一系列某地數智專業一體化城大數據臺關鍵數據標準，為實現眾多系統的互聯互通、信息共享、業務協同、信息安全打好基礎；建立某地數智專業一體化城大數據臺標準貫徹實施機制，為標準的實施提供有效服務。標準體系建設內容某地數智專業一體化城大數據臺數據標準規范應參照國家《信息資源資源體系與共享體系》標準規范，結合某地信息化現狀，對需要編目的信息資源數據進行統一的梳理，形成面向信息資源的數據編目及統一存儲的標準規范。規范包括對編目體系結