1、市政務大數據平臺頂層設計框架及應用方案CompanyDocumentnumber：WTLT-WT88Y-W8BBGB-北京市政務大數據平臺頂層設計框架及應用方案一、大數據在政務領域應用的概述說起大數據技術的應用,首先是在互聯網行業起步并逐步拓展到電信、金融、工業等多個領域,產生了巨大的社會價值和產業空間,現正拓展到政務領域.(-)大數據技術在互聯網行業的成功應用,那些地方是值得我們關注的第一,應該是思維觀念和運作方式的變化,所謂的互聯網思維,其核心理念包括：體外互動：郵件、信件互動一效勞導引效勞外包：購置效勞一簡單效勞讓渡社會：眾包一自助效勞邊界開放：數據開放一創造效勞第二,是其技術演進,針對

2、數據處理的技術首先是傳統數據分析處理階段,該階段是面向結構化數據,非結構化處理效率低；硬件本錢高；平臺兼容性差.其次是基于云計算的大數據處理階段,該階段總體有了很大的改良和提升,主要表達在：具備結構化/非結構化混合分析的水平；基于消費級硬件,不依賴高性能、高可靠性硬件,從而保證系統性能和可靠性；平臺兼容性好、擴展性高；進而業界乂提出去IOE的思路.第三,是數據挖掘分析技術畫像技術以及各類數據融合、分析、挖掘、預測等.這些都是政務領域需要學習與借鑒的.為此,我認為：大數據在政務領域應用即包括用新的思維、模式與技術來解決電子政務需求,也包括了政務大數據新的應用.對于第一個方面比擬容易理解,對于第二

3、個方面需要對政務大數據給出定義.有些人認為政府沒有大數據,只有傳統的小數據或中數據.這個問題我們將在下一節專門中進行討論.政務領域是大數據應用嶄新的領域,它將極大的改變政府的治理模式,有利于節約政府投資、提升政府決策水平、提升公共效勞和社會治理水平,開展大數據在政務領域的應用是大勢所趨,勢在必行.同時.,政務大數據本身也不同于其他領域或行業的數據,其復雜程度和需求的多樣化比互聯網行業大的多,也難的多.二政務大數據的定義及特點根據政府治理的數據來源和種類,可以分為下三類：第一類業務數據：業務辦理過程中采集和產生的數據.第二類民意社情數據:對社會企業個人對象進行統計調查獲得的數據.第三類環境數據：

4、通過物理設備采集獲得的氣象、環境、影像等數據在以前的電子政務建設階段,政務信息資源開發利用更多的是集中在前兩種類型和結構化數據上,而對第三類數據,特別是實時的、非結構化、半結構化數據的開發利用相對較少.隨著政府業務在互聯網、移動互聯網、物聯網等領域廣泛和深入的應用,第三類數據的數據量和價值都在迅速增長,相關數據處理技術也逐步成熟.便于區別不妨把包含第三類數據的政務信息資源叫做是政務大數據.政務大數據與其他領域大數據相比具有鮮明的特點：體積大,增速高：涵蓋經濟社會治理的方方面面,數據積累量巨大.每年處理的數據呈指數級增長.種類多,價值大：以宏觀經濟根底數據為例：涵蓋經濟、社會、醫療、環境、工農業

5、、教育、旅游等社會關鍵領域數據,具有極為重要的社會和經濟價值.壟斷性,難獲得：政府部門及公共企事業單位采集數據有些是專營的業務,一般企業是采不到,也買不到.通過以上可以看出,政務大數據同傳統數據相比,不僅包括結構化數據,更包括大量非結構化數據,且具有數據量大、應用價值大、速度快、種類繁多等特點.我們要高度重視大數據應用對政務工作正在帶來和將要帶來的各種影響,充分熟悉推進大數據應用的必要性和緊迫性,增強頂層設計,分專業分步驟實施.開展政務領域的大數據應用首先是觀念、思路的轉變,轉變電子政務建設主體,由政府營造創新開展環境,引導企業為主體開展電子政務建設,同時.,我們政府也需要在實際工作中給予支持

6、和指導,一方面采用給予適當的政府補貼和協助優秀電子政務解決方案的推廣應用等方式,幫助初創企業快速成長；另外,在社會效勞領域,政府退到后臺,提供數據和根底效勞,讓企業直接面向社會提供貼近需求的效勞.大數據在政務領域的應用可以涉及到政務領域方方面面,今天由于時間有限,就領導決策、社會治理、公共效勞等兒個方面做簡單說明.領導決策大數據的包容性將翻開政府各部門間、政府與公眾間的邊界,信息孤島現象大幅消減,數據共享開放成為可能,而數據開放使得公眾更多的參與決策,這勢必直接影響組織怎樣作決策、誰來決策,甚至將改變決策過程和結果,同樣會帶來如下本質的改變：直覺的判斷被迫讓位于精準的數據分析,人類必須依靠數據

7、作決策,甚至將決策權完全交給數據.公眾多途徑參與,必將深入影響政府決策.社會治理政府數據與互聯網數據相結合,分析艾滋病.公共效勞通過對政府面向市民的互動數據的分析,為市民提供更精細化和個性化的服務,如對政府呼叫中央海量非結構化的語音數據、效勞過程和效勞問題的分析處理,深度挖掘客服語音數據價值,可以更好的支撐效勞和營銷,進一步改良政務呼叫中央工作.另外通過大數據搜集和分析民眾關心的問題,包括輿情、口碑等.為市民提供更好的效勞.二、政務大數據應用根底和前提開展政務大數據應用,需要具備哪些根底工作和必備條件.在政務領域開展大數據應用并不是從零開始,我們各級政府開展電子政務工作已經多年,在很多領域都做

8、了很多工作,為政務大數據應用奠定堅實的根底,歸納起來有以下幾個方面：在信息資源治理的規章、制度、標準方面,國家和北京市政府相應制定并出臺一系列規章制度,如?關于增強信息資源開發利用工作的假設干意見?中辦發200434號、?中華人民共和國政府信息公開條例?國務院令第492號,2007、?關于增強政務信息資源治理的假設干意見?京信發20212號、?北京市信息化促進條例?2007,第三章為信息資源開發利用、?政務信息資源共享交換平臺治理方法?京信辦發202113號等.強化政務信息資源治理的根底工作,如為增強電子政務根底工作,2006年市信息辦發布?關于增強部門電子政務根底工作的通知?,要求全市各部門

9、根據“四清兩統一要求,做好業務、效勞和信息資源梳理與目錄編制工作等根底工作.信息資源根底建設設施方面,包括建立了完善的市共享交換平臺、物聯網應用支撐平臺、移動治理平臺、政務云、四大根底庫、各類重要信息系統及信息資源庫350余等根底設施及核心業務信息方面工作.這些工作為開展政務領域大數據應用奠定堅實的根底.三、北京市市級大數據平臺頂層設計框架大數據在政務領域應用,區別于以往重要一點是:更增強調的事政務大數據的開放和共享,一是委辦局之間政務數據資源的共享,二是面向社會公眾開放政務數據資源.政府部門及相關公共企事業不但要盡可能地開放數據資源,還要以購置效勞或資源換投資等方式引入政務應用與效勞,發揮社

10、會與市場的力量改善政府效勞水平.政府數據的開放共享是大數據在政務領域應用的條件或前提.一些單位,如北京、上海分別建立了專門的網站,聚集各政府部門可開放的、有經濟和社會利用價值的數據資源,為社會企業或個人效勞開發者提供各類實時與非實時數據的下載和效勞,目前已經取得了一些的成效,并舉辦了推廣活動.如北京市政務數據資源網,成功舉辦了“2021年北京市政務數據資源網應用創意大賽,得到了社會公眾廣泛的關注,也涌現出了“曬公益平臺,“優質幼兒園、中小學招生地圖、“掌上交通綜合信息效勞等一批優質效勞產品.作為北京來說我們已經有了共享交換平臺、物聯網平價還有政府數據開放網站等重要的信息化根底設施,為什么還需要

11、重新規劃一個市級的大數據平臺它與現有的這些平價和系統是什么關系與各委辦局的大數據應用系統乂是什么關系這是由他的功能定位來確定的.這個平臺不同于以往的共享交換平臺,強調的是數據的融合、使用、落地.有些數據比方涉及政府內部數據如人口數據、醫保數據等是買不到的.還有視頻數據不是可以隨便安攝像頭采集的.還強調了對現有平分、系統及數據資源的調度治理.-平臺定位及與其他系統關系與委辦局大數據應用系統關系：首先,各委辦局或區縣可以根據自身業務需要建設大數據系統,也可以為市級大數據平臺提供局部數據,并可以從市級政務大數據平價獲取各類大數據資源.其次,各專項大數據應用是在各委辦自己大數據應用系統中完成.與現有信

12、息化根底設施與系統關系：市級政務大數據平臺充分利用原系統和平臺已經實現的功能,并融合現有數據和新數據,具有現有系統無法實現的海量數據快速處理水平.二市級政務大數據平價的功能目標提供各類數據的融合與共享效勞；提供空間、法人、人口根底融合數據資；提供大數據目錄的注冊、發布、查詢、獲取、應用等效勞.向各委辦局大數據應用平臺提供大數據效勞支撐,通過首都之窗、Data網站等辦公門戶向政府部門和社會公共提供數據使用效勞.為需求單位提供大數據處理通用接口及工具,并統一實現與外部數據的接入效勞.通過物聯網平臺、互聯網平臺、共享交換平臺等信息化根底設施和系統聚集、存儲、分析相關數據資源.強調了對各類數據的處理水

13、平,包括對結構化的、非結構化的、音頻、視頻、包括各種結構的數據處理水平,特別是有來自于物聯網的實時數據,和互聯網的日志數據等.下面我們來看一下,市級大數據平臺的業務模型框架、數據模型框架、技術模型框架.三總體功能架構四核心功能1對根底庫、物理網數據、互聯網數據、外部數據的采集會聚.2對以結構化數據為主的傳統數據的融合處理.3對以非結構化、音頻、視頻等新型數據為主的融合處理.4數據質量管控：通過對數據,應用,系統綜合治理,構建標準化、流程化、自動化、一體化的數據治理體系.5跨平臺調度實現數據互聯互通,統一管控：提供跨系統跨平臺的任務調度功能,與各子系統緊密接合,涵蓋接口子系統、維護子系統、云平臺

14、、接口分發平臺.五技術架構政務大數據平臺的技術架構采用混搭模式,一方面不改變已有的原始數據的存儲和治理方式,另一方面,采用大數據新技術處理原有方式不能處理的新數據,重點是對非結構化、新數據的處理.首先,各委辦局通過市級大數據平臺可以實現數據的共享和融合,并在此根底上開展各自的大數據應用,如北京市有很多部門負責并參與中小企業數的統計工作,如地稅、海關、工商、經信委等,這些部門均有各自數據采集的渠道和途徑,但是北京市到底有多少中小企業,每個部門都很難說清楚,也無法統一,對于這個問題,通過市級政務大數據平臺數據比對、分析、處理,再經過一定的算法得出大家一致認可的統一的中小企業數和清單,并在此根底上進

15、行數據分析、數據查重等融合處理,使得原有單純交換來的數據,產生了本質的變化.其次,市級政務大數據平臺具備新數據、非結構化數據的處理水平.各單位不具備通用數據的處理以及非結構化數據的處理水平和根底設施,而市級政務大數據平臺,充分利用市共享交換平臺、四大根底庫、一系列門戶和網站實現數據的統一調度和治理,促進數據交換和共享.綜上所述,市級政務大數據平臺不僅可以自帶根底數據,同時還可以聚集新數據如音頻、視頻等非結構化數據,并對數據進行分析、處理,可以為各委辦局提供更有價值的多維度的融合數據資源.四、智能交通大數據應用示范-新一代智能交通系統對數據整合需求交通共享交換數據中央交通委與交管局建設應列入日程

16、,并統籌全市域的政府交通路況信息發布；政府部門之間數據融合共享,各類數據包括交通領域、城市規劃、人口分布、法人及空間地理等數據融合共享,以從整體、系統上、研究緩解交通擁堵、保護環境的治本舉措；政府TO企業；企業TO企業數據共享機制,加大交通數據資源向社會開放共享力度.二交通領域數據與其他相關數據融合1 .交通信息分散、碎片化情況市交通委掌握的浮動車實時路況信息、一卡通信息、道路根底設施等信息,主要覆蓋范圍五環內城市道路；交管局掌握的固定檢測器實時路況信息、視頻信息、交通事件、事故、施工等信息,覆蓋范圍為環路及城市快速路；經信委及其他局掌握的公眾出行相關的地理空間、位置圖層、應急物聯網信息、人口

17、、法人等信息；電信運營商的信令數據及互聯網等信息,覆蓋范圍為全市域；來自交通臺的播送信息,來自相關互聯網微博、微信信息.2 .各類交通信息融合采用最新的大數據融合處理技術,通過市級政務大數據平臺,山大數據應用需求單位負責具體實現各方數據的會聚、加工融合與共享交換,形成更為全面、準確、及時的完整、全市域道路實時路況及出行位置信息效勞.以上工作研究團隊成員有亞信、北航、中興、數貝、太極等.現在正在搭建北京市政務大數據平臺及應用示范的原型系統.下面我們看一下基于這個平臺我們做的應用方案.三應用案例示范示范1：交通多源異構數據融合模型一場景化的空間、時間、主題的數據融合示范2：北京市中央區域各公交站點

18、的居住強度和就業強度示范3：北京市地面公交頂峰期客流量分布示范4：城市范圍出租車聚集分析示范5：天通苑住戶流量分析-住戶主要通往市38個區域-僅有8個區域具有高聚集特征五、小結大數據政務應用環境和相關技術還不是十分成熟,具體表現在：在政府方面亟需出分的制度應包括：政府數據資源開放共享、政府數據資源安全與個人信息保護以及以市場手段推動信息資源的社會化開發利用.如?北京市國家機關個人信息保護治理方法送審稿?、?北京市政務信息資源開放治理方法送審稿?、?政務信息資源資產化治理研究報告?.在企業相關準備工作也未就緒,如在使用政府數據、用戶信息資源治理政策還未建立,特別是涉及個人隱私保護政策方面還是很難讓人放心,有些企