圖X中應用支撐層的內容。3、城市信息服務門戶將城市針對企業和居民的服務進行匯聚，以WEB門戶、移動APP、政務大廳、熱線服務、自助終端方式對外提供。4、城市運營管理門戶一般以大屏展現和終端展現方式提供給城市管理者，來監視城市運營狀況，支持靜態挖掘分析和動態運行監視。建設內容建設大數據交換平臺、大數據挖掘分析平臺、中間件能力平臺、城市信息服務門戶、城市運營管理門戶。1、大數據交換平臺（1）數據共享交換平臺對于視頻類數據和非視頻類數據，共享交換平臺的處理方式有所差異。對于非視頻類的數據共享交換平臺包括中心服務器系統和前置機系統。對于視頻的共享和交換有視頻共享交換平臺提供。1）前置機前置機是部署在各委辦局數據庫側，用于連接各委辦局數據庫。前置系統主要負責數據的采集、清洗、轉換、裝載、規則管理和傳輸等功能，它決定了整個系統的數據質量優劣和價值大小。圖X2前置機的組成——前置交換模塊由交換前置服務器、交換信息庫和交換適配器等組成。前置交換模塊與應用單位業務應用系統之間隔離，保證應用單位業務信息庫和業務應用系統的獨立性。交換信息庫是為實現信息交換而建立的中間存儲信息庫，交換信息庫中包括提供和接收的交換信息。交換服務：支持多個交換服務并發運行，通過提供圖形化的交換服務配置工具，進行配置、測試、部署交換服務，提供遠程部署功能。前置交換系統是交換域的邊界，實現交換域與應用單位業務系統的隔離。前置交換環境由傳輸適配器、管理監控接口、安全加密模塊等部分組成，是交換服務的運行容器。安全加密服務提供基本的數據加密功能，保證信息傳輸過程中的安全。交換前置環境提供管理監控接口，交換管理監控系統通過管理監控接口對交換前置環境進行監控。前置交換功能包含：支持交換信息庫與交換傳輸系統間的雙向信息交換。交換傳輸系統能夠從交換信息庫中提取數據交給交換傳輸系統傳遞，也能夠從交換傳輸系統中獲取數據存儲到交換信息庫；支持各種主流操作系統；支持國內外主流數據庫；采用傳輸適配器接入到交換傳輸系統；傳輸適配器應支持HTTP和HTTPS信息傳送協議；采用適配器訪問交換信息庫，實現對交換信息庫中數據的獲取與存儲；提供圖形化的交換服務配置工具，配置、測試、部署交換服務，應提供遠程部署功能；支持多個交換服務并發運行；提供管理與監控接口，支持遠程管理與監控的功能。——交換橋接模塊應用單位業務信息庫與前置交換信息庫之間的信息交換接口，以實現兩個信息庫之間的實時同步。該模塊牽涉業務系統，需要原業務系統開發商配合提供交換系統所需要通用格式數據，供交換系統處理。橋接服務：是利用橋接服務配置工具，組裝適配器組件，以完成一個應用單位數據采集并存儲至交換共享庫的服務程序。提供增量數據自動識別的功能。在不修改業務信息庫結構的情況下，系統應能夠自動識別出需要交換的信息，包括新增、被修改或被刪除的信息。橋接系統由橋接服務運行環境、橋接配置工具、橋接管理、應用適配器等部分組成。橋接服務運行環境是橋接服務的容器，橋接服務是利用橋接服務配置工具組裝應用適配器組件以完成一個數據橋接流程的服務程序。橋接服務運行環境提供日志管理、安全管理、適配器管理等基本功能。橋接服務配置工具提供圖形化的配置系統，通過配置業務信息庫或共享信息庫與交換信息庫之間橋接內容映射規則生成橋接服務描述信息。主要功能包括：支持兩個橋接對象之間的雙向信息同步，即支持應用單位業務信息庫或共享信息庫與交換信息庫之間的雙向信息同步；支持各種主流操作系統；支持國內外主流數據庫；支持結構化文件、非結構化文件；采用適配器組件訪問橋接對象，實現數據的獲取與存儲；提供增量數據自動識別的功能。在不修改業務信息庫結構的情況下，系統應能夠自動識別出需要交換的信息，包括新增、被修改或被刪除的信息；提供圖形化的信息交換橋接配置及管理工具，支持橋接指標定義、處理、橋接管理等功能；支持多個橋接任務或服務的同時運行，應支持橋接服務的動態和遠程部署；應提供系統管理與監控、日志管理功能。2）中心服務器中心服務器是數據共享交換平臺的主要部分，其部署在數據中心里。其提供包括交換管理、目錄管理、組件開發環境、統一部署、監控管理、安全管理等平臺公共應用支撐服務。——交換傳輸模塊根據部署的交換流程，實現應用單位前置交換信息庫之間的信息處理和穩定可靠、不間斷的信息傳遞。該模塊可支持現有多種交換中間件產品的集成，也可選擇內置傳輸模式完成數據傳輸。交換傳輸系統是用來構建前置交換系統之間安全、可靠、穩定、高效的信息交換通道，實現信息的打包、轉換、傳遞、路由、解包等功能。——ETL管理當資源提供者是中心，中心發布目錄后，資源數據在中心需要落地。系統提供一套數據采集系統將各委辦局的數據進行過濾、轉換并存入中心的共享信息庫中。是一套標準的ETL流程。ETL（Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載的過程）。數據采集的對象分為兩大類：結構化的數據和非結構化的數據。結構化數據根據來源又分為兩類：來源于委辦局數據庫結構獲取的數據，委辦局提供的結構化文件，這類數據需要經過標準的ETL過程入中心庫。非結構化數據的ETL過程相對比較簡單，目前只需要從委辦局下載到中心指定位置。按照處理數據的格式，分為兩類任務：非結構化數據采集任務、結構化數據采集任務。結構化數據采集任務流程：中心發布目錄，目錄對應的資源數據存儲在中心的資源共享庫、主題庫。中心定時或者用戶觸發ETL流程，將數據經過采集、下載、解壓、清洗、轉換、比對、入庫的步驟，完成從委辦局數據源->前置采集機->中心數據庫表的數據采集流程。任務采集粒度為一張中心表對應一個結構化采集任務。非結構化數據采集任務流程：中心發布目錄，目錄對應的資源數據存儲在中心指定位置。中心定時或者用戶觸發ETL流程，將數據經過采集、下載的步驟，完成從委辦局數據源->前置采集機->中心的數據采集流程。任務采集粒度為一個指定位置對應一個非結構化采集任務。圖X3ETL任務——元數據管理基于信息資源目錄管理的元數據維護在清晰描述信息自身含義的基礎上，還清楚的描述了信息的存取方法，為后期的數據抽取做好準備。3）視頻共享交換平臺視頻資源是城市動態監管的重要手段，運營指揮中心必須獲取視頻數據。視頻監控是現代城市管理的重要手段，公安、城管、旅游、農業、林業等部門都希望能夠擁有和使用視頻資源；現在公安、交通、以致社會上的學校、銀行等單位也有視頻資源，公安在社會治理等方面也需要這些視頻資源。視頻共享是解決這個問題的最佳也是成本最低的方案。——接入方案接入方式有三種，和已有視頻平臺對接、模擬視頻對接、DVR視頻對接。已有視頻平臺對接方案如下圖所示：圖X4網關接入已有視頻平臺模式原有社會第三方數字監控平臺，通過信令網關與媒體網關的形式接入到視頻監控共享平臺，達到對已建數字監控平臺的控制和圖像資源聯網整合。在接入數字視頻監控平臺時，需要第三方平臺廠家進行配合，進行信令網關和媒體網關的簡單開發工作。這種方式的優勢主要在于靈活，由于信令和視頻都集中到服務器（群）上處理，可以進行靈活控制，可以方便的實現私網穿越，平臺集中轉碼，以及網絡優化等。——接入標準聯網方式與規范——統一編碼標準應遵循國家標準GB/T28181或國際標準ONVIF統一的編碼標準要求。——統一聯網協議局聯網系統內部進行視頻、音頻、數據等信息傳輸、交換、控制時，應遵循國家標準GB/T28181統一的通信協議要求。——設備接入統一規范視頻監控系統建設嚴格按照GB/T28181或ONVIF標準來進行設計、建設。為了便于對不同廠家的監控產品的兼容，系統需滿足GB/T28181或ONVIF的控制基本要求。——交互功能設計區域視頻監控網絡系統是指其中的監控資源、用戶終端、監控中心等通過聯網單元進行SIP協議轉換，實現視頻監控網絡系統之間的互聯互通、資源共享，主要實現以下幾個基本功能：——實時圖像獲取瀏覽：源聯網單元能獲取目的聯網單元經授權的實時圖像并進行播放，實時流應采用聯網單元的逐級轉發；——歷史圖像獲取查詢：目的聯網單元能按指定攝像機和時間段向源聯網單元查詢所管轄的歷史圖像索引。點播：目的聯網單元應能通過查詢得到的歷史圖像索引點播源聯網單元的歷史圖像，對歷史圖像的回放過程進行控制，包括開始、停止、暫停、快速和慢速播放、拖動等，采用聯網單元的逐級轉發。下載：目的聯網單元能通過查詢得到的歷史圖像索引下載所需要的源聯網單元的歷史圖像。——事件管理支持報警等事件預訂功能。支持報警等預訂事件的通告功能。支持報警等事件的處理功能。——時鐘同步聯網單元支持NTP網絡時鐘協議，實現時鐘同步功能。——媒體傳輸基本要求媒體流在聯網系統IP網絡上傳輸時可以支持RTP傳輸，RTP的負載應采用如下兩種格式之一：基于PS封裝的視音頻數據或視音頻基本流數據。媒體流的傳輸應采用RFC3550規定的RTP協議，提供實時數據傳輸中的時間戳信息及各數據流的同步；應采用RFC3550規定的RTCP協議，為按序傳輸數據包提供可靠保證，提供流量控制和擁塞控制。——安全性要求在低安全級別應用情況下，應采用基于口令的數字摘要認證方式對設備進行身份認證；在高安全級別應用情況下，應采用基于數字證書的認證方式對設備進行身份認證。——流程和接口規范范圍涉及平臺各網元在實現主要業務功能時的流程和接口，主要業務功能包括實時媒體訪問、前端/平臺錄像的存儲/查詢/回放/下載。——媒體流封裝格式媒體流在IP網絡上傳輸時須支持RTP協議，媒體流須采用PS格式或直接RTP負載方式封裝。——視頻編解碼格式聯網系統中視頻編碼格式應采用H.264、SVAC或MPEG-4視頻編碼標準，不準添加編碼標準規范格式之外的私有數據。視頻解碼必須同時支持H.264、SVAC或MPEG-4標準。——音頻編解碼格式在聯網系統中，音頻編碼須采用ITU-TRec.G.711編碼格式，也可同時支持G.722.1或G.723.1或G.729等音頻編碼標準；音頻解碼必須同時支持ITU-TRec.G.711、G.723.1和G.729音頻解碼標準，可擴展支持ITU-TRec.G.722.1音頻解碼標準，見國標GB/T28181-2011附錄E。——信令流程和協議接口聯網系統中各級聯網平臺必須具備注冊/注銷、實時視音頻點播、設備控制、網絡設備信息查詢、狀態信息報送、設備視音頻文件檢索、歷史視音頻回放、歷史視音頻文件下載、校時等信令。——視頻共享交換功能共享平臺提供的主要視頻共享及管理功能如下圖所示：圖X5視頻共享交換平臺功能功能分為：管理功能、業務功能、其它功能。管理功能主要是：用戶&權限管理、認證、設備管理功能。業務功能主要是：實時圖像監控、多畫面監視、多畫面輪巡等功能。其它功能主要是：結合電子地圖、對視頻進行智能分析等。2、數據挖掘分析平臺數據挖掘分析平臺包含大數據存儲子系統和數據挖掘分析子系統兩部分，其中兩部分是松耦合，沒有統一的架構。具體功能點由兩部分分別介紹。（1）大數據存儲子系統大數據存儲子系統的軟件架構如下，圖中藍色標的為大數據存儲子系統。圖X6大數據存儲子系統框架平臺主要包括以下幾部分：計算存儲層：作為數據的載體，提供穩定高效的海量數據存儲以及供上層訪問的數據接口，數據包括實時數據和非實時數據。公共管理：對平臺中的各組件進行統一管理，包括安全管理、日志管理、告警管理、平臺監控、服務管理、主機（節點）管理等。外部系統有兩個，分別為：數據采集層：負責從多個數據源采集數據，可對數據進行清洗和轉換，把外部系統的數據轉換成適合本系統存儲和分析的格式，并裝載到存儲層。分析挖掘層工具：根據業務需求，對數據進行分析和處理，挖掘數據背后的價值。

1）計算&存儲層大數據平臺計算存儲層主要包括HDFS、MR、Yarn、HBase、Hive、Zookeeper、Impala、CEP、Spark、Hue等組件，各組件功能詳細介紹如下。HDFS是構建在廉價的PC機器上的分布式文件系統，提供高吞吐量的應用程序數據訪問，對外部客戶機而言，HDFS就像一個傳統的分級文件系統。可以創建、刪除、移動或重命名文件等等。MapReduce是構建在廉價機器上的分布式處理模型和運行環境。用于大規模數據集（大于1TB）的并行運算。MapReduce是一個新的抽象模型，使我們只要執行簡單計算，而將并行化、容錯、數據分布、負載均衡的等雜亂細節放在一個計算框架里，在做并行編程時不必關心它們。Yarn是下一代MapReduce框架MRv2，是一個通用的運行時框架，用戶可以編寫自己的計算框架，在該運行環境中運行。Hive是一個建立在Hadoop上的數據倉庫框架，提供了一個方便的數據集成、特殊查詢以及建立在Hadoop文件上的大規模數據分析。可以將結構化的數據映射成數據庫中的表，同時提供類似SQL的操作語句用來對數據進行操作，Hive的類SQL語句會映射為Hadoop的MapReduce任務進行運行，性能相對數據庫性能要低。Hive處理的數據一般都是TB、PB級別。HBase是分布式面向列的數據庫，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，HBase使用HDFS作為底層存儲，同時使用MapReduce支持批處理模式的計算和隨機查詢。利用HBase技術可在廉價PCServer上搭建起大規模結構化存儲集群。Zookeeper提供分布式高效的協作服務以及分布式鎖這樣的原子操作，可以用來構建分布式應用。是Hadoop系統中的一個主要組件，它能為HDFS、HBase、MapReduce、Yarn、Hive等組件提供重要的功能支撐。在分布式應用中，通常需要Zookeeper來提供可靠的、可擴展的、分布式的、可配置的協調機制來統一各系統的狀態。Impala是一個實時交互SQL大數據查詢工具，通過使用與關系數據庫中類似的分布式查詢引擎，可以直接從HDFS或者HBase中用Select，Join和統計函數查詢數據，降低延遲。Hue是方便用戶和Hadoop集群進行交互的Web應用ComplexEventProcessing(復雜事件處理)是一種基于事件流的技術，主要是企業面對大量業務時間需要快速響應的要求而推動的新興領域，它將系統數據看作不同類型的事件，通過分析事件間的關系，建立不同的事件關系序列庫，利用過濾、關聯、聚合等技術，最終由簡單事件產生高級事件或商業流程，主要特點是大吞吐量的流式數據實時處理。Spark是UCBerkeleyAMPlab所開源的類HadoopMapReduce的通用的并行計算框架，Spark基于mapreduce算法實現的分布式計算，擁有HadoopMapReduce所具有的優點；但不同于MapReduce的是Job中間輸出和結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的mapreduce的算法。2）系統監控管理系統監控管理提供豐富的圖形化工具對HDFS、hbase、hive、mapreduce、oozie、impala、zookeeper各組件運行狀態進行監控，通過對CPU、空間、任務狀態等的監控了解系統運行狀況，支持通過設置門限，進行狀態告警。（2）數據挖掘分析子系統數據挖掘分析具備特點如下。——組件化、工具化數據挖掘設計的目標之一就是要適應不同的、復雜的應用和部署場景。作為一個基礎、通用的支撐功能，要與使用方盡量減少耦合性。數據挖掘內部的各類功能作為一個組件存在，外部系統以服務接口的方式使用其功能。而不要求上層應用與數據挖掘功能使用同一個基礎平臺。——場景應用為導向數據挖掘給上層的應用提供算法，同時更高層次的面向主題的分析套件。這些面向主題的分析套件是本數據挖掘套件的一個核心競爭力。——組件和工具兼容除面向主題的分析套件種類外。當客戶面對一個新的領域問題時，通過可視化的工具快速幫助客戶從大量數據中分析問題、發現價值。通過一個能使用靈活、快速反饋的工具進行支撐。這時需要需要使用細粒度的算法支撐。——開放性本分析套件，通過接口可與其他商業的數據分析工具通過消息中間件配合使用，譬如：使用SAS的高級文本聚類分析功能，分析結果通過適配器發送到中間件上，進行下一步的分析工作。數據挖掘分析子系統的軟件架構如下，圖中藍色標的為數據挖掘分析子系統。圖X7數據挖掘分析子系統框架1）挖掘建模數據挖掘建模八步法指：業務理解、指標設計、數據提叏、數據探索、算法選擇、模型評估、模型収布、模型優化。圖X8數據挖掘建模流程圖2）OLAP多維分析組件OLAP多維分析針對特定的分析主題，設計多種可能的觀察形式，設計相應的分析主題結構，使管理決策人員在多維數據模型的基礎上進行快速、穩定和交互性的訪問，并進行各種復雜的分析和預測工作。通過OLAP組件，能夠實現數據的直觀、易于導航的多維視圖，提供多維視圖的數據組織、管理與多維分析。能夠鉆取詳細數據，也能進行多維數據和詳細數據的混合分析。能夠將分析結果輸出為Excel、HTML、文本文件等多種類型的文件，也能為脫機的獨立分析人員建立分析數據子集；支持圖形化界面，可提供面向服務的工作流編排；提供豐富的函數，可自由擴展，便于二次開發。模型管理包含立方體管理和模型管理兩個功能，立方體管理提供立方體模型數據的定義，模型管理提供模型文件的導入、刪除功能。在Olap分析中支持切片、鉆取、Topn圖形顯示等功能。3）自定義報表組件生成和操作報表的分析服務組件，它通過報表生成器生成模板，并根據模板對抽取的數據進行加工渲染，主要用于生成固定格式的報表和數據結果集，通常通過Web方式在線展現給分析人員，是數據分析展現常用的工具。該組件能夠提供數據排序、數據過濾、報表間數據鉆取、潛入/引用其他資源、支持鏈接等報表操作功能，同時也提供直觀的管理界面、快速開發環境、報表定制、拖放、函數計算等報表設計功能。4）挖掘算法分類：分類是一種重要的數據分析形式，將一組數據輸入分類器，分類器能夠判斷該數據所屬的類別。聚類：聚類是對記錄分組，把相似的記錄在一個聚集里。聚類和分類的區別是聚集不依賴于預先定義好的類，不需要訓練集。聚類訓練的核心思路是“物以類聚”，聚類算法的核心是要定義一個相似性計算方法，通過相似性計算方法計算任意兩個樣本間的相似性，然后根據相似性值大小將相似性高的調整到一個類別中，而將相似性低的調整到不同的類別中。主題模型：主題模型常應用在自然語言處理領域的統計模型，用來從一系列文檔中發現文檔的主題。主題模型的核心是計算不同的關鍵詞在同一篇文章中“同現”的概率，在不同文章中“同現”概率高且穩定的關鍵詞組合背后往往隱藏著一定的抽象主題。預測：預測是通過分類或估值起作用的，也就是說，通過分類或估值得出模型，該模型用于對未知變量的預言。關聯規則：關聯分析又稱關聯挖掘，就是在交易數據、關系數據或其他信息載體中，查找存在于項目集合或對象集合之間的頻繁模式、關聯、相關性或因果結構。5）文本分析文本分析分析框架，選擇遵循OASISUIMA標準的開源框架ApacheUIMA作為IE框架，整個信息抽取的過程就是不斷對原始文本進行分析增加標注的過程，標注的增加代表了從原始非結構化的自然語言文本中不斷抽取出結構化/半結構化信息的過程。ApacheUIMA（UnstructuredInformationManagementArchitecture下面統一簡稱為UIMA）是一個組件式的自然語言處理框架，支持多種形式的自然語言處理流程（包括常用的Pipeline），這個框架的目的是為非結構化分析提供一個通用的平臺，可以根據不同的應用需求，開發不同的分析組件（UIMA稱為AnalysisEngine，簡稱AE），通過UIMA框架可以將不同的分析組件串聯起來，對給定的文本進行標注，構成一個完整的分析流程。3、中間件能力平臺（1）業務協同組件業務協同組件是整合ESB企業服務總線和BPM流程管理軟件平臺，主要應用于系統流程管理、數據共享等場景。通過ESB實現不同系統互聯互通，通過BPM流程實現跨系統的流程定制管理，以適應快速變化的管理需求，節約資源。業務協同組件架構如下圖所示，主要由協同支撐中心（ICT）、流程協同中心、服務協同中心、協同管理中心、協同監控中心、界面協同中心、可視化協同開發部署等7個大的協同中心構成。協同支撐中心：為業務協同提供基礎支撐，提供服務器框架、WEB容器、界面組件、安裝升級、分發框架、界面框架方面的功能。流程協同中心：由過程倉庫、規則引擎、過程實例、流程歷史、模型倉庫、任務實例等組成，主要負責業務流程的存儲、調度、執行，為協同管理中心和協同監控中心提供管理和監控的服務，還可為基于業務協同組件開發的應用模塊提供流程相關的服務。服務協同中心：由服務路由、事物管理、消息轉換、適配框架、消息代理、消息傳輸、MQ消息隊列、訂閱框架等模塊組成。是現有業務系統對外提供服務的關鍵，業務系統可將需要提供的服務在服務協同中心進行注冊后供服務使用者使用。協同管理中心：協同管理中心是對流程協同中心和服務協同中心中運行的流程、任務、服務的管理，包括表單管理、模型管理、業務規則、任務管理、流程追溯、授權管理、審批管理、特殊流程、部署管理、服務管理等模塊組成。協同監控中心：協同監控中心是對基于業務協同組件開發的應用系統、流程協同中心、服務協同中心中運行的流程、任務、服務的狀態、效率、異常事件、日常日志的監控與管理。由性能監控、告警監控、系統監控、日志管理、流程監控、服務監控、流程探針、狀態監控等模塊組成。可視化協同開發部署：即workbench工作臺，是一個針對工程、開發人員的IDE開發環境，工程、開發人員可基于workbench進行業務流程的定制、流程中使用的業務規則定制、業務協同的服務定制、服務的路由與轉換定制，同時還可以將定制結果進行調試、打包和部署。界面協同中心：即portal，是將各業務系統的界面進行整合，避免業務流程審批過程中在不同業務系統間來回切換導致用戶體驗下降的功能。界面協同中心應具備單點登錄的功能。（2）基礎業務組件基礎業務組件提供方便應用開發的能力組件，包括但不限于：GIS能力組件、統計分析組件、報表組件、通訊能力組件等。利用這些組件可以方便上層應用的開發，這些業務組件也為業務編排和調度管理、應急通信等提供了基本能力。這些基礎業務組件都能被業務協同組件和能力開放組件所使用。（3）能力開放組件能力開放組件依托運營指揮中心中的大數據計算存儲平臺、數據共享交換平臺、大數據分析挖掘平臺的基礎