智慧城市大數據

交換共享平臺

建設方案

智慧城市大數據共享交換平臺建設方案

目錄

第一章需求分析和項目建設的必要性........................4

1.1項目建設目標、內容.........................................4

1.1.1項目建設目標........................................4

1.1.2項目建設內容........................................4

1.2編制依據..................................................5

1.3與政務職能相關的社會問題和政務目標分析....................6

1.3.1社會問題分析........................................6

1.3.2政務目標分析........................................8

1.4業務功能、業務流程和業務量分析...........................11

1.4.1用戶角色分析........................................11

1.4.2業務功能分析.......................................12

1.4.3業務流程...........................................14

1.4.4業務量分析.........................................14

1.5信息量分析和預測.........................................15

1.5.1存儲量分析.........................................15

1.5.2處理量分析.........................................19

1.5.3網絡流量分析.......................................20

1.6系統功能和性能需求分析...................................20

1.6.1系統功能指標.......................................20

1.6.2系統性能指標.......................................22

1.7信息系統裝備和應用現狀與差距.............................22

1.7.1現狀...............................................22

1.7.2差距...............................................23

1.8項目建設的必要性.........................................23

第二章總體建設方案.....................................26

2.1建設原則.................................................26

2.1.1統一性原則.........................................26

2.1.2可靠性原則.........................................26

2.1.3可伸縮和可擴展性原則...............................26

2.1.4開放性原則.........................................27

2.1.5安全性原則.........................................27

2.1.6高效性原則.........................................27

2.1.7友好性原則.........................................27

2.1.8可管理易維護性.....................................28

智慧城市大數據共享交換平臺建設方案

2.2總體目標與分期目標.......................................28

2.3總體建設任務與分期建設內容...............................29

2.4總體設計方案.............................................30

2.4.1基礎設施層.........................................32

2.4.2信息資源層.........................................33

2.4.3應用支撐層.........................................34

2.4.4應用層.............................................34

2.4.5服務層.............................................34

2.4.6安全保障體系.......................................34

2.4.7標準規范體系.......................................35

第三章項目建設方案.....................................36

3.1標準規范建設.............................................36

3.1.1管理制度建設.......................................36

3.1.2標準規范建設.......................................40

3.1.3數據標準建設.......................................43

3.1.4標準規范索引.......................................46

3.2信息資源規劃和數據庫設計.................................47

3.2.1信息資源規劃.......................................47

3.2.2數據中心建設.......................................53

3.3門戶系統建設.............................................69

3.3.1信息資源政務門戶...................................69

3.3.2信息資源開放門戶...................................73

3.4應用系統建設.............................................74

3.4.1數據匯聚平臺.......................................74

3.4.2數據治理平臺.......................................89

3.4.3數據運營平臺......................................102

3.4.4數據應用平臺......................................104

3.5四大基礎數據庫管理平臺..................................108

3.5.1人口庫............................................108

3.5.2法人庫............................................111

3.5.3經濟庫............................................114

3.5.4地理庫............................................115

3.6應用支撐系統設計........................................116

3.6.1統一用戶管理......................................116

3.6.2統一應用管理......................................120

3.6.3統一服務管理......................................121

3.6.4統一消息服務......................................123

3.6.5統一日志服務......................................124

-II-

智慧城市大數據共享交換平臺建設方案

3.7安全保障體系建設........................................124

3.7.1建設目標..........................................124

3.7.2安全體系架構......................................125

3.7.3安全防護體系建設..................................125

3.7.4安全管理體系建設..................................133

3.8主要軟硬件選型原則和詳細軟硬件配置清單..................136

3.8.1主要軟硬件選型原則................................136

3.8.2詳細軟硬件配置清單................................137

第四章效益分析........................................138

4.1經濟效益................................................138

4.2社會效益................................................140

第五章項目風險與風險管理............................142

5.1風險識別和分析...........................................142

5.1.1組織風險..........................................142

5.1.2管理風險..........................................142

5.1.3業務風險..........................................142

5.1.4技術風險..........................................142

5.2風險對策和管理..........................................143

5.2.1組織風險防范對策..................................143

5.2.2管理風險防范對策..................................143

5.2.3業務風險防范對策..................................144

5.2.4技術風險防范對策..................................144

-ill-

智慧城市大數據共享交換平臺建設方案

第一章需求分析和項目建設的必要性

1.1項目建設目標、內容

1.1.1項目建設目標

智慧城市公共數據開放共享平臺項目建設目標是，依托統一的

“云”數據中心建設統一的公共數據開放共享平臺。集中機關各部

門業務應用進行，制定相關的數據規范和信息交換標準，使機關各

部門業務系統依托統一的開放平臺進行開發建設。確保部門之間系

統之間的互聯互通、數據共享，為大數據分析提供數據依據。

1?1.2項目建設內容

智慧城市公共數據開放共享平臺項目建設內容包含：一套標準

規范、兩個數據門戶、四大應用平臺、四大基礎數據庫和一個應用

支撐平臺。

具體建設內容包括：

1、一個應用支撐平臺

為了對需要調用智慧城市公共數據開放共享平臺信息資源的政

府部門應用系統進行有效管理，面向各類智慧城市應用，規劃建設

統一的應用支撐平臺，統一標準規范，通過用戶管理、應用管理、

服務管理等核心組件，可以對接入系統有效管理、實現統一認證及

單點登錄、統一消息服務。

-4-

智慧城市大數據共享交換平臺建設方案

2、兩個數據門戶

針對政府部門用戶建設信息資源政務門戶，針對企業、公眾用

戶建設信息資源開放門戶。

3、四大應用系統

建設承載智慧城市公共數據匯聚平臺、數據治理平臺、數據運

營平臺和數據應用平臺。

4、四大基礎數據庫

通過智慧城市信息資源梳理，制定四大基礎數據庫的建庫、入

庫和管理規則，建立四大基礎數據庫管理平臺，提供基礎庫內容管

理、數據處理、共享和應用功能。

四大基礎數據庫包括人口庫、法人庫、經濟庫和地理庫。

5、一套標準規范

形成標準規范體系，包括管理制度、標準規范、數據標準等。

1.2編制依據

1、中辦、國辦《2006-2020年國家信息化發展戰略》；

2、國辦《關于促進智慧城市協調發展的指導意見》；

3、國務院《促進大數據發展行動綱要》；

4、《國家智慧城市總體框架》；

5、《國家智慧城市“十二五”規劃》(工信部規(2011)567號)；

6、《關于印發“十二五”國家政務信息化工程建設規劃的通知》

(發改高技(2012)1202號);

智慧城市大數據共享交換平臺建設方案

7、《GB/T21063-2007政務信息資源目錄體系》

8、《GB/T21062-2007政務信息資源交換體系》

9、《國家智慧城市工程建設項目管理暫行辦法》

10、《政府信息公開條例》

1.3社會問題和政務目標分析

1.3.1社會問題分析

作為世界人口大國，理論上我國數據資源儲量極為豐富，但大

部分政府數據(例如：交通、社保、稅收等)，屬于結構化數據，距

離海量(volume)、速度(velocity)和多樣性(variety)的3V屬性還

有一定距離，但從戰略角度而言差距并不大。

從數據規模來說，政府擁有國內最為龐大的數據儲量。政府數

據廣泛存儲于各地、各級政府機關院所等不同單位、不同部門、不

同系統甚至不同網絡環境中，海量超脫于地理空間的政府數據亟待

存儲與處理。

從數據來源來說，由于各行業、各地采用的法律法規和標準并

不統一。傳統的智慧城市信息系統，僅為滿足特定功能而生，數據

結構差異性大，大量數據存放于歷史遺留應用中，委辦局間碎片化、

零散化、低效率的數據交互和分析普遍存在，導致政府數據來源極

為復雜。

從數據質量和價值來說，企業的數據種類單一化程度較高，而

政府數據涉及工商、稅務、交通、醫療、教育等領域，數據種類繁

-6-

智慧城市大數據共享交換平臺建設方案

多，事關百姓生活的方方面面，數據質量較高，數據的潛在價值十

分可觀。

如上所述，政府數據的特點可以概括為：數據規模大、數據來

源和結構復雜、數據價值高但利用率低。

政府收集了大量有價值的數據，通過這些數據，可以更好地了

解國家資源使用情況，政府開支情況，土地交易和管理情況，這些

將不僅強化政府責任，提升治理能力，還能提高資金支出效率，為

人民提供更多更好的服務選擇。

1、政府數據體量越來越大

截至2014年，中國共有664個城市，2852個行政縣，40446

個行政鄉。當前，中國中央和省級政務部門主要業務智慧城市覆蓋

率已經達到70%o據粗略估算，全國政府大數據加起來相當于數百

個阿里巴巴的體量。而隨著硬件技術的進步，對于數據采集精度、

采集頻率、數據存儲等能力在增強，使得數據規模仍有提升空間，

近幾年數據中心的新建和擴容呈現井噴式的發展，這是以硬件基礎

設施帶動的變革，促使軟件技術也得到了快速發展。

隨著數據體量的增長，大數據處理、大數據應用分析的門檻將

會逐漸提高。

2、多部門協作成為常態化

復雜的城市治理問題，對跨部門的協作提出了更高的要求，過

去個別部門間存在的職責交叉分散、協調運行不暢等問題。隨著“大

部制”完善，建立健全了部門間協同運行機制，逐步實現“多個部

智慧城市大數據共享交換平臺建設方案

門、一個政府”目標。隨著部門與部門的邊界越來越模糊，政府數

據跨部門共享共用已不再是亮點和創新，建立常態化共享機制成為

政府大數據建設的入門。

3、國家治理不能僅僅依靠政府

由于時間和技術的局限性，以往國家治理基本是政府下達指令、

向下逐層執行的“開環過程”。如今隨著互聯網發展，人民對于政

府的期望越來越高，國家不僅要在政策出臺前廣泛征求、準確把握

民意；出臺后還需要獲得執行反饋，并適時調整，政府治理變為下

達指令一執行一反饋的“閉環過程”，需要借助社會各方面力量參

與到國家治理過程之中。無論是社會自治還是合作共建，政府數據

共享開放都是大前提。

4、社會普遍開始重視數據安全和隱私

數據如同一把雙刃劍，在帶來便利的同時也帶來了很多安全隱

患，隨著全球各地用戶信息安全事件頻出，讓人們開始感受到“數

據”與生活接觸如此緊密，數據泄露可以對個人的生活質量造成極

大的威脅數據安全和隱私保護不僅是公民個人的責任，對采集數

據和共享數據的政府單位，也有義務保障數據的安全和隱私，此過

程中，政策、技術、意識缺一不可。需嚴格依照相關規范文件，將

安全運營意識滲透到政府數據開放中。

1.3.2政務目標分析

1、實現政務公開，打造透明政府

-8-

智慧城市大數據共享交換平臺建設方案

智慧城市公共數據開放共享促進政府和公眾互動，讓政務透明，

幫助政府進行社會管理和解決社會難題，大數據時代下，政府是整

合開放的平臺，是一個大數據共享平臺，它建立了公眾與政府間的

溝通渠道，越來越多的國家和組織利用其開展民意調查，通過在線

交互讓民眾成為政務流程的節點，透明政務，讓公眾參與到政策制

定與執行、效果評估和監督之中，使民眾參政議政成為可能。大數

據推進政府信息資源進一步開放，政府信息開發利用效率倍增，促

進經濟社會快速發展。

2、實現數據融合，打造智慧政府

智慧城市公共數據開放共享真正跨越了政府內部協同的鴻溝，

大大提高工作效率，降低政府運行成本。其一，政府內部協同除思

想理念上的障礙外，技術上也存在一定障礙，隨著大數據技術發展，

跨越系統、跨越平臺、跨越數據結構的政府將在技術上使政府內部

縱向、橫向部門得以流暢協同。其二，由于利用大數據技術，數據

獲取、處理及分析響應時間大幅減少，工作效率明顯提高，同時降

低了政府開支。例如，政府利用大數據對社會人群進行細分，對不

同人群進行針對性服務和政策施行。

3、實現科學決策，打造責任政府

智慧城市公共數據開放共享提高政府決策的科學性和精準性，

提高政府預測預警能力以及應急響應能力，越來越多的政府排棄經

驗和直覺，依賴智慧城市的數據和分析進行決策。現在大數據又超

越了傳統的數據分析方法，不但是對大數據分析挖掘，對言論、圖

-9-

智慧城市大數據共享交換平臺建設方案

表等都可以進行深度挖掘、人工智能。大數據的深入及廣泛應用會

給政府帶來科學和精準的決策支持。

4、為康巴什智慧城市提供一個安全可靠的信息資源存儲中心

對各部門的共享交換的數據資源進行統一的規劃管理和應用，

建設集約化的數據資源存儲中心,從而避免了各部門重復建設工作；

同時提高數據安全方面的建設，從硬件設備、網絡、信息資源、應

用系統、管理平臺、數據庫等方面的全面保證數據的安全性，并根

據用戶的不同訪問需求、防止惡意入侵、病毒防護、分區域的安全

設計，并在應用服務上提供安全檢測服務。

5、為康巴什智慧城市提供一個高效的應用服務平臺

康巴什智慧城市公共數據開放共享平臺的建設，為政府應用系

統和信息資源的高效管理和服務提供手段，通過對相關的基礎信息、

業務信息、服務信息進行管理，實現康巴什智慧城市公共數據開放

共享平臺的信息管理和服務功能。城市級交換共享平臺則對各部門

的信息資源提供交換共享支撐，以提高信息資源的綜合利用水平。

通過整合各部門數據信息，建設基礎信息庫，并提供對外服務，實

現康巴什智慧城市公共數據開放共享平臺的服務功能。

6、為康巴什智慧城市提供一個長效和可維護的信息服務體系

康巴什智慧城市公共數據開放共享平臺的建設要對康巴什智慧

城市體系提供長久的服務，因此在管理和運維上必需配備相應的支

撐。這一方面取決于管理制度的完善、管理手段的完備和對管理本

身的技術支撐，另一方面，也取決于人員的配備和運維體系的建立。

-10-

智慧城市大數據共享交換平臺建設方案

1.4業務功能、業務流程和業務量分析

1.4.1用戶角色分析

康巴什智慧城市公共數據開放共享平臺的用戶分為：領導、各

部門、企業單位及社會公眾。

政府領導

康巴什智慧城市公共數據開放共享平臺有價值的數據、行政地

圖、決策方法和應急進行融合，采用大數據分析技術，有利于各級

領導、管理決策人員方便、直觀、形象地進行各種分析，從而使統

計決策的科學化、人性化、智能化管理走上一個新臺階。

政府部門

可以向康巴什智慧城市公共數據開放共享平臺提供數據或使用

平臺提供的數據；業務部門之間可以通過系統平臺交換共享數據；

遵循標準規范進行業務系統的建造和改進，可實現業務系統和數據

開放共享平臺的對接。

社會公眾

可以依托康巴什智慧城市公共數據開放共享平臺提供的應用服

務對公眾需求做出快速反應，公眾可以更直接廣泛的獲得政府提供

的服務，如證照協同、社保電子傳遞等。

企業單位

通過康巴什智慧城市公共數據開放共享平臺提供的應用服務可

11-

智慧城市大數據共享交換平臺建設方案

以方便企業進行業務級信息查詢，并可通過業務協同對企業提供事

項審批、信息推送服務。

1.4.2業務功能分析

數據共享

在政府部門內部強調的是共享共用。先把政府部門內部及部門

之間數據共享的工作做起來。各級政府都以數據應用為導向，需要

什么數據就共享什么數據。

部門間的信息共享，綜合考慮管理難度和技術難度建議分為三

個階段：“條線內部門共享”、“平級跨部門共享”、“跨層級和跨區域

的共享”，通過統一規劃，逐步推進的策略，打造部門間信息資源共

享共用的新格局。

數據開放

對社會的數據開放，先從方便百姓生活又不是很敏感的數據開

始。特別是涉及公共安全、公共利益的數據，提供公共服務的機構

或企業有義務在一定前提條件下開放，這樣一些可以預警、預防的

群體性事件就能夠避免。

按照社會關注程度、數據量大小和具體實施難度，數據開放建

議分為三個階段：“業務統計數據”、“少量高頻數據”、“重點業務數

據”。通過以安全為前提，重點關注優先試點，逐步擴大范圍為原則，

穩步推行數據服務開放。

-12-

智慧城市大數據共享交換平臺建設方案

數據融合

政務大數據歸根結底，還是要面向行業應用的，需要基于不同

的業務部門開展，并和現有平臺建立聯系。

融合應用可以分為“數據融合”、“業務融合”、“產業融合”三個層

次：其中，數據融合是把本單位數據、從其他單位共享的數據，以

及互聯網等社會相關的數據，相互融合，相互比對，建立融合數據

資源中心，統一數據標準和口徑。

業務融合主要圍繞各行業的特定業務場景，比如交通出行、醫

療保障、民生服務等領域，建設智慧應用，形成行業業務的決策分

析體系，支撐城市運行和城市治理的方方面面。

產業融合，隨著一大批大數據處理、大數據分析、大數據運營

企業的興起，政府數據將不單單是自建自用，通過建設數據運營平

臺，數據交易平臺等形式，引入社會資本共同參與城市建設和社會

治理，實現向集約型、服務型、智慧型政府的轉變。

-13-

智慧城市大數據共享交換平臺建設方案

1.4.3業務流程

<>

，"t以人，i“一心入j”t人liN

?u<r；Xd.Ati，上c。WMQ>

4H臼人i-joru9Kmm人4”

C尸1">K<WiK>

"VUIClrrj411八，，?〃.MK人ii好，

1z>KJM0A1fK//?：Uii't

mC,4-W/1'I?i--r1

HKJMeiAU

?人II的：*W*gMP

K人1?Wh?/寶M?；4】???.

人，I八I即八融

1.4.4業務量分析

業務量分析可以從平臺交互量、每天總用戶數（個）、每天每個

用戶平均執行操作數、高峰時段交互量占全天交互量的百分比、高

峰時段持續時間（小時）、高峰時段在線用戶數（個）等方面指標進

行綜合估算?？蛋褪不ヂ摼W大數據分析平臺的業務量估算如下表所

示：

表3-1業務量估算

序號數據名稱數據量

1平臺交互量200（日均）

2每天總用戶數（個）100

3每天每個用戶平均執行操作數1000

-14-

智慧城市大數據共享交換平臺建設方案

序號數據名稱數據量

高峰時段交互量占全天交互量的

460%

百分比

5高峰時段持續時間(小時)4（9：00-11：00.15：00-17：00）

6高峰時段在線用戶數(個)60（日均）

1.5信息量分析和預測

1.5.1存儲量分析

本項目中存儲的數據主要包括兩大部分：系統網站群的在線行

為數據和國內外互聯網重點渠道、信息源以及政府網站群的在線內

容數據。在線用戶行為數據以符合W3c格式標準的日志形式進行存

儲。網站內容更新數據直接存到關系型數據庫或其他非關系型數據

庫中。

1、在線行為數據存儲量

網站群的在線行為數據存儲主要分為三部分：

(1)接收數據，是系統儲存的原始數據。

(2)結構化數據，將原始數據進行數據清洗和去重后進行結構

化后存儲。

(3)分析數據庫，將結構化的數據進行分析預計算后存儲。

按照本項目需要涵蓋康巴什系統網站群的500個網站，每個網

站的日平均訪問按照10000個PV計算，預計每日需要處理的總的

PV數為500萬。

■接收數據的測算依據及結論

其中接收數據庫的主要條目占用空間，如下表所示：

-15-

智慧城市大數據共享交換平臺建設方案

單個PV所要儲存的信息空間大?。ㄗ止潱?/p>

訪問路徑信息1600

來源路徑信息1120

其他信息（會話標識、Cookie標識、時間信息等）256

匯總2976

單個Session所要儲存的信息（1個Session大約產生4PV）

訪問路徑信息512

來源路徑信息1120

客戶端信息（IP、瀏覽器等）128

其他信息（會話標識、Cookie標識、時間信息等）256

匯總2016

單個Cookie所要儲存的信息（1個Cookie大約產生

1.25Session）

訪問路徑信息512

其他信息（Cookie標識、時間信息等）256

匯總768

例如:

按照其他同類項目的數據估算，PV和Session數量比為4：L

Session和Cookie的數量比為L25：1。則500萬的PV會產生125

萬的Session以及產生100萬的Cookie,息占據空間為

5000000*2976+1250000*2016+1000000*768=18G,包括索引以及其他

表占用的空間之后，約為20G。原始日志存儲到SQLServer中會采

用壓縮技術，大小將降為5G。

結論：對于接收數據庫，采用了壓縮和優化技術后，每500萬

PV至少需要25G的儲存空間。

■結構化數據的測算依據及結論

康巴什系統政府網站群監測分析調度系統的結構化數據庫和原

始數據庫存儲的數據一致，但是經過對原始數據庫的數據去冗余以

及結構化，用外鍵壓縮了原來直接存儲在各表里的信息，大小會變

為原始數據的一半，也就是2.5G。

-16-

智慧城市大數據共享交換平臺建設方案

結論：對于結構化數據庫，采用了壓縮和優化技術后，每500

萬PV至少需要2.5GB的儲存空間。

■分析數據的測算依據及結論

康巴什系統政府網站群監測分析調度系統的分析數據庫內容基

本是結構化數據庫的拷貝，大小與結構化數據庫基本一致，也為

2.5Go

結論：對于“決策支持系統”的分析數據庫，采用了壓縮和優

化技術后，每500萬PV至少需要2.5GB的儲存空間。

綜上所述，在不做任何備份的情況下，每500萬的PV,需要文

件存儲空間為：25GB+2.5GB+2.5GB=30Go

到2015年底的存儲量為10.5T,到2019年底的存儲量為52.5T,

具體測算如下表所示：

接收日志明細匯總數據合計

單月數據量(G)25*30=7502.5*30=62.52.5*30=62.5875G

保留周期(月)60606060

一年內需要存儲900075075010.5T

五年內需要存儲450003750375052.5T

2、在線內容數據存儲量

■國內外互聯網重點渠道和信息源

按照本項目需要面向國內外互聯網重點渠道和信息源進行在線

內容采集爬取，按照覆蓋包括主流媒體在內的200個信息源，每個

信息源爬取3級計算，平均每天可以爬取更新的總的頁面數約為30

萬個，每個頁面按照100KB計算，共需要占用的空間為

30W*1000KB=30Go

-17-

智慧城市大數據共享交換平臺建設方案

到2015年底的存儲量為10.8T,到2019年底的存儲量為54T,

具體測算如下表所示：

國內外互聯網重點渠道和信息源

單月數據量(G)30萬*30=900G

一年內需要存儲10.8T

五年內需要存儲54T

■康巴什級以上政府網站群

康巴什級以上政府網站群網站內容更新數據主要包括以下三部

分：網站更新頁面、網站更新的入口，網站更新的白名單。

按照本項目需要涵蓋康巴什系統網站群及康巴什各級政府網站

群的6500個網站，平均每個網站每天更新10個頁面，就是6.5萬

個。

如果每天爬取10次，就是10X6500=6.5萬個入口，每個網站

算10個白名單，那就是10X6500X10=65萬個白名單。

總共是6.5萬+6.5萬+65萬=78萬，共需要占用的空間為78萬

頁*100KB/頁=78G。

到2015年底的存儲量為28.08T,到2019年底的存儲量為

140.4T,具體測算如下表所示：

更新頁面數據網站入口數據白名單數據合計

單月數據量(G)6.5*30=1956.5*30=19565*30=19502340G

一年內需要存儲2.34T2.34T23.4T28.08T

五年內需要存儲11.7T11.7T117T140.4T

綜上所述，系統的數據存儲總量如下表所示:

表3-2數據量估算表

序號數據名稱初始量5年內的增量

1在線行為數據10.5T52.5T

2互聯網重點渠道和信息源10.8T54T

-18-

智慧城市大數據共享交換平臺建設方案

3康巴什團以上政府網站群28.08T140.4T

合計49.38T246.9T

1.5.2處理量分析

（1）網站群用戶訪問行為數據處理量分析

以每天725萬個客戶端訪問（包括500萬PV、100萬Session、

125萬Cookie）并發計算，結合在線行為數據的接收主要集中在工

作時間，7250000/8小時/60分鐘/60秒二251個/秒，日志接收服務

器接受每秒鐘接收日志請求251個，遠遠低于系統的每秒接收到的

正常數（該值通常為7000-9000）。

根據日志接收每秒鐘的并發量為251,因此系統的數據接收只

需要再用兩臺服務器做負載均衡即可。但是為了防止數據接收網站

的域名出現單點故障，因此系統的數據接收采用雙域名備份，即每

個域名對應兩臺數據接收服務器，一共四臺。

根據系統需要滿足康巴什政府網站智能分析系統診斷的需要，

目前系統的單臺服務器的數據處理能力為400家左右，因此需要4

臺數據庫服務器，另外需要兩臺相同配置的數據庫服務器作為備份。

（2）其他在線內容數據處理量分析

一是系統需要支持對不少于108萬個數據采集點每天至少一次

輪詢抓取，同時對抓取回的數據進行數據預處理和清洗入庫工作，

二是需要實現對存量數據和增量數據的指標自動抽取和更新工作，

三是需要支持前臺交互系統的交互分析挖掘需求。

結合以上幾部分需求，預計所需的內容數據處理服務器約50

-19-

智慧城市大數據共享交換平臺建設方案

臺。其中較高性能處理服務器（單機20核服務器CPU:2660*2

MEM:144GDISK:SSD480G*2+SAS4T*6,萬兆網卡,遠程管理，雙電

源）10臺，中等性能處理服務器（單機12核服務器,CPU:2620*2

MEM:32GDISK:4T*10,萬兆網卡，遠程管理，雙電源）10臺。較低

性能服務器（單機12核服務器，CPU:2620*2MEM:72GDISK:SSD

480G*2+SAS600G*4,萬兆網卡，遠程管理，雙電源）30臺。

1.5.3網絡流量分析

按每天處理725萬在線行為數據，每條數據為10KB大小，108

萬條在線內容數據，每條100KB計算，需要的平均帶寬為17Mbps,

高峰時期按3倍帶寬需求計算為：51Mbps,GE鏈路接入可以滿足需

求，出于冗余考慮，建議使用雙GE鏈路（主備）進行接入。

1.6系統功能和性能需求分析

1.6.1系統功能指標

數據存儲功能

政府數據量很大，海量數據的處理與傳統架構完全不同，原有

小型機加商業數據庫的方式已不能完全勝任，部分領域數據需要引

入新架構。大數據存儲于處理架構包括分布式存儲-、分布式資源管

理及分布式文件架構。

數據匯聚功能

數據匯聚功能要求實現將各部門相關的信息資源統一采集交換

-20-

智慧城市大數據共享交換平臺建設方案

到數據中心前置庫中，滿足多種采集方式，能夠滿足不同的網絡環

境、不同的數據類型等情況下進行數據的采集，并對采集的數據進

行處理，進入中心庫保存。康巴什智慧城市公共數據開放共享平臺

的數據匯聚功能包含數據采集、數據交換、數據處理等功能。

數據治理功能

政府數據在共享共用、開放運營及行業應用過程中，數據來源

于各個業務系統，只有建立對數據質量的信任，才能放心地進行使

用。所以數據治理和質量保障在政府數據開放共享平臺建設中顯得

由為重要，數據開放共享平臺數據治理功能主要包括信息資源目錄

管理、元數據管理和數據質量管里等內容。

數據運營功能

數據運營功能聚焦對數據共享、開放、融合的提供，對提供服

務授權、認證、過程進行統一管理，并提供數據開放共享平臺運行

過程的全程監控。數據開放共享平臺數據運營功能主要包含服務管

理、基于服務管理的數據開放、以及運行監控等內容。

數據應用功能

數據共享、開放的最終目標都是為了要創造價值，數據的價值

主要通過應用進行體現。數據開放共享平臺數據應用主要是政務數

據分析功能，主要包括數據采集、數據分析、結果發布三個組成部

分，能夠實現實時、批處理、交互分析，最終通過報表、儀表盤、

API等形式展示結果。

-21-

智慧城市大數據共享交換平臺建設方案

1.6.2系統性能指標

基本性能：（1）在100M局域網環境下進行增、刪、改業務（不

含大對象數據類型）響應時間在3秒以內。（2）在100M局域網環

境下查詢操作的響應時間要求在3秒以內。（3）系統支持同時在

線數大于200,并發用戶數大于50。

數據交換：（1）批量數據交換中，平均單條記錄數據交換的時

間不大于20毫秒。（2）非并發大批量數據交換（百萬條）的時

間不大于5,000秒。（3）批量數據交換中，平均單條記錄入庫的響

應時間不大于20mso

數據查詢：（1）查詢基礎數據（精確匹配）的響應時間不大于

3秒。（2）查詢單個數據主題（百萬級）的響應時間不大于3秒。

（3）目錄檢索的響應時間不大于2秒。（4）查詢統計報表（非實

時統計）的響應時間不大于3秒。

1.7信息系統裝備和應用現狀與差距

1.7.1現狀

政府數據碎片化嚴重。我國智慧城市取得了較快發展,政府各部

門以及公共服務機構在履職過程中形成了大量的數據資源，這些數

據分散在各個部門，由于管理體制、法律法規、歷史慣性以及部門

間利益等方面的原因，康巴什智慧城市建設和發展一直處于“條塊

-22-

智慧城市大數據共享交換平臺建設方案

分割，各自為戰”的狀態，不同區域、不同領域、不同部門之間智

慧城市業務系統之間不相融通，造成了眾多“信息孤島”，難以實現

業務協同和規模效用，甚至連基本的部門間信息數據交換都難以實

現，大量的政府數據處于“休眠”狀態，數據碎片億問題嚴