智慧交通道路安全監管云平臺解決方案第一章項目概況 第二章項目建設單位概況 2.1項目建設單位與職能 2.2項目實施機構與職能 第三章需求分析與建設必要性分析 3.1信息化現狀 3.1.2應用建設現狀 3.1.3數據與存儲現狀 203.1.4硬件設備資源現狀 21 設備利舊說明 3.1.5機房資源現狀 22機房1(629機房) 22機房2(公安交通集成指揮平臺機房) 22機房3(公安交通管理綜合應用平臺機房) 3.2道安監管云與相關平臺的關系 233.2.2與省政府電子政務云的關系 3.2.3與其他現有業務系統的關系 23 3.3面臨主要挑戰 243.4業務需求分析 3.4.1提高信息整合能力的需求 3.4.2提高資源共享服務能力的需求 263.4.3提升道路突發情況處置能力的需求 3.4.4提升交管業務精準治理能力的需求 3.4.5提升跨警種、部門協同能力的需求 3.4.6便民服務 3.5機房機架需求分析 283.6云計算、大數據平臺需求分析 3.7必要性分析 29第四章總體方案設計 4.1總體規劃 4.1.1數據存儲及計算能力規劃 4.1.2數據接入規劃 324.1.3分析能力規劃 4.1.4業務功能規劃 324.2總體架構 4.3數據架構 364.4網絡架構 4.4.1總體網絡架構 4.4.2內部網絡架構 39第五章道安監管云平臺設計 5.1道安監管云計算中心建設 5.1.1云計算中心建設 建設目標 424、極致安全 47 .3云計算設備配置 50 4、彈性擴展 .1業務需求 .2云存儲資源池設計 532)存儲服務化 3)容量規劃 云管理平臺 .1云服務運營(ServiceCenter) 56 ●用戶角色和權限管理 .2統一運維(OperationCenter) ●數據中心日常維護 云開放性設計 602、開放API 云可靠性設計 1、虛擬化熱遷移 2、虛擬機高可用HA 3、存儲熱遷移 1、虛擬機規格動態調整 2、自動化資源彈性調度 3、組內自動伸縮策略 5、時間計劃策略 0云安全性設計 1、虛擬化安全隔離 2、防火墻 3、訪問控制 4、入侵檢測 5、安全審計 6、漏洞掃描 7、操作系統加固 10、用戶虛擬機防病毒 11、虛擬機安全 12、云操作系統安全 2業務價值 5.1.2大數據平臺建設 業務需求 ●具有開放標準接口API 73●支持分布式文件系統HDFS ●統一資源管理和調度框架YARN ●分布式數據庫HBase ●全文檢索組件Solr 架構設計 集群存儲設計 5.2道路交通安全數據資源中心建設 108公安內網數據資源 視頻專網數據資源 電子政務外網數據資源 互聯網數據資源 5.2.2主題分析 機動車主題 .1主題數據規劃 .1主題數據規劃 事件主題 案件主題 .1主題數據規劃 道路主題 .1主題數據規劃 .1主題數據規劃 5.3道路交通安全管理大數據應用平臺建設 數據支撐 使用的大數據平臺的組件 .2關聯信息搜索 .3智能搜索 .4軌跡信息查詢 .5車輛出入城信息查詢 5.3.2駕駛人全息檔案系統 .3智能搜索 5.3.3重點車輛(“兩客一危一校”)安全監管系統 數據支撐 使用的大數據平臺的組件 .2重點車輛通行分析 .3重點車輛違法分析 .4重點車輛交通事故分析 .5積分研判分析 .6實時比對預警 .7預警車輛動態管控 .8重點車輛活動特征分析 .9重點車輛卡口軌跡預測 .10高頻卡口重點查緝 .11安全監管統計分析 5.3.4重點駕駛人安全監管系統 系統概述 數據支撐 使用的大數據平臺的組件 .3重點駕駛人違法分析 .4重點駕駛人事故分析 .5積分研判分析 .6實時比對預警 .7重點駕駛人動態管控 .8安全監管統計分析 5.3.5重點客貨運企業安全監管系統 系統概述 數據支撐 使用的大數據平臺的組件 .2違法事故分析 .3安全隱患分析 .4積分評價管理 5.3.6道路(高速公路和國省道)交通態勢研判系統 系統概述 使用的大數據平臺的組件 .2交通擁堵預警分析 .3卡口流量監控 .4城市車輛遷徙分析 .6交通流量分析 .7路段通行情況分析 .8旅行時間分析 .10準確率監控 系統概述 數據支撐 功能設計 .2交通態勢研判展示 .3信用評分及預警展示 .4重點客貨運企業安全管理 5.3.8數據共享與協作工作臺 功能設計 .2大數據結果展示 5.3.9地圖應用系統 5.3.10大數據應用管理系統 5.4綜合接入和業務協同平臺建設 5.4.1數據匯聚共享 數據接入轉換 5.4.2數據治理體系 數據質量管理 元數據管理 6.1安全方案架構 6.2網絡安全 6.2.2網絡安全組成部分 6.2.3網絡安全核心功能設計 6.2.4方案特征 6.3數據安全 6.3.2數據加密 6.3.3數據訪問控制 6.3.4數據審計(不可否認性) 6.3.6數據清理 6.3.7數據生命周期安全保護 6.4平臺安全 6.4.2身份認證 6.4.4用戶和權限管理 6.4.6安全審計 6.4.7平臺加固 6.4.8統一安全策略管理 6.4.9應用安全和現有系統對接 6.5主機和操作系統安全 6.5.2云操作系統安全 第七章項目建設與運行管理 7.1領導和管理機構 7.2項目實施機構 7.3運行維護機構 7.3.1相關運維方案 7.4核準的項目招標方案 7.4.2招標方式 7.5項目質量管理 7.5.2配置管理 7.5.3測試方案 7.5.4質量保證 第八章人員配置與培訓 8.1技術人員配置 8.1.1項目建設技術人員配置 8.1.2運行維護技術人員配置 8.2人員培訓方案 第九章總體進度規劃 9.1***省道安監管云總體進度 9.2***省道安監管云一期進度 第十章初步設計概算 第十一章風險及效益分析 11.1社會效益分析 11.1.1實現信息化建設與應用的標準規范管理 11.1.2實現信息化資源的大整合、大共享和應用創新 11.1.3挖掘數據價值 11.1.4實現信息化資源集約與安全管理 11.2經濟效益分析 第一章項目概況通治堵應用在短短的兩個月時間內將城市道路的通行率提升了10%。到XXX年，基本建成全省“道安監管云”,完成兩中心(道安監管云計算中心、道路交通安全數據資源中心)、兩平臺(道路交通安全管理大數據應用平臺、綜合接入和業務協同平臺)的建設。以實現資源配置能力、公共決策能力、建設目標主要是開展道安監管云兩中心(道安監管云計算中心、道路交通安全數據資源中心)、兩平臺(道路交通安全管理大數據應用平臺、綜合接入和業務協同平臺)的初期建設，通過在平臺上應用的建設積累經驗，為后續道1、資源整合，數據治理。打破部門壁壘，充分工作涉及149項數據源。其中，公安交警內部數據52項，如接處警信息、公路實時警情數據、交警實時警力信息等；公安其他警種信息11項，如公安組織機構基本信息、在逃人員信息、盜搶車輛信息、吸毒人員信息等；外部協作單位信息86項，如氣象部門信息、校車基本信息、客運公司基本信息等。從數據標準管理、數據質量管理、元數據管理三方面建成數據治理體系，3、實現業務、管理水平提升。通過本期大數據面的業務能力。(1)提升對重點車輛、重點駕駛人的監管力度，降低重特大交通事故發生。(2)提升重點客貨運企業安全監管能力，實現對企業車輛、駕駛人的重點管理，根據企業的具體情況采取不同的監管措施。(3)提升重點道路 大數據云平臺將根據不同應用需求和特點，引入業界成熟技術和解決方案構建，采用分布式處理技術，提升了平臺對交管業務系統的資源集約化共享、動態資源分配、容量彈性伸縮的支撐能力，簡化系統建設、運維；提升結構化數據及非結構化數據的分析處理能力，支撐內外部信息資源的整合共享、海量異構數據的高效處理與數據服務能力的彈性擴展，實現大數據分析常態化，助睡數據”,運用大數據分析技術的應用，很好地解決了行業用戶的此類問題，給交通資源配置以及利用大數據的快速性和可預測性能提升交通預測的水平都有(1)由于項目涉及的相關各方多，項目建設工期緊，因此須在項目建設領(2)本方案雖然對該項目的總體設計、平臺設計、投資方案等進行了闡述(3)本項目的資金投入較大，應積極爭取各方支持，保障項目所需的建設 第二章項目建設單位概況***省公安廳交警總隊是省公安廳主管全省道路交通安全和交通秩序以及機動車輛、駕駛員工作的職能部門。***省公安廳交警總隊設2.2項目實施機構與職能為認真貫徹落實***省人民政府辦公廳關于印發《***省道路交通安全“道7 8(1)建設工作領導小組成立由省道安辦牽頭、各地市相關責任部門參與的在省廳交警總隊科技處),負責道安監管云平臺的頂層設計和具體實施，其他交(2)綜合協調組負責匯總項目建議書、可行性研究報告、初步設計方案等(3)技術支持組參加領導小組召集的工作會議，配合綜合協調組按項目進第三章需求分析與建設必要性分析9互聯同邊再入平臺電子政務網公安同公安網視頻網***省公安廳交警總隊網絡建設現狀如上圖所示，總隊網絡是省廳公安網的萬輛，駕駛人突破1300萬人。六合一平臺建設、上線運行已超過5年，期間整 ***省互聯網交通安全綜合服務平臺(以下簡稱互聯網服務平臺),通過使括通過網頁、短信、手機APP提供道路通行服務，資源庫，歸集各類交通業務數據及外部業務數據(交通、安監、出租車、公交車等),通過數據資源平臺，對內(省市縣三級交警用戶)提供數據采集、數***省公安交通集成指揮平臺剛剛上線，主要存儲 駕駛人考試監管系統(科目二)是由公安部統一部署的，是對各駕駛人考試檢測信息(含圖片)的實時接收、審核、監管和預警，實現遠程核發機動車檢驗據，部分公共基礎數據庫通過與省廳PGIS平臺通過前置機進行數據交換，交通管理基礎數據基于PGIS技術在指揮平臺中完成采集工作；圖形工作站根據 需求，用于空間數據的加工處理；GIS應用服務器負責向指揮平臺發布GIS服務。1)地方支隊各視頻監控系統接入了各地市公安局交警支隊的攝像頭資源，可隨時查看各地路況。2)高管局監控視頻系統交警總隊通過光纖直連高管局網絡，該系統可打開高管局在高速公路所建設的攝像頭資源，用于查看路況。3)高警局卡口視頻監控系統接入高警局緝查布控視頻卡口的視頻4)省廳平安城市視頻監控系統集成了各地方公安局、交警所建設的攝像頭資源，通過視頻專網可查看各地各處的實時監控畫面。目前***省交警總隊主要部署了公安交通管理綜合應用平臺及互聯網綜合服務平臺，平臺數據量情況如下：數據量說明1公安交通管理綜合應用平臺約45T數據，包括結構化與非結構化數據2互聯網交通安全綜合服務平臺3數據資源及共享服務應用平臺4公安交通集成指揮平臺目前數據量為20T左右，系統剛上線，很多數據暫未接入5現有數據3-4T左右6現有數據2-3T左右78視頻及卡口數據高速公路管理局：視頻數據75T/月(目前高管局僅保留一個月數據),卡口數據頻及卡口圖像數據分布在各地市，卡口結構化數據3T。 1綜合應用平臺2臺2綜合應用平臺2臺3綜合應用平臺8臺4綜合應用平臺2臺5綜合應用平臺IBM刀片linux或者26片磁盤陣列品牌型234華為生產存儲5華為鏡像存儲6華為快照存儲l務器浪潮NF5280M4linux或者windows4臺2集成指揮平臺數據庫浪潮TS860G3linux或者windows2臺3綜合應用平臺分發庫數據庫服務器浪潮NF8460M4linux或者windows2臺4linux或者windows2臺5數據存儲設備浪潮AS53001臺 1務器浪潮NF5280M4linux或者windows4臺2集成指揮平臺數據庫浪潮TS860G3linux或者windows2臺3linux或者windows4臺4數據存儲設備浪潮AS53001臺1數據節點華為RH2288HV2linux或者windows22臺2計算節點華為RH5885HV3linux或者windows11臺3管理節點服務器浪潮NF5280M4linux或者windows2臺4計算節點浪潮NF5280M4linux或者windows5臺5數據節點浪潮NF5280M4linux或者windows8臺數據資源及共享服務應用平臺現有設備包括數據庫服務器1臺、存儲1臺、服務器3臺。目前交警總隊科技處有3個機房，包括629機房、公安交通集成指揮平臺機機房1(629機房)機房面積約65平方，機房內現有機架21個、精密空調2臺。目前機房內機機房2(公安交通集成指揮平臺機房)機房面積約45平方，現有機架22個、精密空調2臺，機架式UPS2臺。機機房3(公安交通管理綜合應用平臺機房)機房面積約40平方，現有機架16個、精密空調2臺。機房內主要部署公安 智慧交通道路安全監管云平臺解決方案V3.03.2道安監管云與相關平臺的關系道安監管云按照省廳信息化統籌規劃建設，具備符合標準、接口開放、數據醫道安監管云與省政府電子政務云在物理位置上將處于同一道安監管云通過公安網邊界接入平臺與政務云進行數據交換運輸管理等六大核心業務系統融合為一體的綜合應用平臺的關聯關系。公安交通管理綜合應用平臺中的基礎數據(如機動車、駕駛證、交通違法、交通事故等)是道安監管云分析處理的重要數據來源。享資源庫，歸集各類交通業務數據及外部業務數據(交通、安監、氣象等),通過數據資源平臺，對內(省市縣三級交警用戶)提供數據采集、數據請求、數據導出，對外提供數據共享和查詢。而”道安監管云“(一期)大數據是以數據資 智慧交通道路安全監管云平臺解決方案V3.0***道安監管云大數據平臺與集成指揮平臺定位有所不同。道安監管云平臺間的關聯關系，而***道安監管云大數據平臺能對公安交通集成指揮平臺3.3面臨主要挑戰1、業務系統擴容、新建周期受基礎設施影響較大近年來，隨著交通警務信2、數據的準確率、利用率和共享率不高隨著系統數據的不斷累積，新舊信 智慧交通道路安全監管云平臺解決方案V3.05、數據分析和應用深度不足由于對缺乏交通數據的綜合利用，和傳統業務架6、信息資源整合、協同應用水平不夠目前各類涉及交通的數據都局限于垂直城市交通綜合治理呈現碎片化的態勢，產生交通信息分散7、傳統的架構無法滿足海量數據應用目前，交通需求的高速發展促使前端采8、傳統技術無法實現新型多類別數據的管理傳統的數據庫只能管理文本類的 3.4業務需求分析交管業務涉及駕駛人/車輛管控、違法緝查、疏導交通擁堵等多方面協同處1、重點駕駛人、重點車輛管控需求道路上發生的事故大部分是由于駕駛人 智慧交通道路安全監管云平臺解決方案V3.0用評分可用于為兩客一危特種車輛駕駛人、公交車駕4、高效資源部署與調度隨著社會科技的進步與人員整體素質的提升，機動車共79臺、網絡設備12臺、網絡KVM1套、San交換機2臺及存儲1套。預計占用約15個標準42U機架，總功耗約62KW。本期部署在互聯網上的設備包括服務器4臺、交換機1臺、防火墻一臺。預計占用約26U機架空間，總功耗約2.4KW。預計占用約30U機架空間，總功耗約3KW。本期部署在視頻專網的設備包括服務器5臺、交換機1臺、防火墻一臺。預計占用約30U機架空間，總功耗約3KW。3.6云計算、大數據平臺需求分析1、云計算技術需求云計算能夠實現基礎軟硬件資源的統一管理、按需分配、 數據平臺的分布式存儲系統和分布式計算技術能夠很好的解決海量結構化和非結3.7必要性分析1、建設***省道安監管云將在現有***省道路交通安全信息化建設成果的2、建設***省道安監管云是提升交管業務精準治理、跨機構部門協同、便民 智慧交通道路安全監管云平臺解決方案V3.0重要工作。***省道安監管云采用最先進的云計算、大3、構建***省道安監管云是未來交管形態演進的必然趨勢。近年來，隨著交成為當代交通管理發展的新趨勢。***省道安監管云變革。新技術往往孕育著新的重大突破，信息資源成為重要的交管戰斗力要素，信是***省道安監管云通過技術創新，能夠促進交智慧交通道路安全監管云平臺解決方案V3.0XXX年5月，公安部交通管理局下發《關于印發<全國主干公路交通安全防控體系建設三年規劃>的通知》(公交管[XXX]142號),明確公路交通安全交通監控系統建設、公安交通集成指揮平臺建設和交通安全執法服務站建設，“一項改革”即公路交通管理勤務改革。XXX年11月，公安部交通管理局下發《公安交通集成指揮平臺建設指導意見》(公交管[XXX]406號),開始組織公安交通集成指揮平臺試點工作，在卡口系統聯網基礎上，進一步組織視頻、流量等信息共享和應用工作。XXX年5月2日，***省政府召開政府常務會，明確建設***省道路交通安全“道安監管云”建設任務(以下簡稱“道安監管云”),要求通過三年努力，到XXX年，基本建成全省統一的道安監管云 (以下簡稱“道安監管云”),明確了“兩中心”、“四平臺”建設任務，本方案涵蓋了“道安監管云”建設任務中的“兩中心”、“兩平臺”建設任務， 第四章總體方案設計***省道安監管云是一個標準的開放式、可擴展平臺，主要從數據存儲及計算能力、數據接入、分析能力、業務功能4大方面進行整體規劃，滿足后期擴展2、道安監管云一期工程基于當今成熟的云計算虛擬化技術，可以支持橫向(增加服務器數量)、縱向(增加單臺服務器的CPU、內存以及硬盤數量)等擴預留接口，將來實現對其他各類數據的接入與分道安監管云一期工程大數據應用，采用可定制化的分析模型，通過定義分析運營維護4.2總體架構W人生0高系項企數算得n電子曾察卡口道路監控流量檢測交通語導 智慧交通道路安全監管云平臺解決方案V3.0>分布式數據庫應提供一個兼容HBase等主流NoSQL數據庫存取標準的數據開放存儲服務>分布式搜索引擎 普通的文件系統中，也可以保存在HDFS或其他分布式文件系統上。可靠容錯的方式并行處理上T級別的數據集，并支持通過向集群增加節點實現集群應采用多種有效的錯誤檢測和恢復機制，如節點自動應采用數據/代碼互定位的技術方法，以發揮數據本地化特點，保證運算的高(2)道安監管云數據資源中心要通過人、車、路、違法、事故、時間、氣象等不(3)綜合接入與業務協同平臺主要包括數據接入轉換、數據共享交換、數據標準據監控管理等幾個方面，實現對數據資源分布、數據血緣關(4)道路交通安全管理大數據應用平臺包括機動車全息檔案系統、駕駛人全息檔 數據組貌交通數據標準規范體系數據質量數據監控數據安全 互聯網互聯網作臺公安網通過專線接入公安網。網絡層面與公安內網互聯互通。直接采集六合一、122平 4.4.2內部網絡架構安全邊界系統研型解究題(6)餐重內置***省道安監管云網絡架構的總體規劃遵循“分區+分層+分平面+安全”的根據***省道安監管平臺不同業務功能區域之間的互聯網接入區主要提供互聯網公眾用戶或一般企業用戶訪問互聯網應用業 智慧交通道路安全監管云平臺解決方案V3.0防火墻設備主要提供內外網之間的安全防護，并且做(1)簡化網絡管理，降低投資成本，降低維護管理成本；(2)簡化網絡拓撲，降低網絡復雜度，提高網絡的性能，支撐高性能的服務器(3)提高網絡利用率，支撐云計算技術的資源池動態調度；(4)提高網絡可靠性。二層網絡結構，可以結合虛擬集群和堆疊技術，解決鏈(5)綠色環保。簡化二層網絡還能降低電力和冷卻需求，這對數據中心網絡尤相結合，形成IT資源池，實現服務器資源靈合和業務靈活分類、分流的組網需求以及能夠支持多種IPV6過渡技術，為網絡的高速穩定運行提供可靠保障，同時為將來網絡的擴展升級提供有效預留，以節省投資，更加高效的發揮設備效益。數據中心交換機到至少具有8個業務模塊插槽(不含引擎槽位),交換容量不少于80T,配置雙電源、雙主控及冗余風扇，充分保證核心網絡設備級的可靠性。數據中心交換機并以及嚴格的后風道設計，冷熱風道嚴格隔離，完全滿足數據中心機房標準。支持全面的虛擬化能力和豐富的數據中心特性。為了滿足虛擬化所需要的物理服務器的大量接口，及相關網絡安全設備的接入需求。數據核心交換機采用框式交換機，同時也便于未來擴展。兩臺交換機采用虛擬化方式部署，保證高可用性。核心設備之間做虛擬化。數據中心接入層設計云數據中心高性能服務器大量增加，端口能力從GE向10GE快速演進。因此接入層除原有的GE設備之外，新增設備應充分考慮10GE高密端口接入，無阻塞包交換能力。上行端口應充分考慮支持40GE。接入交換機設備應支持堆疊，服務器多端口接入時提供負載均衡和冗余備份能力。同時可將多臺設備虛擬成一臺設備，構建無環二層網絡。控制管理維護簡單的同時，充分提升接入網絡的可用性。業務交換機可與核心交換機采用40GE鏈路連接，每兩臺業務交換機可采用iStack堆疊技術，將兩臺設備虛擬成一臺設備控制管理。每臺業務交換機上行兩條鏈路分別接入兩臺匯聚交換機，形成全mesh連接的網絡拓撲，保證鏈路級冗余。由于云數據中心區內有大量數據交換，因此接入層交換機配置10GE和40GE接口用于連接核心交換機，保證云數據中心業務與其他業務區高速交換。運維管理接入交換機設計 智慧交通道路安全監管云平臺解決方案V3.0要處理管理報文，所以運維管理接入交換機使用2X10G連接到2個數據中心的換機互聯，下一代防火墻開啟IPS/AV/URL過濾功能。通過在核心上做相應的配置可以將流量從交換機上引流到兩臺側掛的防火設備回注到交換機時，查詢并命中接口策略路由，直接執行Permit量進行正常路由轉發處理。防火墻上開啟IPS功能，提供2至7層的安全防護以第五章道安監管云平臺設計“道安監管云”一期初步設計方案按兩中心(道安監管云計算中心、道路交通安全數據資源中心)、兩平臺(道路交通安全管理大數據應用平臺、綜合接入和業務協同平臺)的架構進行設計說明。享、彈性靈活、自動高效、極致安全、可靠穩定”的云計算中心，為交警及其數據隔離、數據加密機制防止敏感信息未經許可傳播。擬采用業界主流的OpenStack計算與服務操作系統，實2、彈性靈活云計算中心可根據各部門業務發展(新建、擴容、關停等)需可“菜單式”整，應用開發可以做到“短、平、快”,快速適應業務需求變化。 智慧交通道路安全監管云平臺解決方案V3.0軟件定義計算軟件定義同絡云計算中心具備面向多行業客戶的云操作系統解決方案，基于開放的OpenStack架構，能針對企業云計API接口，幫助客戶水平整合數據中心物理和虛擬資源，垂直優化業務平臺，在支持現有企業IT應用的同時，更面向新興應用場景，讓交警的 智慧交通道路安全監管云平臺解決方案V3.01)云計算中心的業務價值 VXLAN(VirtualExtensibleLAN)采用24bit的網絡標識，突破只有4K二層虛擬網絡的限制，讓用戶可以創建16M的虛擬網絡。在云數據中心署場景(如Oracle數據庫，大數據服務等不適合虛擬化部署),云計算中心支持物理機的管理(與管理)和發放(包括服務器自動發現、自動安裝OS、網絡自動配置),支撐物理云計算中心支持物理(服務、網絡、存儲等硬件)資源和虛擬化資源統一管方便用戶了解、使用和維護整個系統。提供OpenStack級聯解決方案，滿足客戶有多個數據中心統一管理的述求。通過OpenStack管理OpenStack,對用戶提供統一的OpenStackAPI的多數據中心管理的解決方案。會安視概專網數據中6區公安內網數據中6區云基礎平臺物理架構提供各種資源池以應對上層各類應用對計算、存儲、網絡資源的差異化要求，因此從最終的物理部署上看也須按照資源池的方式進行設計。云基礎平臺通過云計算技術實現基礎架構的統一運維管理，云基礎平臺的總體物理架構如上圖。其中公安視頻專網是后期建設內容，本期先做規劃設計。不同視頻業務有不同的計算資源池需求：視頻共享業務需要CPU資源；視頻 智慧交通道路安全監管云平臺解決方案V3.0云計算中心將物理服務器的CPU虛擬成虛擬CPU(VCPU),供虛擬機運行時每個虛擬機最大支持64個VCPU。云計算中心支持內存硬件輔助虛擬化技術，降低內存虛擬化開銷，提升約30%的內存訪問性能。同時，云計算中心支持智能內存復用策略，自動優化組合各種內存復用策略，實現內存的高復用率。每個虛擬機最大支持1TB虛擬內存。云計算中心支持將物理服務器上的GPU(GraphicProcessingUnit)直接(1)部署webservice等標準接口服務，對外提供數據共享； 智慧交通道路安全監管云平臺解決方案V3.0(2)Rabbitmq等消息中間件，用于數據的推送/訂閱；(3)部署ETL集群工具，用于各類數據源間的數據抽取、轉換、存儲。該類服務器資源計算如下：1、數據接入轉換：部署一個5節點的ETL集群工具，主要負責定時抽取公安內網、電子政務外網及互聯網上140多類數據，存儲到本地的分布式數據庫中；按照數據規模及更新頻率估算，要求單節點CPU16核，內存64GB,硬盤不少于2、數據共享交換：分別在單獨的服務器上部署基于消息中間件的發布/訂閱接口服務、基于webservice的標準接口服務，對外實現數據的共享交換；要求單節點CPU16核，內存64GB,硬盤不少于300GB。3)負載均衡部署負載均衡組件，管理訪問流量的負載。4)應用需求匯總 1公安網服務器內存：64GB硬3是2公安網數據共享交換服務器CPU:2個八核內存：64GB硬7是3公安網負載均衡內存：64GB硬1是4公安網關系數務器CPU:8個15核內存：512GB硬2否5公安網務器內存：32GB硬1是6互聯網應用服務器內存：64GB硬1否7據庫服務器CPU:2個十核內存：128GB2否8互聯網負載均衡內存：64GB硬1否 告警OpenStack云操作系統資源調度虛擬化服務器理資源池1大數據節點應用物理機云管理計4臺，因數據量太少并且跨公安與互聯網兩個網絡所以不使用虛擬化云計算技術。考慮內存冗余30%,計算如下：1、計算內存的總大小：(8臺+4臺)*64G*(1+30%)=998.4G2、根據實際的物理機內存的大小分別計算所需要的物理機數量內存計算結果：公安網Web網站服務器、數均衡普通虛務器2路E5-2640V410核CPU,256GB內2塊600GSAS硬盤，1塊萬兆雙口網卡(含卡42公安網關系數普通物理機8路機架服務器內存：1024GB2 4*600G10K熱插拔SAS硬盤；1G高性能SASRAID卡，帶電容保護；1塊雙口8GbFC光纖HBA卡雙萬兆網卡互聯網關系數普通物理機2路E5-2640V410核CPU,128GB內存，6塊600GSAS硬盤，1塊萬兆雙口網卡(含2互聯網負載均衡與應用服務器普通物理機2路E5-2640V410核CPU,64GB內存2互聯網前置服務器普通物理機2路E5-2620V48核CPU,32GB內存，2塊600GSAS硬盤，1塊萬兆雙口網卡(含云數據中心管理節點ck主控制節點2路E5-2640V410核CPU,256GB內存，3ck輔助節點口網卡(含光模塊),1塊千兆雙口網卡，4云計算虛擬化軟件云計算虛擬化軟件云套件許可。含22CPU授權，包括組件：虛擬化軟件+云計算中心管理軟件。1套3、存儲系統需支持分布式存儲，以提供高性能可擴展I/0能力，以支持大能夠自動識別，單節點擴容更是小于60秒，將該存儲空間加入到整系統中，并低了操作成本。擴容時容量和性能支持線性擴展，真正實通過對”道安監管云“(一期)的現有數據及增量數據的分析，現有數據約 0.15PB(本次只存儲結構化數據),按照Hadoop的數據保存方式(每份數據有2份副本),我們此次建設的大數據平臺總共需要約0.5PB的數據存儲容量。存儲資源池需要考慮存儲多種類型的數據，主要包括：機動車卡口過車數據、駕駛人全息檔案、機動車全息檔案、重點車輛檔案、分析研判等結構化數據、虛擬機鏡像數據等。結構化數據，數據大小在1K到4K之間，其數據寫入和讀取在業務高峰期時頻率高，在業務低峰時操作頻率低。數據價值密度較高，保存周期較長，不少于2年。對存儲設備要求：具有較高的OPS能力，帶寬要求較低。虛擬機鏡像數據，包含虛擬機操作系統，以及安裝在操作系統的應用軟件，要求長久保存，用于政務視頻網技防辦圖控中心和運維中心、公安視頻專網視頻綜合應用平臺，對存儲可靠性要求高。云計算中心一般使用塊存儲設備。因此存儲資源池分兩個區域：1.虛擬機鏡像區：保存虛擬機鏡像數據等；2.結構化數據區：保存結構化數據及分析數據。存儲子系統邏輯架構如下所示：1)物理部署虛擬機鏡像區，保存虛擬機鏡像，為云計算中心提供基礎存儲能力。后續如果有需要，也可以存儲結構化數據，用于數據庫數據分析，因此存儲設備選用企后續業務增長，圖片數據不斷增加，對系統OPS,存儲空間要求會越來越高。于新增節點，數據自動均衡，每TB數據可在十分鐘左右完成。滿足后續對容量擴量)按照比例擴展，滿足后續對性能擴展需求。分布式存儲能提提供數據保護能力，最高支持4份數據同時失效，用戶可以根據自己的需要對數據配置N+M(M的取值從1到4)的數據冗余模式，滿足集任意2塊盤故障或者任意1個節點故障，數據不丟失，業務無感知。2)存儲服務化平臺，提供存儲即服務(STaaS)能力，把多套、多類型的存儲設備資源池化，管資源分配過程中不需要管理員參與(管理員無需關注分配的資源位于那套存儲，多套存儲設備資源使用是否均衡)。為考慮后續容災，3)容量規劃虛擬機鏡像容量：虛擬機數×單虛擬機大小(600G)數據中心單虛擬機大小(GB)總容量(TB)公安內網7 1承載云平臺(含云管理、虛擬機、物理數據庫等數據),配置12臺虛擬機服務器存儲共計13TB,2臺數據庫存儲共7像備份存儲共計7TB;7臺管理節點共計25T;加速12T;關鍵視頻、122云管理平臺云管理平臺運維中心分布式資源池大數據資源池服務中心虛擬化資源池服務層資源層 云主機·上/下電、重啟、休眠●監控云主機CPU、內存、磁盤I/0云硬盤·云磁盤掛載到云主機·監控容量、狀態彈性IP(公網IP)●彈性IP綁定到云主機·啟動、停止負載均衡器備份·修改備份副本個數容災●添加待容災的生產虛擬機大數據Oracle數據庫服務中心(ServiceCenter)提供完整的服務生命周期管理，將資源池下計網狀態無異常完成出生成服農分斷或等出給領與日常匯液完成出完吸遵出 面完成住務運主管↓↓無風險-工單報表-支持周期性生成報表，報表種類同立即報表，周期類型包3)自動報表轉Email 系統提供開放API,上層網管通過開放API從中獲取資源信息，方便上層網接使用用戶名和密碼進行認證。為了保證密碼傳輸安全性，系統對密碼采用通過開放API接口，上層網管管理員可對系統資源進行維護操作。例如，對虛云計算中心可提供基于共享存儲的遷移以便滿足數據中心虛擬化項目的業虛擬機熱遷移特性是指在使用同一共享存儲的主機之間將處于運行態的虛服務器A服務器B服務器A服務器B虛擬化熱遷移方案虛擬機高可用HA方案云計算中心提供故障自動遷移(虛擬機HA(HighAvailable))機制，可提升 大數據分析研判業務具有明顯的業務高峰和業務低負荷的特點，比如卡口業務，白天不同時間段的負荷是不一樣的，到了晚上則更低。比如治安監控業務，對某些突發時間的熱點視頻訪問，往往帶來業務的高負荷運行。這些都需要云計算具有良好的彈性功能設計。以下是需要具備的功能。虛擬機根據應用系統的性能需求，云計算中心可以靈活調整虛擬機的配置規格，包括調整vCPU個數，內存大小，網卡個數、磁盤卷個數，調整虛擬卷的大小，縱向擴展有效保證單個虛擬機QoS。虛擬機快照備份技術。云計算中心自帶虛擬機快照備份系統，不需要與第三方的備份軟件結合，也不需要額外費用，備份系統就可以對虛機卷(包括系統卷和/或數據卷)數據進行備份。備份過程不需要終端用戶參與，也不需要在VM里安裝代理，且不影響生產系統的運行。當生產系統由于意外丟失VM卷數據時，系統管理員可以通過本地備份系統恢復VM卷數據，以保證VM能繼續正常工作。管理員接入備份管理系統可以進行選擇虛擬機、或虛擬機的某個卷進行備份，靈活設置備份策略，備份起始時間、配置全量備份和增量備份的周期。管理員可以根據備份文件恢復虛機，可以從存儲讀取快照文件恢復虛擬機。管理員可以選擇恢復到原有虛機、或者新虛機、或者其它虛機。為了便于后續數據中心的人員運維，云計算中心需要提供豐富的自動化運維技術。云計算中心提供資源彈性統一調度，支持設置集群資源的調度策略，根據管理員設置的調度策略，可根據應用系統的負載進行自動化調度運維，大大地減少了運維人員的工作量。根據應用場景，提供四種策略類型：組內自動伸縮策略、組間資源回收策略、時間計劃策略、負載均衡與動態節能策略。針對單獨的應用而言，應用根據應用的當前負載動態的調整應用實際使用的資源，當一個應用資源負載較高時，自動添加虛擬機并且安裝應用軟件；當應用的資源負載很低時，自動釋放相應的資源。當系統資源不足的情況下，系統可以根據組間設置的資源復用策略，優先使優先級高的應用使用資源，使優先級低的應用釋放資源，以供優先級高的應用使用。時間計劃策略允許用戶對于不同的應用實現資源的分時復用。用戶可以設置計劃策略，使得不同的應用分時段的使用系統資源，比如說白天讓辦公用戶的虛擬機使用系統資源，到了晚間可以讓一些公共的虛擬機占用資源。云計算中心提供多種自動化調試策略，包括節能策略、負載均衡策略。便于重載分離上電。上的虛擬機自動遷移到其他節點，對這個服務器進行休眠或下電，實施系統節能系統需分析并選擇合適的物理機上下電，減小遷移的VM數目。根據大數據業務應用特點及平臺架構的特性，在采取網絡安全防護基礎上，通過云計算和大數據技術進一步集成身份認證、安全存儲、虛擬化安全、安全防 6、漏洞掃描7、操作系統加固10、用戶虛擬機防病毒11、虛擬機安全12、云操作系統安全視頻監控視頻監控VDC視頻實戰應用VDC交警電子警察VDC統一管理系統視頻專網運維管理平面在數據中心統一管理系統上創建相互隔離的VDC,運維管理員通過數據中心統一管理系統對視頻云資源池進行統一的運維監 (1)網絡設備的虛擬化。虛擬數據中心技術將防火墻，負載均衡器，二層(2)部門間隔離。虛擬數據中心技術可以給不同的部門分配不同的網絡，(3)資源分配可追溯。所有分配出去的虛擬資源，以及VLAN,IP地址這些(8)服務目錄：服務目錄顯示VDC用戶可以申請的服務列表，VDC管理員(10)資源：用戶申請的服務資源，包括云主機、云磁盤、應用等，用戶務維護：業務用戶可以對已申請服務進行維護操作。服務變更：對于已發放的能力。另外，統一管理門戶提供了可定制的各類Dashboard,為用戶直觀展現1)云計算性能指標：●單集群支持的最大主機數量不少于1024●單集群支持的最大虛擬機數量不少于10000●單個虛擬機支持的vCPU數量不少于128●單個虛擬機支持的網卡數量不少于12●單個虛擬機虛擬磁盤數量不少于60●單個虛擬機支持的內存容量不少于1TB●單個虛擬機最大虛擬磁盤容量不少于32TB2)云存儲的性能指標：●單一文件系統存儲容量可擴展至≥100PB,滿足≥60000路攝●100節點規模情況下SPECSFS2008OPS性能≥500W(官網查看)。●集群支持最大4節點同時故障，數據不丟失，業務無感知。3)大數據性能指標：●增強HBase內部運算機制，實現一個對象下多個用戶表數據在物理上查詢相應速度較開源Hbase提升5-100倍；簡單檢索，1000億數據量，命中1萬數據情況下，設計實現31)資源統一：實現資源統一管，分權分域，不改動現有應用架構傳統企業IT環境中，各業務部門IT系統大多獨立建設、使用、維護IT資2)資源高效利用：實現資源彈性復用，提高資源利用率傳統企業IT環境中，各業務部門IT系統大多獨立建業務的IT也無法共享，總體IT平均利用率不足20%,通過云資源池化，資源高度共享、彈性調度，整個IT資源利用率提高到50%以上，例如視頻預處理，傳3)平滑擴展：支持小規模起步，支持海量規模不中斷業務線性擴展分布式5)運維優化：提升人均運維效率，但降低對高技能運維人員技能的依賴。大數據實戰應用大數據實戰應用公安視頻實戰數據實戰數據檢索服務HRase集群數據采集題數據通融關聯數據加載群查詢場景效率極高，且不受限于數據量。全文索引庫選大數據平臺應提供標準API接口說明，支持為了實現一個Hadoop集群的集群共享、可伸縮性和可靠性，并消除早期(Column-Oriented)、適合存儲海量非結構化數據或半結構化數據的、具備高 智慧交通道路安全監管云平臺解決方案V3.0Solr是基于ApacheLucene的獨立的企業級應用搜索服務器。它對外提供-先進的全文搜索功能優化的高容量網絡流量線性可擴展性，自動索引復制，自動故障轉移和恢復2、Solr集群方案邏輯組成(實施上使用x86服務器搭建):-一個服務集群：數據檢索服務集群；針對***市交通卡口的海量視頻、圖片、結構化數計算mm酒前動9場被麗斷空布式關重的大州2應項云在話明和中心回到均n●分布式文件系統：非結構化數據存儲能力，如HDFS;●NoSQL數據庫：提供海量數據存儲庫，查詢檢索類：提供基于NOSQL的KV查詢(Hbase/Redis)、SQL(SparkSQL/Elk等)、全文檢索(Solr);分析挖掘類：提供離線、內存迭代C、數據服務(服務支撐):通過大數據分析處理平臺，固化下來的基礎分析支撐服務，如：查詢檢索服務、專題分析服務(關系分析、軌跡分析和人物畫像服務等)。●基礎設施服務：基礎設施服務提供，虛擬云主機、云存儲、物理機應用層應用層建設包括如下部分：案ManageOne平臺管理軟件包括服務運營和運維保障兩個組件。服務運營組件信息(如告警、性能、日志、拓撲、流量等)進行統一匯總、建模、分析(含根因分析)、呈現，為管理員提供統一的運維平臺。提供多維度的智能統一管理，災方案“兩地三中心”方案，即提供同城云基礎設施服務和大數據服務雙活+異數據分區，要求實時完成數據預處理(秒級),優先占用數據處理資源。準實時數據分區，要求低延遲(分鐘處理)數據預處理。離線數據分區處理不需要及時數據區以租戶形式，隔離存儲各總隊(或分局)的私有業務數據，滿足各總隊的數據倉庫區負責存儲各類面向主題模型的數據和實時高并發的數據查詢和抽取源數據區和數據倉庫和中的數據，并將數據通過數據服務的方式進行封裝，向掘類應用(如：潛在社團挖掘)和數據會戰的需求，將數據挖掘區分為挖掘應用相關的數據，并在使用完畢后將結果(或戰法規則)經審批按權限轉存，空間釋流數據處理流數據處理國化國化查人 智慧交通道路安全監管云平臺解決方案V3.0大數據基礎平臺要求提供一個東西向流量無阻塞、分區安全隔離的設計。管理和業務網段隔離。大數據集群采用物理統一集群部署，依據不同SLA和對硬件規格的不同要求來劃分邏輯數據處理區，不同邏輯區可分別部署在A/B機房；虛擬化云平臺和統一管理平臺可部署在A機房，實現對A,B機房得統一資源分配和管理。網絡區分為核心和接入兩層，實現網絡結構扁平化；接入交換機間通過iStack組建堆疊系統，虛擬成一臺邏輯設備；核心層通過集群組網，構建無阻塞Fabric核心。安全動界系統①參安內薄物理架構圖數據接入/預處理作為大數據平臺能力的基礎，承擔的是按統一標準對數據進行歸一化處理的任務。面對來自不同網絡、不同來源的互聯網、電信、社會基礎等數據，數據產生周期各異，需要一個統一的功能模塊對這些數據的接入和結構化、半結構化和非結構化數據進行預處理操作。數據接入和預處理技術架構和數據流如下圖所示：3)文件數據源：支持包括SFTP/FTP等方式的文件批量采集方式。●數據接入對于采用數據庫接口提供的數據源，本次方案采用增強數據整數據庫(例如Oracle、MySql、SqlServer等)、內外部文件系統(如外部FTP文件系統、內部的HDFS文件系統等)之間及大數據平臺內部組件(例如HDFS,HBase等)交換“數據”、“文件”,既可以將數據從關系型數據庫或者文件服務器導入到大數對于采用文件接口提供的數據源，采用增強數據整合工具(LoadFTP/SFTP方式批量采集文件，并將文件數據通過分布式架構導入到大數據于超大文本文件支持以分塊模式(分塊大小和并行度可自定義)分布式接入大數據平它可以監聽特定的端口(UDP、RPC端口),從而獲得流過端口的數據，并且支持多對于結構化數據預處理，采用增強數據整合工具(現對結構化數據進行基本的ETL處理，開展清洗和轉換等歸一化處用大數據計算框架MapReduce或Spark,提取元數據和特征信息實現非結構化數據的●統一調度整個數據接入和預處理過程通過大數據Oozie組件實現可視化的管理和提供對相●增強數據整合工具Loader 智慧交通道路安全監管云平臺解決方案V3.0大數據平臺Loader是在開源Sqoop組件的基礎上進行了一些擴展，實現大數據平臺與關系型數據庫、文件系統之間交換“數據”、“文件”,既可以將數據從關系型數據庫或者文件服務器導入到大數據平臺的HDFS/HBase中，同時也支持反過來從HDFS/HBase導出到關系型數據庫或者文件服務器中。Loader提供圖形化界面，支持用戶通過界面進行數據提取、轉換和加載流程編排，并可對流程作業進行監控和維護。③*231)通過MapReduce實現并行執行和容錯Loader通過MapReduce作業實現并行的導入或者導出作業任務，不同類型的導入導出作業可能只包含Map階段或者同時Map和Reduce階段。Loader同時利用MapReduce實現容錯，在作業任務執行失敗時，可以重新調度。 智慧交通道路安全監管云平臺解決方案V3.0Region的個數啟動同樣個數的ReduceTask,ReduceTask從Map接收數據，然后按從臨時目錄遷移到HBase目錄中。臨時目錄下(以”輸出目錄-1dtmp”命名)。在MapReduc4)數據導出到關系型數據庫5)數據導出到文件系統入到文件服務器臨時目錄中。在MapReduce作業的提交階段，將文●流式數據整合工具FlumeFlume是一個大規模分布式數據收集工具，滿足實時采集數據聽特定的端口(UDP、RPC端口),從而獲得流過端口的數據，并且支持多樣化的插bar1)提升傳輸速度：可以配置將指定的行數數據作為一個Event,而不僅僅是一●任務調度工具Oozie器D2)基于時間(頻率)觸發工作流，例如每天/小時執行一次的重復任務或者指定*地*●第*州*3)實時監控與管理集群的工作流，快速定位問題；掌握集群的資源使用情況，NRP8.6n*1正在通行液有區應己里已完成wWwue1度4志8大數據平臺提供對多源異構海量數據的存儲，支持對結構化/非結構化的原始數據文件的分布式存儲，支持全文索引數據、元數據、專題數據庫、租戶空間數據、冷數 智慧交通道路安全監管云平臺解決方案V3.0據、容災數據等多種數據格式和不同訪問特征的存儲，最終滿足業務系統復雜數據源類型的存儲需求。根據項目建設的需求，我們提供如下包括分布式文件存儲HDFS,NoSQL數據庫HBase,分布式圖數據庫，分布式全文索引，分布式關系型數據庫等多種結構、不同需求場景的數據存儲方案，并根據不同的保存期限和訪問特征提供相應大數據平臺HDFS分布式文件存儲采用可擴展的系統結構，提供了海量數據的分布式存儲。對于以文件方式存儲的數據，比較適合該類存儲方式。但采集的數據存在著不同大小文件并存的情況，按大小可大致劃分為小文件(1MB以下)、中文件(1MB到500MB)、大文件(500MB以上),且文件數量非常多，為保證存儲這些文件的同時能夠提供快速讀取的能力，分布式存儲要能夠滿足該目標而提供相應小文件、中文件和大文件的存儲檢索方案，對外能提供統一接口進行訪問，客戶端在訪問分布式存儲時不需了解底層存儲方式，由分布式存儲統一調配相應優化方式實現文件快速存儲和檢索。分布式文件系統要支持6億以上文件存儲能力。HDFS支持數據分級存儲，根據數據的不同訪問熱度的數據存儲于不同性能的存儲介質(如：SSD/SAS/SATA),以達到最高性價比。分布式文件存儲最好能夠提供FTP/SFTP接口，以便傳統應用可以不修改代碼訪在HDFS分布式存儲之上，分析數據存儲格式可以采用ORCFile或者Parquet,同時提供了結構化存儲引擎Hive,可以把存儲于HDFS分布式文件系統中的文件、目錄映射為表。Hive是建立在Hadoop上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載(ETL),這是一種可以存儲、查詢和分析存儲在Hadoop中的大規模數據的機制。Hive定義了簡單的類SQL查詢語言，稱為HQL,它允許熟悉SQL的用戶查詢數據。同時，這個語言也允許熟悉MapReduce開發者的開發自定義的mapper和reducer來處理內建的mapper和reducer無法完成的復雜的分析工作。 智慧交通道路安全監管云平臺解決方案V3.0●大數據平臺支持不停機動態添加和刪除節點，實現熱擴展能力。●對外接口：能提供基于Apache開源社區標準接口進行數據讀寫。●支持FTP/SFTP:能夠提供FTP/SFTP接口，以便傳統應用可以不修改代碼訪問HDFS。●支持小文件和大文件存儲：能夠同時提供對小文件(1MB以下)、中文件(1MB到500MB)、大文件(500MB以上)的存儲和快速讀取。致性與事務性要求不高的計算(主要是指NoSQL的查詢操作),以及對超大規模海大數據平臺分布式關系數據庫HBase具有能夠存儲海量結構化數據的優勢，HDFS具有存儲海量大小的超大文件的優勢，通過二者的結合，部件的接口封裝，提出了超混合存儲HFS(HBaseFil應用能夠自由的進行大小文件的讀寫，HFS將會自動的把結構化數據信息存儲到單個塊(Block)大小的大文件，降低對NameNode元數據容量沖擊。●支持主流NoSQL數據庫，主要包括：支持將數據以鍵值對形式進●Region動態分割：需要支持Region動態分割功能，即把空的Region預先分割 ●權限管理：支持基于表、列族和列的用戶權限管理，能夠支持的操作權限有讀、●數據加密：支持按照用戶需要對NoSQL數據庫中檢索引擎。SolrCloud是從Solr4.0版本開始開發出的具有開創意義的分布式索引和搜索方案，基于Solr和Zookeeper進行開發的利用ZooKeeper作為協同服務，啟動時可以指定把Solr的相關配置文件上傳Zookeeper,多機器共用。這些Zookeeper中的配置不會再拿到本地緩存，Solr直接讀整個索引搜索服務；更強大的是，它還能自動的在其它機器上把失敗機器上的索引分布在多臺機器上，均衡索引和查詢壓力。如果索引和查詢壓力大，可以通過擴展機 全文索引服務Solr增強特性主要包括以下幾個方面：●實現HA與浮動IP的機制，提高Solr服務的可靠性。●增加了kerberos認證，保障了索引數據的安全性。分布式關系型數據庫基于Shared-nothing/MPP架構，面向開放X86平臺，數據跨所有節點均勻分布，所有節點以并行方式工作，提供標準SQL接口，支持SQL92,99,2003標準，支持JDBC/ODBC標準接口，提供PB級數據存儲分析的擴展能力。分布式關系型數據庫在節點內采用SMP并行架構，在節點間采用MPP并行架構。在集群的單個節點內，對數據庫常用算子，如掃描、關聯、排序、聚合的步驟之間，利用現代計算機的多核計算理論，采用流水線方式，實現了高度并行的計算能力。在集群范圍內，可生成分布式執行計劃，通過分布式并行執行引擎，該執行計劃可以依據查詢類型、數據分布方式、數據規模進行自動評估，產生最佳的查詢執行路徑，合理利用集群資源，將計算下發到各個數據節點執行，并行利用節點的計算能力。執行計劃會根據數據的分布情況，自動將查詢發送到合理節點，避免查詢發送到無意義的節點而造成無意義的數據處理和計算。業務應用業務應用網絡通道(10GE)業多應用NodeNode存儲，持久化存儲故據(行存、列存、混合存儲)●元數據：經預處理后生成的數字檔案、長期存儲●專題數據庫：長期存儲●租戶空間數據：長期存儲●冷數據：壓縮的原始數據●容災數據：高壓縮的高價值數據●海量小文件管理 在大數據量場景下，隨著數據訪問熱度的變化，需對數據做分級存儲(例如：增長的需求，每次擴容帶來的硬盤的規格(容量、性能)各不相同，大數據基礎平臺的在PB級數據量處理的場景，由于HDFS單個Namespace限制，對上億級別的文件訪問存在性能瓶頸。為了水平擴展，大數據平臺分布式文件系統HDFS提供的HDFS中NameNode負責管理整個文件系統的元數據。由于NameNode的元數據將使用內存來管理，當產品業務在使用中存在海量的小文件時，系統會迅速消耗掉針對該海量小文件處理的業務場景，大數據平臺提供小文件后臺合并特性(即SmallFS服務),將大量小文件按一定的周期進行合并、刪除、清理任務來減少HDFSSmallFS是構建于HDFS上層的文件系統，可從而解決HDFS上面由于過多的小文件對系統造成沖擊的問題，在Hadoop生態系統中，無論是HDFS,還是HBase,在面對海量文件的存儲的大數據平臺提供混合文件存儲(HFS),據類型可以支持不同的算法(如Snappy,GZ等)。針對冷數據可以采用GZ壓縮算法獲取更高的壓縮率；對于普通數據可以采用 業界第一個支持超過1000公里異地容災的大數據平臺，為日志詳單類存儲提供了迄今為止可靠性最佳實踐。表級別集群全量備份、增量備份，數據恢復(對本地存儲的業務數據進行完整性校驗，在發現數據遭破壞或丟失時進行自恢復)。大數據基礎平臺的集群計算能力主要提供主流高性能分布式分析引擎和數據挖掘算法，實現對多源異構數據的離線、實時分析挖掘處理。本次方案大數據平臺中的中MapReduce、Spark、Stream組件分別提供離線處理計算、內存迭代計算和流式計算分析計算框架；支持多種編程模式，如Java,Python,本次方案提供數據挖掘平臺Miner,滿足對主流統計分析和機器學習分布式算法同時，Miner支持可定制的數據挖掘工具，具備拖拉拽式的界面操作，對各類數據源進行數據探索、抽取特征進行建模分析。(一)離線批處理計算MapReduce是Hadoop的核心，用于大規模數據集的并行運算。“Map(映射和“Reduce(化簡)”概念及其主要思想，都是從函數式編程語言借來的，還有從矢量編程語言借來的特性。當前的軟件實現是指定一個Map(映射)函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發的Reduce(化簡)函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。是一個高性能MapReduce執行單元，支持C++接口。顧名思義，NativeTask是一個本地數據處理引擎，專注于數據處理本身，在MapReduce的環境下，它僅替換Task模塊功能。換句話說，NativeTask并不關心資源管理、作業調度和容錯，這些功能仍舊 智慧交通道路安全監管云平臺解決方案V3.0處理占用Hadoop集群絕大部分資源，而利用NativeTask的高效性能可以顯著提高數的mapper和reducer來處理內建的mapper和reducer無法完成的復雜的分析(三)流式計算能力是大數據平臺基于開源Storm平臺進行產品化、功度：采用容器重用以及專業的調度算法提升2倍以上的吞吐量2)低時延的調度：采用異步通知和常駐會話等機制，把調度時延減低5倍以上 智慧交通道路安全監管云平臺解決方案V3.0數據等集群資源。租戶的數據既有隔離又有共享，相比于“一種計算框架一個集群”離(包括集群資源隔離和用戶的數據安全隔離)。實現了完善的用戶管理、用戶認證HiGraph算法庫在Spark上封裝和實現了矩陣和向量運算庫(HIMO:Hybrid不依賴于底層計算框架。基于HIMO運算庫進行編程，而不依賴于Spark計算框目的，多數據算法對比原生MLlib可以取得3~5倍的性能提升。HiGraph當前提供40多個自研算法，后續會根據業務場景持續更新。析模型。Miner基于ApacheSpark進行分析和建模，可以充分利用大數據中高維度信Miner主要功能是從各類數據源中進行數據R、Python等主流數據分析工具的開發包，補齊R/Python大數據分析與建模能力。基 PytrenPytrenstalistiesLitraryFsuuroEnginguingUtraryMiner提供一個托拉拽的工作平臺，方便的讓通過GUI操縱數據與算法，并且通過這個平臺可以實現相關算法、模型的分享。面①①e2)高性能并行化建模算法HiGraph算法庫在Spark上封裝和實現了矩陣和向量運算庫(HIMO:Hybrid 3)支持百萬維特征處理和管理提供日志、交易數據中提取特征的套件，充分利用提取出高維特征數據，并通過特征工程管理方便特征的共享和復用，提供專門優化的LogisticRegression算法來對高維特征數據進行建模分析，支持在百萬維特征的稀疏數據集上構建模型。4)開放性系統提供豐富API接口，包括Scala、R、Python、Java接口，提供可定制的數據分析挖掘能力，用戶可以使用基于API接口編寫自定義算子，來擴展系統的能力，并將自定義的算子作為系統的能力，在后續可以重復使用，也可以發布出去供更多的人來使用，基于Miner的規范，貴單位和應用ISV可以自行開發和貢獻算法和算子、數據源連接器，嵌入到Miner運行時架構中，實現無縫集成。算法和算子可以被第三方的應用調用，從而可以在不依賴MinerStudio的情況下享用HiGraph的高性能處理能力。5)模型管理Miner支持評估、導入、導出、對比、分享或編輯分析模型。導入導通過Compare可以比較兩個或兩個以上同類模型信息，方便用戶選出優秀模型。分享Model用戶對于自己滿意的模型，可以通過share分享給所有使用Miner平臺的人。操針對已有的Model,用戶可以通過編輯Model功能更新Model的名稱。刪用戶可以根據實際情況，刪除無用Model。模型發布支持從探索環境到生產環境一鍵式發布，模型應用的輸出是可在生產環境運行的程序，通過任務的方式調度模型。模型管理對指定數據源進行預測，對模型質量進行監控，模型重新訓練和更新能 全省卡口過車數據每天約2億條左右，按每條1KB計算.類型當前容量保存時間(年)2年容量建設容量(TB)綜合應用平臺總隊版和綜合應用資源查詢系統2綜合應用平臺業務數據2互聯網服務平臺2重點車輛GPS數據02卡口過車結構化數據02第三方數據022分析結果數據022合計(TB) 結構化數據存儲節點Hbase、分布式搜索引擎Solr、計算引擎Spark、內存數據 據管理組件Hadoop等。下面詳述如何根據業務數據量需求計算所需要的各個節1.093;數據膨脹率：1.2;數據副本：2份，總數據份數：3份；磁盤利用率：1*3*202/25.6=23.6,集群需要奇數臺，考慮到過車數據按1K計算略大，可配置23臺。管理控制節點數：5臺(管理2臺，控制3臺)。分布式搜單節點12塊2TBSAS盤做