智慧城市_大數據_市大數據中心大數據資源平臺概要設計方案_第1頁
智慧城市_大數據_市大數據中心大數據資源平臺概要設計方案_第2頁
智慧城市_大數據_市大數據中心大數據資源平臺概要設計方案_第3頁
智慧城市_大數據_市大數據中心大數據資源平臺概要設計方案_第4頁
智慧城市_大數據_市大數據中心大數據資源平臺概要設計方案_第5頁
已閱讀5頁,還剩53頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、市大數據管理中心大數據資源平臺概要設計方案目錄背景與需求分析總體架構設計平臺功能設計平臺數據綜合應用2134項目實施方案5大數據管理中心發展背景為建設卓越全球城市,實現政府治理能力現代化目標,由市大數據中心牽頭,在政務公共數據管理和互聯網政務服務方面采取了一系列的實踐工作。根據市公共數據和一網通辦管理辦法要求,前期已在“一網通辦”的政務服務領域進行了信息化項目建設,在提升了政府治理能力和公共服務水平的同時,也產生了匯聚全市政務公共數據,探索政務服務領域應用的需求。市大數據中心作為全市政務數據的主要管理單位,承擔著政策本地化落實、政務數據交換、大數據應用研究、信息化建設運維以及其他數據相關的工作

2、職責,從中心成立之初便開始研究政務數據管理和應用的方法,去年年底探索了以政務數據交換共享為核心的實踐,但隨著對中心職能的理解加深,我們認為中心不僅作為全市政務數據的“樞紐中轉中心”,更應該成為各政務服務條線領域的“歸集管理中心”,為本市的經濟活動、公共事業、社會關系、人員密度等各城市管理領域提供數據層面的最大支撐。規劃公共數據發展路線 支撐城市服務能效提升精準城市服務整體共享協同數據科學管理公共數據共享社會數據協同條線業務協同數據服務開放社會治理宏觀經濟市場監管生態保護城市高效運行應急事件響應事件風險預防數據完整歸集數據實時同步資源目錄健全數據全面治理大數據共享交換平臺建設與使用情況大數據中心

3、自去年開始,根據整體規劃啟動了市數據共享交換平臺項目的建設,并于2019年1月開始正式進行全市范圍的試運行。平臺建設內容包括:1、總集成及部分應用開發:平臺集成門戶及整體平臺的基礎功能菜單級整合;2、數據治理子系統:包含數據交換模塊和服務管理模塊,實現數據資源目錄及三清單的管理,并提供市級數據庫的對外發布利用;3、數據共享交換子系統:實現數據交換引擎、統一調度引擎、任務管理、數據橋接等功能,以及數據湖數據的存儲管理、共享與交換;4、數據質量監管及支撐子系統:實現數據質量管理功能,包括數據質量規則制定、數據質量稽核、數據質量問題閉環管理;5、大數據支撐管理子系統:包含市級數據湖和市級數據庫,匯聚

4、“四大基礎庫”、“市級統建系統”、“各市級委辦系統”、“各行政區系統”的經過初始治理的原始數據;并存放經過一系列清洗、轉換、加載、治理步驟后的高質量的政務數據資源,為城市管理、公共服務等提供數據來源;平臺接入52個委辦的公共數據,每月16億條以上,數據總容量在176.0 TB,人口庫預計46.75TB,法人庫預計1.78TB,空間地理庫預計7.99TB,電子證照庫預計91.05TB。前期平臺建設問題分析在數據共享交換平臺項目試運行期間,隨著數據存儲量的增長、數據交換共享需求量的增加,逐漸發現平臺存在一些問題。數據湖&數據庫缺乏統一規劃,數據標準需繼續制定完善現有平臺應用支撐能力較為薄弱

5、,容易形成數據沼澤源端數據標準各異,加工存在技術壁壘數據共享和數據開放能力不全面,開放門戶使用價值不高未規劃主題/專題領域的數據綜合應用,應用創新動能不足,需進行補充完善城市管理數據缺乏,精準服務無法開展數據安全管控僅考慮部分安全應用,數據全生命周期的安全管控存在短板,需整體提升安全防護能力全生命周期安全管控能力有待提升前期平臺未規劃數據實時采集技術,無法支撐高效業務協同數據治理層面未考慮國家資源平臺建設要求,需重新設計系統功能實現數據共享時效性要求無法滿足業務需要本期平臺建設目標分析源端數據標準各異,加工存在技術壁壘城市管理數據缺乏,精準服務無法開展全生命周期安全管控能力有待提升缺乏實時歸集

6、技術,數據共享協同低效 聚:推進人口、法人、空間地理庫數據源整合,促進電子證照庫對接利用。逐步推進社會數據、互聯網數據等采集匯聚 管:構建一站式數據資產可視化管理,通過對數據資產的血緣譜系和信息資源目錄的統一管理,實現數據的全過程管理,以及各環節安全監管 通:實現基于應用場景的數據資源授權管理機制,推動公共數據按需充分共享。實現數據分級分類開放管理,擴展共享交換平臺功能 用:開展主題數據庫建設,推動數據資源整合及數據分析應用。開展數據應用模型及算法研究,探索數據服務模式創新 安:打造整體安全管控體系,保證平臺上政務數據在數據匯聚、數據管理、數據共享、數據開放等全生命周期中的安全防護能力建設目標

7、本期平臺建設內容分析結合項目的建設分項目標分析,認為本次大數據資源平臺的建設內容應包括:數據管理子系統數據治理子系統平臺集成門戶聚管通用數據開放子系統市級數據庫大數據綜合應用安數據安全管理子系統本期平臺建設內容分析數據開放子系統(含開放門戶)大數據綜合應用數據安全管理子系統通過宏觀經濟、市場運行、民生幸福、城市立方體等專題應用的建設,構建大數據綜合應用示范輔助領導決策,構建應用管理中心支撐數據應用,以為各部門提供優質的數據服務。主要實現數據應用方管理、開放清單管理(含開放清單維護、開放目錄關聯、開放數據集維護)、數據開放管理等功能。主要實現首頁、數據目錄、數據應用、數據圖譜、地圖數據、互動交流

8、、數據開發者、輔助事項、個人管理等各項門戶的建設。主要實現安全基礎功能管理、數據安全審計、風險識別管理、數據安全管理、敏感數據管理、安全監管中心、數據安全采集等功能,以及對大數據資源平臺各功能模塊的安全嵌入。主要實現公共基礎庫建設(含人口庫、法人庫、空間地理庫)、支持公共主題庫建設(含經濟活動庫、公共事業庫、社會關系庫、人員密度庫)、支持公共專題庫建設(含經濟運行監測、宏觀經濟預測等19個專題庫)。市級數據庫數據治理子系統平臺集成門戶數據管理子系統主要實現數據架構管理、數據關系管理、數據分級分類管理、數據異常管理、數據分析管理、數據流程管理、流數據處理、知識圖譜、數據分層管理、數據運維管理、數

9、據資產管理功能。通過國家資源管理子系統實現資源申請、撤銷、審核、查詢、消息、配置、應用及事項、使用單位對接、目錄對接、業務流程對接、通知、監控模塊對接等功能。主要實現多租戶功能、運營中心、開發中心、消息推送、數據推送、個人信息管理、系統管理功能。目錄背景與需求分析總體架構設計平臺功能設計平臺數據綜合應用2134項目實施方案5總體架構大數據資源平臺功能架構規劃市領導各委辦局分析人員區政府外部機構公民開發者運維管理者數據中心層對外開放區對外數據開放脫敏區數據沙箱數據沙箱數據沙箱私有數據處理分布式數據存儲消息隊列RDB存儲數據安全身份訪問控制流量數據采集日志采集及存儲告警監控管理及處理安全審計數據脫

10、敏服務安全風險識別統一運維數據運維平臺運維門戶數據開放門戶平臺集成門戶存儲計算區批數據計算流數據計算數據采集政務數據(國家、市級、區)公共事業數據行業數據(金融、電信)物聯網數據(氣象、攝像頭)離線采集實時采集流媒體采集數據導入上報準實時采集圖數據庫應用層宏觀經濟專題市場運行專題城市綜合體專題民生幸福專題大數據綜合應用采集數據源分布式文件存儲服務開放層數據共享服務服務列表下載數據分析和可視化服務數據可視化工具數據探索工具服務授權接口庫表數據開放管理服務數據地圖數據接口數據圖譜規則定義事件采集事件分發事件服務中心事件處理非結構化數據區圖片數據離線數據區數據湖標準層(主題模型)共享層(標簽、指標)

11、實時數據區應用租戶應用租戶應用租戶實時模型實時指標實時事件結構化數據區文本數據數據處理層數據資產管理數據開發調度管理數據資產資產總覽資產目錄資產地圖資產報告共享及運營門戶建設國家資源平臺級聯數據架構管理數據管理管理數據異常管理數據流程管理數據分層管理數據運維管理待辦任務消息中心管理控制臺任務監控通知公告資源申請模塊資源審核模塊消息管理模塊配置管理模塊通知管理模塊監控對接模塊數字水印/簽名管理密鑰管理數據管理子系統數據治理子系統大數據綜合應用數據開放門戶平臺集成門戶數據開放子系統數據開放子系統市級數據庫數據安全管理子系統124674435數據管理子系統1總體架構大數據資源平臺功能架構設計市領導各

12、委辦局分析人員區政府外部機構公民開發者運維管理者數據中心層對外開放區對外數據開放脫敏區數據沙箱數據沙箱數據沙箱私有數據處理分布式數據存儲消息隊列RDB存儲采集數據安全身份訪問控制流量數據采集數據脫敏數據加密/密鑰管理數字水印/簽名管理日志采集及存儲安全審計(安全風險接入識別)統一運維數據運維平臺運維門戶數據開放門戶平臺集成門戶存儲計算區批數據計算流數據計算數據采集政務數據(國家、市級、區)公共事業數據行業數據(金融、電信)物聯網數據(氣象、攝像頭)離線采集實時采集流媒體采集數據導入上報準實時采集圖數據庫應用層宏觀經濟專題市場運行專題城市綜合體專題民生幸福專題大數據綜合應用數據源分布式文件存儲服

13、務開放層數據共享服務服務列表數據分析及可視化數據可視化工具數據探索工具服務授權統計分析服務監控數據開放管理數據地圖數據接口數據圖譜規則定義事件采集事件分發事件服務中心事件處理非結構化數據區圖片數據離線數據區數據湖標準層(主題模型)共享層(標簽、指標)實時數據區應用租戶應用租戶應用租戶實時模型實時指標實時事件結構化數據區文本數據數據處理層數據資產管理數據開發調度管理數據資產資產總覽資產目錄資產地圖資產報告共享及運營門戶建設國家資源平臺級聯數據架構管理數據關系管理數據異常管理數據流程管理數據分層管理數據運維管理待辦任務消息中心管理控制臺任務監控通知公告資源申請模塊資源審核模塊消息管理模塊配置管理模

14、塊通知管理模塊監控對接模塊告警監控管理及處理總體架構大數據資源平臺部署架構本期項目設備部署如下圖所示,將在移動云(怒江機房)新增申請150臺虛擬機設備、80臺實體服務器用于本期軟件部署。總體架構大數據資源平臺數據架構n大數據資源區:包括市級數據湖和市級數據庫兩大數據資源-數據湖:主要存放市級政府部門業務數據庫、未經加工的原始業務數據庫,支持存儲結構化、非結構化等多種類型的數據。-市級數據庫:主要用于存放經過一系列清洗、轉換、加載、治理步驟后的高質量的政務數據資源。n對內共享交換區:主要用于存放全市各部門、各區政務數據資源匯集和共享交換過程中的數據,包括直接共享交換的數據和來自市級數據庫加工后的

15、數據。n對外開放區:主要用于存放對外開放的數據,通過單獨的對外開發區與大數據資源區隔離,可以提供更高級別的數據安全保護。大數據資源平臺支撐數據共享交換(生產職能)、數據分析、數據開放三大核心數據服務,包括大數據資源區、對內共享交換區和對外開放區三大數據區。共享交換數據對內共享交換區大數據資源區離線數據區實時數據區結構化數據市級數據湖市級數據庫非結構化數據安全沙箱數據對外開放區對外開放脫敏數據中心租戶融合租戶基礎庫主題庫總體架構大數據資源平臺權限架構單位用戶使用權權限管理員管理權管用權限審計員審計權審管用審管用審授權角色中心用戶角色角色授權委辦局下級單位三權分立:管用審角色分離分級授權:中心租戶

16、統一為牽頭單位進行管理權限的分配,單位內部權限設計由內部用戶支撐人機賬戶分離:人員賬號及機器賬號實現互斥分配分配角色權限綁定功能模塊人員賬號機器賬號管理員審計員用戶管用審目錄背景與需求分析總體架構設計平臺功能設計平臺數據綜合應用2134項目實施方案5整體對應關系平臺集成門戶共享及運營門戶3大數據綜合應用大數據綜合應用 7數據安全管理子系統身份訪問控制流量數據采集數據脫敏數據加密/密鑰管理數字水印/簽名管理 日志采集及存儲安全審計(安全風險接入識別) 告警監控管理及處理5數據開放子系統數據開放管理數據開放門戶 4數據沙箱市級數據庫主題數據庫運營支撐6基礎數據庫數據管理子系統流數據接入數據支撐平臺

17、數據資產管理數據開發調度管理數據分析及可視化批數據接入數據共享服務1數據治理子系統國家資源平臺級聯21、數據管理子系統批數據接入批數據處理通過數據采集平臺任務調度的方式,根據時間戳定時探查委辦局前置庫數據以及結構化文件的變動,通過數據采集平臺的解析,抽取增量數據到數據湖。1、數據管理子系統流數據接入流數據處理通過數據湖內獨立部署kafka消息系統,采用委辦局推送或自動拉取的方式,將流數據接入大數據支撐平臺。1、數據管理子系統數據支撐平臺1、數據管理子系統數據支撐平臺批數據處理: 各類批數據通過數據采集功能進入數據支撐平臺,經過存儲、清洗、匯總和關聯匯總等,產生應用數據,并實現數據共享或開放。流

18、數據處理: 流數據通過數據采集功能進入數據支撐平臺后,根據不同需求,可實現實時數據計算后的開放,也可實現通過實時數據分析后匯總產生應用數據,進而實現數據共享或開放。1、數據管理子系統數據資產管理邏輯資源層(計算、存儲、網絡資源)政務云管理存儲管理網絡管理資源調度系統管理應用層資源管理模型管理元數據存儲庫業務庫主題數據庫元數據數據資源層基礎設施層用戶管理目錄管理標準管理專題數據庫基礎數據庫模型維護關系關聯代碼關聯對標分析目錄維護資源編目目錄分類目錄標簽標準維護標準導入標準瀏覽落地檢核數據源管理資源注冊前置節點庫表資源資源發布資源審核文件資源接口資源版本管理模型物化目錄瀏覽目錄級聯代碼映射版本管理

19、指標部門數據庫部門數據庫人口庫法人庫互聯網+監管健康衛生城市運行經濟運行1、根據提供方供數責任,對接入數據資源進行編目,維護其業務屬性和管理屬性,使其初步具備共享條件。2、參照數據標準設計數據模型結構、業務代碼,通過建立變更管理和版本控制,實現數據模型管控。3、通過基礎元數據定義數據資產規格(如:庫表、文件、文件夾、接口等),并借助統一平臺實現資源接入。1、數據管理子系統數據資產管理系統集成功能:與共享及運營門戶對接:實現統一授權、統一登錄以及任務工單同步與數據開放門戶對接:實現開放清單的編制發布與大數據支撐平臺對接:實現流數據接入以及支撐數據資產的管理與數據開發調度管理對接:實現資源目錄的雙

20、向同步維護更新與批數據接入對接:實現數據的歸集與共享下發模型管理目錄管理標準管理資源管理數據開發調度平臺數據支撐平臺批數據接入1、數據管理子系統數據開發調度管理數據開發調度管理能夠支撐多種混搭數據庫環境的開發調度功能,實現數據從“采集加工對外應用服務”的全生命周期管理。基于元數據以及日志數據提供端到端的全過程數據開發質量管控能力。支撐數據架構管理、數據關系管理、數據異常管理、數據分析管理、數據流程管理、流數據處理、知識圖譜、數據分層管理、數據運維管理、數據資產管理功能。1、數據管理子系統數據開發調度管理1、數據管理子系統數據開發調度管理 邊界集成說明:與數據采集平臺集成:數據采集平臺的采集任務

21、完成后,通知開發調度管理平臺的庫內處理程序進行調度任務的銜接與數據支撐平臺集成:數據支撐平臺提供JDBC接口,供開發調度管理平臺調用,實現數據庫操作的調度開發調度管理平臺對數據支撐平臺發布流數據處理任務與數據資產管理平臺集成:數據資產管理平臺提供元數據同步接口,把模型元數據同步給開發調度管理平臺做庫內處理開發數據采集平臺調度對接開發調度管理平臺元數據同步數據資產管理平臺數據支撐平臺JDBC接口流數據處理1、數據管理子系統數據分析及可視化用戶對擁有權限的數據資源進行數據探索及數據可視化分析。u 數據可視化工具:專題數據,主題數據加工完成后,用戶可利用可視化工具開發可視化報表,經過測試發布上線后,

22、對外提供可視化服務;u 數據探索工具:用戶通過數據探索工具對擁有權限的數據進行在線自助數據查詢,工具記錄訪問日志。1、數據管理子系統數據共享服務數據共享交換服務基于大數據區共享層的數據目錄,對各委辦局及其應用系統間進行數據共享、交換。內部數據運營管理服務檔案|授權管理|運行監控|服務計量|平臺管理數據源數據安全安全策略|數據出口安全|請求控制|黑白名單管理|安全審計數據目錄(開放子集)資源定義資源展現資源管理外部數據服務鑒權服務調用數據傳輸協議轉換數據目錄(全量)httphttpsftp推送內部用戶外部用戶內部應用外部應用服務管理數據服務目錄共享服務開發共享服務日志服務生命周期運行服務2、數據

23、治理子系統國家資源平臺級聯國家數據資源共享交換平臺體系由國家共享平臺、省級共享平臺、地市共享平臺等多級平臺組成。各級共享平臺橫向連通所轄區域政務部門的政務信息資源,縱向多級平臺對接,形成橫向聯動、縱向貫通的數據共享交換體系。其中國家資源管理子系統是國家與上海市兩級數據共享交換平臺的重要組成部分,通過國家資源管理子系統的上線運行,可以更加高效的實現國家與上海市的資源交換,更加快速滿足政務部門業務辦理的需要。2、數據治理子系統國家資源平臺級聯國家資源平臺數據治理子系統(擴展功能)資源申請模塊資源撤銷模塊資源審核模塊查詢模塊消息管理模塊配置管理模塊應用及事項管理模塊使用單位對接模塊目標對接模塊資源對

24、接模塊業務流程對接模塊通知管理對接監控模塊資源申請功能資源申請管理資源撤銷功能資源撤銷管理資源審核功能資源申請的審核管理查詢已上線資源已發布的資源管理功能申請審核消息代辦消息預警消息配置庫表文件資源申請審核服務接口申請審核服務事項管理政務事項管理單位信息注冊與市數據交換共享目錄接口密鑰更新授權密鑰獲取注冊撤銷變更發布通知下發管理市數據共享交換平臺對接管理訂閱變更撤銷監控目錄及資源對接3、平臺集成門戶共享及運營門戶共享及運營門戶門戶集成數據治理子系統、數據管理子系統、事件中心、數據開發子系統等業務系統。提供統一的待辦工單流轉和個人消息提醒功能,通過門戶入口實現對業務的協同管理。門戶提供統一的權限

25、管理并適配各管理子系統。提供角色互斥配置,實現權限的管、用、審分離。各用戶單位可自主管理用戶和授權。門戶實現CA認證、統一身份認證和單點登錄。門戶集成的各個系統界面風格上實現統一,包括列表樣式、頁面布局頁面顏色搭配、字體大小、按鈕風格等。3、平臺集成門戶共享及運營門戶平臺集成門戶數據資產管理數據治理管理數據共享管理事件中心管理可視化分析系統管理色彩字體控件布局統一登錄認證統一權限配置統一鑒權中心統一授權管理待辦任務通知公告消息推送數據推送統一風格統一功能統一認證統一推送4、數據開放子系統數據開放管理數據開放門戶與數據開放管理關系示意圖數據開放管理架構4、數據開放子系統數據開放門戶開放門戶功能架

26、構4、數據開放子系統數據沙箱u 數據開放主體可以把無條件開放數據或有條件開放的數據經脫敏脫密處理后存放于安全沙箱中;u 數據利用主體基于允許開放的數據,在沙箱安全隔離的計算環境中執行計算任務,生成計算結果;u 用戶全生命周期使用日志可供監管方審查。u 對于已經通過數據開放主體審核的結果,數據利用主體可以按照約定的方式進行使用。5、數據安全管理子系統全生命周期安全管理設計安全服務體系平臺基礎設備信息源身份認證信息數據授權信息安全服務信息數據流量信息大數據平臺數據流數據流安全運營中心安全服務信息導入安全運營中心服務流程平臺事前:身份訪問控制數據授權管理事中:流量數據采集數據脫敏數據加密/密鑰管理數

27、字水印/簽名管理事后:日志采集及存儲安全審計(安全風險接入識別)告警監控管理及處理整體:數據安全合規審查5、數據安全管理子系統數據抽取流程安全設計平臺端,服務商執行信息維護的權限,通過“鑒權中心”,“身份認證管理”和“數據授權管理”進行策略設置及下發,確保訪問控制安全性和有效性;在采集數據入庫存儲時,進行數據加密處理,保障數據存儲安全;通過“數據流量采集”技術產品,采集主要數據節點的流量信息,解析流量中的有效信息,分析安全威脅,惡意活動等行為,為安全運營監控中心提供數據來源在數據抽取的業務流程中5、數據安全管理子系統共享交換流程安全設計平臺端,通過“鑒權中心”,“身份認證管理”和“數據授權管理

28、”進行策略設置及下發,控制委辦局申請共享和交換數據的權限,確保訪問控制安全性和有效性;委辦局端,根據身份認證管理和數據授權管理制定的策略,申請數據共享交換需求;在采集數據入庫存儲時,進行數據加密處理,保障數據存儲安全;封裝數據,發布至共享交換平臺時,進行數字簽名/水印和脫敏,確保數據共享安全在數據共享交換的業務流程中5、數據安全管理子系統主題庫建設流程安全設計委辦局端,根據身份認證管理和數據授權管理制定的策略,申請主題庫建設申請;平臺端,通過“鑒權中心”,“身份認證管理”和“數據授權管理”進行策略設置及下發,控制委辦局申請主題庫建設的權限,確保訪問控制安全性和有效性;在主題庫建設的業務流程中5

29、、數據安全管理子系統身份認證控制(事前)身份管理服務統一認證服務集中授權服務集中鑒權服務審計服務場景:注冊、登錄場景:安全追溯場景:業務使用身份認證鑒權中心用戶管理認證管理認證方式認證策略授權管理集中授權鑒權管理審計管理用戶審計認證審計鑒權審計授權審計日志審計分級管理金庫管理單點登錄信任傳遞身份管理組織機構大數據中心管用審委辦局管用審區各單位管用審共享&運營門戶數據治理/共享/開發/安全管理子系統大數據中心、委辦局、區等各單位使用大數據資源平臺相關子系統時,根據總體數據權限管理方針,實現管、用、審三類角色權限分離,同時在遵循管、用、審分離原則情況下,各單位管理員可自行定義角色,并授予本

30、單位其他用戶。身份認證鑒權中心,提供用戶管理、認證管理、授權管理及審計管理功能,實現統一身份管理。5、數據安全管理子系統流量數據采集(事中)大數據安全分析系統通過采集全網流量及日志數據,結合機器學習、數據建模、行為識別、關聯分析、人工智能等方法,對海量異構的安全數據進行分析,以資產、威脅、脆弱性等維度進行安全態勢分析,并生成全方位的安全全景視圖,實現數據的長時間窗口存儲、全文檢索分析、異常行為檢測和安全合規要求,支撐安全決策和應急響應,幫助用戶建立安全預警機制,增強整體安全防護能力。核心功能:流量探測流量分析流量解析匯總及外發數據流量過濾預測告警 5、數據安全管理子系統數據脫敏(事中)數據脫敏

31、系統提供靜態脫敏、動態脫敏業務能力,可以對大數據平臺各種存儲環境中的數據進行靜態脫敏,將數據脫敏到結構化、非結構化文件或數據庫,對數據進行基于場景的動態脫敏,保護敏感信息確保數據在使用過程中的安全性。 5、數據安全管理子系統數據加密/密鑰管理(事中)由密鑰管理系統(簡稱SecKMS)和國密算法SDK(簡稱:SecAPP)兩部分組成,兩部分既相互獨立又相互依存,前者為后者提供密鑰來源,后者為前者密碼運算能力。SecAPP提供應用層加密功能,業務系統通過調用SecAPP接口對存入的敏感數據進行加密保護,確保數據的安全存儲。SecAPP支持客戶端的本地加密(進程中)和密鑰服務器的集中加密。對本地加密

32、,通過密鑰緩存模塊可提供安全的內存密鑰緩存和持久密鑰緩存管理。通過完善的密鑰到期時間和密鑰保護策略機制,確保密鑰的安全性和易用性,有效保障業務系統敏感數據安全。5、數據安全管理子系統數字水印/簽名管理(事中)數字簽名/水印通過在大數據平臺中使用數字水印技術,在一定程度上成功的達到數據文件來源可跟蹤,確認內容創建者、使用者、傳送隱秘信息或者判斷大數據平臺門戶頁面是否被篡改等目的。在網頁頁面上,打上用戶標識、訪問時間、應用功能號、訪問IP、訪問機器的MAC地址。網頁數字水印在導出的excel、txt文件上,打上用戶標識、訪問時間、應用功能號、訪問IP、訪問機器的MAC地址。文件數字水印在導出的wo

33、rd、pdf文件上,打上用戶標識、訪問時間、應用功能號、訪問IP、訪問機器的MAC地址。其他數字水印5、數據安全管理子系統日志采集(事后)u 日志采集采集u 日志加載清洗過濾標準化關聯補齊數據標簽化u 日志存儲統一存儲 5、數據安全管理子系統安全審計(事后)數據安全審計u數據安全審計:實現對數據高危操作、敏感操作等審計。l數據庫審計l應用授權審計l數據訪問權限審計u綜合日志審計:實現對數據來源、系統日志進行審計,并對審計結果加以分析。u安全風險識別:基于日志數據+流量數據的聚合、關聯分析,識別安全風險。5、數據安全管理子系統告警管理(事后)告警管理n告警觸發:通過對日志的審計分析獲取數據安全異

34、常告警信息n告警觸達:根據告警規則配置的觸發人員+告警內容下發至運營中心告警管理模塊,由告警管理模塊統一下發至責任人、對應工單,形成閉環處理機制5、數據安全管理子系統安全合規性審查(整體)安全測評 合規代碼審計安全基線編制和漏掃系統漏掃和滲透測試風險分析報告等級保護三級數據安全能力成熟度三級安全保障能力EAL三級合規性審查目錄背景與需求分析總體架構設計平臺功能設計平臺數據綜合應用2134項目實施方案5構建市級數據庫建立基礎庫和主題庫運營支撐體系主題庫/專題庫責任委辦局負責:主題庫需求、建設方案(業務方案)、開發和主題應用。大數據中心主要負責:制定標準(技術方案)、提供平臺、數據和工具,并負責建成后的服務開放和運行維護。委辦局市大數據中心共享數據委辦局提出主題庫建設申請開始編制建設方案提出需求清單明確建庫需求核實建設申請確認建設方案三清單管理確認責任清單和負面清單資源目錄編制分配資源并建庫共享數據推送提供建模工具和建庫資源建設主題庫設置主題庫管理規則提供數據服務開展主題應用提供主題庫監測等管理服務結束市級數據湖市級數據庫基礎庫主題庫專題庫指標庫ODS數據

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論