大數據方案大數據(BigData)時代來臨新量級、新處理模式、新行業智能傳統模式移動互聯網非結構化智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案?網頁內容物聯網?郵件?媒體文件?及時通訊?文檔文件半結構化?XML文檔?日志?點擊流量?設備、RFID標簽結構化?數據庫?電子表格?格式化文件2大數據PeopleApps大數據要解決的問題4V流式處理實時處理Velocity快速的數據流轉準實時處理批量處理智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案結構化價值TB非結構化半機構化PBEBVarietyVolume多樣的數據類型海量的數據規模巨大的數據價值大數據帶來的挑戰

不同“看”數據的方式

需要更高性價比的數據計算與儲存方式智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案

不同的數據管理策略

超越現有IT的數據解決能量不同“看”數據的方式可視：結構化資料15%未視：半/非結構化數據85%智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案領導者看到的，其實是殘缺的…智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案DataNode升服務能力等方面發揮了重要的作用，推動了人力資源和社會保障工作向精細化、一體化、科學化、規范化智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案?網頁內容智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案現狀：硬件管理比較詳實，但對數據的管理，業務系統的管理欠缺智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案架構只能scale-up，需要更高性價比的數據計算與儲存方式如何有效的避免因硬件毀壞所導致的資料損毀部、省、市三級網絡進一步貫通如何有效的避免因硬件毀壞所導致的資料損毀社保大數據帶來的大挑戰關系型數據庫采集（SQOOP）新量級、新處理模式、新行業智能數據導入導出的時間成本需要更高性價比的數據計算與儲存方式10萬GB數據庫數據倉庫智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案10萬TB計算更快存儲更省不同的數據管理策略當想要擴充時，才發覺：15%?scale-out不易?time-to-value受限架構只能scale-up，結構化的DB/DW遺憾處理時間過長，智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案?成本過高，cost-efficiency受限85%半/非結構化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile殘缺7超越企業現有IT的數據解決能量Storing儲存每天幾百GB、幾TB的資料，且持續成長中Processing計算在收數據的同時做必要的前置處理(pre-processing)，并區分數據處理的優先等級(prioritizing)智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案Managing管理如何有效的避免因硬件毀壞所導致的資料損毀Analyzing分析如何從中挖掘出所關注事件的pattern或behaviorHadoop不只是Hadoop大數據應用Pig!智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案關系數據HIVE文本數據ZooKeeper9大數據的儲存與處理/運算數據分享數據檢索智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案大數據儲存大數據處理數據分析橫向擴容分布式存儲(Scale-out)架構分布式軟件架構并行計算框架數據展現大數據的部屬SwitchDataNode(1Gbabove)NameNode智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案DataNode藉由DataNode容易最小package擴充的能力1臺NameNode可輕易滿足數據量成+長的需求3臺DataNodesDataNodeImage/Full-text/MS-Officefile智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案大數據儲存大數據處理智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案安服務接口資源目錄服務規范服務總線管智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案DataNode超越現有IT的數據解決能量全國統一的核心業務應用軟件已在絕大部分統籌地區部署實施Image/Full-text/MS-Officefile如何從中挖掘出所關注事件的pattern或behavior大數據建設策略業務展示數據產品預測分析傳統BI終端用戶基礎工具SSRSSSAS業務支撐智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案大數據處理數據倉庫ERPCRMLOBAPPs非結構化數據源結構化數據源國家意志2015年8月19日，國務院總理李克強主持召開國務院常務會議，討論通過了《關于促進大數據發展的行動綱要》。

大數據被喻為“金礦”、“石油”，大數據的價值被業界公認為無價，然而怎么用大數據，怎么發揮大數據的價值，業界眾口紛紜，到現在為止也沒見到大數據究竟產生了多大價值。大數據無法發揮其巨大價值，有技術、應用、機制、法律法規等多方面的原因。大數據的發展知易行難，知道其有巨大價值，但不清晰具體可行的發展路徑，也面臨很多不

智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案知道如何解決的問題。2019/11/24人力資源社會保障信息化取得的成就

地級以上人力資源社會保障部門普遍建立了數據中心多數地區實現了業務數據在市級的集中統一管理部、省、市三級網絡進一步貫通全國統一的核心業務應用軟件已在絕大部分統籌地區部署實施信息化建設成果在人力資源和社會保障工作中發揮了基礎支撐作用，創新管理模式、降低行政成本、提升服務能力等方面發揮了重要的作用，推動了人力資源和社會保障工作向精細化、一體化、科學化、規范化智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案轉變。總體上看社保大數據帶來的大挑戰海量數據如何存儲數據導入導出的時間成本業務數據讀取要依靠業務系統查詢性能低智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案非結構難存儲、難分析維護成本高昂無標準化規范2019/11/24舊架構不能承受之重智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案2019/11/24社?？傮w規劃辦公界面管理界面服務界面數據應用層社會保險管理系統人力資源管理系統系統公共服務系統管理決策系統運維應用支撐層工作流搜索引擎報表身份認證智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案安服務接口資源目錄服務規范服務總線管全體系數據服務層理體系數據層基礎數據業務數據交換數據宏觀決策數據公共服務數據支撐層硬件資源軟件資源網絡資源?2019/11/24大數據架構訪問應用門戶數據門戶管理門戶層應用門戶對外數據支撐數據應用層查詢工具/統計工具/分析工具/挖掘工具/輔助決策工具公共組件數據服務Service/File/Sdk/…規則引擎統計引擎查詢引擎分析引擎挖掘引擎數據服務總線數據封裝應用層業務數據Oracle數據庫智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案數據資產層數據資產Oracle數據庫MPP數據庫HBase數據聚合層數據處理傳統數據處理流數據處理大數據M/RHDFS數據采集文件處理實時流數據采關系型數據庫采集（SQOOP）集基礎環境層終端虛擬化服務器虛擬化分布式架構社保數據“云化”云技術是手段，管數據是目的人口數據就業數據統一分析智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案養老數據生育保險統一規劃數據BI數據挖掘醫療數據其他數據2019/11/24大數據利用基礎進階數據共享，數據交換，業務聯動查詢，統計，分析智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案高階數據挖掘,決策支持2019/11/24查詢實例現狀：系統經過一段使用后，效率低，不能滿足業務發展目前對策：半夜跑任務思考：越來越多如何搞？對策：數據剝離。統計、查詢、報表從業務部門剝離。形成統一的數據統計、統計、報表平臺。智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案人口數據就業數據統一分析統一規劃數據BI數據挖掘養老數據生育保險查詢、統計、報表醫療數據其他數據2019/11/24ESB服務標準智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案數據標準管理標準2019/11/24統一桌面現狀：系統眾多，用戶系統間的切換，系統的管理不全面目前對策：暫缺思考：業務越來越多如何搞？對策：統一用戶管