




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
智慧人社大數據綜合分析平臺整體解決方案2020背景與需求分析智慧人社大數據平臺頂層設計智慧人社大數據平臺建設方案智慧人社系統詳細設計大數據分析平臺演進及建設重點背景意義建設背景四大功能三層結構一個工程兩大系統勞動力市場信息系統和社會保險信息系統覆蓋全國、統一規劃、統籌建設、網絡共用、信息共享的勞動和社會保障電子政務工程智慧人社業務經辦、公共服務、基金監管和宏觀決策中央、省、市三層數據分布和管理結構人社信息化2.0:“數字人社”到“智慧人社”G2CG2BG2G政府&個人綜合柜員制、網站、手機客戶端、互聯網社交媒體、社會保障卡政府&企業網站、綜合柜員制政府&政府協同辦公系統ID唯一互聯互通信息共享以服務對象為中心記錄一生保障一生服務一生被動服務->主動服務胡曉義副部長在今年全國信息化工作會議上首次提出要建設“信息化人社、人本人社、智慧人社”智慧人社管理分析類應用建設現狀基本分析關注的內容存在的問題基本的現狀XXX社會保障局數據倉庫累積數據沒有充分利用缺乏面向整個智慧人社大數據的統一、完整的數據視圖;缺乏支撐智慧人社大數據日常業務運轉的風險評估體系;缺乏智慧人社大數據客戶360度視圖,客戶行為分析和預測無法實現;缺乏面向人社業務運營管理的關鍵績效指標體系;……已建立面向整個人社業務的數據倉庫,整合了前臺業務運營數據和后臺管理數據,建立了面向人社的管理分析應用;智慧人社大數據已開展供應鏈人社、保理等多種業務,積累了一定量的業務數據,同時業務人員也從客戶管理、風險評級和經營規模預測等方面,提出了大量分析預測需求;……數據平臺、數據應用、數據管控……基礎數據平臺和BI應用建設是未來一段時間的重點!數據平臺整體架構;數據平臺各層建設的標準;較成熟的人社業數據模型;數據質量治理;元數據管理;
數據標準建設數據整合;
數據應用建設;數據平臺的軟硬環境……數據膨脹!人社數據量逐漸增大當前面臨的問題:業務數據分散,數據共享和數據利用程度不高
統計分析
預測分析
監測預警
政策模擬
綜合數據分析平臺
全局性數據共享
數據抽取、過濾、轉化、加工平臺
社會保險
職業勞動系統
培訓
就業
人事管理
考試系統
系統
鑒定
系統
系統
….
?
現有各系統的設計實施,基于各業務部門
具體需求形成,在建成投入時,大大推動
了業務效率,形成了業務辦理優勢,但在
信息化發展趨勢下,業務數據因分散在各
業務系統中,提供的服務未能整合成一個
整體數據服務。單位和個人基礎信息庫存
在多個入口,大部分數據重復錄入又沒有
聯動機制,導致各業務系統個人信息、單
位信息中同類數據無法保持一致。基礎數
據不統一,影響了數據共享。
?
由于業務數據分散,缺乏多層次、多角度
、多粒度的整體信息數據,各業務部門對
數據的利用主要還是停留在滿足本部門業
務經辦的需要,無法對數據進行進一步的
深層次挖掘利用,為統計分析、預測分析
、監測預警、政策模擬和政策評價在內的
多層次的宏觀決策提供支持。
海量數據如何存儲數據導入導出的時間成本舊數據只能用舊版本軟件讀取異構平臺的數據遷移查詢性能低下非結構化難存儲,難分析高昂的維護成本沒有標準化的產品……人社大數據帶來的大挑戰舊架構難以管理和使用海量數據OperationalDataSourceNetworkDataStoreandMerchandiseDataCRMEmployeeSchedulingExtract,Transform&LoadDataStagingDataWarehousingEnterpriseDataWarehouseMetaDataDataMartsDataMiningQuery,ReportingOLAPCDRPCIDataWarehouseGenerationDataWarehouseManagementPortalUsersDataAnalysis有多少IT投資繼續被“O”,“E”,“M”恐龍們吃掉?一個典型省BI系統投資:1300萬美金問題沉重的維護成本低下的數據管理性能驚人的儲存成本人社數據需要“云化”的統一管理“云計算”是手段,“管數據”是目的人口數據養老保險醫療保險失業保險生育保險綜合分析統一分析統一規劃數據挖掘數據大集中的重要意義質量成本時間發展推動業務規范化、標準化拉動服務水平降低信息化風險大集中是發展趨勢N<14*n(建設和維護成本降低)銀行、稅務統一接口集中容災全區系統上線時間后期政策落地的周期決策、監管時效性全區“一卡通”基礎
異地業務實時經辦關系轉移接續全過程監管需要省級統籌必備條件大數據分析平臺建設目標外部非結構化數據統一制定目標和分析模型統一劃分分析主題統一設計數據模式統一規劃分析方法統一部署技術基礎統一定義BI應用自定義報表工具行+列的簡單定義方式多種格式報表XXX社會保障局決策層XXX社會保障局職能管控層各級業務操作層關注XXX社會保障局主要經營指標業務人員使用BI應用實現業務協作和創新BI分析工具供應鏈人社系統POP系統其他業務系統云數據推送平臺已實現了主要零售及人社業務系統數據清洗、整合,為未來智慧人社大數據數據平臺提供了豐富的數據源。通過數據平臺和BI應用建設,智慧人社大數據將搭建統一的大數據共享和分析平臺,對各類業務進行前瞻性預測及分析,為XXX社會保障局各層次用戶提供統一的決策分析支持,提升數據共享與流轉能力采購管理系統查看職能部門的業務經營情況智慧人社大數據平臺頂層設計總體架構采用云結構設計,所有的資源都集中在云端,輕松實現“多屏合一”訪問。平臺采用“容器技術”提供開放的平臺,開放的接口及標準,有利于第三方軟件開發者或者資源提供者介入業務系統開發。積木式結構設計,支持調用各個粒度的服務,包括調用數據、調用基礎功能,以及調用組合的成熟應用,利于形成既需即取的服務超市。建立資源管理清單,提供統一認證接口,為政府管理部門及服務機構提供多級權限安全接入,實現政務系統全業務無障礙訪問服務。阿勒泰信息化總體架構積木式架構多級權限設計云結構容器技術技術要素及特點頂層設計架構技術實現實時業務庫綜合數據統一視圖BDP平臺BDP數據同步人社綜合信息序列化對象存管智慧人社整體架構大服務信息共享(內部+外部)業務協同精細管理ID唯一(個人、單位)智慧決策智慧監管智慧服務智慧經辦基礎支撐層智慧慧感知IT監控基金監管業務監管決策分析源系統人力資險系統社會保務系統基金財系統人社卡移系統異地轉醫系統異地就特征信息(指紋、指靜脈、人臉)人體生物個人信息影像檔案地理信息庫(質監法人庫)單位基本信息(公安人口庫)持卡人員基本信息庫手機客戶端電話門戶網自助服務一體機短信互聯網社交平臺綜合柜員制移動服務終端保障安全科學決策綜合柜員制人社云G2CG2BG2G互聯網+O2O大數據大集中大統一數據大集中應用大集中服務大集中智能pos集中式社會保險信息系統全區集中生產庫社會保險信息系統核心平臺三版12333網站公共服務庫短信宏觀決策基金監管決策庫城職養老保險五險合一城鎮社會保險城鄉居民養老保險城職醫療保險城居養老保險新農保城職工傷保險城職生育保險城職失業保險城職養老479.1萬人;新農保入庫756萬;城職醫療419.5萬人;城居醫療552.7萬人;工傷保險245.7萬人,失業保險224萬人生育保險255.6萬人。入庫1960萬人基本信息。14個盟市91個旗縣區集中式社會保險基金監管系統接口數據庫統一監管支持基金監督部門對全區人社基金的監管監管范圍覆蓋養老、失業、醫療、工傷、生育等多個險種涉及征繳、支付、管理、運營四個環節宏觀監管及時了解掌握基金運轉情況和支撐能力,實現制度平穩運行微觀監管及時發現社會保險基金和疑點問題,并追蹤薄弱環節問題處理全過程業務生產庫財務生產庫集中數據庫一體化基金財務系統集中式社會保險基金監管系統養老醫療工傷生育失業養老:84個旗縣區;新農保:36個旗縣區;職工醫療:41個旗縣區;居民醫療:34個旗縣區;工傷:43個旗縣區;生育;39個旗縣區;失業:70個旗縣區BDP流式數據同步省級人社庫BDP流式數據同步省級人社庫BDP流式數據同步省級人社庫BDP統一規則轉換引擎人社統一數據視圖數據應用(查詢,分析,BI展現,挖掘)BDPAPIBDP統一分布式存儲人社數據序列化管理智慧人社數據平臺云化架構BIPortal各省人社數據庫大數據分析平臺總體架構——數據交換層數據交換層設計目標傳輸組件是根據數據源存儲的不同分類而設計的,本質是通過分析數據存儲結構和數據存儲庫的特點來針對性的設計工具,以追求卓越的性能保證數據在平臺內高速流轉保證數據交換過程中不失真保證數據交換過程中不丟失保證數據交換過程安全可靠數據區數據交換組件數據庫數據交換組件大數據交換組件智慧人社大數據系統數據服務層外部大數據人力資源和社會保障局系統Hadoop元數據云數據推送平臺數據平臺導入臨時區數據平臺導出臨時區NAS存儲ETL程序區大數據管理平臺應用層BI技術架構UNIFIEDWEBINTERFACEIntegratedBackplaneServicesOrientedArchitectureScorecards&DashboardsReportingOLAPAdvancedAnalysis&Ad-hocAlerts&ProactiveNotificationBI展現支撐組件
展現場景配置支撐
統一數據指標模型數據源及接口多維分析圖形化報表數字儀表盤門戶動態表格商業智能報表分析應用的三層架構企業經營駕駛艙靜態查詢商業分析基層員工經理人員高層管理人員企業層級績效管理、儀表板、計分卡、KPI部門層級Ad-Hoc查詢、OLAP、深度分析、透視表、分析圖個人層級日常營運、標準報表點數據(Dashboard/KPI)線數據(靜態查詢報表)ReportingService面數據(動態分析報表)備注BDP平臺——整合人社數據BDP功能架構分布式存儲分布式數據庫MapReduce并行數據導入導出Web接口(REST/SOAP…)
集群協調服務
流程管理任務調度元數據管理安全管理查詢,分析,BI展現,數據挖掘數據層接口層管理層集群監控展示層人社數據管理分析平臺
統一規則轉換引擎北京人社數據庫庫上海……
統一資源數據視圖安全管理人社信息序列化存管26-提供八層權限控管機制,可根據組織階層與職位設定維度成員存取權限KPI量值存取權限數據格存取權限測試維度存取權限Cube存取權限數據庫存取權限資料來源存取權限報表存取權限角色A角色B角色C角色D完整的安全控管體系決策支持系統總體架構統計查詢區數據處理區數據倉庫區社會保險信息系統新農保信息系統人力資源信息系統社會保障卡系統數據抽取工具數據倉庫數據集市決策支持系統決策支持區財務信息系統基于全區數據大集中建設全區集中統一的決策支持系統智慧的感知隨時隨地貼身服務精準定位G2BG2C提升服務形象打造服務品牌智慧的服務——線上線下八位一體公共服務線上“人社云”平臺:網上服務大廳、手機客戶端、互聯網社交平臺。通過“人社云”平臺虛擬社區實現一次注冊,終生服務。五級線下服務平臺:自治區、盟市、旗縣區三級一站式經辦服務大廳,街道社區綜合柜員制四級服務窗口,社區、鄉村五級入戶式服務平臺。數據向上集中
服務向下延伸人群全覆蓋、地區全覆蓋、功能全覆蓋、平臺全覆蓋線上線下八位一體公共服務統一設備標準統一經辦流程統一信息系統統一建設標準統一服務標識人力資源和社會保障
綜合服務中心平臺在社區經辦在家門服務在基層街道社區:建設綜合柜員制服務窗口(整合資源,規范流程,全面推進高“一窗式”服務)智慧的服務——綜合柜員制(城鎮)一窗式受理、一次性告知、一條龍服務統一服務標牌社會保障卡綜合服務點以社會保障卡為基礎,依托遍布城鄉-嘎查村的助農金融服務網點,推進全區社會保障服務村村通。農村:推進社會保障卡綜合服務點(足不出村)智慧的服務——社會保障卡綜合服務點(農村)智能pos終端:使農村牧區農牧民足不出村享受人社相關的信息查詢,待遇領取、金融等便捷服務。同時基于智能pos終端的身份認證功能,集成生物特征認證設備,提供足不出村的身份認證服務。統一服務標牌:推進服務下延,提升服務效能,打造服務品牌人社金融服務村村通智慧的服務——12333網上服務大廳G2B模式G2C模式企業服務&單位服務以企業為中心為企業搭建網上“一站式”服務平臺個人服務&公民服務以公民為中心電子公民中心(虛擬社區)足不出戶辦理人社業務個人服務頻道企業服務頻道政務服務頻道人社卡頻道人事考試頻道求職招聘頻道實名注冊達到萬人150智慧的服務——12333手機客戶端總下載量:15萬人社服務人力資源和社會保障服務:政策、人社賬戶、求職招聘、培訓考試、服務機構(經辦、兩定、服務銀行、照相館)查詢和人社卡掛失,城鄉居民養老保險自主核定、繳費等業務辦理。便民生活服務便民生活服務:低保、優撫、新農合以及金融賬戶信息查詢;水、電、暖、燃氣、通訊以及其他公共事業繳費等民生錢包金融服務民生金融服務:電子錢包、民生商城、農資商城等一人一卡、一賬戶、一錢包智慧的服務——12333互聯網社交媒體平臺信息查詢消息推送投訴建議視頻微博播放數:4000關注:91258人粉絲:30000人微信互聯網社交媒體平臺12333充分發揮互聯網開放、平等、共享等特點,可以從根本上完善現行服務體系。打通一公里,服務零距離智慧的服務——自助服務一體機立足于城鄉之間,服務方式多樣化、簡便化。融合就業、人社、勞動關系、人事人才等信息化手段,提供求職招聘、政策查詢、人社服務等功能。集參保、繳費信息、醫療消費明細查詢、個人信息修改、人社卡申領進度查詢、人社卡掛失、單據打印、個性化業務辦理、業務信息檢索、辦事指南和信息發布等服務于一體。設有打印、讀卡、人臉識別、觸摸屏、鍵盤、攝像頭和指紋識別等模塊,可以進行離退休人員異地生存認證。在銀行自助終端加載人社功能。今年,將在試點地區成功應用的基礎上,在全區其它盟市逐步推廣自助服務終端,方便參保人持第二代社會保障卡同時享受人社和金融相關服務。方便百姓,降低窗口壓力對街道社區工作平臺、網上服務、電話服務等公共服務平臺的有益補充智慧的服務——社會保障一卡通人事人才考試其它各項便民服務統一的自治區數據中心自治區到嘎查村五級服務網絡全區統一的集中式信息系統“六位一體”公共服務平臺統一的社會保障卡發行、管理收費端全區統一金融服務政府公共事業服務社會保險異地服務其它便民服務社會保險本地服務就業服務醫保即時結算人社待遇發放人社信息查詢社會保險繳費就業服務金融服務報銷及補貼資金其他政府公共服務一人一卡一賬戶一錢包一卡多用全區通用職業資格鑒定人事考試智慧人社大數據解決方案確定建設模式一體化集中式人力資源系統社會保險系統(數據)新農保系統基金財務系統12333門戶網站+業務網站社會保障卡系統交換區指紋系統(指紋庫)基金監管宏觀決策容災中心經辦服務業務財務公共服務門戶網站業務網站全覆蓋業務全覆蓋人群全覆蓋網絡全覆蓋功能全覆蓋統一軟件數據集中互聯互通資源共享社會保障全區一卡通實現全區數據實時大集中人力資源新農保基金監管決策支持公共服務全區各級經辦機構五險數據部分盟市五險數據同步集中部署部分盟市五險盟市數據中心數據中心人社卡基金財務指紋庫業務、數據、功能、人群全覆蓋建設思路和整體規劃(思路)全區社會保障“一卡通”人力資源信息系統和社會保險信息系統業務、人群、功能、網絡、盟市、旗縣、蘇木鄉鎮(街道)、嘎查村(社區)五級網絡一卡通兩大系統三大中心四個覆蓋五級網絡數據中心、監控中心、災備中心統一建設應用為先體制創新保障安全“一二三四五”工程建設思路和整體規劃(規劃)12345678910111212345789101120112010新農保信息系統郵件系統電話咨詢服務系統
短信平臺
監控中心WAP門戶網站
人力資源信息系統數據中心基金財務系統社會保險信息系統災備中心基金監管宏觀決策門戶網站122012視頻會議電子認證體系人社關系轉移接續平臺6規劃設計硬件網絡軟件開發軟件開發系統啟用完善數據推動應用一卡多用一卡通用三年完成一卡通社會保障卡系統智慧人社多功能監控中心多功能監控中心設備的安裝調試及維護,信息系統更新和維護、安全管理數據中心、災備中心機房環境、全區智慧人社網絡硬件平臺運行狀況和信息系統運行使用狀態全區各信息系統數據查詢、統計信息進行展示,監控全區人社基金和業務數據視頻會議運維管理IT監控視頻會議功能,開展全區人力資源社會保障信息化業務培訓信息展示全區集中式容災備份中心建設同城數據級災備異地數據級災備應用級災備依靠基于網絡的數據復制工具,實現同城間生產中心和災備中心之間的異步/同步的數據傳輸。依靠基于網絡的數據復制工具,實現生產中心和災備中心之間的異步/同步的不同城市間數據傳輸。應用級災備是在數據級災備的基礎上,把應用處理能力再復制一份,也就是在異地災備中心再構建一套支撐系統。分三步建設智慧人社容災體系2011年2012年十二五運用云計算優化數據中心資源提供最可靠、最安全的數據存儲中心,用戶不用再擔心數據丟失、病毒入侵等麻煩物理資源(小型機、PC服務器)虛擬化IT基礎架構云管理平臺安全設備要求低,軟件不必下載升級,降低管理、維護成本,提高資源利用率經濟實現不同設備間的數據與應用共享。靈活整合所有IT資源形成資源共享池,按需分配,獲得基礎設施資源利用的快速擴展能力。可擴展接口建設
全區大集中模式加快了對外接口的雙向對接需求,與各部門聯通,建立了信息共享機制。殘聯民政醫療機構金融機構公安集中式數據中心審計稅務工商衛生建設技術監督計生財政電子認證體系(CA數字證書)
密鑰管理系統
證書簽發管理系統
證書注冊管理系統人社部電子認證系統內網業務外網應用業務專網電子認證子系統人社基金財務系統社會保險信息系統人力資源信息系統新農保信息系統網上用工備案社會保險網上經辦網上職介系統其他公共服務系統先建設RA中心,后建設CA中心10月,在全區養老保險基金財務系統開展數字證書應用2011年8月,已建成RA中心統一的信息系統實現全覆蓋統一的信息系統核心業務系統社會保障卡管理系統人力資源信息系統(包括勞動就業、勞動關系、勞動監察、人事人才等)社會保險信息系統(包括新農保信息系統、城鎮居民養老保險信息系統)輔助系統基金財務管理系統人社關系轉移平臺異地就醫結算系統基金監管系統宏觀決策支持系統指紋系統智慧人社監控系統電子認證系統……嚴格執行人社部核心平臺標準統一開發所有系統互聯互通集中式
一體化全區集中式人力資源信息系統勞動99三版B/S/S架構6條業務線151個功能模塊涵蓋:勞動勞動用工備案、企業薪酬、勞動保障監察和網格、信訪、行政復議等。人事人才正在進行需求調研涵蓋:公務員管理、專業技術人員管理、工資福利管理、事業單位管理、軍轉干部安置、各類流動人才、流動黨員管理。勞動關系17條業務線309個功能模塊
涵蓋:基本信息管理、就失業、職業介紹、再就業援助、勞動保障代理、勞務派遣、就業培訓、創業服務、職業技能鑒定、技工學校、境外人員在華就業、農村牧區勞動力管理、轉移就業、零就業零轉移家庭管理。公共服務平臺子系統勞動就業8條業務線17個功能模塊涵蓋:實名制采集子系統、網上求職、網上招聘子系統。一期二期三期四期實現對社會保險之外的業務全覆蓋人力資源信息系統數據入庫情況勞動力資源信息246萬就業人員信息80萬失業人員信息11萬就業困難人員6萬就業培訓信息16.8萬零就業家庭信息2218條零轉移家庭信息1萬小額擔保貸款信息3萬人力資源信息系統勞動就業子系統數據入庫量2010年5月至2010年12月組織全區就業部門通過互聯網方式采集實名制數據作為勞動就業系統上線基礎有力支持全國就業監測數據上報工作“五險合一”社會保險信息系統公共服務數據庫養老保險醫療保險工傷保險生育保險失業保險全區集中生產庫宏觀決策基金監管社會保障卡12333網站決策庫公共服務庫短信核心平臺三版“五險合一”社會保險信息系統呼倫貝爾市2010.12本級2011.1興安盟2011.2滿洲里市2011.4阿拉善盟2011.5烏蘭察布市2011.6錫林郭勒盟2011.7二連浩特市2011.7通遼市2011.8巴彥淖爾市2011.9包頭市2011.10鄂爾多斯市2011.11烏海市2011.11呼和浩特市2011.12赤峰市2011.12系統切換工作安排2011年底前完成“五險合一”社會保險信息系統的全區統一和數據大集中同步集中同步集中集中集中集中集中集中同步同步同步同步同步同步全區集中式新農保信息系統全區大集中數據庫核心平臺三版B/S/S架構繳費申報參保登記賬戶管理待遇發放關系轉移財務管理系統接口查詢統計內蒙古新農保信息系統功能結構新農保信息系統全區統一和數據大集中對試點地區參保人群的全覆蓋12333網站短信宏觀決策基金監管全區集中式社會保險基金財務系統基金財務信息系統業務財務系統接口財務業務一體化2011年3月底完成財務系統在數據中心的部署;4月底完成接口升級改造;9月14日,新農保基金財務系統正式上線2011年10月底完成社會保險業務財務接口開發2011年底前啟動業務財務一體化試點工作為實現全區五險基金非現場實時監督打基礎覆蓋養老保險各級經辦機構統一建設人社關系轉移二級平臺級關系轉移平臺部關系轉移平臺其他省市部盟市社會保險數據數據交換數據交換同步數據社會保險數據盟市只需對接平臺統一建設全區集中式社會保險基金監管系統接口數據庫統一監管支持基金監督部門對全區人社基金的監管監管范圍覆蓋養老、失業、醫療、工傷、生育等多個險種涉及征繳、支付、管理、運營四個環節宏觀監管及時了解掌握基金運轉情況和支撐能力,實現制度平穩運行微觀監管及時發現社會保險基金和疑點問題,并追蹤薄弱環節問題處理全過程業務生產庫財務生產庫集中數據庫業務生產庫實時盟市財務業務一體化集中式社會保險基金監管系統非現場實時監控已開發和正在開發的系統社會保險管理信息系統人力資源管理信息系統社會保障卡系統接口系統網上經辦系統新農保管理信息系統宏觀決策系統電子認證系統生存認證管理系統基層服務平臺WAP網站和移動OA系統異地就醫結算系統全區OA辦公自動化系統全區統一郵件系統內控稽核管理系統12333電話咨詢服務平臺短信平臺基金監管系統人力資源社會保障信息網系統支撐及安全管理系統監控及運維管理系統基金財務管理系統軟件開發12個業務系統10個輔助系統公共服務平臺建設內容全區統一的公共服務平臺電話咨詢服務系統人力資源社會保障門戶網站社會保障卡建設網上人社業務經辦短信平臺社區服務平臺異地就醫結算系統統一標識,數據共享基于全量、實時、數據大集中公共服務平臺建設特點集中式電話咨詢服務平臺統一門戶網站群集中式社會保障卡系統基層服務平臺短信平臺網上查詢、網上經辦數據向上集中服務向下延伸
。。。。。。公共服務多樣化數據中心集中式交換區人力資源社會保障電話服務系統12333平臺咨詢集中受理分發處理異步處理反饋同步處理反饋呼和浩特市處理座席包頭市處理座席呼倫貝爾市處理座席1-12盟市處理座席信息反饋回訪回訪評價盟市12333處理座席集中受理集中管理分地處理考核體系重要數據來源全區統一的協同辦公系統三級辦公系統金保專網金保專網數字證書數字證書通過與短信平臺對接實現會議通知、郵件提醒等功能辦公系統盟市辦公系統旗縣區辦公系統網上業務經辦平臺社會保險查詢系統人力資源查詢系統社會保險網上經辦系統人力資源網上經辦系統
網上經辦平臺業務信息查詢網上業務經辦系統2011年底前,實現人力資源社會保障網上查詢和網上經辦業務生產系統統一接口單向雙向基層服務平臺放置地點服務大廳社區銀行功能查詢對帳卡掛失生存認證。。。。窗口網絡電話自助自助服務一體機積極探索將服務網絡向社區延伸,方便群眾就近實現人力資源和社會保障業務經辦、信息查詢的自助式服務。人社政策有線電視人力資源社會保障自助服務一體機服務大廳銀行網點街道社區觸摸屏指紋識別儀攝像頭讀卡器全區統一的短信平臺移動電信聯通電信運營商參保人員人社系統工作人員短信平臺繳費信息支付信息帳戶信息……通知對外業務查詢內部應用外部應用會議通知郵件提醒公文處理提醒……對內輔助辦公建設全區統一指紋信息系統和集中式指紋庫建立統一的應用支撐平臺,進行數據集中式管理指紋信息系統核心比對平臺接口服務平臺WEB應用平臺查詢統計平臺運行監控平臺完成各類數據比對的處理和調度管理為人社業務管理系統和其它業務系統提供標準的接口服務實現全瀏覽器/服務器模式的接入對系統工作情況、比對情況等多項內容的查詢、統計和分析對系統運行狀態的動態查看、管理和分析一次采集、隨地驗證統一建庫、集中存儲、統一識別基礎建設信息系統公共服務一卡通全區一卡通建設統一管理
統一性、規范性、嚴肅性、安全性統一的社會保障卡中心全區集中式社會保障卡系統全區社會保障一卡通加密機制卡機讀卡器照相機統一發行統一設計統一制卡
全區集中式社會保障卡管理系統社會保障卡數據庫信息采集子系統集中式社會保障卡系統社會保險系統緊耦合松耦合社會保障卡系統(七個子系統)支撐卡中心社會保險數據庫人力資源數據庫公安人口數據庫金融卡數據庫接口接口緊耦合
人力資源系統生產子系統發放子系統補換卡子系統接口子系統查詢子系統安全子系統社會保障卡中心全區集中式社會保障卡數據庫
小型制卡設備大型制卡設備公安人口庫全區集中式社會保障卡管理系統
照片公民身份信息統一社會保障卡照片采集標準像素358×441印制規格26mm×32mm分辨率350dpi白色背景紙質照片數字照片已開展社會保障卡數據整理工作,整理姓名、照片等個人基本信息。從公安庫獲取全區一卡通應用讀卡器密碼鍵盤一卡多用一卡通用醫保即時結算大集中數據庫支撐
人社待遇發放金融功能擴展功能一體機人手一卡記錄一生管理一生服務一生加密機
跨部門共享機制民政醫療機構金融機構審計地稅工商技術監督郵政自治區人口基礎信息庫自治區地理信息庫自治區法人基礎信息庫自治區人體生物特征信息庫公安教育
電話服務平臺政策咨詢信息查詢業務經辦投訴建議人事考試、職業技能鑒定等業務養老保險繳費比例、醫療保險繳費等政策一地呼入、全區咨詢人社賬戶查詢、人社卡申領進度查詢等受理勞動監察投訴舉報坐席人員達到106人,人工接電量達到31.7萬,電話咨詢總量已達到217萬,統一的社會保障卡卡面全區統一:無地區標識照片采集標準:全區統一。卡內結構:聯網交易,存儲個人基本信息。TextinhereTextinhere20多種非標準卡片:覆蓋人群有限;應用領域僅限于醫療保險業務;無法異地讀取各類卡片,更不能辦理異地業務;卡片數據未經公安實名校驗。統一為全區7000多家醫院、藥店、經辦機構配發標準社會保障卡讀卡器一萬余臺。集中建設統一發行原有各類卡片兼容使用自治區大集中基本信息庫集中制卡個人化中心制卡集中式社會保障卡管理系統社會保障卡應用環境改造情況地區卡片類型人社經辦
機構數量定點醫院
數量定點藥店
數量讀卡器型號自治區本級memory4428卡1125220建行pos機呼和浩特市memory4428卡
memory4442卡
一代社會保障卡383226明華DP-123-SB-11-NM包頭市非標準cpu卡11141504華旭/Z9
賽爾瑞/TT6鄂爾多斯市一代社會保障卡7258551明華DP-123-SB-NM
明華DP-124-SB-NM
明華DP-125-SB-NM烏海市磁條卡
非接觸式cpu卡14300pos機阿拉善盟memory4428卡13103315明華RD-ET巴彥淖爾市memory4428卡15078明華RD-KB烏蘭察布市非標準cpu卡
一代社會保障卡3650250明華DP-123-SB-NM
明華DP-124-SB-NM
明華DP-125-SB-NM錫林郭勒盟一代社會保障卡2785380DP-R133/233二連浩特市一代社會保障卡1223DP-R133/233通遼市memory4428卡15169287明華RD-ET
明華DP-123-SB-NM呼倫貝爾市一代社會保障卡
memory4428卡23329799明華DP-123-SB-NM滿洲里市memory4428卡1976德生TSW-F2興安盟一代社會保障卡
memory4428卡258391539未上報赤峰市一代社會保障卡
memory4428卡13851354握奇w1563
德生TSW-F2
安寧DR600/601/60220多種不同結構的非標準醫保卡兼容使用全區7800多家定點醫院藥店統一改造完成統一更換標準開放兼容的通用讀卡器異地就醫直接結算管理平臺備付金管理撥付管理資金對賬報表統計結算中心即時結算墊付查詢統計結算對賬異地就醫申請異地就醫即時結算異地就醫人員異地就醫直接結算平臺兩定機構備付金管理結算確認稽核網上申請網上審批全流程電子化監管統一三大目錄(19226種藥品、8694種診療設施、5333種醫療耗材)盟市醫保智慧人社系統詳細設計4人社解決方案人社征信大數據醫療保險養老保險失業保險公共服務人事考試工傷保險社保征信數據系統實名制身份認證待遇領取資格認證待遇領取簽到認證人社公共服務應用平臺實名制身份認證待遇領取資格認證4人社解決方案——養老認證養老保險認證—建設項目多重生物特征識別技術+養老保險;結合智能終端與養老保險業務中的應用;建設基于生物識別的身份認證平臺;全面掌握參保人員生存狀況,為養老金發放提供依據;封堵社保基金流失黑洞;有效提升社保部門的身份認證工作效率;避免離退休人員每年認證時的舟車勞頓。養老保險認證—建設內容養老保險認證—認證流程申請退休進行退休待遇審批生物特征建模互聯網認證(家庭、網吧等)手機認證(隨時隨地)經辦機構認證(經辦機構)固定式智能終端(經辦機構)通過——發放養老金養老保險認證—應用渠道社保經辦機構銀行網點網絡覆蓋區域集中認證日常認證上門認證日常認證網絡覆蓋區域4人社解決方案——醫保認證醫療保險認證—建設目標多重生物特征識別技術+醫保;結合智能終端與醫保業務中的應用;建設基于生物識別的身份認證平臺;監管兩定機構、參保人員、醫師;建立風控稽核分析;實現醫保服務過程監管;打擊醫保違規行為。醫療保險認證—建設內容人員基礎信息庫多重生物特征庫生物識別引擎(人臉、指靜脈、指紋)醫療保險身份認證系統
&
風控行為分析系統住院認證日常認證大額認證抽查認證出院認證特殊門診異地就醫應用場景醫療保險認證—業務功能2住院登記認證出院認證X日常診療認證日常抽查認證大額診療認證{任意組合醫療保險認證—應用渠道移動認證柜面認證自助認證適用于醫保稽核人員、醫護人員移動認證適用于醫護人員協助認證適用懸掛在病房門口,由病患者自助認證便攜式認證終端M320人臉識別認證終端F310壁掛式認證終端W3204人社解決方案——工傷認證工傷認證—建設目標多重生物特征識別技術+工傷待遇認證;建設基于生物識別的身份認證平臺;為工傷保險工地簽到、待遇發放認證、工傷住院認證等提供有效手段;規范工傷醫療報銷與工傷補助津貼發放;保障工傷保險基金安全;工傷認證—建設內容經辦PC/嵌入式終端便攜式服務終端異地認證終端標準接口業務系統工傷認證—應用終端移動認證柜面認證自助認證適用于工傷參保人員待遇領取認證、工地簽到、工傷輔助器材申領認證等。適用于工傷參保人員待遇領取認證、工地簽到、實名制住院認證、工傷輔助器材申領認證等。適用于工傷參保人員工地簽到認證、待遇領取認證等。智能認證終端P320人臉識別認證終端F310壁掛式認證終端W3204人社解決方案——失業認證失業認證—建設目標多重生物特征識別技術+失業待遇發放建設基于生物識別的身份認證平臺為再就業培訓提供數據依據建立長效機制對失業金發放進行審計和預警保障再就業培訓質量保障失業保險基金安全失業認證—建設內容人員基礎信息庫多重生物特征庫生物識別引擎(人臉、指靜脈、指紋)失業保險身份認證系統失業保險金待遇領取認證應用場景再就業培訓認證失業認證—實現方式失業認證—應用終端移動認證柜面認證自助認證適用于失業人員待遇領取認證、簽到認證等。適用于失業參保人員待遇領取認證、簽到認證等。可掛在社區經辦,用于失業人員進行簽到認證。智能認證終端P320人臉識別認證終端F310壁掛式認證終端W3202人社解決方案——人社公共服務公共服務—建設目標一個標準:建立統一技術標準和數據規范,確保與五險業務系統、卡管系統、全民參保登記系統、生物識別實名制認證系統實現信息共享和互聯互通。二個數據庫:建立數據交換數據庫和公共服務數據庫,在各項公共服務開展的同時確保實現實名制業務辦理,同時基于公共服務數據庫實現大數據分析功能,為領導決策提供基礎數據支撐和技術支撐。三個系統:建立數據交換系統(人社、衛生、金融、公安、民政)、公共服務系統(信息發布、網上辦事及公共服務ESB)和公共服務支撐系統。四種服務渠道:大力推進自助服務一體機渠道、便民POS終端渠道、智能手機渠道和互聯網渠道。公共服務—建設目標建設公共設施提供公共產品發布公共信息發展公共事業公共服務—應用渠道便民服務終端智能APP自助服務一體機4人社解決方案——人事考試人事考試—建設目標建立人事考試身份認證系統,采取生物識別的方式確定考生身份及考試資格。簡化考生身份認證工作流程,提高認證效率,為人事考試機構對象提供更優質、更高效的考生身份認證服務。同時利用人臉識別技術整合和優化人事考試業務模式,建立考生身份可追溯環節,為監考人員對于可疑考生的重點排查以及事后舉證提供幫助。在人事考試中,利用生物特征配合準考證,防止考試因遺失、遺漏準考證而不能參考的情況發生。人事考試—建設內容認證引擎
(人臉識別、OCR證件識別)數據交換網上報名系統人事考試業務系統考生基礎信息人臉特征庫網絡環境支撐硬件基礎軟件安全環境容災模板中心認證中心權限中心配置中心運維中心考生網上報名核驗考生人證庫比對離線數據下載上傳基礎設施數據層計算層支撐層應用層終端層報表統計分析生物識別身份認證管理平臺人事考試認證管理人事考試—應用渠道便攜式認證終端M320智能認證終端P310壁掛式認證終端W320人臉識別智能閘機G310人證通一體機D340智能視覺攝像機CF360各類考點人事考試報名機構、各類考場人事考試報名機構、考點教室門口標準化考點各類考場各個考室或考點通道口4成功案例全國退休人員異地身份認證平臺■解決全國170萬異地退休人員的待遇資格認證難題。■大大降低社保機構異地協助認證的協調和運營成本。■惠民便民,避免參保人員在認證途中的舟車勞頓。隨時隨地自助身份認證解決全國18萬軍人專業自主擇業待遇領取人員身份認證的難題資格領取身份認證平臺為異地居住的自主擇業軍轉干部帶來很大便利為國家做好軍轉安置工作起到了積極的作用生物特征庫與養老保險身份認證平臺湖南省人力資源和社會保障廳安徽省人力資源和社會保障廳遼寧省人力資源和社會保障廳廣東省人力資源和社會保障廳重慶市人力資源與社會保障局……內蒙古自治區人力資源和社會保障廳吉林省人力資源和社會保障廳河北省人力資源和社會保障廳貴州省人力資源和社會保障廳廣西壯族自治區社會保險事業局…….建立省級生物特征模板庫建立省本級養老保險系統統一全省的社會保險生物識別認證規范>>>>生物特征識別身份認證平臺養老保險醫療保險工傷保險失業保險長沙市人力資源和社會保障局蘭州市人力資源和社會保障局南寧市人力資源和社會保障局……廣州市人力資源和社會保障局合肥市人力資源和社會保障局南昌市人力資源和社會保障局黃山市人力資源和社會保障局…….多險合一統一認證提供多渠道(手機、PC及自助認證終端)認證方式遏制社保基金流失的風險與省級平臺實現數據集中共享大數據分析平臺發展演進及建設重點大數據分析平臺演進路線以基礎平臺搭建為主,配合智慧人社大數據初期業務開展,應用建設從客戶信息管理、風險管理和運營管理三方面開展搭建大數據處理平臺和實時分析平臺,應用方面開展實時分析和數據產品封裝開展客戶信息管理、信用風險評級和業務統計分析三類應用建設開展貼源數據整合,初步建立企業級數據視圖,實現對管理分析類應用和實時分析類應用的支撐規劃數據管控藍圖,初步實施數據質量和技術元數據管理2013年2014年——2015年2015年以后對企業價值的創造應管技業務分析框架基礎數據平臺數據管控體系應技管全面開展內部管理分析、實時分析和沙盤演練應用建設,初步展開增值數據產品開發工作全面開展大數據分析平臺建設,引入更多數據源,豐富并完善平臺數據區建設隨著應用體系的搭建,完善數據質量和元數據建設,開展數據標準化工作應技管深化分析體系,形成深度智能化業務分析性能持續優化、數據平臺持續完善、持續深化數據管控體系,形成智慧人社大數據企業級的數據管控體系應技管一期2013.10當前位置未來持續優化提升階段第一階段第二階段第三階段大數據分析平臺演進說明——基礎數據平臺階段劃分建設內容預期效果第一階段搭建數據交換平臺,部署NAS存儲集群,設計并實施數據庫交換組件和數據區交換組件搭建基礎計算平臺,設計并實施貼源數據區,以T+1頻率整合XXX社會保障局和人社業務數據搭建歷史歸檔查詢平臺,歸檔XXX社會保障局和人社業務數據文件搭建內部管理分析應用平臺,部署MPP集群和BI分析應用環境搭建實時分析平臺,部署內存數據庫和實時BI分析環境實現了數據平臺內部個數據區之間、數據平臺與外部系統間的雙向數據傳輸實現了業務數據按照貼源數據模整合實現了數據按照生命周期的歸檔管理實現了內部管理分析環境搭建實現實時分析環境搭建第二階段數據交換平臺增強和優化,包括:大數據交換組件設計實施基礎計算平臺增強,包括:引入更多的數據源,增強貼源數據區;設計并實施主題數據區,打破業務條線整合數據;設計并實施大數據區,實現企業內外部非結構化、半結構化數據加工、處理搭建沙盤演練平臺實時分析平臺增強和優化,包括:引入更多應用及相關數據源實現了基礎數據一次存儲、一次計算、多次使用建立了數據分析人員的實驗環境,實現了用戶自主用數為實時、準實時類分析用提供平臺為封裝、銷售數據類產品提供了平臺第三階段基礎計算平臺持續增強和優化,引入更多的數據源、優化模型和ETL處理搭建增值產品平臺,設計并實施增值產品數據區數據交換平臺、沙盤演練平臺、實時分析平臺進一步增強和優化數據平臺納入盡可能多的企業內外部數據數據平臺以最優的性能支持各類數據應用大數據分析平臺演進說明——數據管控階段劃分建設內容預期效果第一階段分析和梳理當前數據管理方面的成果和現狀,數據管控藍圖和路線圖設計,數據管控工作的組織、技術和流程高階設計梳理智慧人社大數據大數據平臺ETL流程各環節的數據質量要求,指定數據質量檢查規則、評價指標、管控流程,并落地實施數據質量管理系統梳理智慧人社大數據大數據平臺包含的技術元數據,如:數據字典、ETL任務、ETL流程、BI語義層等,制定相應的管控流程并落地實施元數據管理系統同步大數據分析平臺ETL建設,實現了數據質量管理系統收集并整合了智慧人社大數據所有技術元數據,實現了數據生命周管理、血緣分析和影響分析等功能第二階段隨著更多數據源的引入,進一步增強數據質量管理系統隨著更多數據源的引入、更多平臺的建立,梳理并整合更多技術元數據梳理智慧人社大數據大數據平臺包含的業務和管理類元數據,如業務術語、業務指標、業務定義等,制定相應的管控流程并落地實施元數據管理系統開展基礎類數據標準建設,基礎數據標準、管控流程、評價指標、落地策略完善了數據質量管理體系,實現了問題及時發現、及時解決實現了智慧人社大數據全方位的元數據管理,打通了業務和技術元數據關聯關系為智慧人社大數據數據平臺建設提供了基礎類數據標準第三階段數據質量管理持續優化并增強元數據管理持續優化并增強基礎類數據標準逐步落地實施開展指標類數據標準建設基礎數據標準、管控流程、評價指標、落地策略通過完善的數據管控體系,提升數據質量、避免數據二義性、建立數據間的血緣關系,使得業務人員可以方便、有效的使用數據,提高數據實用性大數據分析平臺演進說明——應用體系階段劃分建設內容預期效果第一階段開展客戶信息管理建設,設計并實施個人客戶和供應商360°視圖、客戶目標搜索、客戶細分等功能開展風險管理建設,設計并實施供應商和個人客戶風險評級模型開展運營管理建設,設計并實施供應鏈人社、人人貸等業務條線業務量統計分析初步梳理實時、準實時分析需求,進行高時效分析應用試點可以方便的對個人客戶和供應商進行分群,以及全方位信息查詢和展示供應商和個人客戶風險等級評定針對目前開展的業務進行經營情況統計分析搭建并驗證高時效應用體系第二階段隨著智慧人社大數據業務的展開,逐步開展內部管理分析體系的建設,本階段重點為客戶關系管理、運營管理等高級業務人員利用沙盤演練平臺進行數據挖掘、預測和科學試驗進一步樹立實時、準實時分析需求,深化開展高時效分析應用開始梳理市場上的數據應用需求,嘗試封裝增值數據產品通過內部管理分析體系的建設、滿足了智慧人社大數據日常經營管理、決策分析和進一步提高價值創造力的需要實現了業務人員自主用數實現了高時效分析,與業務流程的整合實現了數據產品的封裝,提升了數據價值第三階段隨著智慧人社大數據業務的展開,進一步完善內部管理分析體系的建設,包括:市場風險管理、操作風險管理、財務管理等收集實時分析需求,進一步增強并優化實時分析應用體系增值數據產品設計逐漸成為重點,數據分析師收集企業內外部數據需求,設計更完善的增值數據產品通過內部管理分析應用體系建設進一步實現數據共享、業務協作與創新通過實時分析應用體系建設,實現大數據平臺業務系統的交互,與業務流程的融合增值數據產品的開發進一步發揮的數據平臺的數據價值智慧人社大數據分析平臺一期架構基礎計算平臺:基于Hadoop集群構建,按照業務條線、以貼源數據模型存儲了業務系統明細數據數據交換平臺:NAS集群實現了進出數據平臺數據的暫存,業務數據交換組件實現了業務系統每日增量數據加載,數據區數據交換組件實現了基礎計算平臺與管理分析平臺間的數據交換流程調度平臺:自主開發的流程調度引擎實現整個數據平臺的數據處理任務調度和運行管理分析平臺:由X86分析型數據庫集群、BI軟件1J2EE應用構成,實現了面向應用的數據加工、管理、分析服務實時分析平臺:由高檔X86服務器組成的集群,實現高時效、高并發的實時、準實時類管理分析需求數據交換平臺—參與方責任劃分設計并實施云數據推送平臺;按照智慧人社大數據接口定義,抽取業務系統數據;按照智慧人社大數據接口規范要求,按時生成數據文件、控制文件和DDL文件,并通過FTP傳輸到NAS指定目錄;若源系統有變更,則要求在變更前提供變更內容說明,升級平臺版本,根據智慧人社大數據更新接口規范提供數據;應及時解決接口數據提供過程中出現的問題;對于未盡事宜,應同智慧人社大數據協商解決。云計算安裝部署智慧人社大數據大數據分析平臺物理環境、應用軟件,并進行基礎設施運維;在業務系統數據庫服務器安裝并部署云數據推送平臺客戶端,并提供數據庫訪問。運維部門制定接口規范,并提交給云數據推送項目組;梳理業務系統數據字典,制定接口定義,并提交給云數據推送項目組;開發數據交換組件,從NAS獲取數據并處理;對接收的數據提供驗證功能,并返回驗證結果到云數據推送平臺;根據云數據推送平臺提交的變更通知修改接口定義和數據交換組件;對于未盡事宜,應同云計算方協商解決。智慧人社大數據針對智慧人社大數據需求,指定接口人、提供文檔;業務系統因版本升級等原因導致數據模型發生變化,及時通知云數據推送平臺接口責任人。研發部門數據交換平臺—業務系統數據抽取實現方式每張源系統表都對應一個獨立的數據接口數據接口由數據文件和控制文件構成(文件命名和具體內容參見接口規范)文件統一采用UTF-8編碼,統一存在在JSS指定目錄(參見接口規范)如果在抽取周期內沒有數據變更,云數據推送平臺應該生成空的數據接口傳輸方式FTP傳輸,利用LVS技術構建FTP集群,接收數據傳輸頻率云數據推送平臺通常按照T+1頻率為智慧人社大數據提供數據,具體頻率要求參見接口定義接口處理模式云數據推送平臺根據不同接口單元定義,準備數據、生成接口數據文件;云數據推送平臺根據接口規范生成相應的接口控制文件;云數據推送平臺壓縮數據(LZO),并通過FTP將數據接口存入NAS指定目錄;智慧人社大數據分析平臺部署在不同加載服務器上的數據交換組件完成:定時輪詢NAS指定目錄,獲取接口(包括數據文件、控制文件和DDL文件);執行文件級檢核;通過檢核后,將數據文件和控制文件移動到NAS集群指定目錄,觸發后續ETL處理;在TaskAutomation調度下執行數據加載和數據歸檔任務。數據交換平臺—平臺部署架構數據交換平臺由8臺X86服務器和一個NAS集群構成X86服務器按照功能分為2組,一組實現數據獲取,一組實現數據加載和歸檔NAS集群作為公共數據區,由8臺服務器共享訪問(讀寫)PythonruntimePythonJSSModuleFTPRedhatLinuxLVS服務器4HDFSClientHive加載任務歸檔任務RedhatLinux加載服務器1HDFSClientHive加載任務歸檔任務RedhatLinux加載服務器4LANPythonruntimePythonJSSModuleLVSRedhatLinuxLVS服務器1…………NAS集群負責源系統數據文件加載和歸檔每臺服務器負責多個源系統支持按需擴展/減少服務器LVS1負載均衡其它LVS服務器負責接收接口文件,寫入NAS集群目錄支持按需擴展/減少服務器部署數據交換平臺和流程調度平臺程序,各服務器通過文件鏈接使用按日期和源系統建立數據目錄,緩存每日接口文件,供交換平臺訪問流程調度平臺—平臺邏輯架構TaskAutomation驅動各個平臺、實現從數據存入NAS平臺到數據集市生成整個處理過程的工作流管理數據交換平臺負責數據抽取、文件級質量檢核、調用HiveLoad加載數據基礎計算平臺使用HiveSQL實現貼源數據整合、公共匯總數據處理管理分析平臺使用關系型數據庫的SQL實現集市數據的處理歷史歸檔查詢平臺負責數據文件和Hadoop集群數據歸檔流程調度平臺—流程調度元數據TaskAutomation的元數據統一存儲在MySQL數據庫中任務定義,包括任務名稱、描述、運行服務器、運行狀態、運行時間、相關數據源等屬性任務依賴,任務的執行依賴與其他上游任務任務觸發,任務成功執行后觸發的下游任務任務組,一組有相互關系的任務,全部完成后會觸發頭任務運行……元數據由所有流程調度服務器共享流程調度平臺—任務調度引擎通過偵測器偵測事件,按照任務定義和任務依賴關系觸發任務運行,觸發方式把主要包括自動觸發定時觸發,按照預先定義的時間周期,如每日、每周、每月,或任何有規律的時間間隔執行任務。目前可明確的任務主要是每月執行的基礎計算平臺、管理分析平臺數據歸檔。事件觸發,按照特定的事件觸發、執行任務。如:數據文件到達指定目錄,會觸發數據加載任務。同樣,流程失敗也會觸發新的job,如錯誤處理、例外處理等。手動觸發系統管理員可以使用TaskAutomation提供的界面或命令接口執行一些job。這些job的功能通常包括對特定范圍的數據進行審計與驗證、對特定范圍的數據進行針對性很強的數據清洗、或者是對某流程失敗后的修復。每個要執行的任務均由任務執行代理啟動運行流程調度平臺—集群可靠性和可擴展性高可用性流程調度所需的元數據信息統一保存在MySQL數據庫中,集群中任何服務器發生故障不會破壞元數據完整性。服務器故障時,只需要修改ETL任務屬性,指定其他服務器執行任務即可,故障不會影響任務依賴關系、任務組關系。擴展能力流程調度集群由多臺服務器構成,按工作負載劃分不同角色,分別實現ETL處理過程中不同類型任務的調度。當某類調度工作負載較大時,可通過增加服務器的方式,實現集群的橫向擴展流程調度平臺—平臺部署架構流程調度平臺由八臺X86服務器構成,服務器按照功能分為兩類兩臺X86服務器部署MySQL數據庫集群,存儲流程調度元數據六臺X86服務器部署流程調度引擎,負責各數據區數據處理流程調度與運行TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient臨時/歸檔區調度服務器1TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient貼源區調度服務器TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient匯總區調度服務器TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient臨時/歸檔區調度服務器4MasterNodeMySQL主服務器MasterNodeMySQL從服務器……LANMySQL主-從集群,存儲臨時區、歸檔區、貼源區和匯總區數據處理任務定義,任務依賴關系按數據區劃分工作流,工作流不跨數據區臨時區數據處理的工作流部署在數據交換換平臺的加載服務器貼園區和匯總區工作流分別部署獨立的服務器基礎計算平臺—平臺邏輯架構基礎計算平臺基于Hadoop集群搭建集群采用標準的X86服務器集群彈性架構,按需分配計算資源,支持添加X86服務器的方式實現橫向擴展集群中的數據保留三份,保證任何節點故障,不影響集群對外提供服務基礎計算平臺有三個數據區構成臨時數據區,緩存當日源系統變化(新增、修改、刪除)數據,支持后續ELT數據處理貼源數據區,按照源系統數據模型整合的明細歷史數據,作為基礎數據層實現數據一次
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
評論
0/150
提交評論