IBM大數據平臺處理方案引見

Dalian,11March,2021XiaoFeiWang1.工程背景了解IBM大數據平臺處理方案當前業務面臨的挑戰數據問題慢缺重散繁差企業內數據定義缺失；數據項缺失；數據屬性不完好；企業外部數據無暇顧及；數據在多個系統中反復采集、反復存儲；系統數據無法關聯、共享，數據整合困難；系統林立，數出多門；數據時效性差，運用者無法及時獲得所需信息；數據運用不方便，方法繁瑣；手工報表多；數據質量差，數據不完好，數據不一致；業務支持TextText網絡運營決策與報告風險管理產品運營營銷支持精細化管理對運營商價值鏈的影響數據問題長期存在將導致：對本身情況摸不透對運營環境看不清對市場先機抓不住對未來競爭贏不了制約妨礙沒有準確數據支撐難以進展深度分析決策缺乏可靠根據IT如何推進公司運營變革2、效力管控方式逐漸完善夯實根底管理管控思緒由簡單支撐向精細效力轉型全面優化信息化效力流程實現分級效力保險行業經過多年的開展，整個行業的變革越來越快，市場競爭環境也日益猛烈。保險公司想要在殘酷的競爭中占得先機，就必需思索產業的交融，并在價值鏈中占得有利的位置。1、由被動的IT支撐向自動的以數據為中心的IT效力轉型以大數據為中心組織IT效力才干繼續完善根底支撐才干擁抱互聯網架構體系全面云化大數據思索根據Gartner的定義，大數據的特征詳細涵蓋了3V的內容：數據量龐大〔Volume〕：從PB擴展到ZB；IT系統、互聯網、物聯網等每天都在產生大量新生數據，過去的兩年間產生的數據占到了一切數據的90%數據變化快(Velocity)：數據變化與處置的頻度由天加速到秒/毫秒；訂單、支付、欺詐、微博、監控視頻、傳感器、信令每時每刻都在不停的產生數據數據多樣〔Variety)：數據種類繁多：數據庫表，格式文本，自然言語文本，電子表格，聲音，圖片，視頻……數據規模大數據范圍廣數據加工深化數據效力對象全面數據類型多數據管理復雜消費系統數據網元等設備數據平臺自生數據外部互聯網數據……10PB級+指數級快速增長構造化、非構造化靜態、動態……在線、近線、離線高性能、低本錢、高質量、可追溯……企業內部〔管理層、執行層、一線營銷群體等〕企業外部〔客戶，協作同伴，供應鏈、政府部門等〕內部消費系統……信息轉換知識沉淀價值發明……數據成為公司中心資產和中心競爭力，將被設計用于在本錢可接受〔economically〕的條件下，經過快速〔velocity〕采集、發現和分析，從大量化〔volumes〕、多類別〔variety〕數據中提取價值〔value〕大數據運用價值可以從公司側和客戶側表達客戶：精準效力及時呼應智能運用透明管控圍繞大數據運用，促使公司實現科學運營、價值發明以及透明管控，一方面能使得公司側感知到大數據帶來的管理、決策、運營效率和質量的提升；另一方面，可以使客戶感知到大數據帶來業務開發的智能、效力及時以及與需求匹配的精準?？茖W運營價值發明企業：開發便利分析及時決策支持數據準確…大數據平臺客戶2.大數據平臺需求了解IBM大數據平臺處理方案大數據平臺的關鍵需求角色流程數據運用數據分類市場營銷產品開發客戶管理客戶洞察……決策類活動管理類活動執行類活動分析類活動構造化了企業架構中四大架構的關鍵要素，以及要素間的承接關系，構成了一套規范、明晰的定義，從而為大數據平臺的方案設計建立了更明確的指點根據和驗證方法。柔性架構的大數據平臺企業架構方法論和云計算技術讓建立柔性架構成為能夠，基于企業架構元模型，建立柔性的架構需求實現業務、運用、數據、技術四個架構層面的解耦。業務—運用/數據：業務活動在業務架構和運用架構(大數據平臺)間具有承上啟下的作用，可從業務類型和業務活動類型兩個維度劃分，前者表達業務差別，后者更多表達數據平臺才干要求，且可以穩定地分為決策類、管理類、執行類和分析類四種，因此業務與IT的解耦可從四類業務活動支撐實現。運用—數據：運用和數據共同承接了業務，數據實體也承接了運用交互，因此二者解耦的中心是數據實體。這可以經過建立穩定的、彈性的企業企業級大數據模型、數據整合與存儲區域，保證未來運用對數據操作的可擴展，以及屏蔽了運用對底層數據直接訪問的數據效力加以實現。運用/數據—技術：系統組件承接了運用和數據，因此要實現該層面的解耦，需求處理系統組件對運用的依賴，可經過建立運用開發平臺、數據交換平臺和數據管控平臺來實現。同時基于云計算的彈性擴展和虛擬化技術實現系統組件與根底設備的解耦。大數據平臺才干需求分析——決策類業務活動識別問題或對決策的要求分析和闡明方案做出選擇追蹤和反響決策結果傳達和執行決策決策就是為到達某一目的而在假設干個可行方案經過分析、比較、判別，從中選擇并賦予實施的過程據諾賓斯泰〔Robenstein〕將決策過程定義為五個步驟大數據平臺的中心是數據，從數據生命周期看，大數據的生成、獲取、整合、效力、運用、歸檔各個步驟分別有著不同的目的，并面臨不同的問題從決策類活動過程和數據生命周期兩個維度，對大數據平臺的決策類活動的支撐才干需求進展分析經過優化技術選擇滿足約束條件的最優方案4V產生運用獲取整合效力歸檔運用經過仿真技術進展各種方案的預演與細化整合案例類、規那么類知識支撐規那么制度信息查詢實時/準實時數據捕獲客戶行為捕獲企業/用戶互聯網數據捕獲運用效力獲取整合大數據的存儲和管理海量數據的快速分析海量數據的快速獲取歸檔整合效力運用歸檔獲取整合效力運用歸檔獲取效力歸檔實時/準實時數據捕獲互聯網數據捕獲冷數據的近線訪問快速的數據效力執行簡便的數據效力運用非構造化數據的發掘和分析快速的數據轉儲和歸檔高可用的數據支撐建立柔性的架構支撐個性化運用開發支撐最終用戶自定制的數據效力與消費系統在功能和數據分工上明晰合理與消費系統的及時交互決策執行業務活動中的數據支撐大數據平臺才干需求分析——分析類業務活動業務了解數據了解數據預備模型部署數據建模分析類活動是經過對數據的深化分析，力求獲得更深化業務洞察的過程，參考DM-CRISP數據發掘方法論，包括業務了解、數據了解、數據預備、數據建模、模型評價和模型部署六個步驟4V產生運用獲取整合效力歸檔運用整合運用效力獲取整合歸檔整合效力運用歸檔獲取整合效力運用歸檔獲取效力歸檔模型評價運用整合獲取效力歸檔歷史數據探查和分析海量數據的快速獲取方便準確的數據抽樣才干探求數據可方便歸檔和恢復非構造化數據、實時數據的獲取海量數據的獲取非構造化數據與構造化數據的整合流數據概要數據與構造化數據的整合海量數據的處置才干非構造化數據分析才干海量數據分析才干支撐不同分析的數據寬表寬表數據歸檔豐富的數據發掘算法建模過程中的模擬仿真仿真結果的優化計算調用API進展模型訓練才干豐富的數據計算和可視化分析模型可以導出為可直接運用的評分條件，如SQL評價數據可以嵌入到模型評價中，經過外部調用發現曾經退化的模型模型分析結果的快速回寫模型評價數據集的提取模型分析結果嵌入到消費系統中模型分析源數據的預處置與獲取大數據平臺關鍵才干需求——運用開發與運轉當前總部BI系統的數據運用需求包括業務部門的方案性業務支撐需求和大量的暫時性支撐需求，以及IT部門本身規劃中的方案性支撐需求；省公司經分系統也需求支撐來自業務部門和IT部門的大量支撐需求，同時要完成集團下發的IT規范要求未來省公司數據集中后，大數據平臺將必需承當省分公司和總部的全部數據運用效力需求省分公司當前數據運用需求集團總部當前數據運用需求省公司經分系統總部BI系統業務部門IT部門集團指點IT部門業務部門集團下發規范支撐需求暫時支撐需求方案業務支撐需求方案IT支撐需求暫時支撐需求省公司指點方案業務支撐需求方案IT支撐需求數據運用需求急速增長總公司IT增長緩慢省公司IT投入有限平臺開發方面：如何支撐急速增長的數據運用需求平臺執行方面：如何保證海量大并發的數據訪問需求和海量數據處置的性能要求大數據平臺將面臨兩大挑戰IT人力緊張IT系統擴容難IT投入效益難保證大數據平臺關鍵才干需求——更直接的決策支持未來大數據平臺當前BI系統構造化決策：庫存控制半構造化決策：套餐設計非構造化決策：產品外觀設計鴻溝知識庫(現實知識、規那么知識、案例知識)OLAP運用數據發掘運用固定報表運用靈敏查詢運用數字儀表板知識庫(現實性知識)DWDDWAODS最優解績效度量數據發掘模型輸入參數模型的建立基于預先假設模型所需數據事先確定知模型是靜態的模型的數學方式很完善，但往往不能符合實踐業務情況數據發掘模型仿真模型隨機輸入量終端補充量Q輸入參數績效變量約束條件決策方案目的函數DWDDWAODSDMDMDM非構造化數據數據發掘模型仿真模型優化模型3.大數據平臺定位分析IBM大數據平臺處理方案前期初步確立的大數據平臺目的技術架構目的架構：擁抱互聯網、運用云計算技術，建立開放的基于SOA架構的中國企業集中化云數據效力支撐平臺，面向全國各級運營主體和總部集中平臺提供大數據、分布式、實時智能數據效力支撐與客戶呼應，并注重公共數據、公共才干的一點沉淀與全網共享，實現基于特定對象、特定需求的個性化自主定制、靈敏組件組裝，高效實現一級系統多維運用多級支撐總部目的集中消費系統運用一致訪問門戶透明管控科學運營價值發明消費類運用SaaS〔軟件〕中間件即效力業務即效力ESBBPM組件集1……組件集2…組件集3報表工具聯機分析工具發掘工具PaaS〔平臺〕數據即效力DW分析類數據消費類數據ODS/MDM一致IaaS效力接口小型機X86效力器高端存儲中低端存儲網絡資源IaaS〔資源〕…SDK開發平臺生命周期管控數據質量管控數據平安管控元數據管控目的體系一致視圖CUBE開發工具近線區歸檔ETL元數據圍繞三個維度：透明管控、科學運營、價值發明強調開放靈敏：基于開放業務組件、運用開發平臺、公共運用模型等構建，靈敏支撐個性化運用開發、部署和推行實施五項管控：數據模型與規范、數據質量、數據平安、元數據、數據生命周期推行五個一點：一點源頭采集、一點加工轉換、一點存儲、一點分析發掘、一點效力提供數據模型規范管控基于技術架構目的，參與大數據平臺建立的驅動力分析類系統應該建立多少數據庫，多少種數據庫保證數據從省分及時向集團提供準確獨一數據現存問題在一個框架下有效支持5級體系的個性化開發和共性開發提供多種方式數據效力提供方式，并有效執行數據運用數據效力數據交換采集數據整合數據存儲數據管控新興技術流數據處置架構和體系桌面云管理技術IaaS、PaaS，SaaS，DaaS等云管理技術內容數據處置架構和體系提供多廠商、多系統的一致開發平臺…………大數據平臺應具備的技術支撐才干10962數據捕獲數據效力大數據產生知識沉淀數據消亡明晰的整合層次和加工時效海量數據、非構造化數據、實時流數據等多樣化的存儲與管理Gartner于2021年7月提出大數據管理中：“列式存儲數據庫、云計算和內存數據庫在未來5年內將是3個最重要的技術〞數據價值104數據整合3數據處置14業務信息8系統支撐5數據分析11數據冷卻13數據歸檔表示12近線存儲7數據展現大數據生命周期時間大數據平臺將借助云計算的快速可擴展性、規范化效力、自助效力等特征，強化大數據的獲取、處置、整合、分析、效力等技術支撐才干，促進矯捷化、個性化的數據運用開發，最終助力IT對業務轉型的推進。海量數據的識別和快速裝入數據分布流轉互聯網數據和客戶行為捕獲實時/準實時數據捕獲大量數據效力需求的快速開發支撐快速數據效力執行簡便的數據效力運用明晰的數據效力目錄數據效力運用記錄針對海量數據的高性能數據分析實時數據的即時分析非構造化數據的智能分析〔如網頁的標引、構造化解析，視頻、圖片的方式識別等〕高級分析算法海量冷數據〔包括實時、非構造化、構造化〕的存儲和管理戰略冷數據的透明訪問冷數據與熱數據的一致支撐操作型和分析型數據的一致歸檔快速的數據轉儲和歸檔數據的展現戰略個性化運用開發支撐共享運用快速部署對外部系統的支撐信息提煉以及對業務的支撐知識的組織、沉淀、管理和運用3V大數據平臺與周邊系統的關系大數據平臺與省分系統和總部系統的關系主要表達在功能分工協作和數據交換兩大方面，此處將大數據平臺作為一個黑盒子，重點關注數據平臺與外部系統的關系。大數據平臺總部系統ADBSID省分系統ADBSID功能分工與協作消費系統只保管與消費直接相關的、數據稽核〔比對〕相關的統計報表，其它全部整合到分析平臺上。直接相關可以從流程和數據兩方面調查，一系列延續業務活動，運用一樣數據的運用功能直接相關〔耦合度高〕，如結算中的話單數、本錢查詢，需求放在結算系統。不直接相關的統計、分析類運用，由大數據平臺經過數據效力，并在D域中一致建立運用進展支撐。數據交換普通情況下，D域中的分析類運用系統中不單獨存儲數據，系統所需的和系統產生的數據都存放在數據平臺的數據集市中。其中假設系統運用的數據較少，可以部門/省分數據集市；但假設系統涉及的數據很多，那么需存放在運用集市中消費系統運用的數據全部存放在消費系統中，當需求與大數據平臺發生共享數據時，那么經過數據交換進展。詳細交換周期方式可以是實時、準實時和分批交換大數據平臺的數據整合戰略是根據業務需求，按照數據模型定義和數據存儲周期的要求，集成消費系統中所需的部分私有數據和共享數據，而不是全部獲取和集成消費系統的共享數據集〔SID〕雖然是數據中心業務職能管轄范圍，但SID不屬于大數據平臺的管轄范圍，只是大數據平臺中的一個數據源，且SID與大數據平臺的數據交換是雙向的數據讀取數據交換數據交換大數據平臺在Cloud的位置大數據平臺:外圍關系：數據來源與消費系統的ADB，SID等；效力對象：數據運用、反響消費系統；中心內容：數據管理、數據組織、數據管控、數據效力；承載關系：IaaS一致承載構架；PaaS數據集與SID和ADB并列；PaaS技術效力集：互為補充；PaaS業務效力集：單獨構成面向分析業務效力集；大數據平臺針對異常復雜的大數據管理，而云計算為大數據管理提供了堅實的技術支撐。Cloud以數據為中心向上提供規范的封裝效力，以業務(流程)解耦為前提支撐消費運營、數據加工分析等運用。概括的說，Cloud是大數據平臺的載體，為其提供了根底運轉環境。4.大數據平臺總體架構設計IBM大數據平臺處理方案總體邏輯架構圖大數據平臺總部系統基于企業大數據平臺生態系統框架，總體架構可分為系統平臺和參與人兩大部分，其中系統平臺可分為大數據平臺、總部IT系統和省分IT系統，參與人可分為企業內部用戶、外部用戶、系統建立廠商系統建立廠商集成廠商實施廠商咨詢廠商信息提供商……省分系統圖例邏輯庫物理庫數據流控制流數據整合與存儲DW/DMODSCloud-i〔資源〕一致IaaS效力接口數據效力數據管控數據運用開發平臺規范化API分析模型SDK……工具軟件數據獲取非構造化數據企業內部用戶企業外部客戶總體邏輯架構圖數據運用運用開發平臺數據整合與存儲數據獲取大數據平臺消費系統數據效力運用集市總部系統備份文件備份文件備份文件備份文件省分系統備份文件備份文件備份文件備份文件數據管控數據歸檔近線區歸檔區明細類數據快照類數據日志類數據元數據快照類數據日志類數據參數類數據元數據明細類數據參數類數據元數據數據規范數據質量管理數據生命周期管理前置機前置機圖例邏輯庫物理庫部門集市ODSEDSB部門集市運用集市規范化API分析模型SDK……工具軟件EASB接入適配數據交換層數據處置層傳輸路由規范戰略管理交換管理平臺管理監控訴警作業管理處置邏輯定義獲取管理層非構造化數據流數據數據抽取數據轉換數據裝載省分集市省分集市省分集市知識庫DWADWD部門集市透傳通道ADBSIDADBSID效力接入高層效力視圖效力腳本效力數據接入效力管理總體物理架構圖IaaSSaaSPaaS物理資源實時流/批量ETL海量分析平臺歸檔區資源池虛擬化中低端存儲高端存儲小型機X86效力器提供可以滿足用戶需求的各類運用程序關注軟件架構與效力，提供應用在根底設備中進展計算所需求的各類效力提供系統運轉所需的計算與存儲資源運用一致訪問門戶SMP集群VMVMVM暫時性運用固化運用SMP+MPP+Hadoop小型機/X86SMP集群數據庫資源池網絡設備ComputeIntensiveApplicationsPlatformManagementConsolePlatformEnterpriseReportingFrameworkResourceOrchestratorLow-latencyService-orientedApplicationMiddlewareServiceInstanceManager(SIM)EnhancedMapReduceProcessingFrameworkDATAINTENSIVECOMPUTEINTENSIVEPlatformSymphonyCore大數據平臺方案設計關鍵點和相關方法論高可用數據提供數據全面性數據質量數據快速提供與分發數據整合分區與定位應該如何給大數據平臺劃分數據區，每個區的數據目的是什么應該分為哪些類數據整合區，有多少個數據庫，每個數據庫的定位是什么，必要性如何數據存儲本錢與性能海量、多樣性、實時數據的高性價比的數據管理在線、近線、離線數據的管理戰略易擴展的數據存儲架構支撐大數據業務戰略的運用框架自頂向下：五個一點要承接自底向上：從大數據4V特性，如何進展創新，真正實現IT對業務的推進IBM行業模型eTom與SIDIBM數據治理方法論DW2.0方法論企業信息工廠方法論維度建模方法論IBMBI方法論維度建模方法論IBMBI方法論Hadoop實施方案IBM企業架構(EA)方法論IBMCBM業務組件模型關鍵點方法論關鍵點描畫自助式運用開發支持開發人員的矯捷化開發支持最終用戶的自助式的查詢、分析和發掘IBMBI方法論工行數據大集中閱歷5.分項專題關設計思想及注點IBM大數據平臺處理方案數據獲取方案設計思想和關注點采集周期數據傳輸采集范圍數據模型采集技術采集方式采集方式聯動機制傳輸技術選擇企業現有數據模型+IBM行業數據模型+其它優秀實際，確立企業級邏輯數據模型結合逐漸實現一點源頭采集、覆蓋MBO全域全景數據，滿足橫縱向、內外部眾多數據源需求根據系統中不同數據類型的時間串口〔實時/準實時/日月〕確定合理的數據采集周期根據管理要求，確定數據的采集周期要求，并執行保證采集與源系統聯動，防止源系統變化影響根據數據類型、數據量、數據時效等特性選擇適宜的傳輸技術和戰略確定數據采集和傳輸過程中的關鍵問題點，監控采集能夠出現的問題。數據采集問題的排錯機制和容錯機制。系統現狀管理需求現狀系統時間窗口采集管控采集監控問題處置選擇適宜的采集技術，保證數據原生態、時效要求針對構造化/非構造化、海量數據并發處置、實時數據處置等要求，確定一致的和規范的數據采集方式數據分類數據分布傳輸數據整合與存儲方案設計思想和關注點數據整合基于業界近期研討進展，討論數據整合區域的根本劃分層次明確整合數據區中應該有多少個邏輯/物理數據庫，詳細定位SA、ODS、DWD、DWA、DM數據集進一步細分的戰略，實時中的建模戰略、參照方法論等建立方法操作型/分析型數據數據、構造化/非構造化數據、實時/非實時數據等不同數據類型的功能劃分和整合戰略各個數據集/庫中應該存放哪些數據，包括數據類分布和數據生命周期分布戰略；數據在不同數據集間的復制戰略，如數據集市能否全量保管DWD中的CDR數據存儲大數據的3V特征，對數據存儲與處置的要求，滿足9621的支撐要求構造化數據、非構造化數據的特征分析，相應的存儲管理戰略，不同類型數據的共用機制非構造化數據的分類、標引等構造化信息的提取方法內存數據管理技術在實時流數據處置中的詳細運用戰略構造化/非構造化數據、實時/非實時數據等不同類型數據應該運用哪些軟硬件平臺，包括DBMS管理和處置才干要求，計算、存儲、網絡平臺不同數據生命周期的數據清理機制、數據存儲管理戰略，數據在在線區、近線區、歸檔區的自動歸檔與自動恢復機制。海量多樣化速度生命周期軟硬件平臺層次劃分數據集定義建立方法數據存放數據模型明確應該存在幾套數據模型，每類數據模型的定位和承接關系,一致模型和個性化模型之間的關系，如何滿足省分5級/7級要求選擇企業現有數據模型+IBM行業數據模型+其它優秀實際，確立企業級邏輯數據模型的主題域、數據分類和數據子類數據模型數據效力方案設計思想和關注點方案設計數據效力了解數據效力內涵必要性可行性效力層次指對大數據平臺中的各種數據進展封裝，經過各種效力方式向不同運用系統提供數據效力，以滿足用戶的多樣性數據懇求。將數據效力劃分為3個層次，中層效力、底層效力開放給內部運用系統運用，高層效力向一切用戶開放；數據運用基于數據效力，經過EAB獲得數據，數據效力可復用部分數據交互進程，并根據數據規范、元數據提供效力；建立簡單、易用的數據封裝、效力開發導游，可以快捷的對數據進展封裝，發布新效力；兩層效力接入平安管理，以及對效力懇求優先級管理，控制效力執行的數量，保證系統平安平穩的運轉；高層效力懇求需求進展語義轉換，然后執行效力，中層、底層效力不需求語義轉換，直接執行效力；效力運轉方式數據效力目的建立運用和數據之間規范化的訪問接口，可以快速響運用戶的各種數據懇求，提升與外部系統實時的互動與信息共享才干；將數據與運用隔分開來，實現系統間的松耦合性，依托大數據平臺才干，對各種數據懇求作出快速呼應，實現實時的信息共享；將各種接口技術