數據治理平臺建設與應用技術方案數據治理平臺背景數據治理平臺應用場景分析數據治理平臺建設方案研發數據刑偵信息廣告數據輿情信息輿情數據監測數據研發數據刑偵信息廣告數據輿情信息輿情數據監測數據數據用戶信息風險信息管理數據第三方數據搜索數據社交數據持有大量用戶數據，對數據資產的售出，將成為行業的新增長點。金融各行業的金融信息流可結合第三方數據，更制造政府的治理社會實施了大數據項目實施了大數據項目，所采用的技術眾多n大數據存儲應用廣泛，具備大數據必備因素現階段大數據技術Hive、Spark、Storm、Hbase已使用廣泛，解決了大數據存儲問題。nETLnETL工具、FLUME組件負責大數據交換問題大數據存儲數據的傳輸問題也有大數據組件解決，如Flume，主流ETL工具等。n數據BI、數據挖掘通過數據BI軟件、數據分析挖掘通過大數據平臺的相關組件也可以進行相關分析。模型算法SparkHBase列存儲Storm流處理BI分析數據挖掘nn數據產品廠商，缺乏場景使用經驗數據平臺廠商與數據應用廠商往往不是一家，平臺廠商缺乏數據應用建設經驗。數據提數據提供商產品提產品提供商解決方解決方案提供商平臺提平臺提供商數據分數據分析廠商業務算業務算法提供商nn數據應用廠商不能理解平臺內數據業務含義具有涉密數據開發資質的廠商有限，但并不了解大數據平臺內部數據的含義。我們還需要哪些數據建設廠商？nn各廠商之間交換的數據質量得不到保證大數據建設項目被分為數據平臺、應用、業務等多個獨立項目和廠商，之間的銜接部分沒有人管理，造成數據質量差。技術需求?大數據量實時傳輸沒有解決方案技術需求?大數據量實時傳輸沒有解決方案管理需求業務需求?數據使用者無法理解數據模型數據治理平臺背景數據治理平臺應用場景分析數據治理平臺建設方案應用百花齊放數據應用數據應用數據應用廠商Z訪問層廠商Y存儲層數據源廠商X傳統的應用按照業務建設，一個廠商需要負責數據采集、存儲、數據應用等全部過程；大數據時代，技術更加專注和專業，系統建設趨勢是采用橫向切分應用百花齊放數據應用數據應用數據應用廠商Z訪問層廠商Y存儲層數據源廠商X傳統的應用按照業務建設，一個廠商需要負責數據采集、存儲、數據應用等全部過程；大數據時代，技術更加專注和專業，系統建設趨勢是采用橫向切分模式。數據中心集中建設需要解決“應用和平臺分離”建設模式帶來的新問題。應用：我有數據分析經驗，但是我拿不到高質量的數據。目前拿到的數據不能用。廠商Z：我只是提供數據共享平臺，廠商X的數據特性平臺無法支持，產品不能動。廠商Y：我只是提供數據存儲平臺，不了解業務建設需求。廠商X：只了解業務系統特性，對于大數據平臺需求平臺產品特性不清楚。數據應用廠商管理管理不規范：數據模型管理缺乏規范化體系，大數據平臺內數據的技術、業務屬性不清晰，沒有完善的數據模型管理體系與規范。管理使用2數據服務3使用不明確：由于數據業務特性與使用方法不統一，難以對結構化數據、半結構化、非結構化數據的快速集成和共享使用2數據服務3數據管理質量監控監控不到位：在實際數據運行中，會出現數據數據管理質量監控監控不到位：在實際數據運行中，會出現數據信息發生中斷異常或數據量發生突然變化等數據異常監控。無法通過傳統的監控手段及時發現。大數據平臺建設廠商1大數據平臺數據源數據源我該找誰要數據？數據數據使用數據分析數據挖掘大數據平臺數據資產模型數據接口…我該找誰要數據？數據數據使用數據分析數據挖掘大數據平臺數據資產模型數據接口…建議：1.自動化獲取元數據信息通過自動化采集與解析手段，建立技術、業務、過程元數據的注冊輸入，標明數據方位。2.標明數據方位，整理業務屬性將數據資產按業務屬性編目，梳理數據的屬性、共享方式、特性、映射。3：建立業務數據服務目錄以數據資產為驅動方式，實現數據集成和共享。建立數據服務目錄。如何自動化管理？如何快速找到樣例數據？??批量數據交換？資源實例大數據資源空間資源服務內存數據服務數據庫服務數據資產服務數據資源服務實時資源同步資源獲取批量CRUD數據模型數據資源模型內存數據模型CRUDx'數據太大無法傳？資源實例大數據資源空間資源服務內存數據服務數據庫服務數據資產服務數據資源服務實時資源同步資源獲取批量CRUD數據模型數據資源模型內存數據模型CRUDx'建議：1.梳理數據交換需求梳理數據集成、交換需求。按技術特征劃分為實時、準實時、批量等。2.數據資產與服務對接基于數據資產的數據開發，實現資產與數據服務的對接。通過服務目錄直接獲取所需數據。數據不一致怎么辦？日使用流量數據量異常波動？日使用流量建議：1.明確重要監控指標Hadoop平臺的重要數據監控指標與監控需求。2.建立多渠道監控方式對接數據監控平臺，以以郵件、短信等通知方式告警。50每日數據變化量檢測40302050每日數據變化量檢測403020基于數據模型管理n可以靈活擴展支撐業務變化，保證業務數據保質量、標準化基于模型的數據獲取數據，基于數據模型管理，可以讓技術與業務人員通過平臺可以迅速找到對應的數據資源。可對接多種數據源n支持現有主流的大數據技術平臺的對接可對接現有的大數據Hive，Spark，Strom流數據等主流的數據結構，分為實時數據和批量數據的對接方式。n數據獲取方式靈活多樣，可支持配置化數據訂閱管理支持多種數據獲取方式支持靈活的數據訂閱方式，以支推，拉的數據訂閱數據與服務接口對接。可以快速的獲取到想要的數據活文件。提供數據監控預警機制n支持多種數據預警機制，隨時發現數據任務執行過程中所遇到的問題支持執行任務的全過程監控，執行數量監控，數據波動、數據到達預警監控等，并支持多種信息通知方式，如短信、郵件等。數據治理平臺背景數據治理平臺應用場景分析數據治理平臺建設方案通過數據治理，提供數據服務，從管理中心轉變為服務中心通過數據治理，變現數據價值，從成本中心轉變為利潤中心管理職責管理思路管理組織傳統數據管理創新數據管理用數據治理連接大數據與業務創新網絡數據通信數據網絡數據通信數據信用數據客戶數據數據數據交易大數據數據運營數據開發數據發布財務數據運營數據開發數據發布財務人力人力傳感器數據社交媒體IT/OT圖像視頻交易業務創新運營生產分析交易運營生產分析需求分析展現應用分析展現應用數據源數據源數據治理平臺數據應用1數據資產平臺3數據服務總線2數據開發平臺大數據平臺44數據監控平臺規范業務所屬部門的業務所屬部門的系統開發人員，主要提供所負責業務系統功能開發與業務創新的IT實現。但往往不清楚大數據中心數據的特性。往往把業務人員提出的需求交給數據中心實現。大數據中心的管理員，負責大數據中心的運營與管理。負責采集與各業務系統的數據，接收各業務系統的提出的數據業務需求。并負責給數據消費者提供必要的大數據支撐。大數據中心的開大數據中心的開發人員，負責大數據中心的數據ETL加工，并數據管理中心批準的數據需求進行開發。通常需要面對各業務部門的需求，難以了解業務部門的數據特點。業務運營人員是業務運營人員是企業各業務部門一線的業務人員，擁有大量的數據使用的需求。但通常并不了解大數據中心的數據能力與企業內部其他部門的數據情況。業務運營人員業務系統開發人員2.查找數據業務運營人員業務系統開發人員2.查找數據1.提出數據需求確認數據需求4、7.交付數據確認數據需求4、7.交付數據3.返回數據運營生產運營交易分析交易6.返回數據6.返回數據數據消費方數據提供方—一80%20%需開發數據需求數據使用分析應用等與需求/流數據使用分析應用等與需求/流程接口應用數據資產平臺數據服務總線數據監控平臺應用治理規范服務共享規范服務規范數據開發平臺……Spark加工組件加工組件RPC調用采集組件應用數據資產分析數據資產管理/編目 ...數據資產分析數據資產管理/編目數據資產使用數據資產模型設計元模型設計器數據資產采集采集適配器管理采集適配器管理集……數據應用數據監控數據開發數據應用數據監控數據開發數據資產分析統計數據資產存儲元模型管理資產存儲數據資產分析統計數據資產存儲元模型管理資產存儲數據資產接口服務數據資產管理數據資產采集↓↓接口文件DB…儲3、采用MOF模型規范實現數據資產擴展存儲數據入庫數據入庫入庫策略入庫策略1、解析、組裝、入庫過程分離，實現數據資產采集和存儲解耦數據資產采集采集解析模型組裝數據資產采集采集解析模型組裝多類型企業數據源采集調度解析算法2、可插拔的采集適配器，支持數據資產管理的無限擴充采集調度解析算法落地數據資產平臺權威擴展分析統一擴展分析統一建立統一的數據模型視圖，為業務管理人員方便的獲取到數據提供先決條件;數據資源探查數據資源探查數據資源管理策略管理數據共享層數據共享層數據資產數據資產批量數據數據服務層數據服務層服務服務數據開發描述資源模型結構數據開發描述資源模型結構約束約束關系關系結構大數據模型描述大數據模型約束約束據資產、模型為基礎的資源開發。將模型開發復用數據開發平臺提升創新易懂創新易懂針對業務特性對現有的數據資產進行編目開發，讓數據使用者直觀理解數據的含義；統一統一標準規范系統安全服務資源目錄中心總線監控中心標準規范系統安全服務資源目錄中心總線監控中心數據服務總線數據服務總線基礎服務數據開發層數據開發層數據資產擎數據消費者數據/文件訂閱?數據服務總線重點解決高性能和高可用性能力單Server處理能力：采用SEDA架構、輕量級部署架構（直接部署JVM之上）、異步Servl分布式橫向擴展能力：采用靈活的集群部署模式、配置熱更新、資源單實例處理能力單實例處理能力異步多線程模型-SEDA特點……分布式擴展能力分布式擴展能力通過控制臺對多個ESBServer進行統一管理?跨機器、跨JVM部署?配置更新、統一監控硬件CESB管理服務器硬件CESB管理服務器硬件A硬件D……硬件D……硬件B快速渠道統計海量統計海量對于海量數據與音視頻文件，提供快速的大文件傳輸機制，快速獲得大數據；安全安全統計分析………統計分析……………表表業務應用………業務應用………數據服務總線數據服務總線數據開發數據開發離線數據采集數據資產......離線數據采集數據資產......外部數據大數據平臺其他應用平臺4數據傳輸監控線實現大數據平臺數據到達情況監控和數據分發成功與否監控，數據到達是指采集及時數據監控平臺便捷標