UDH產品功能與應用場景介紹UAP中心

數據平臺李長山產品介紹1應用場景2社交化應用3企業的大數據應用挑戰如何跨組織的獲取數據以及對數據質量的控制企業級應用特性：安全，監控管理；簡化的解決方案如何有效地挖掘大數據的價值大數據解決方案的性價比部署前期咨詢，需求分析服務欠缺對大數據架構普遍陌生對規劃，部署要求的門檻高應用缺乏數據處理作業設計能力缺少能夠提供完整解決方案和平臺的專業廠商運維有經驗的運維人員較少且成本較高系統管理和調優的門檻較高大數據整體解決方案獲取組織分析決策消息NoSQL關系數據庫主數據管理MDM數據集成CDC工具列式數據倉庫

內存計算商業分析HDFS……HadoopMapReduceDataLoader決策管理可視化分析內存數據庫數據庫內計算大數據平臺整體架構UAP大數據處理平臺，可以滿足企業對結構化和非結構話的處理需求，實現數據的統一處理。支持從數據的采集，存儲，處理到分析應用的整個數據處理流程，可支撐大部分的業務形態。所有的產品模塊無縫集成，尤其對于用友UAP，NC相關產品具有更好的兼容性，可協同工作。UDH主要針對海量結構化數據和非結構化數據進行處理分析UDH產品定位UDH主要面向數據倉庫，數據中心，商業分析市場。主要應用于政務，醫療，金融，電信，電力，電商等擁有海量數據，非結構化數據處理的領域和行業。UDH覆蓋數據處理中的采集（存儲），組織（處理），分析（計算）環節，能夠幫助企業延伸對數據的管理能力，能夠增強對海量數據，非結構化數據的處理能力，能夠對數據的價值進行深度挖掘。UDH（UAPDistributionforHadoop）致力打造面向企業級的大數據整體解決方案，在開源Hadoop技術的基礎上，針對企業級的應用特性，在處理組件的深度優化和整合，數據安全性，運維管理，數據處理服務上進行創新和增強。UDH產品與數據處理產品AE，商業分析產品BQ結合，能夠為企業提供完整的數據分析解決方案和支撐平臺。產品介紹主要特性整合Hadoop開源組件，并深度定制優化和整合支持集群的自動化安裝部署提供統一管理和監控服務提供數據處理服務的工作平臺，實現可視化處理支持海量數據的可靠存儲支持海量結構化數據的批量處理和實時查詢支持面向海量數據的交互式查詢分析支持與AE

DI工具和BQ分析引擎的整合數據處理能力支持文件管理：查看，上傳，下載等支持SQL查詢：提供查詢編輯器，支持編輯，運行，歷史保存等支持Pig腳本：編輯，保存，提交，運行日志等支持數據處理流程可視化設計，提交以及運行監控等支持自定義MapReduce，Java作業以及調度執行和監控自動安裝部署提供step－by－step方式，簡易化集群的安裝部署；提供靈活的服務定制部署，支持組建參數的自定義。組件管理與監控提供組件的統一管理服務；通過可視化的方式實時監控集群狀態；提供狀態預警和消息推送服務基本信息瀏覽和配置支持組件基本信息的查看；支持健康指標的實時監測；支持組件的基本操作（起停，重啟）；支持組件的參數調優；系統服務監控支持根據不同的指標（系統和服務）可視化方式進行監控主機資源監控和服務管理支持主機資源監控和服務管理（啟動/停止/重啟/參數配置等）安全控制支持用戶，權限的管理；支持集群的高可用HA設置支持集群服務組件的版本和依賴庫管理；數據處理服務支持SQL，Pig腳本對數據進行查詢，對結果進行可視化分析；支持歷史查詢記錄的保存；支持可視化的工作流定義；支持自定義的數據處理流程產品介紹1應用場景2社交化應用3應用場景數據海量結構化數據（10T以上）半結構化數據(Web訪問日志，XML,JSON等）非結構化數據（圖片，視頻，文件等）應用海量數據的預處理數據卸載，歸檔數據保存與數據分析系統整合，進行深度分析實時的數據分析數據預處理

海量的數據需要做批量處理，如格式解析，清洗，圖片特征提取，統計計算等。利用UDH的分布式并行處理能力，生成結構化數據，回寫到數據倉庫中（如列式數據庫），用于統計分析。特點：高吞吐量，計算能力具備橫向擴展(scaleout)模式,適用于實時性不高的離線批量處理。數據卸載對于企業長期積累并且不再頻繁訪問的數據（結構化，非結構化），作為數據資產，需要集中的可靠存儲。利用UDH提供的分布式文件系統的多副本存儲能力，結合AEDI的數據加載，實現數據的快速遷移和可靠存儲。特點：可靠性（多副本），高性能（與DI整合，快速加載和讀取），性價比（X86服務器）海量數據深度分析

對于海量的，低價值密度的數據探索，從中發現數據規律，作為數據倉庫與第三方的商業分析系統整合，實現海量數據的深度分析。利用UDH提供的NoSQL數據庫HBASE和MPP架構的列式數據倉庫引擎Impala，提供海量數據的處理引擎。利用AEDI實現外部數據的集成，基于UDH提供的SQL查詢接口和客戶端，結合AE的查詢分析引擎，實現數據的高效查詢分析。特點：高性能，內存計算，橫向擴展，統一SQL接口；與AE引擎整合(近)實時的數據分析需要對實時的流數據，如網站的實時訪問日志，傳感器數據，GPS數據，事件流等，進行實時監控，分析，預警。利用UDH中數據采集和消息隊列組件，完成數據的實時獲取，通過UDH高速引擎HBASE和Impala提供的SQL和客戶端，實現數據的獲取以支撐實時的應用需求。特點：高吞吐量，（近）實時高性能產品介紹1應用場景2社交化應用3社交化應用—輿情檢測企業需要打破系統邊界（內部系統之間，企業與外部之間），把外部的數據，如行業數據，社交數據等互聯網數據納入到企業數據應用的范疇內。社會化媒體的快速發展，企業的客戶已經習慣于在互聯網上獲取到企業、產品的評價和口碑。企業需要及時掌握互聯網上關于企業和產品的輿情：口碑，競品，負面信息等，評估媒體推廣效果。把互聯網上的輿情信息變成企業的數字資產，傳統的人工方式是無法完成的，需要借助于輿情信息的自動采集與分析實現輿情采集與分析構建于UDH的可靠存儲以及數據的批量和實時處理能力提供基于搜索引擎，語義分析的精準，全面，自動化的