AnalyticsandBigDataonPower方案及案例分享AnalyticsandBigDataonPowe目錄大數據與分析概述高性能運算Symphony解決方案DB2BLU助力高性能數據集市大數據案例分析目錄大數據與分析概述大數據與分析概述大數據與分析概述“上個月在瑞士達沃斯舉行的世界經濟論壇上,大數據是一個熱點話題。在論壇的一份報告《大數據，大影響》中聲明：數據已成為一類新的經濟資產，就像貨幣或黃金一樣.“公司被數據淹沒了—從客戶的習慣到供應鏈的效率。但是許多經理卻不能理解這些數據的意義.”“越來越多的企業使用大眾媒體去分析公眾對產品的反饋，例如Facebook或Twitter,也有使用網站資源試著“了解客戶，是什么讓他們選擇他們想要的東西”負責IBM預測分析項目的迪阿德瓦說。"“大數據已抵達Seton醫療保健家庭,幸運的是,

通過使用這個分析工具,每年超過200萬復雜病例的患者得到了幫助…”“數據是新型石油”

未開采的石油，沒有什么價值。加工及提煉后，將助力世界。

“…現在，沃森正投入到工作中，消化了數百萬頁的研究,

結合最佳的臨床實踐和監測結果，以協助醫生治療癌癥患者.”奧斯卡情感測量—一種工具，是由洛杉磯時報、IBM和南加州大學安創新實驗室共同開發的—分析意見,“主要針對Twitter上共享的百萬條奧斯卡獎項比賽的公共信息做出的分析意見.”“數據是新型石油.”CliveHumby“公司被數據淹沒了—從客戶的習慣到供應鏈的效率。但是許多經理大數據來自哪里？

截至2011年末網絡上有超過20

億人現在有300億個RFID記

（2005年時有13億）全球有46億臺照相手機每年售出數億臺支持GPS的設備在2009年有7600萬臺智能儀表……

至2014年將達到2億臺每天有超過3億

活躍用戶每天有超過25

TB

日志數據每天有超過1億條消息大數據來自哪里？

截至2011年末網絡上有超過20大數據的特點綜合分析覆蓋面越來越寬的種類應對日益增長的速度有效地處理日益增長的數量建立大數據來源的真實性三分之一商界領袖感到無法信任那些幫助他們做決策的信息50x35ZB20202010300億RFID傳感器和計數器世界上80%的數據是非結構化的大數據的特點綜合分析覆蓋面越來越寬的種類應對日益增長的速度有大數據會影響到您業務的方方面面了解關于您客戶的一切從渠道交互到社交媒體，通過分析所有數據來源幫助您了解您的每位客戶零延遲操作分析所有可用的操作數據并且實時做出反應，從而優化流程。通過成本效益技術降低IT成本。在速度和規模上實現新產品創新捕獲所有來源的反饋，分析龐大的市場環境，研究大量的數據，從而推動創新。即時的欺詐和風險意識通過分析所有可用數據來打造更好的欺詐/風險模型，用流數據交易分析來實時監測欺詐利用儀表化資產監控資產通過實時數據反饋來預測和預防維修問題，并且開發新產品和新服務。大數據會影響到您業務的方方面面了解關于您客戶的一切大數據主要與大型數據集相關在大數據的新世界中，我們必須更換所有陳舊系統大數據就是Hadoop較為陳舊的事務數據已經不再重要數據倉庫已是昨日黃花大數據適合熟知互聯網的企業。傳統業務與大數據毫無關系我們不具備相應的需求、預算或者技能，因此我們不必為此擔心人們對于大數據的觀點是怎樣的大數據主要與大型數據集相關人們對于大數據的觀點是怎樣的研究顯示了實施大數據的4個階段大數據采用當基于當前的大數據活動級別而劃分為4個小組時，受調查者在組織行為上表現出顯著的一致性

受調查者總數n=1061由于舍入原因，各個比例總和不等于100%6%部署兩個或更多大數據計劃，繼續應用高級分析占總受調查者的百分比執行22%試點大數據計劃，以驗證價值和需求占總受調查者的百分比試點47%基于業務需求和挑戰開發戰略和路線圖占總受調查者的百分比探索24%專注于知識收集和市場觀察占總受調查者的百分比學習研究顯示了實施大數據的4個階段大數據采用當基于當前的大數據活智慧分析數據倉庫大數據平臺加速器流

計算數據倉庫Hadoop

系統信息整合與治理應用開發發現系統管理內容管理數據倉庫流計算Hadoop系統信息整合與治理大數據平臺系統、存儲和云業務分析內容

分析決策管理風險

分析績效管理商業智能與預測分析大數據分析內容

分析預測分析決策管理社交媒體分析分析整合與治理IBM提供了全面的、整合化的大數據和分析方法智慧分析數據倉庫大數據平臺加速器流

計算數據Hadoop

Hadoop系統管理多樣化海量數據企業級應用增強了開源Hadoop能力流計算用于分析流動的數據能夠處理分析多種數據–通過高級分析運算符來支持結構化，非結構化，視頻，音頻等數據倉庫工作負載均衡的MPP架構，支持高性能的OLAP及混合型的操作和分析負載數據可視化企業級搜索引擎圖形展現海量分析結果IBM大數據平臺

Hadoop系統IBM大數據平臺BAO方案整體技術架構從哪里來？是誰？到哪里去？BAO方案整體技術架構從哪里來？是誰？到哪里去？大數據解決方案出現之前傳統的計算模式數據源數據抽取數據倉庫場景模型策略/計劃平衡計分卡預測/預報績效分析價值分析數據集市數據分析前端展示風險分析企業數據倉庫數據倉庫事實表ETL工具數據管理基于門戶的Web頁面固定報表多維分析即席查詢數據集市MOLAPRelational立方體管理

行業情報

ERPHRSCMCRMStatistics外部數據財務預算數據員工狀態

設備狀態客戶信息分析報告ETL:抽取、轉換和加載大數據解決方案出現之前傳統的計算模式數據源數據抽取數據倉庫預數據源數據抽取數據倉庫場景模型策略/計劃平衡計分卡預測/預報績效分析價值分析數據集市數據分析前端展示風險分析企業數據倉庫數據倉庫事實表ETL工具數據管理基于門戶的Web頁面固定報表多維分析即席查詢數據集市MOLAPRelational立方體管理

行業情報

ERPHRSCMCRMStatistics外部數據財務預算數據員工狀態

設備狀態客戶信息分析報告ETL:抽取、轉換和加載電商、微博、社交網站、平安城市等產生大量社交數據、日志、圖片、視音頻數據….海量數據匯總、統計耗時太長，滿足不了業務部門的時效性需求；傳統計算模式遇到的困難某些業務部門需要實時數據分析，數據一邊產生，一邊進行分析，以應對市場壓力數據產生速度快，數據量巨大，種類繁多，非結構化數據占了80%以上數據源數據抽取數據倉庫預測績效分析價值分析數據集市數據分析前Hadoop并行計算模式HDFS—HadoopDistributedFileSystem。HDFS為了做到可靠性（reliability）創建了多份數據塊（datablocks）的復制（replicas），并將它們放置在服務器群的計算節點中（computenodes），MapReduce就可以在它們所在的節點上處理這些數據了。MapReduceHadoop并行計算模式HDFS—HadoopDistr大數據技術與傳統數據處理技術的關系

超越和補充傳統數據處理技術實時數據處理Internet級別海量數據存儲與分析傳統數據倉庫In-MotionAnalyticsDataAnalytics,DataOperations&ModelBuildingResultsInternetScaleDatabase&WarehouseAt-RestDataAnalyticsResultsUltraLowLatencyResultsInfoSphereBigInsights傳統/關系型數據源傳統/非關系型數據源傳統/關系型數據源傳統/非關系型數據源大數據技術與傳統數據處理技術的關系

超越和補充傳統數據處理高性能運算Symphony解決方案高性能運算Symphony解決方案大數據常見應用場景舉例影像管理（各類單據的掃描件、地圖影像），非結構化/半結構化數據存儲和分析（XML文件、文本日志文件）典型應用：測繪行業系統、地圖服務提供商產品、公安部、銀行/稅務票據管理、電信詳單日志分析、各類終端采集數據分析……常見痛點：存儲成本/性能，關系型數據庫性能/功能問題。業務/產品/服務創新典型應用：CDR分析，輿情分析，LBS，廣告精準投放，移動終端服務/智慧XX（電表數據分析、HIS，電子支付），精益生產、反洗錢……常見痛點：實時性、數據來源多樣、數據量大計算密集型應用高性能計算技術非常適用典型應用：保險精算、銀行風險分析、信用卡欺詐分析……常見痛點：實時性、多種數據源要形成統一視圖大數據常見應用場景舉例影像管理（各類單據的掃描件、地圖影像）大數據智能分析解決方案介紹課件IBM大數據平臺優勢1-高性能國內運營商進行的基于Hbase的數據查詢測試，取得3～15倍的性能優勢國內運營商進行的基于Hive的數據分析測試，取得9～11倍的性能優勢數據加載場景每核加載速度為x86核的11.18倍數據分析場景每核分析速度為x86核的9.63倍IBM大數據平臺優勢1-高性能國內運營商進行的基于Hbase為什么Symphony更快？JobTracker/TaskTracker用C++/C編寫資源管理和任務管理解耦.支持300并發jobtrackers;1000并發jobs/jobtrackerSOA架構，共享服務(reuseJVMacrossmanytasks)使用TCP原語和二進制編碼，取代httpandtext/XMLPushprotocolavoidstasktrackerpullingtasksandthedelaycausedbypullinginterval專利的asynchronouspersistencyprotocol以保證可靠性和性能Note:HadoopResultswerepublishedbyClouderaatHadoopWorldeventDec,2011.Hadoopjarexample.jarsleep–mt1–rt1–m5000–r1Testedon10hosts21為什么Symphony更快？JobTracker/TaskIBM大數據平臺優勢2-高可靠從硬件、文件系統和分布式計算框架所有層面采用高可靠設計架構，杜絕基于開源產品的不可靠問題Symphony計算框架：經過接近20年全球成功企業應用考驗的高可靠性框架，不僅本身可靠性高，不存在單點故障，而且通過對下層硬件資源的先進管理功能，實現物理資源與邏輯資源的解耦，實現資源的動態加減和黑名單等機制，徹底解決硬件故障的透明failover問題GPFS-FPO文件系統：經過20多年全球無數應用驗證的分布式文件系統，成熟、可靠，GPFS-FPO采用去中心化設計（元數據分散存儲），天生不存在NameNode的單點故障和可靠性瓶頸問題PowerLinux在RAS特性方面全面領先X86平臺IBM大數據平臺優勢2-高可靠從硬件、文件系統和分布式計算框IBM大數據平臺優勢3-好維護IBM大數據平臺優勢3-好維護IBM大數據平臺優勢4-高度兼容性Symphony和GPFS具有最廣泛的兼容性，只要是基于Hadoop架構標準接口開發的軟件都可以100%兼容，如HadoopHbase,Pig,Hive,JavaMR,Oozie等各種知名的Hadoop開源方案不僅兼容開源方案，還支持各種商業分析軟件，如SAS、SPSS、Murex,Algorithmics,Sugard,Calypso,TillingHast等

兼容各種Java、R、C/C++等各種開發語言，兼容各種文件系統及數據庫，如HDFS,GPFS-FPO,RDMBS,MPP等，兼容Linux、Windows、AIX等各種OS平臺，兼容X86、Power等各種硬件平臺，支持虛擬機和物理機混合組網使用IBM大數據平臺優勢4-高度兼容性Symphony和GPFSIBM大數據平臺優勢5-技術支持核心產品由IBM自主開發，擁有完全的技術研發與支持力量全球26個研發和銷售機構，300+的研發團隊分布在北京和西安兩地強大的QA和服務支持團隊，強大的本地售后支持力量專業的定制化開發團隊業界公認的大型網格/工作負載管理的領導者全方位的技術支持服務評估規劃與咨詢服務建設設計與實施服務管理管理與維護支持服務IBM大數據平臺優勢5-技術支持核心產品由IBM自主開發，擁IBM大數據平臺優勢6-高效可靠文件系統IBM大數據平臺優勢6-高效可靠文件系統GPFS-FPO替換HDFS，更可靠、更高效對于需要隨機I/O的SQL查詢,JAQL查詢等對于需要線性排序的sort操作來說BigInsights提供2至3倍與開源Hadoop技術的性能文件索引等查找效率17倍于開源Hadoop技術,得益于ClientCache能力Hadoop

Indexing(HDFS)Database

Upload(ext3)WebService

LayerCopyFetchHDFS:

Extracopyoverheadandnetworkfetch,separateclustersforanalyticsanddatabaseHadoopIndexing

+DatabaseUpload(GPFS)WebService

LayerCacheGPFS:

Singleclusterforanalyticsanddatabase,nocopyingrequired,cachingforweblayerWorkloadIsolationProvendataintegrityReplicatedmetadataservicesYahookeeps3copiesof3versionsofHDFSbecauseofunknowndataintegrity[1]QuantcastdeletesfilesonceHDFSis50%full[2][1]CareandFeedingofHadoopClusters,MarcNicosia,Usenix2009

[2]TheKomosDistributedFileSystem,SriramRao,QuantcastInc.GPFS-FPOKeytechnologyLocalityawarenessWriteAffinityMetablocksPipelinedreplicationDistributedrecovery超過20年發展的成熟的企業級文件系統vsHDFS

4年發展歷史IBM企業級支持的商用軟件vsHDFS開源軟件POSIX兼容，同時支持傳統文件訪問和Hadoop應用vsHDFS不兼容POSIX內建的安全特性和高可用性(集群管理節點e.g.)vsHDFSnamenode單點跨數據中心復制容災vsHDFS無遠程復制GPFS-FPO替換HDFS，更可靠、更高效對于需要隨機I/GPFS-FPO去中心化設計，高性能與高可靠GPFS-FPO去中心化設計，高性能與高可靠可擴展的IBMSystemsConfiguration初始配置半機柜配置1stThru4th

滿機柜附加滿機柜UsableStorageUpto108TBUpto324TBUpto684TBperrackUpto720TBperrackUserspaceUpto36TBUpto108TBUpto228TBperrackUpto240TBperrack

可擴展得多個入門方式從很小的規模起步逐步擴大

支持多種工作負載的靈活的

CPU,內存,存儲和網絡

選項可擴展的IBMSystemsConfiguration初始IBMPowerLinux7R1–便捷、高效的入門級產品可靠設計Singlesocket,2Urack8-core3.55GHzPOWER7processorUpto128GBmemorywith8/16/32GBDIMMs

First32GBincludedinbasepackage高擴展性和強大虛擬化能力Upto24SFFharddrivesper2Ustorageexpansiondrawer(L1S)PowerVM?exploitingintegratedhypervisor8246-L1C/8246-L1SGAonAugustVirtualization&ManagementOperatingSystemsLinuxonlyPOWER7Onesocket,2UrackIBMPowerLinux7R1–便捷、高效的入門級產IBMPowerLinux7R2-高性能、靈活配置OperatingSystemsVirtualization&Management

高系統密度TwoSocket,2URack16-cores3.3GHzand3.55GHzPOWER7processor256GBmaximummemorywith2/4/8GBDIMMs-First32GBincludedin3.55GHzprocessorbasepackage-First64GBincludedin3.3GHzprocessorbasepackageUpto207R2sinasingle42Urack

強大的I/O和硬盤擴展性Upto24SFFharddrivesper2UstorageexpansiondrawerPCIe(Gen1)ExpansionDrawers–4U–twoflavors(L2Sonly)

高效的虛擬化能力PowerVM?exploitingintegratedhypervisorSupportupto10VMs/core,160VMs/serverLinuxonlyPOWER7Twosocket,2Urack8246-L2C/8246-L2SGAonJuneIBMPowerLinux7R2-高性能、靈活配置OIBMStorwizeV7000–在單一系統整合了塊和文件存儲自動存儲分層

基于實時應用分析模式的先進的技術，可以自動在存儲層之間遷移數據新一代圖形化界面（GUI）

易于使用的數據管理圖形化用戶界面，擁有極其簡便的“點選式”系統管理功能性能

針對在線備份、測試和數據挖掘，支持更快和更高效的數據拷貝VirtualizedStorageSystem300%PerformanceImprovement

Automaticmigrationtohigh-performingSSD’sIBMStorwizeV7000–在單一系統整合了塊XIV系列為應用程序提供頂級的性能OracleDataWarehouse(IOPS)OracleDHWWorkloadWatchthevideo:XIVGen3“StraightTalkonPerformance”SASBusinessAnalyticsWorkloadAnalyticsreportscreatedXIV系列為應用程序提供頂級的性能OracleDataFlash無處不在的優化和調節是解決方案的主題Flash將被同時部署在整體架構的每一層存儲子系統網絡設備PCIe設備ApplicationServerApplicationServerStoragesystemNetworkStoragebasedRemotereplicationSSDSSDVMVMVMVMVMVMEphemeralStorageHighperf,workingsetDataMoverEasyTierCoordinationDRAMSSDWhy？性能敏感的應用程序HDD的性能優勢Flash超越內存的性價比優勢分離的緩存和分層的協調是至關重要的效率數據完整性/緩存一致性DRAMFlash無處不在的優化和調節是解決方案的主題Flash將DB2BLU助力高性能數據集市DB2BLU助力高性能數據集市使用DB2BLUonPower構建高效內存數據集市

DB2BLU是一種能極大提高OLAP業務性能的新技術DB2BLU為DB2數據庫添加列式存儲功能充分利用CPU架構的新運行時技術，直接內置在DB2內核中高達10倍的壓縮比極大提升OLAP查詢性能DB2BLU利用SIMD處理指令獲得更好的性能使用DB2BLUonPower構建高效內存數據集市DCognosBI，帶有BLUAcceleration多平臺軟件分析

數據集市

(BLU表)Oracle或Teradata倉庫的性能較差創建表，加載并啟動!即時性能提高處理TB級數據無需創建和調優索引/聚合

多平臺軟件的靈活性CognosBI

，帶有BLUAccelerationDB2BLUonPower用例1

–企業數據倉庫卸載

數據集市加速EDW應用程序OLAP應用程序輕松創建和加載

BLUAcceleration內存中集市CognosBI多平臺軟件分析

數據集市

(BLU表多平臺軟件分析

數據集市

(BLU表)ERP或其他事務性系統輕松創建和加載

BLUAcceleration內存中集市事務性

數據庫DB2BLUonPower用例2

–分析數據集市

從事務性數據庫創建表，加載并啟動!即時性能提高處理TB級數據無需創建和調優索引/聚合

多平臺軟件的靈活性業務線分析數據集市多平臺軟件分析

數據集市

(BLU表)ERP或其他事務大數據智能分析解決方案介紹課件

運營只需加載數據就可以啟動像所宣稱的那樣易于評估和執行

BI開發人員和DBA-更快地交付成果無需配置或物理建模無需索引或調優-開箱即用的性能數據架構師/DBA可專注于業務價值，而不是物理設計

ETL開發人員無需聚合各個表-更簡單的ETL邏輯更快的加載和轉換速度

業務分析師真正的即席查詢-無調優，無索引針對大型數據集提出復雜的查詢DB2BLU七大特點之一

：簡單易用運營DB2BLU七大特點之一：簡單易用?2013IBMCorporationDB2BLU七大特點之二

：卓越的壓縮

更少的數據存儲空間同未壓縮數據比較，平均可以節省95%的數據存儲空間只需要存儲表數據，不需要額外空間來存儲索引等其它類型數據應用了多種壓縮技術所有操作都在壓縮數據上進行針對不同數據類型應用最優的壓縮算法更多的細節參考后面的內容?2013IBMCorporationDB2BLU七42沒用SIMD技術的CPU每條指令職能處理一個數據DB2BLU七大特點之三

：充分利用CPU的SIMD特性

利用SingleInstructionMultipleData(SIMD)特性增加性能DB2BLU能夠在一個指令中同時對多個數據進行操作包括比較，Join,分組和數學計算Compare

=2005Compare

=2005Compare

=20052001指令結果數據200220032004200520052006200720082009201020112012Processor

CoreCompare

=20052001指令結果數據200220032004200520062007Compare

=2005Compare

=2005Compare

=2005Compare

=2005Compare

=2005Compare

=20052005Processor

Core42沒用SIMD技術的CPU每條指令職能處理一個數據DB2DB2BLU七大特點之四

：內核友好的并行化

更加關注于服務器的硬件設計因素DB2

BLU中對表的查詢將自動以并行化的方式處理將CPU緩存，高速緩存塊（cacheline）的效率最大化QUADCORECPUQUADCORECPUQUADCORECPUQUADCORECPUDB2BLU七大特點之四：內核友好的并行化

更加關?2013IBMCorporation44DB2BLU七大特點之五

：列式存儲

?2013IBMCorporation44?2013IBMCorporation44減少I/O只處理查詢關注的列中的數據直接對相關列進行運算

所有的運算，Join僅對關注列進行在必須返回結果集前，數據將不會組合成行的形式提高內存中的數據密度列中的數據在內存和存儲中始終保持著壓縮的形態

卓越的壓縮提供更高的壓縮比10:1(DB2BLU)高效的緩存數據被組合成利于緩存和寄存器處理的格式?2013IBMCorporation44DB2BL?2013IBMCorporationDB2BLU七大特點之六

：優化內存/緩存管理

?2013IBMCorporation?2013IBMCorporation全新的緩存算法使內存使用更高效更高的內存命中率新算法盡量保證熱點數據保存在內存中數據可以大于內存空間不同于常見的內存數據庫，數據不必完全在內存中優化以減少內存和存儲的I/O交互

RAMDISKSNearoptimalcaching?2013IBMCorporationDB2BLU七?2013IBMCorporationDB2BLU七大特點之七

：數據跳過

?2013IBMCorporation自動監測一段數據是否符合查詢的忽略條件能夠節省大量的I/O，內存和CPU資源不需要數據庫管理員進行任何定義

?2013IBMCorporationDB2BLU七大數據案例分析大數據案例分析大數據實施案例：某國外大型汽車制造企業大數據平臺大數據實施案例：某國外大型汽車制造企業大數據平臺某市智能交通項目某市智能交通項目50IBMPlatformComputing支持多種不同金融應用類型工作負載MurexMicrosoftExcelSungardFrontArena,AdaptivAlgorithmicsAlgoRiskMillimanHedge,AlfaPolysysMoodys/FermatCalypsoSASEnterpriseMiner/DataMinerSophis/MisysRisqueGGYAxisOpenlinkKondor+RevolutionRISV應用軟件風險估值VaR(valueatrisk)信用值調整CVA(creditvalueadjustmentsforCCR)資產負債建模ALM(assetliabilitymodeling)靈敏度分析信用等級評分抵押分析可變年金建模模型回溯測試

投資組合壓力測試數據的提取,轉換和加載ETL策略提取Strategymining精算分析50IBMPlatformComputing支持多種不在愛Citi分析網格Citi–計算和數據結合型網格系統,主要為風險分析在一個共享的網格資源里運行著200

以上不同的

BI

和零售分析應用

全球動態共享的40,000

cores能夠持續維持70%以上的利用率超強的管理效率–管理者與主機的比為

1:400作業吞吐量–400,000,000作業/天14

條不同的業務線共享著全球的HPC資源為每個商業業務單元確保SLA

s時間指標,實現廣泛的資源共享4個數據中心包含了異構的Linux&Windows主機,一處在倫敦,一處在香港,還有兩處在美國

處理國內增長的風險,定價應用和其他的商務應用,與SAS,Murex等集成.異構的工作內容(批處理,SOA,計劃部署MapReduce)自定義服務,報表和退款實時的監控和管理主機,所有全球資產的完全可視化針對整個企業相關應用和風險控制的全球資源分配方案在數據中心和功能域基礎上的有關LOBs和應用的彈性的資源分配模式橫跨整個地域的有關LOBs和應用的全球資源共享視圖案例分析–花旗銀行在愛Citi分析網格Citi–計算和數據結合型網格系統,根據銀監會的要求，國內商業銀行需要2015年前滿足中國版巴塞爾協議III對銀行業風險控制的要求，國內目前已經有多家銀行使用Algo風險管理模塊流動性風險管理模型屬于計算密集型，RiskWatch階段占任務的95%以上，可以通過Symphony將RW作業并行化隨著銀行業務及數據量的增加，提高計算效率只需要增加Symphony的計算節點數目，可擴展性強銀行業有很多計算模型都可以通過Symphony來解決問題，比如MOSES,CALYPSO,RMATLAB,RLanguage業務場景FinancialRisks

1.選擇感興趣的地理區域客戶挑戰：目前基于Algo流動性風險分析系統風險管理應用每周運行一次，每次計算需要100+小時，不能滿足未來應用擴展和可靠性需求，不能及時得出風險分析結果XX銀行風險管理系統-業務描述1/3根據銀監會的要求，國內商業銀行需要2015年前滿足中國版巴塞AlgoEngineSymServiceAlgoEngineSymServiceAlgoEngineSymServiceAlgoEngineSymServiceAlgoEngineSymServiceSymComputeHosts:6nodes*32cores=192coresSymMasterSchedule,Monitor,ManagementSymMasterCandidateShareStorageSchedule,Monitor,ManagementSchedule,Monitor,ManagementAlgoEngineSymServiceScaleout53AlgoBatchCITICRWAnalysisAlgoEngineClientRequestSingleComputing“使用了PlatformSymphony軟件，計算機資源的利用率大幅提高，Algo計算時間大幅縮短，達到了預期的技術指標，且Symphony軟件有豐富的API接口，易于集成其他軟件，為以后的業務拓展和升級留下了巨大空間。”--客戶證言方案優勢：單節點情況下客戶的任務需要100+小時完成，使用Symphony后業務計算可以在10小時以內完成，速度提高10倍以上；例如：晚上運行風險分析任務，次日凌晨可得到分析結果，滿足業務需求;可靠性大大提高，單一節點故障不影響整體系統運行；銀行業務數據增加、業務計算時間要求縮短，可以通過增加Symphony的節點來完成銀行風險管理系統-方案結構2/3AlgoEngineSymServiceAlgoEngCustomerCaseandPainPointSolutionsResultDemoPointsClientuseAlgofortheriskmanagement.It’sbasedonC/SarchitecturerunningSinglenode.Withthebusinessgrowth,theprocesscyclereached100+hoursperweek.Managementcouldnotgetthereportintheabusinessday.SymphonyScal-outtheAlgoapplicationfromsinglenodeto192nodes.SymphonyactingasmiddlewarerolesgettheAlgoclientinputandschedulethetaskinadistributedgrid.Thetaskscanbeprocessedinthegridconcurrently.SymphonyresponsetoAlgoclientoncethetaskfinished.Showthesingleserverprocessandsayitcannotbefinishedin10hoursandstopit.ShowthesimilarapplicationprocesswithsamedatainSymphonyGridandfinishedin10hours.SeetaskprogressontheGUISeethehostmanagerfromGUISeetheCPU,I/OandshowthefinishtimeClientcangettheresultin10hours.ThetimecanbecontrolledbyaddingmoreserverintheAlgogridwithbusinessgrowthandprocesstimeispredicable.Besides,Symphonyactingasgeneralmiddlewarecanscale-outapplicationlikeMurex,Moses,Calypso,Matlab,Retc.銀行風險管理系統-案例總結3/3CustomerCaseandPainPointSo某市人民檢察院某市人民檢察院客戶行為分析-業務流程說明北京電信互聯網行為標簽系統，是匯聚電信用戶通信、終端等上網數據，解析用戶移動互聯網流量行為，全角度刻畫用戶，為用戶畫像，細分客戶群的分析系統，其輸入數據為北京電信用戶DPI上網基礎數據，輸出為用戶行為分析統計報表。主要功能模塊APP數據采集：根據目前各市場及各省手機應用下載情況，選擇建立標準APP庫。站點信息采集：站點信息定期爬取及更新，建立標準URL庫用戶行為解析識別：將用戶的上網訪問信息與app庫進行比對匹配，對用戶日志進行處理，解析用戶下載和使用應用產生的記錄分析統計輸出：根據用戶的應用下載、使用行為，輸出滿足客戶需求的各項報表，并上傳數據。客戶行為分析-業務流程說明北京電信互聯網行為標簽系統，是大數據智能分析解決方案介紹課件性能案例:（來自文獻：CloudBurst:highlysensitivereadmappingwithMapReduce）：輸入數據：測序數據7.06minllion條36bpreads，人基因組genome（2.87G）軟件環境：Hadoop0.15.3,CloudBurst硬件環境：12nodes,24cores（3.2GHzIntelXeon）,250G硬盤測試結果：如下圖，橫坐標為reads數，縱坐標為運行時間，“0、1、2、3、4”為容錯數。

DNA測序分析平臺：Cloudburst數據過濾插入/缺失識別基因組學-SNP分析流程FastQ-Progressing(MR)FastQC(Single)Crossbow(MR)CloudBurst(MR)Soap2(Single)Crossbow(MR)Soapsnp(Single)融合基因發現結構變異發現全基因組關聯研究BlueSNP(MR)輸入文件

用戶期望和挑戰：性能案例中的數據量（7.06minllion條36bpreads，人基因組genome，2.87G）在日常分析的數據量中算一般大小。一般對兩個生物學樣品進行對照分析，每個樣品進行三次重復，產生6倍于性能案例中的數據量。而CloudBurst所做的map工作，僅為分析流程中的一步，用戶希望盡快得到結果進行下一步工作，故6倍數據的期望運行時間為2-3h。reads比對SNP識別質量控制DNA測序:確定序列中堿基的排列順序,這項工作不僅可以用于物種間的比較研究，也有助于發現特定基因的功能和性狀表現，尤其對第三代遺傳標志(單核苷酸多態性,SNP）研究有極大的意義。基因組測序不但幫助人們探索生命起源和進化的奧秘，也會促進未來的個體化醫療、生物制藥研發、農植物培養等各種致力于人類福祉的實際應用。41h27h13hCloudBurst是第一個可以在Hadoop分布式框架下運行的高通量測序片段定位算法.性能案例:（來自文獻：CloudBurst:highlys計算節點實時分析平臺Symphony客戶端大數據平臺（離線分析）主節點SSMSymphony計算集群信息入庫卡口流動車輛信息主節點SSM(備)1.主節點SSM讀取黑名單數據以CommonData形式下發到各個計算節點2.Symphony客戶端讀取Message后形成Task提交到集群主節點3.主節點SSM分發接收到的Task到各個計算節點4.計算節點運行SI獲取Task內容根據黑名單進行最終的比對分析5.計算節點將比對成功的記錄發送到實時預警平臺6.計算節點將數據持久化到大數據平臺實時預警平臺（110布控）比對結果計算節點計算節點計算節點分布式集群上做黑名單比對黑名單更新黑名單計算節點實時分析平臺Symphony大數據平臺主節點SympIBMConfidential指紋、人臉對比系統P7R2P7R2P7R2P7R2Sym主節點（任務調度）內存網格（200G人臉特征庫）Sym客戶端人臉樣本200T人臉圖像庫Hbase存儲MapReduce特征轉化、加載SOA調度，并行對比優勢（相對傳統數據庫方案）：海量分布式存儲線性擴展并行對比快速查詢IBMConfidential指紋、人臉對比系統P7R2SXX銀行統一考核數據平臺介紹統一考核平臺數據庫核心系統票據系統個貸系統...基金系統MDS考核平臺數據倉庫ETL廣州分行平臺數據集市南京分行平臺數據集市下發XX分行平臺數據集市廣州分行考核流程廣州分行考核數據集市南京分行考核數據集市南京分行考核流程XX分行考核數據集市XX分行考核流程績效及報表查詢績效及報表查詢績效及報表查詢集中存放的全行數據倉庫數據源分行數據集市客戶端?2013IBMCorporationXX銀行統一考核數據平臺介紹統一考核平臺數據庫核心系統票據系統一考核數據平臺當前痛點痛點痛點：各分行考核流程負責從分行的數據集市生成各分行考核數據集市。這個過程主要包含多表的關聯操作。隨著數據量大增大，流程處理的時間也越來越大。執行時間過長，對業務考核產生影響，業務人員經常無法及時查詢到自己的考核績效。流程由分行自行開發，總行DBA無法過多介入來保證性能。針對目前平臺痛點的2種可能優化方法：優化現有的分行的行存儲數據集市。利用DB2BLU來管理分行數據集市分行考核流程?2013IBMCorporation統一考核數據平臺當前痛點痛點痛點：各分行考核流程負責從分行的優化方案結果對比建立額外的索引使用rangepartition分區表采用頁壓縮技術收集統計信息調優內存配置方案1充分優化的行數據庫方案2DB2BLUDB2_WORKLOAD=ANALYTICS建庫，加載數據運行VSDB2BLU無需繁雜的調優過程取得了19倍的性能提升19X?2013IBMCorporation優化方案結果對比建立額外的索引方案1充分優化的行數據庫方案

謝謝！謝謝！AnalyticsandBigDataonPower方案及案例分享AnalyticsandBigDataonPowe目錄大數據與分析概述高性能運算Symphony解決方案DB2BLU助力高性能數據集市大數據案例分析目錄大數據與分析概述大數據與分析概述大數據與分析概述“上個月在瑞士達沃斯舉行的世界經濟論壇上,大數據是一個熱點話題。在論壇的一份報告《大數據，大影響》中聲明：數據已成為一類新的經濟資產，就像貨幣或黃金一樣.“公司被數據淹沒了—從客戶的習慣到供應鏈的效率。但是許多經理卻不能理解這些數據的意義.”“越來越多的企業使用大眾媒體去分析公眾對產品的反饋，例如Facebook或Twitter,也有使用網站資源試著“了解客戶，是什么讓他們選擇他們想要的東西”負責IBM預測分析項目的迪阿德瓦說。"“大數據已抵達Seton醫療保健家庭,幸運的是,

通過使用這個分析工具,每年超過200萬復雜病例的患者得到了幫助…”“數據是新型石油”

未開采的石油，沒有什么價值。加工及提煉后，將助力世界。

“…現在，沃森正投入到工作中，消化了數百萬頁的研究,

結合最佳的臨床實踐和監測結果，以協助醫生治療癌癥患者.”奧斯卡情感測量—一種工具，是由洛杉磯時報、IBM和南加州大學安創新實驗室共同開發的—分析意見,“主要針對Twitter上共享的百萬條奧斯卡獎項比賽的公共信息做出的分析意見.”“數據是新型石油.”CliveHumby“公司被數據淹沒了—從客戶的習慣到供應鏈的效率。但是許多經理大數據來自哪里？

截至2011年末網絡上有超過20

億人現在有300億個RFID記

（2005年時有13億）全球有46億臺照相手機每年售出數億臺支持GPS的設備在2009年有7600萬臺智能儀表……

至2014年將達到2億臺每天有超過3億

活躍用戶每天有超過25

TB

日志數據每天有超過1億條消息大數據來自哪里？

截至2011年末網絡上有超過20大數據的特點綜合分析覆蓋面越來越寬的種類應對日益增長的速度有效地處理日益增長的數量建立大數據來源的真實性三分之一商界領袖感到無法信任那些幫助他們做決策的信息50x35ZB20202010300億RFID傳感器和計數器世界上80%的數據是非結構化的大數據的特點綜合分析覆蓋面越來越寬的種類應對日益增長的速度有大數據會影響到您業務的方方面面了解關于您客戶的一切從渠道交互到社交媒體，通過分析所有數據來源幫助您了解您的每位客戶零延遲操作分析所有可用的操作數據并且實時做出反應，從而優化流程。通過成本效益技術降低IT成本。在速度和規模上實現新產品創新捕獲所有來源的反饋，分析龐大的市場環境，研究大量的數據，從而推動創新。即時的欺詐和風險意識通過分析所有可用數據來打造更好的欺詐/風險模型，用流數據交易分析來實時監測欺詐利用儀表化資產監控資產通過實時數據反饋來預測和預防維修問題，并且開發新產品和新服務。大數據會影響到您業務的方方面面了解關于您客戶的一切大數據主要與大型數據集相關在大數據的新世界中，我們必須更換所有陳舊系統大數據就是Hadoop較為陳舊的事務數據已經不再重要數據倉庫已是昨日黃花大數據適合熟知互聯網的企業。傳統業務與大數據毫無關系我們不具備相應的需求、預算或者技能，因此我們不必為此擔心人們對于大數據的觀點是怎樣的大數據主要與大型數據集相關人們對于大數據的觀點是怎樣的研究顯示了實施大數據的4個階段大數據采用當基于當前的大數據活動級別而劃分為4個小組時，受調查者在組織行為上表現出顯著的一致性

受調查者總數n=1061由于舍入原因，各個比例總和不等于100%6%部署兩個或更多大數據計劃，繼續應用高級分析占總受調查者的百分比執行22%試點大數據計劃，以驗證價值和需求占總受調查者的百分比試點47%基于業務需求和挑戰開發戰略和路線圖占總受調查者的百分比探索24%專注于知識收集和市場觀察占總受調查者的百分比學習研究顯示了實施大數據的4個階段大數據采用當基于當前的大數據活智慧分析數據倉庫大數據平臺加速器流

計算數據倉庫Hadoop

系統信息整合與治理應用開發發現系統管理內容管理數據倉庫流計算Hadoop系統信息整合與治理大數據平臺系統、存儲和云業務分析內容

分析決策管理風險

分析績效管理商業智能與預測分析大數據分析內容

分析預測分析決策管理社交媒體分析分析整合與治理IBM提供了全面的、整合化的大數據和分析方法智慧分析數據倉庫大數據平臺加速器流

計算數據Hadoop

Hadoop系統管理多樣化海量數據企業級應用增強了開源Hadoop能力流計算用于分析流動的數據能夠處理分析多種數據–通過高級分析運算符來支持結構化，非結構化，視頻，音頻等數據倉庫工作負載均衡的MPP架構，支持高性能的OLAP及混合型的操作和分析負載數據可視化企業級搜索引擎圖形展現海量分析結果IBM大數據平臺

Hadoop系統IBM大數據平臺BAO方案整體技術架構從哪里來？是誰？到哪里去？BAO方案整體技術架構從哪里來？是誰？到哪里去？大數據解決方案出現之前傳統的計算模式數據源數據抽取數據倉庫場景模型策略/計劃平衡計分卡預測/預報績效分析價值分析數據集市數據分析前端展示風險分析企業數據倉庫數據倉庫事實表ETL工具數據管理基于門戶的Web頁面固定報表多維分析即席查詢數據集市MOLAPRelational立方體管理

行業情報

ERPHRSCMCRMStatistics外部數據財務預算數據員工狀態

設備狀態客戶信息分析報告ETL:抽取、轉換和加載大數據解決方案出現之前傳統的計算模式數據源數據抽取數據倉庫預數據源數據抽取數據倉庫場景模型策略/計劃平衡計分卡預測/預報績效分析價值分析數據集市數據分析前端展示風險分析企業數據倉庫數據倉庫事實表ETL工具數據管理基于門戶的Web頁面固定報表多維分析即席查詢數據集市MOLAPRelational立方體管理

行業情報

ERPHRSCMCRMStatistics外部數據財務預算數據員工狀態

設備狀態客戶信息分析報告ETL:抽取、轉換和加載電商、微博、社交網站、平安城市等產生大量社交數據、日志、圖片、視音頻數據….海量數據匯總、統計耗時太長，滿足不了業務部門的時效性需求；傳統計算模式遇到的困難某些業務部門需要實時數據分析，數據一邊產生，一邊進行分析，以應對市場壓力數據產生速度快，數據量巨大，種類繁多，非結構化數據占了80%以上數據源數據抽取數據倉庫預測績效分析價值分析數據集市數據分析前Hadoop并行計算模式HDFS—HadoopDistributedFileSystem。HDFS為了做到可靠性（reliability）創建了多份數據塊（datablocks）的復制（replicas），并將它們放置在服務器群的計算節點中（computenodes），MapReduce就可以在它們所在的節點上處理這些數據了。MapReduceHadoop并行計算模式HDFS—HadoopDistr大數據技術與傳統數據處理技術的關系

超越和補充傳統數據處理技術實時數據處理Internet級別海量數據存儲與分析傳統數據倉庫In-MotionAnalyticsDataAnalytics,DataOperations&ModelBuildingResultsInternetScaleDatabase&WarehouseAt-RestDataAnalyticsResultsUltraLowLatencyResultsInfoSphereBigInsights傳統/關系型數據源傳統/非關系型數據源傳統/關系型數據源傳統/非關系型數據源大數據技術與傳統數據處理技術的關系

超越和補充傳統數據處理高性能運算Symphony解決方案高性能運算Symphony解決方案大數據常見應用場景舉例影像管理（各類單據的掃描件、地圖影像），非結構化/半結構化數據存儲和分析（XML文件、文本日志文件）典型應用：測繪行業系統、地圖服務提供商產品、公安部、銀行/稅務票據管理、電信詳單日志分析、各類終端采集數據分析……常見痛點：存儲成本/性能，關系型數據庫性能/功能問題。業務/產品/服務創新典型應用：CDR分析，輿情分析，LBS，廣告精準投放，移動終端服務/智慧XX（電表數據分析、HIS，電子支付），精益生產、反洗錢……常見痛點：實時性、數據來源多樣、數據量大計算密集型應用高性能計算技術非常適用典型應用：保險精算、銀行風險分析、信用卡欺詐分析……常見痛點：實時性、多種數據源要形成統一視圖大數據常見應用場景舉例影像管理（各類單據的掃描件、地圖影像）大數據智能分析解決方案介紹課件IBM大數據平臺優勢1-高性能國內運營商進行的基于Hbase的數據查詢測試，取得3～15倍的性能優勢國內運營商進行的基于Hive的數據分析測試，取得9～11倍的性能優勢數據加載場景每核加載速度為x86核的11.18倍數據分析場景每核分析速度為x86核的9.63倍IBM大數據平臺優勢1-高性能國內運營商進行的基于Hbase為什么Symphony更快？JobTracker/TaskTracker用C++/C編寫資源管理和任務管理解耦.支持300并發jobtrackers;1000并發jobs/jobtrackerSOA架構，共享服務(reuseJVMacrossmanytasks)使用TCP原語和二進制編碼，取代httpandtext/XMLPushprotocolavoidstasktrackerpullingtasksandthedelaycausedbypullinginterval專利的asynchronouspersistencyprotocol以保證可靠性和性能Note:HadoopResultswerepublishedbyClouderaatHadoopWorldeventDec,2011.Hadoopjarexample.jarsleep–mt1–rt1–m5000–r1Testedon10hosts85為什么Symphony更快？JobTracker/TaskIBM大數據平臺優勢2-高可靠從硬件、文件系統和分布式計算框架所有層面采用高可靠設計架構，杜絕基于開源產品的不可靠問題Symphony計算框架：經過接近20年全球成功企業應用考驗的高可靠性框架，不僅本身可靠性高，不存在單點故障，而且通過對下層硬件資源的先進管理功能，實現物理資源與邏輯資源的解耦，實現資源的動態加減和黑名單等機制，徹底解決硬件故障的透明failover問題GPFS-FPO文件系統：經過20多年全球無數應用驗證的分布式文件系統，成熟、可靠，GPFS-FPO采用去中心化設計（元數據分散存儲），天生不存在NameNode的單點故障和可靠性瓶頸問題PowerLinux在RAS特性方面全面領先X86平臺IBM大數據平臺優勢2-高可靠從硬件、文件系統和分布式計算框IBM大數據平臺優勢3-好維護IBM大數據平臺優勢3-好維護IBM大數據平臺優勢4-高度兼容性Symphony和GPFS具有最廣泛的兼容性，只要是基于Hadoop架構標準接口開發的軟件都可以100%兼容，如HadoopHbase,Pig,Hive,JavaMR,Oozie等各種知名的Hadoop開源方案不僅兼容開源方案，還支持各種商業分析軟件，如SAS、SPSS、Murex,Algorithmics,Sugard,Calypso,TillingHast等

兼容各種Java、R、C/C++等各種開發語言，兼容各種文件系統及數據庫，如HDFS,GPFS-FPO,RDMBS,MPP等，兼容Linux、Windows、AIX等各種OS平臺，兼容X86、Power等各種硬件平臺，支持虛擬機和物理機混合組網使用IBM大數據平臺優勢4-高度兼容性Symphony和GPFSIBM大數據平臺優勢5-技術支持核心產品由IBM自主開發，擁有完全的技術研發與支持力量全球26個研發和銷售機構，300+的研發團隊分布在北京和西安兩地強大的QA和服務支持團隊，強大的本地售后支持力量專業的定制化開發團隊業界公認的大型網格/工作負載管理的領導者全方位的技術支持服務評估規劃與咨詢服務建設設計與實施服務管理管理與維護支持服務IBM大數據平臺優勢5-技術支持核心產品由IBM自主開發，擁IBM大數據平臺優勢6-高效可靠文件系統IBM大數據平臺優勢6-高效可靠文件系統GPFS-FPO替換HDFS，更可靠、更高效對于需要隨機I/O的SQL查詢,JAQL查詢等對于需要線性排序的sort操作來說BigInsights提供2至3倍與開源Hadoop技術的性能文件索引等查找效率17倍于開源Hadoop技術,得益于ClientCache能力Hadoop

Indexing(HDFS)Database

Upload(ext3)WebService

LayerCopyFetchHDFS:

Extracopyoverheadandnetworkfetch,separateclustersforanalyticsanddatabaseHadoopIndexing

+DatabaseUpload(GPFS)WebService

LayerCacheGPFS:

Singleclusterforanalyticsanddatabase,nocopyingrequired,cachingforweblayerWorkloadIsolationProvendataintegrityReplicatedmetadataservicesYahookeeps3copiesof3versionsofHDFSbecauseofunknowndataintegrity[1]QuantcastdeletesfilesonceHDFSis50%full[2][1]CareandFeedingofHadoopClusters,MarcNicosia,Usenix2009

[2]TheKomosDistributedFileSystem,SriramRao,QuantcastInc.GPFS-FPOKeytechnologyLocalityawarenessWriteAffinityMetablocksPipelinedreplicationDistributedrecovery超過20年發展的成熟的企業級文件系統vsHDFS

4年發展歷史IBM企業級支持的商用軟件vsHDFS開源軟件POSIX兼容，同時支持傳統文件訪問和Hadoop應用vsHDFS不兼容POSIX內建的安全特性和高可用性(集群管理節點e.g.)vsHDFSnamenode單點跨數據中心復制容災vsHDFS無遠程復制GPFS-FPO替換HDFS，更可靠、更高效對于需要隨機I/GPFS-FPO去中心化設計，高性能與高可靠GPFS-FPO去中心化設計，高性能與高可靠可擴展的IBMSystemsConfiguration初始配置半機柜配置1stThru4th

滿機柜附加滿機柜UsableStorageUpto108TBUpto324TBUpto684TBperrackUpto720TBperrackUserspaceUpto36TBUpto108TBUpto228TBperrackUpto240TBperrack

可擴展得多個入門方式從很小的規模起步逐步擴大

支持多種工作負載的靈活的

CPU,內存,存儲和網絡

選項可擴展的IBMSystemsConfiguration初始IBMPowerLinux7R1–便捷、高效的入門級產品可靠設計Singlesocket,2Urack8-core3.55GHzPOWER7processorUpto128GBmemorywith8/16/32GBDIMMs

First32GBincludedinbasepackage高擴展性和強大虛擬化能力Upto24SFFharddrivesper2Ustorageexpansiondrawer(L1S)PowerVM?exploitingintegratedhypervisor8246-L1C/8246-L1SGAonAugustVirtualization&ManagementOperatingSystemsLinuxonlyPOWER7Onesocket,2UrackIBMPowerLinux7R1–便捷、高效的入門級產IBMPowerLinux7R2-高性能、靈活配置OperatingSystemsVirtualization&Management

高系統密度TwoSocket,2URack16-cores3.3GHzand3.55GHzPOWER7processor256GBmaximummemorywith2/4/8GBDIMMs-First32GBincludedin3.55GHzprocessorbasepackage-First64GBincludedin3.3GHzprocessorbasepackageUpto207R2sinasingle42Urack