POWER大數據解決方案介紹及案例分享許棟IBMPower資深系統架構師POWER大數據解決方案介紹及案例分享許棟IBMPowerAgendaPower，為大數據而設計Power大數據方案介紹應用場景和案例分享AgendaPower，為大數據而設計3現實世界中的數據量呈爆炸式增長46億移動電話用戶13億RFID標簽in2005

30億RFID

標簽by201020億Internet用戶by2011Twitter每天處理

7terabytes數據Facebook每天處理

10terabytes

世界氣象數據中心220Terabytes

網頁數據9Petabytes

其他數據資產市場數據量增長1,750%,

2003-063現實世界中的數據量呈爆炸式增長46億13億RFID4數據爆炸的時代，贏得數據才能贏得世界數據是新的自然資源基于數據的決策更加復雜更加重要數據的爆炸式增長超出系統能力4數據爆炸的時代，贏得數據才能贏得世界數據是新的自然資源基于大數據計算需要什么樣的硬件平臺？OLAPDWBigDataSQLNoSQLNewSQLRDBMSHadoopSpark批處理交互分析流計算更大容量更低成本更快的處理速度支持多樣化的計算類型橫向擴展的能力更大更多的磁盤更少機器更少空間和耗電更低的造價游戲Map-ReduceHPC圖像渲染云存儲工業仿真計算密集消重/歸檔風險分析IO密集流計算實時分析/交互分析更快的CPU更多的線程并行更大的內存容量和帶寬更大的IO帶寬Flash加速大數據處理技術的發展，對硬件提出了更高的要求…靈活的硬件配比支持從計算密集到IO密集多種計算類型靈活定制硬件創新，CPU、GPU和混合計算多種計算負載的混合調度大數據計算需要什么樣的硬件平臺？OLAPDWBigD6認知計算能力持續數據加載性能海量IO帶寬低延遲極端Flash性能加速網格擴展存儲私有云公有云TraditionalIT混合云為BigData而設計軟件定義+云化開放和協作創新Power8基于云的實時、敏捷、高效和開放的架構才能滿足新計算時代的需求6認知計算能力持續數據加載性能海量IO帶寬低延遲極端FlasPower8----迄今最快的CPUPower更強大的計算能力意味著更快的數據洞察查詢報告預測分析認知計算大數據和分布式并行計算場景，仍然需要更強大的CPUPower8----迄今最快的CPUPower更強大的計算Power8性能對比測試testmachineCPUMemory(GB)CoreNumberTPSPercoreperformance(TPS)PKDL380pE5-2650@2.2Ghz642*6=12corephysicalbox19001581Power8282-22APower8@3.93GHz16dedicated1coreLPAR7907905.0xSPECjEnterprise2010benchmark,1.76xcoretocoreadvantagethanSPARCT5OracleSiebelCRM8.1.1.xbenchmark,6.7xcoretocoreadvantagethanSPARCT51.76x6.7xPower8性能對比測試testmachineCPUMemPower8—業界最高的8并發超線程Power8更多的超線程意味著更高的并發性更多用戶更多活動作業SMT8技術允許在同一個物理CPU核心上同時運行8個獨立的指令或線程，比Power7的SMT4高了一倍，是Intel上的超線程技術的4倍可以按需在不同模式見動態轉換：SMT1/SMT2/SMT4/SMT8Power8—業界最高的8并發超線程Power8更多的超Power8更大的內存，更寬的內存帶寬，更快的內容讀寫意味著更適合內存計算場景和計算密集型場景更大的內存數據庫更大的OLAP多維立方體更快的內存思想性分析更高效的實時數據分析Power8—超大內存帶寬較POWER7內存帶寬提升2.3倍，是x86的4倍每處理器支持1TB內存，高達192GB/sec內存帶寬

單臺Power8服務器最多可支持230.4GB/sec內存帶寬史無前例的片上96MBL3cache創新內存緩存芯片，進一步提高內存讀寫速度Power8更大的內存，更寬的內存帶寬，更快的內容讀寫PowPower8—更大的I/O帶寬更快的I/O讀取意味著更適合數據密集型場景更低的數據讀寫延遲更高的數據讀寫速度創新I/O協處理硬件，軟件功能硬件加速較POWER7,內存帶寬提升2.3倍內置PCIeGen3支持直接處理器集成取代專屬GX/橋接低延時Gen3x16帶寬(32GB/s)PCIeGen3x16x8x16x8Power8I/O帶寬測試Power8—更大的I/O帶寬更快的I/O讀取意味著更適合Power靈活配比方案，支持更多計算類型SmallPODMediumPODLargePOD–ALargePOD–BDriveType2.5”10KRPM1.2TBSFFSAS2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSASNumberofDrives123660LFF+12SFF60LFF+24SFFAvailableStorage14.4TB43.2TB254.4TB268.8TBSmallPOD1P8S822Lw/InternalDrivesMediumPOD1P8S822Lw/EXP24SLargePOD–B2P8S822Lw/1DCS3700LargePOD–A1P8S822Lw/1DCS3700Power大數據最佳實踐從計算密集型到數據密集型都有靈活的配比方案性能、容量和成本的最佳平衡ComputeDenseStorageDensePower靈活配比方案，支持更多計算類型SmallPODMPower8無處不在的RAS處理器指令重試備用處理器恢復可選擇動態固件更新Chipkill內存ECC二級緩存、三級緩存帶故障監控功能的服務處理器熱插拔磁盤托架熱插拔并發維護

PCIe插槽熱插拔冗余電源和散熱風扇動態處理器重新分配PCI插槽上的擴展錯誤處理Power8遠超x86的高可靠設計Power8無處不在的RASPower8遠超x86的高可靠CustomHardwareApplicationPOWER8CAPPCoherenceBusPSLFPGAorASIC可自定義的硬件應用程序加速器特定的系統軟件、中間件或用戶應用程序寫入PSL提供的持久接口POWER8PCIeGen3TransportforencapsulatedmessagesProcessorServiceLayer

(PSL)向應用程序提供成熟的、穩定的接口降低CAPP的復雜性和工作負載虛擬尋址加速器可以與處理器一樣直接對內存進行尋址與處理器運行程序一樣使用指針消除操作系統和設備驅動程序的額外開銷Power8創新CAPI接口，開放定制硬件加速硬件管理的緩存一致性使得加速器能作為正常線程參與“Locks”，降低IO通信模型中的延遲基于Power8CAPI加速接口，為大數據進行硬件創新CustomPOWER8CAPPCoherenceBusPAgendaPower，為大數據而設計Power大數據方案介紹應用場景和案例分享AgendaPower，為大數據而設計企業級市場的大數據應用機會KeyIndustryOpportunityandTrendsTelecom,BankingandGovernmentcontributethelargestincrementalBigData&Analyticsmarketsizefrom2013to2017inGCGMorerationalthanlastyear,notonlyfocusingonHadoopplatformTelecom,Banking,Gov’tsectorswillhavemoredemandsforadvancedBD&AsolutionsHelpcustomersbegintheirBigDataJourneyBigdataasservicesbegantoemergeinthemarket企業級市場的大數據應用機會KeyIndustryOppo大數據的主要應用類型實時性高實時性低簡單查詢復雜分析內存數據庫內存分析NoSQL實時查詢流式計算M-R批量分析MPP數據倉庫多應用混合大數據平臺海量數據存儲大數據的主要應用類型實時性高實時性低簡單查詢復雜分析內存數據海量數據存儲IBM基于Power的大數據方案實時性高實時性低簡單查詢復雜分析內存數據庫內存分析NoSQL實時查詢流式計算M-R批量分析MPP數據倉庫多應用混合大數據平臺Power+CAPI+Flash+NoSQLPower+StreamPower+DB2BLUPower+DB2DPFPower+GBasePower+HadoopPower+SequoiaDBPower+Symphony/GFSP+HadoopSpectrumStoragePower+GPFS海量數據存儲IBM基于Power的大數據方案實時性高實時性低TheMarket:

Explosivegrowthofnewmobile,socialappsrequiringlighteningfastresponseathighvolumeEnabledbyin-memoryNoSQL,KeyValueStoreslikeRedisOrdered(key,value)pairsprovidetypeofin-memory,lighteningfastdistributedhashtablePlaysanimportantroleinmanylargewebsitesGitHub,Amazon,Facebook,Twitter&more…TheIssue:x86memorylimitedbymaxRAMScale-outx86serverslimitedmemorysizeResultsincostly,complexinfrastructureLoadBalancer500GBCacheNode500GBCacheNode500GBCacheNode500GBCacheNode1Ux86server(24)512GBmemoryThePOWER8+CAPIFlashasRAMAdvantage:NewFLASHasRAMforRedisin-memoryappsProvidesmeansforlargeFLASHexploitationLowercostmemory,greaterworkloaddensityDramaticallyreducecoststodeliverservicesCanbeofferedasacloud-basedserviceorasanon-premisesolutionforenterprises24:1server

consolidation3Upto3xlowerTCA24UPowerS822L/S812LUbuntu14.10FlashSystem8402TBto40TBFlash4UTheSolution:POWER8+CAPIFLASHasRAM-Upto40TBin4U19Power8+CAPI+Flash，NoSQL內存數據庫方案TheMarket:ExplosivegrowthLoadBalancer500GBCacheNode10GbUplinkPOWER8ServerFlashArrayw/upto40TBDifferentiatedNoSQL(POWER8+CAPIFlash)NewmemorytierforPOWER8serverUpto40TBforNoSQLbasedapplicationsClustersolutioninaboxInfrastructureAttributes192threadsin2UServerdrawer40TBofmemorybasedFlashper2UDrawerSharedMemory&CachefordynamictuningEliminationofI/OandNetworkOverheadToday’sNoSQLinmemory(x86)InfrastructureRequirementsLargeDistributed(Scaleout)LargeMemorypernodeNetworkingBandwidthNeedsLoadBalancingPowerCAPI-attachedFlashmodelforNoSQLregainsinfrastructurecontrolandreignsinthecosttodeliverservices.Power8創新NoSQL方案與現有NoSQL方案比較10GbUplinkBackupNodes500GBCacheNode500GBCacheNode500GBCacheNode512GBCacheNode24:1

Reductionininfrastructure2.4x

Pricereduction12x

LessEnergy12xLessrackspace40TBofextendedmemory4ULoadBalancer500GBCache10Gb大數據JAVA計算過程使用GPU加速，提升5倍的性能Power8+JAVA+GPU，大數據硬件加速方案大數據JAVA計算過程使用GPU加速，提升5倍的性能Powe其他Power8CAPI開放硬件創新方案……提供無限可能GoogleDesignedinnovationserverbaseonPower8chipKey-Value-Store35xperformanceperwattimprovement高性能網絡加速卡減少10x延遲10x

reduceslinesofCcodeby40x

comparedtonon-CAPI250xFasterwithCAPIFPGA+POWER8coreforMonteCarloSimulationsTMSFlashmemorystorageCoherentlyattachedHighspeed&converged

networkingAcceleratorSwitchboardNetworkvirtualizationFieldProgrammableGate

Array(FPGA)

Coherently(CAPI)attachedGPU加速，高性能網卡加速，Flash加速，蒙特卡羅分析硬件加速，硬件壓縮，硬件加解密…….其他Power8CAPI開放硬件創新方案……提供無限可能GPower+Stream流計算方案23大數據平臺實時分析平臺一個處理流數據的低延遲平臺毫秒級，甚至微妙級端到端的延遲一個可高度擴展的，用于實時分析的高性能平臺通過橫向增加硬件獲得近線性的處理能力擴展高達125個節點擴展一個靈活的、動態的平臺Streams應用靈活部署支持動態部署新的分析應用

MillionsofeventspersecondMicrosecondLatencyTraditional/Non-traditionaldatasourcesRealtimedecisionsPowerfulAnalyticsAlgoTradingTelcochurnpredictSmartGridCyberSecurityGovernment/LawenforcementICUMonitoringEnvironmentMonitoringPower+Stream流計算方案23大數據平臺實時分析平Power+Stream流計算方案編譯時Operators自動融合：

高效利用CPU，調整力度更細

分布式運行

快速的數據交換

允許自動或人工調整良好的擴展性流處理語言：

可重用的operators

快速的動態應用部署

連續的“管道”處理靈活、高性能的數據傳輸

極低延遲

極高數據速率

易擴展

內置adaptors

用戶可使用熟悉的 C++和Java進行擴充

使用為您帶來競爭優勢的數據：

幾乎能處理任何數據類型

使用一些傳統方式無法處理或處理成本太高

動態分析：

運行時程序拓撲的變動

創建新任務

動態數據流

Power+Stream流計算方案編譯時OperatorsPower+DB2BLU內存分析方案實現10TB數據亞秒級查詢系統-32核，10TB的表，含100個列，10年的數據

查詢：2010年有多少事務SELECTCOUNT(*)fromMYTABLEwhereYEAR='2010’結果：亞秒級10TB查詢！每個CPU核心只檢查相當于8MB的數據Power+DB2BLU內存分析方案實現10TB數據亞秒StandAloneDB2BLU:UltraFastAnalyticsPower:UltraFastInfrastructureSolutionAdvantageArchitecture：OpenSolutionismorepreferredinChinacustomersTechnology:DynamicIn-Memory,ActionableCompression,ParallelVectorProcessing,DataSkipping,etc.Performance：DB2BLUonPower7xbetterperformancethanSAPHANAPrice：DB2BLUonPower

1/9costofSAPHANAOptimizedEachOtherDB2onPower=FastonFast,DB2+Power=Excellent+ExcellentSizing720(8c,128GB)2.5-5TB740(16c,256GB)5-10TB750(32c,512TB)10-20TB720(4c,64GB)<2.5TB38xAverageAcceleration

ofdatabasequeriesforreporting(vs.previousversion)Power+DB2BLU內存分析方案StandAloneDB2BLU:UltraFast客戶查詢速度提高某大型金融服務公司46.8倍某第三方軟件供應商37.4倍某分析軟件業務公司13.0倍某全球零售公司6.1倍某大型歐洲銀行5.6倍分析查詢速度平均提高10-25倍“Itwasamazingtoseethefasterquerytimescomparedtotheperformanceresultswithourrow-organizedtables.Theperformanceoffourofourqueriesimprovedbyover100-fold!Thebestoutcomewasaquerythatfinished137xfasterbyusingBLUAcceleration.”

-KentCollins,DatabaseSolutionsArchitect,BNSFRailwayPower+DB2BLU內存分析方案vs傳統基于磁盤的數據分析客戶查詢速度提高某大型金融服務公司46.8倍某第三方軟件供應關注點DB2BLUonPOWERSAPHANA硬件平臺PowerX86性能7Xadvantage(OLAP)總體擁有成本computingresources:10Xadvantagememoryfootprint:10Xadvantagestoragefootprint:10XadvantageTCO:9Xadvantage數據容量單節點5-20TB最佳，無需全部導入內存最多56TB，需準確預估，超出可能導致嚴重性能問題架構已經驗證的部署DB2數據庫的成熟平臺支持現有平臺擴展及利舊大中華區只有少量實施案例全新系統架構備份與安全對存儲沒有特別要求，可以利用現有各種備份和存儲災備技術備份主要采用磁盤備份，目前還不支持大多數常用備份軟件Power+DB2BLU

vs

SAPHANA關注點DB2BLUonPOWERSAPHANA硬件平Power+DB2DPF

MPP數據倉庫方案大數據時代，MPP數據庫仍然是不可或缺的重要部分MPP作為結構化數據和匯總數據的實時查詢、交互分析和報表展現的重要載體DB2DPF作為MPP的代表，具有廣泛的優點，是DW均衡架構的最佳實現，CPU0MemoryCPU1CPU2CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition3CPU0MemoryCPU1CPU2CPU3DB2Partition4DB2Partition5DB2Partition6DB2Partition7CPU0MemoryCPU1CPU2CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition99…..SMP+MPP架構的DB2DPFDW垂直擴展:擴展操作系統資源數量以及內部的每個DB2分區節點的資源數量水平擴展:擴展操作系統數量以及DB2分區節點的數量Power+DB2DPFMPP數據倉庫方案大數據時代，MPower+DB2DPF，可靈活選擇硬件平臺，達到性能、擴展性和價格的最佳平衡高端方案中端方案低端方案主機高端Power中低端PowerPowerlinux數據庫軟件DB2DPFDB2DPFOracleRAC或單機版DB2DPF架構SMP+MPP小型SMP+MPP小型SMP+SharedDisk或小型SMPMPP擴展方式垂直擴展或水平擴展DB2一般垂直擴展升級為高端POWER方案，或可水平擴展Oracle可垂直升級為高端方案，很難水平擴展水平擴展存儲中高端存儲中低端存儲中低端存儲適用場景超大規模主DW、數據集市集中庫中型數據集市、ODS小型數據集市數據量（非壓縮）可超過1PB，全球生產案例可達3PB；國內案例：128節點800TB數十TB至數百TB數十TB至上百TB優缺點優勢：支持超大規模結構化DW，很好的性能和擴展能力優勢：對于適用數據量，性能好缺點：水平擴展需要數據重分布影響生產性能；Oracle很難水平擴展優勢：對于適用數據量性價比好缺點：無垂直擴展，水平擴展需數據重分布Power+DB2DPF，可靈活選擇硬件平臺，達到性能、擴Power+DB2DPF

vs一體機序號測試場景測試目的ISASvsExadata1數據加載測試測試數據庫數據加載效率占優2數據壓縮測試測試數據庫對數據壓縮率占優3大數據表查詢——selectcount(*)測試數據庫對大表的查詢效率。使用全表掃描。不占優4多表關聯查詢（5表、10表）測試數據庫多表復雜關聯的效率占優5多表關聯查詢（2表）測試數據庫多表復雜關聯的效率占優6寬表查詢測試數據庫對寬表的匯總查詢效率占優7聚合函數測試數據庫對于表的聚合函數匯總效率占優8數據的distinct去重測試數據庫distinct去重的效率占優9復制一張表的某些字段和一部分數據CTAS類型操作的效率占優10存儲過程用例測試生產系統常用業務組合的效率占優11并發的查詢用例測試生產系統常用業務組合的效率占優12多任務查詢用例測試生產系統常用業務組合的效率占優13多個巨量SQL并發測試測試生產系統常用業務組合的效率占優14卸載數據測試數據庫自有的數據庫導出工具數據導出性能占優15數據的insert操作測試數據庫的insert操作效率。占優16數據的刪除操作——刪除部分數據測試數據庫大表的刪除速度占優17數據的rollback操作測試數據庫大表的刪除后rollback的效率占優18數據的刪除操作——整表刪除測試數據庫大表的刪除效率，truncatetable占優占優比例94%2012年在某移動客戶進行的對比測試，證明Power+DB2DPF具有超越一體機性能的能力，且性價比更高，客戶可靈活設計硬件架構。Power+DB2DPFvs一體機序號測試場景測試目的DB2DPF

vs其他MPP數據庫2013年在某移動客戶進行的對比測試，DB2DPF在幾乎所有場景的性能表現均超越了其他MPP產品。8節點+SSD盤8節點+磁盤16節點4地市融合業務場景32DB2DPFvs其他MPP數據庫2013年在某移動客戶Power海量非結構化數據分析方案HDFSMap-Reduce/YarnGPFSSymphonyHBaseSpark物理層平臺層工具層HiveStormBigSQLStreamPigBigSheetSewuoiaDBSPSSPowerlinux：企業級環境的最佳選擇，性能與成本最佳平衡的新一代硬件平臺標準linux,Redhat/Suse全面支持更加成熟、可靠與更高性能的分布式文件系統領先的大數據計算調度平臺，多租戶管理，更智能調度，更高性能、SLA管理，支持更多大數據計算類型成熟的流計算和實時分析解決方案企業級SQLonHadoop方案同樣支持商業分析軟件完全支持開源大數據版本Powerlinux是大數據計算的理想平臺多線程:POWER7+每處理器核心有4線程,而Intel的處理器只有2線程高吞吐:POWER7+有非常大的內存和I/O帶寬(沃森成功的關鍵)依賴Java應用:POWER7+提供了高度優化的JVMPower海量非結構化數據分析方案HDFSMap-Reduc企業用戶的大數據建設方向是：資源共享的大數據中心34管理和運維方面的需求共享資源，提高資源利用率，提高投資收益資源統一調度，為每個應用彈性供給資源統一管理應用統一管理用戶統一管理數據安全統一管理統一的企業大數據中心平臺業支網運O域分析B域分析開發商A應用1開發商A應用2開發商B應用1開發商C應用2任務1任務1任務3任務4任務5任務6任務7任務8業務和開發的需求統一的基礎平臺層，統一的數據和應用接口，便于應用開發的標準化和開放化獨立的基礎平臺層，便于靈活引入各種力量進行應用層的開發創新數據和應用的共享和重用，提高開發效率，推動應用的迭代創新其關鍵是實現面向多租戶的任務調度和資源管理企業用戶的大數據建設方向是：資源共享的大數據中心34管理和運IBM面向多租戶的大數據共享平臺實現場景IBM面向多租戶的大數據共享平臺實現場景IBM多租戶大數據平臺技術實現框架PlatformComputingSymphonyEGO(DCOS)(dynamicclusterresourcemanagementsupportingdiversetenants)HDFS/GPFS/GPFSFPO(reliable,distributedstorage–yourchoiceofdistributed,orfastparallelPOSIXfilesystems)ABB–applicationbackboneBigInsightsinstance,Streams,Hbase,Oozie,NativeSQLapps,MongoDB,CassandraPlatformSymphonyPlatformSymphonySOAM,PSMRIBMPlatformClusterManager(provisioningandmanagementofdistributedenvironments)HPA,BigData,AnalyticSPSS,Algo,RBigSQL,Pig,Hive,DataExplorer,..PlatformLSFPlatformLSFSerialBatchMPIParallelSessionorientedHPC&BatchanywhereR,SAS,MatLab,DataStageFlowManagementHypervisorPlatformResourceSchedulerExistingDataCenterProvisioningTechnologiesPuppetRPMTPMKick-start…PlatformPPMParallelSOADataAffinityParallelRecursionMapReducePlatformPPMBatchanywhereSAS,Integrationw/Autosys,CtrlMDAGPlatformSymphonyAdvancedServiceControllerYARNAPIPlatformAdvancedServiceControllerMRAMRStreamsDataExplCognosBigSQL(online)HBase(online)YARN(Hadoop2.xRM)MRBatchTezStormABBAppsIBMSymphony支持多種高性能計算，高性能分析，大數據和其它分布式框架實際生產環境驗證的多租戶，共享資源框架。支持包括Hadoop在內的分布式負載。IBM多租戶大數據平臺技術實現框架HDFS/GPFS/Symphony能夠支持多租戶，支持資源的有效共享資源在多應用之間有效共享、調配資源計劃示例37Symphony能夠支持多租戶，支持資源的有效共享資源在多應IBMSymphony提供面向多租戶的資源調度多租戶間基于策略的資源共享多應用間可配置的資源共享策略尊重資源擁有者–可獨占支持資源分組，應用可使用多個資源組，每組配置共享策略基于時間的共享策略可配置資源借出、借入策略可配置搶占策略具有保證租戶SLA機制，去除資源共享的業務障礙多種負載、計算框架資源共享：可同時調度并執行MapReduce分析框架、SPARK內存計算、Stream/Storm流式計算、Hbase/MPP/NoSQL數據庫、SOA實時計算，R/SAS等傳統BI分析及ETL應用等7種類型的負載IBMSymphony提供面向多租戶的資源調度多租戶間基于Symphony支持多維度精確資源管理和調度可以為每個租戶定義多維度資源調度因子，當前最多支持4個

(Cores,Memory,Swap,Tmp,磁盤個數等)通過負載在每個傾斜維度的充分利用，提高增提資源利用率DominantResourceFairness(DRF)算法最大化資源任務分配Example:假設集群包含

8cores,40GBmemoryApp1為計算密集型，每個任務需要4cores,2.5GBApp2為內存密集型，每個任務需要1core,10GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GBWithoutMDS(可同時運行

3個任務:1App1,2App2)WithMDS(可同時運行4個任務:1App1,3App2)1core5GB1core5GB1core5GB1core5GB1core5GB1core5GB1core5GB1core2.5GB2.5GBApp1,Task1App2,Task1App2,Task2App2,Task3LegendMulti-DimensionalResourceScheduling(MDS)Symphony支持多維度精確資源管理和調度可以為每個租戶定IBM方案vs純開源方案相對于基于純開源Hadoop修改的方案，IBMSymphony軟件有以下特點：三級粒度資源管理和調度能力，支持資源分組。多樣化的資源調度策略，如支持優先級、獨占、按比例共享、點對點借還、搶占、按時間預留等。完善的用戶/租戶定義和管理機制。端到端的資源SLA保障機制。對于服務器CPU/Mem/IO資源的細粒度精確管控能力，多維度調度資源，提高整體使用率。基于用戶的數據共享和安全隔離機制健全的圖形化監控管理用戶界面對開源版本Hadoop及各種新型數據工具的開放兼容能力，支持一個平臺同時運行多個Hadoop/YARN版本及實例。對多種OS和硬件平臺的開放兼容和異構支持能力Symphony基于c/c++編寫，經過多年優化，比純開源Hadoop性能更好Symphony具有更高性能，作業調度使用更高效的推送方式，而非輪詢方式，相對開源實現在不同的場景下有40%-66倍的性能提升。具有完整的報表功能，多角度搜集、分析分布式文件系統、并行執行框架、資源、作業數據，分析平臺利用情況，發現性能瓶頸。企業級技術支持IBM方案vs純開源方案相對于基于純開源Hadoop修IBMSymphony在大數據方案中的核心價值靈活

-多租戶環境實現資源共享高效

-更快速地得到計算/分析結果強大

-低延遲，高性能，高可擴展經濟

-降低TCO（基礎設施和管理開銷）成熟

-經過大規模生產驗證的解決方案開放

-豐富的API和應用支持整合

-集成管理工具，支持多集群和云環境貼心

-強大的本地開發和技術支持團隊資源調度C工作負載管理CCCCCCCCCCCDDDDDDDDDDDDCCCCCCAAAAAAAAAAAAAAAABBBBBBBBBBBBBBBBBB各種商業軟件B自開發應用C大數據分析MapReduce/內存計算D快速響應靈活擴展經濟高效IBMSymphony在大數據方案中的核心價值靈活-多SpectrumStorage/Power+GPFS海量數據存儲中心方案統一的企業內部存儲云，云化各種存儲介質，提供統一的通用存儲服務GPFSasunifieddataplaneontopofdifferentstoragesystemsProvidinganunifiedinterfaceforSDScontrolplane,with:Unifiednamespacefordistributedapplications(thenatureofGPFSasclusterfilesystem)MaturedenterprisestoragefeaturesindependenttothestoragesystemsNFSMapReduceConnectorOpenStackFlashDiskTapePOSIXClientworkstationsUsersandapplicationsComputeFarmGSSCIFSCinderSwiftGlanceManilaVMwareSRMVADPVAAIvSphereSinglenamespaceIBMSpectrumScaleShareNothing

ClusterSiteASiteBSiteCGPFS

AFMIBMInterCloudStoreUniversalCloudgatewayconnectsIBMpubliccloud,AmazonS3,AzureandotherstorageprovidersIC

StoreSpectrumStorage/Power+GPFSAgendaPower，為大數據而設計Power大數據方案介紹應用場景和案例分享AgendaPower，為大數據而設計某運營商流計算案例--Streams44網絡質量實時監測數據規模大，大于10萬/秒的信令實時洞察網絡質量指標實時分析CDR短頻話單分析短頻話單分析并按小區/號段統計切換頻話單異常話單單通話單掉話率分析測試結果（CDR/秒）配置：2GHz*4核*2臺服務器單節點：702083兩節點：140000按小區或號段緯度統計短頻話單：1、占用時長小于15秒的通話，且同一主叫和被叫的兩通通話間隔小于20秒重復小區切換話單.2、剔除業務臺號碼；3、按照小區維度統計滿足條件1、2的話單數包含設備和業務種類多，涉及指標多，數據量大不斷的增大等挑戰．需要有一個實時分析平臺解決實時分析網絡質量問題，優化網絡設備提高客戶滿意度．某運營商流計算案例--Streams44網絡質量實時監測按小某運營商數據倉庫案例：Power+DB2DPF128節點的典型shared-nothingMPP數據倉庫，數據庫可用容量已超過500TB。45某運營商數據倉庫案例：Power+DB2DPF128節點的某運營商移動流量經營和大數據分析平臺硬件配置:IBMPower70*7R1Redhatv6.46Cores,128GBMemInternalDisk:2*300GB,4*1.2TBEXP24s:24*1.2TBSASdiskNetworkAdapter:2x1000Gbps,2x10000Gbps開源軟件部分清單:Hadoop

2.3.0-cdh5.0.0

HBase0.98.Spark(Sparkstream)

HDFS2.3.0-cdh5.0.0 某運營商移動流量經營和大數據分析平臺硬件配置:某省移動企業級多租戶大數據平臺30臺7R1單臺7R1配置：8core128GB54×SASHDD4×10GE+4×1GE面向多租戶資源SLA的統一平臺應用之間，用戶之間的資源的共享和隔離跨O域和B域的共享資源大數據平臺，多個開發商并行開發并行運行，每日處理數據超過50TB資源隔離:應用之間的隔離,避免某些應用發生異常，搶占過多資源資源共享:應用之間的資源共享，提高資源的利用率某省移動企業級多租戶大數據平臺30臺7R1面向多租戶資源SLCiti銀行Symphony網格計算平臺在愛Citi網格運行分析Citi–計算和數據結合型網格系統,主要為風險分析在一個共享的網格資源里運行著200

以上不同的IB和零售分析應用

全球動態共享的40,000

cores能夠持續維持70%以上的利用率超強的管理效率–管理者與主機的比為

1:400作業吞吐量–400,000,000作業/天14

條不同的業務線共享著全球的HPC資源為每個商業業務單元確保SLA

s時間指標,實現廣泛的資源共享4個數據中心包含了異構的Linux&Windows主機,一處在倫敦,一處在香港,還有兩處在美國

處理國內增長的風險,定價應用和其他的商務應用,與SAS,Murex等集成.異構的工作內容(批處理,SOA,計劃部署MapReduce)自定義服務,報表和退款實時的監控和管理主機,所有全球資產的完全可視化針對整個企業相關應用和風險控制的全球資源分配方案在數據中心和功能域基礎上的有關LOBs和應用的彈性的資源分配模式橫跨整個地域的有關LOBs和應用的全球資源共享視圖48Citi銀行Symphony網格計算平臺在愛Citi網格運Power+DB2BLU內存分析案例企業ETL應用DB2

BLU加速原來Row數據庫中需要執行2小時20分的ETL過程縮減到3分30秒即可完成，整體提升性能30倍，硬件環境：Power7

16Cores；128GBOurBIsolutionisbuiltonaCognos/DB2,WithBLUAcceleration,wehavebeenabletoreducethetimespentonpre-aggregationfromonehourtotwominutes.?BLUAccelerationistrulyamazing.–YongZhou,Sr.ManagerofDataWarehouse&BusinessIntelligenceDepartment,TaikangLifeInsurance企業數據倉庫應用，承擔全行報表表查詢，數據供給作為企業入門級數據倉庫系統與Row數據庫相比性能提升15倍。節省70%的存儲空間，90%的表壓縮率達到90%以上，其中最大的單表120G壓縮后為15GB一張1400萬記錄的表與一張400萬記錄的表做left

join，3秒內顯示結果.*硬件環境:Power7

4Cores;32

GBPower+DB2BLU內存分析案例企業ETL應用企業數據謝謝謝謝POWER大數據解決方案介紹及案例分享許棟IBMPower資深系統架構師POWER大數據解決方案介紹及案例分享許棟IBMPowerAgendaPower，為大數據而設計Power大數據方案介紹應用場景和案例分享AgendaPower，為大數據而設計53現實世界中的數據量呈爆炸式增長46億移動電話用戶13億RFID標簽in2005

30億RFID

標簽by201020億Internet用戶by2011Twitter每天處理

7terabytes數據Facebook每天處理

10terabytes

世界氣象數據中心220Terabytes

網頁數據9Petabytes

其他數據資產市場數據量增長1,750%,

2003-063現實世界中的數據量呈爆炸式增長46億13億RFID54數據爆炸的時代，贏得數據才能贏得世界數據是新的自然資源基于數據的決策更加復雜更加重要數據的爆炸式增長超出系統能力4數據爆炸的時代，贏得數據才能贏得世界數據是新的自然資源基于大數據計算需要什么樣的硬件平臺？OLAPDWBigDataSQLNoSQLNewSQLRDBMSHadoopSpark批處理交互分析流計算更大容量更低成本更快的處理速度支持多樣化的計算類型橫向擴展的能力更大更多的磁盤更少機器更少空間和耗電更低的造價游戲Map-ReduceHPC圖像渲染云存儲工業仿真計算密集消重/歸檔風險分析IO密集流計算實時分析/交互分析更快的CPU更多的線程并行更大的內存容量和帶寬更大的IO帶寬Flash加速大數據處理技術的發展，對硬件提出了更高的要求…靈活的硬件配比支持從計算密集到IO密集多種計算類型靈活定制硬件創新，CPU、GPU和混合計算多種計算負載的混合調度大數據計算需要什么樣的硬件平臺？OLAPDWBigD56認知計算能力持續數據加載性能海量IO帶寬低延遲極端Flash性能加速網格擴展存儲私有云公有云TraditionalIT混合云為BigData而設計軟件定義+云化開放和協作創新Power8基于云的實時、敏捷、高效和開放的架構才能滿足新計算時代的需求6認知計算能力持續數據加載性能海量IO帶寬低延遲極端FlasPower8----迄今最快的CPUPower更強大的計算能力意味著更快的數據洞察查詢報告預測分析認知計算大數據和分布式并行計算場景，仍然需要更強大的CPUPower8----迄今最快的CPUPower更強大的計算Power8性能對比測試testmachineCPUMemory(GB)CoreNumberTPSPercoreperformance(TPS)PKDL380pE5-2650@2.2Ghz642*6=12corephysicalbox19001581Power8282-22APower8@3.93GHz16dedicated1coreLPAR7907905.0xSPECjEnterprise2010benchmark,1.76xcoretocoreadvantagethanSPARCT5OracleSiebelCRM8.1.1.xbenchmark,6.7xcoretocoreadvantagethanSPARCT51.76x6.7xPower8性能對比測試testmachineCPUMemPower8—業界最高的8并發超線程Power8更多的超線程意味著更高的并發性更多用戶更多活動作業SMT8技術允許在同一個物理CPU核心上同時運行8個獨立的指令或線程，比Power7的SMT4高了一倍，是Intel上的超線程技術的4倍可以按需在不同模式見動態轉換：SMT1/SMT2/SMT4/SMT8Power8—業界最高的8并發超線程Power8更多的超Power8更大的內存，更寬的內存帶寬，更快的內容讀寫意味著更適合內存計算場景和計算密集型場景更大的內存數據庫更大的OLAP多維立方體更快的內存思想性分析更高效的實時數據分析Power8—超大內存帶寬較POWER7內存帶寬提升2.3倍，是x86的4倍每處理器支持1TB內存，高達192GB/sec內存帶寬

單臺Power8服務器最多可支持230.4GB/sec內存帶寬史無前例的片上96MBL3cache創新內存緩存芯片，進一步提高內存讀寫速度Power8更大的內存，更寬的內存帶寬，更快的內容讀寫PowPower8—更大的I/O帶寬更快的I/O讀取意味著更適合數據密集型場景更低的數據讀寫延遲更高的數據讀寫速度創新I/O協處理硬件，軟件功能硬件加速較POWER7,內存帶寬提升2.3倍內置PCIeGen3支持直接處理器集成取代專屬GX/橋接低延時Gen3x16帶寬(32GB/s)PCIeGen3x16x8x16x8Power8I/O帶寬測試Power8—更大的I/O帶寬更快的I/O讀取意味著更適合Power靈活配比方案，支持更多計算類型SmallPODMediumPODLargePOD–ALargePOD–BDriveType2.5”10KRPM1.2TBSFFSAS2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSASNumberofDrives123660LFF+12SFF60LFF+24SFFAvailableStorage14.4TB43.2TB254.4TB268.8TBSmallPOD1P8S822Lw/InternalDrivesMediumPOD1P8S822Lw/EXP24SLargePOD–B2P8S822Lw/1DCS3700LargePOD–A1P8S822Lw/1DCS3700Power大數據最佳實踐從計算密集型到數據密集型都有靈活的配比方案性能、容量和成本的最佳平衡ComputeDenseStorageDensePower靈活配比方案，支持更多計算類型SmallPODMPower8無處不在的RAS處理器指令重試備用處理器恢復可選擇動態固件更新Chipkill內存ECC二級緩存、三級緩存帶故障監控功能的服務處理器熱插拔磁盤托架熱插拔并發維護

PCIe插槽熱插拔冗余電源和散熱風扇動態處理器重新分配PCI插槽上的擴展錯誤處理Power8遠超x86的高可靠設計Power8無處不在的RASPower8遠超x86的高可靠CustomHardwareApplicationPOWER8CAPPCoherenceBusPSLFPGAorASIC可自定義的硬件應用程序加速器特定的系統軟件、中間件或用戶應用程序寫入PSL提供的持久接口POWER8PCIeGen3TransportforencapsulatedmessagesProcessorServiceLayer

(PSL)向應用程序提供成熟的、穩定的接口降低CAPP的復雜性和工作負載虛擬尋址加速器可以與處理器一樣直接對內存進行尋址與處理器運行程序一樣使用指針消除操作系統和設備驅動程序的額外開銷Power8創新CAPI接口，開放定制硬件加速硬件管理的緩存一致性使得加速器能作為正常線程參與“Locks”，降低IO通信模型中的延遲基于Power8CAPI加速接口，為大數據進行硬件創新CustomPOWER8CAPPCoherenceBusPAgendaPower，為大數據而設計Power大數據方案介紹應用場景和案例分享AgendaPower，為大數據而設計企業級市場的大數據應用機會KeyIndustryOpportunityandTrendsTelecom,BankingandGovernmentcontributethelargestincrementalBigData&Analyticsmarketsizefrom2013to2017inGCGMorerationalthanlastyear,notonlyfocusingonHadoopplatformTelecom,Banking,Gov’tsectorswillhavemoredemandsforadvancedBD&AsolutionsHelpcustomersbegintheirBigDataJourneyBigdataasservicesbegantoemergeinthemarket企業級市場的大數據應用機會KeyIndustryOppo大數據的主要應用類型實時性高實時性低簡單查詢復雜分析內存數據庫內存分析NoSQL實時查詢流式計算M-R批量分析MPP數據倉庫多應用混合大數據平臺海量數據存儲大數據的主要應用類型實時性高實時性低簡單查詢復雜分析內存數據海量數據存儲IBM基于Power的大數據方案實時性高實時性低簡單查詢復雜分析內存數據庫內存分析NoSQL實時查詢流式計算M-R批量分析MPP數據倉庫多應用混合大數據平臺Power+CAPI+Flash+NoSQLPower+StreamPower+DB2BLUPower+DB2DPFPower+GBasePower+HadoopPower+SequoiaDBPower+Symphony/GFSP+HadoopSpectrumStoragePower+GPFS海量數據存儲IBM基于Power的大數據方案實時性高實時性低TheMarket:

Explosivegrowthofnewmobile,socialappsrequiringlighteningfastresponseathighvolumeEnabledbyin-memoryNoSQL,KeyValueStoreslikeRedisOrdered(key,value)pairsprovidetypeofin-memory,lighteningfastdistributedhashtablePlaysanimportantroleinmanylargewebsitesGitHub,Amazon,Facebook,Twitter&more…TheIssue:x86memorylimitedbymaxRAMScale-outx86serverslimitedmemorysizeResultsincostly,complexinfrastructureLoadBalancer500GBCacheNode500GBCacheNode500GBCacheNode500GBCacheNode1Ux86server(24)512GBmemoryThePOWER8+CAPIFlashasRAMAdvantage:NewFLASHasRAMforRedisin-memoryappsProvidesmeansforlargeFLASHexploitationLowercostmemory,greaterworkloaddensityDramaticallyreducecoststodeliverservicesCanbeofferedasacloud-basedserviceorasanon-premisesolutionforenterprises24:1server

consolidation3Upto3xlowerTCA24UPowerS822L/S812LUbuntu14.10FlashSystem8402TBto40TBFlash4UTheSolution:POWER8+CAPIFLASHasRAM-Upto40TBin4U69Power8+CAPI+Flash，NoSQL內存數據庫方案TheMarket:ExplosivegrowthLoadBalancer500GBCacheNode10GbUplinkPOWER8ServerFlashArrayw/upto40TBDifferentiatedNoSQL(POWER8+CAPIFlash)NewmemorytierforPOWER8serverUpto40TBforNoSQLbasedapplicationsClustersolutioninaboxInfrastructureAttributes192threadsin2UServerdrawer40TBofmemorybasedFlashper2UDrawerSharedMemory&CachefordynamictuningEliminationofI/OandNetworkOverheadToday’sNoSQLinmemory(x86)InfrastructureRequirementsLargeDistributed(Scaleout)LargeMemorypernodeNetworkingBandwidthNeedsLoadBalancingPowerCAPI-attachedFlashmodelforNoSQLregainsinfrastructurecontrolandreignsinthecosttodeliverservices.Power8創新NoSQL方案與現有NoSQL方案比較10GbUplinkBackupNodes500GBCacheNode500GBCacheNode500GBCacheNode512GBCacheNode24:1

Reductionininfrastructure2.4x

Pricereduction12x

LessEnergy12xLessrackspace40TBofextendedmemory4ULoadBalancer500GBCache10Gb大數據JAVA計算過程使用GPU加速，提升5倍的性能Power8+JAVA+GPU，大數據硬件加速方案大數據JAVA計算過程使用GPU加速，提升5倍的性能Powe其他Power8CAPI開放硬件創新方案……提供無限可能GoogleDesignedinnovationserverbaseonPower8chipKey-Value-Store35xperformanceperwattimprovement高性能網絡加速卡減少10x延遲10x

reduceslinesofCcodeby40x

comparedtonon-CAPI250xFasterwithCAPIFPGA+POWER8coreforMonteCarloSimulationsTMSFlashmemorystorageCoherentlyattachedHighspeed&converged

networkingAccele