1、企業(yè)大數(shù)據(jù)平臺(tái)方案全球市場(chǎng)規(guī)模2013年全球大數(shù)據(jù)市場(chǎng)總體規(guī)模為186億美元，2014年285億美元，2015年將達(dá)到384億美元,（數(shù)據(jù)來(lái)源：Wikibon 口徑：含大數(shù)據(jù)專(zhuān)門(mén)硬件、軟件和云服務(wù)）2012年大數(shù)據(jù)產(chǎn)業(yè)生態(tài)體系大數(shù)據(jù)解決方案提供商數(shù)據(jù)交易市場(chǎng)基礎(chǔ)軟件硬件大數(shù)據(jù)處理服務(wù)提供商公共數(shù)據(jù)市場(chǎng)盈利數(shù)據(jù)市場(chǎng)應(yīng)用軟件商業(yè)智能服務(wù)類(lèi)數(shù)據(jù)中心基礎(chǔ)設(shè)施廣告/媒體服務(wù)類(lèi)數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)大數(shù)據(jù)分析軟件免費(fèi)數(shù)據(jù)平臺(tái)通用在線分析工具類(lèi)日志數(shù)據(jù)服務(wù)類(lèi)數(shù)據(jù)交易服務(wù)類(lèi)分析和可視化服務(wù)類(lèi)技術(shù)服務(wù)、運(yùn)維支持大數(shù)據(jù)服務(wù)類(lèi)收入包括大數(shù)據(jù)在線應(yīng)用、專(zhuān)業(yè)咨詢(xún)服務(wù)、技術(shù)支持服務(wù)等。服務(wù)類(lèi)收入在大數(shù)據(jù)市場(chǎng)中占比約44%。大數(shù)據(jù)

2、相關(guān)的軟件和硬件產(chǎn)品仍是大數(shù)據(jù)市場(chǎng)主要收入構(gòu)成，其中軟件收入占比22%，硬件收入占比38%。數(shù)據(jù)交易市場(chǎng)尚處萌芽期，市場(chǎng)規(guī)模仍然很小。MapReduce，Hive展示/交互技術(shù)架構(gòu)ServiceMonitoringAutomationIntegration集群運(yùn)維AmbariAccess ManagementAuditAuthorizationReal Time Alert安全方案Sentry領(lǐng)域模型客戶(hù)畫(huà)像數(shù)據(jù)平臺(tái)商業(yè)智能Data Integration： Sqoop, Flume, KafkaFile System: HDFSOnline NoSQL: HBaseWorkload Mana

3、gement： YARN （with docker）Elastic SearchImpala，Spark SQLSpark Mllib,GraphXSpark Streaming,Storm關(guān)系型數(shù)據(jù)流式數(shù)據(jù)API接口多媒體數(shù)據(jù)塊式數(shù)據(jù)流式計(jì)算機(jī)器學(xué)習(xí)全量索引批量計(jì)算Sql查詢(xún)關(guān)聯(lián)分析與既有系統(tǒng)的結(jié)合的數(shù)據(jù)流圖框架用戶(hù)畫(huà)像, 視頻推薦,網(wǎng)絡(luò)分析監(jiān)控各業(yè)務(wù)系統(tǒng)智能分析數(shù)據(jù)查詢(xún)分布式存儲(chǔ)和計(jì)算批量服務(wù)框架傳統(tǒng)OLAP數(shù)據(jù)平臺(tái)導(dǎo)入?yún)R總計(jì)算 批處理引擎智能分析數(shù)據(jù)平臺(tái)報(bào)表查詢(xún)應(yīng)用服務(wù)Cube生成WEB數(shù)據(jù)查詢(xún)優(yōu)化引擎匯總計(jì)算 實(shí)時(shí)計(jì)算引擎Cube生成數(shù)據(jù)回流增量數(shù)據(jù)同步CUBE數(shù)據(jù)匯總數(shù)據(jù)明細(xì)數(shù)據(jù)近期

4、CUBE數(shù)據(jù)匯總數(shù)據(jù)明細(xì)數(shù)據(jù)全量其他智能分析 應(yīng)用數(shù)據(jù)展示平臺(tái)數(shù)據(jù)分析算法/模型第三方數(shù)據(jù)爬蟲(chóng)采集數(shù)據(jù)公開(kāi)數(shù)據(jù)源熱點(diǎn)三個(gè)行業(yè)& 三個(gè)熱點(diǎn)大數(shù)據(jù)應(yīng)用在各行各業(yè)的發(fā)展呈現(xiàn)“階梯式”格局: 互聯(lián)網(wǎng)行業(yè)是大數(shù)據(jù)應(yīng)用的領(lǐng)跑者，金融、零售、電信、公共管理、醫(yī)療衛(wèi)生等領(lǐng)域嘗試當(dāng)中電商 實(shí)時(shí)競(jìng)價(jià)廣告DSP & 精準(zhǔn)營(yíng)銷(xiāo) . 提高服務(wù) 金融 互聯(lián)網(wǎng)金融 & 行為預(yù)測(cè), 風(fēng)控, 實(shí)時(shí)授信, 信貸政府 政府監(jiān)管 & 征信 稅務(wù) 統(tǒng)計(jì) 輿情 犯罪預(yù)防 交警卡口AIPlus: 研究類(lèi)熱點(diǎn) 硬件演進(jìn),使機(jī)器學(xué)習(xí)(ML)重獲生機(jī), 反饋給現(xiàn)在的業(yè)務(wù)端,用于不可枚舉型的分析查詢(xún)ML級(jí)別的集群: Google(Google B

5、rain), Facebook(DeepFace 2014) , Baidu(image, face- 百度識(shí)圖) Tecent (Mariana語(yǔ)音,翻譯- 微信, Ali (天池, 快的打車(chē), )難點(diǎn):算法收斂節(jié)點(diǎn)數(shù)量聯(lián)想內(nèi)部使用大數(shù)據(jù)分析做產(chǎn)品設(shè)計(jì)的決策支持AI SQL on Hadoop 混合架構(gòu)逐漸消失 云計(jì)算與大數(shù)據(jù)的融合 多container集群快速部署 ( Hadoop as service ) On SSD Computing 固態(tài)盤(pán)替代內(nèi)存做為緩存, 取代In-memory computing 探索與發(fā)現(xiàn) 優(yōu)化的深度學(xué)習(xí)能力技術(shù)趨勢(shì) 向 Hadoop架構(gòu)統(tǒng)一(5TB)Had

6、oop: 調(diào)度與計(jì)算框架分離, 流計(jì)算與批處理走向統(tǒng)一挑戰(zhàn)- 熱點(diǎn)背后的疑點(diǎn)/盲點(diǎn)部署工具無(wú)法按需選擇不同廠商計(jì)算框架 綁定, 付費(fèi), 且無(wú)法廣泛兼容, 被忽略的節(jié)點(diǎn)設(shè)計(jì)與 硬件接口優(yōu)化 現(xiàn)有一體機(jī)設(shè)計(jì)多為僅做了簡(jiǎn)單的加法 最后一公里的集成與優(yōu)化的落地 與既有平臺(tái)的兼容和優(yōu)化 ( ETL , 特征提取) 機(jī)器學(xué)習(xí)實(shí)踐意義的提高 節(jié)點(diǎn)數(shù)龐大時(shí)算法無(wú)法收斂且難以?xún)?yōu)化,忽略從硬件角度優(yōu)化與云計(jì)算的結(jié)合 與云結(jié)合, Docker 多container集群快速部署 ( Hadoop as service ) 基礎(chǔ)設(shè)施對(duì)大數(shù)據(jù)的關(guān)鍵性被忽略大數(shù)據(jù)與分析基本設(shè)施銷(xiāo)售財(cái)務(wù)運(yùn)營(yíng)人力資源風(fēng)控欺詐調(diào)查數(shù)據(jù)資產(chǎn)治理解

7、決方案行業(yè)ISV解決方案策略和分析服務(wù)咨詢(xún)服務(wù)Hadoop軟件平臺(tái)硬件平臺(tái)智慧分析平臺(tái)DecisionManagementPerformance ManagementDiscovery &Exploration商業(yè)智能和分析預(yù)測(cè)ContentAnalytics信息整合與治理Data Mgmt & WarehouseHadoopSystemStreamComputingContentManagement數(shù)據(jù)整合平臺(tái)提供了明顯的差別發(fā)現(xiàn)新的見(jiàn)解實(shí)時(shí)操作商業(yè)應(yīng)用加速達(dá)到商業(yè)價(jià)值洞察商業(yè)問(wèn)題的背景可靠的基礎(chǔ)設(shè)施與智能優(yōu)化部署高可用可擴(kuò)展易運(yùn)維了解業(yè)務(wù)需求與目標(biāo)分析與展現(xiàn)平臺(tái)垂直行業(yè)方案平臺(tái)大數(shù)據(jù)平臺(tái)設(shè)

8、計(jì)主張: 應(yīng)用導(dǎo)向的定制化統(tǒng)一集成大數(shù)據(jù)節(jié)點(diǎn)設(shè)計(jì)方案 所有的大數(shù)據(jù)問(wèn)題都不一樣 架構(gòu)必須考慮到不同的要求:計(jì)算界限分析, 計(jì)算密集型分析（例如., 數(shù)據(jù)分類(lèi)，文本挖掘，或先進(jìn)的運(yùn)算法則）I/O界限分析, I/O密集度分析（例如., 索引、搜索、數(shù)據(jù)排序）數(shù)據(jù)攝入的要求節(jié)點(diǎn)設(shè)計(jì)平衡性能/成本優(yōu)化后的工作量：處理器：時(shí)鐘速率和核數(shù)內(nèi)存： 對(duì)于內(nèi)存限制工作型，并為內(nèi)存密集型管理節(jié)點(diǎn)硬盤(pán) ：數(shù)目和種類(lèi) (SAS 或 SATA)核對(duì)硬盤(pán)比：工作負(fù)載的I/O密集程度核數(shù)時(shí)鐘速率節(jié)點(diǎn)內(nèi)存數(shù)據(jù)節(jié)點(diǎn)硬盤(pán)6 or 8Up to 2.4 GHz3-6 GB /核 2TB, 3TB 4TB, 6TB NL SAS o

9、r SATA參考架構(gòu)的數(shù)據(jù)節(jié)點(diǎn)設(shè)計(jì)要考慮計(jì)算或I/ O綁定的工作負(fù)載數(shù)量# Figures from Intel E5-2400/#5-2600 Processor specifications對(duì)于深度學(xué)習(xí)算法的收斂問(wèn)題的解決來(lái)說(shuō), 比起優(yōu)化算法, 優(yōu)化硬件架構(gòu)是更簡(jiǎn)單的解決方式, 舉例來(lái)講, 降低網(wǎng)絡(luò)開(kāi)銷(xiāo)就可以Lenovo優(yōu)化部署方案 易用的硬件部署 自動(dòng)部署OS ready for Hadoop 多元化的基礎(chǔ)平臺(tái)軟件選擇 貼合應(yīng)用場(chǎng)景的優(yōu)化管理節(jié)點(diǎn)的配置和數(shù)量是系統(tǒng)性能，可管理性和可用性的關(guān)鍵邊緣節(jié)點(diǎn)定義影響整體系統(tǒng)的性能和數(shù)據(jù)輸入如果不考慮這些因素可能會(huì)導(dǎo)致主要瓶頸和長(zhǎng)期增長(zhǎng)潛在的問(wèn)題L

10、enovo BigData FoundationApplianceManagement NodeData NodeData NodeData NodeData NodeBigData PlatformNameNodeResourceManagerHMasterLenovo BigData Foundation案例- 視頻推薦typecountrytimedirectoractorpolaritycontentagea11, a12, a13, , a1na21, a22, a23, , a2n:am1, am2, am3, , amnb11, b12, b13, , b1nb21, b22, b23, , b2n:bm1, bm2, bm3, , bmnContent TopicsText ContentComedyteenageContent CategorySportsSoccerFigureActorsSing