1、銀行業(yè)大數(shù)據(jù)解決方案目錄大數(shù)據(jù)分析挑戰(zhàn)大數(shù)據(jù)解決方案介紹大數(shù)據(jù)案例分享數(shù)據(jù)復(fù)雜度：多元性和速度TerabytesGigabytesMegabytesPetabytesBig DataWeb 2.0ERP/CRM付款薪資貨存聯(lián)系人訂單跟蹤銷售管道Web 日志數(shù)字市場(chǎng)搜索市場(chǎng)網(wǎng)上推薦廣告移動(dòng)協(xié)作電子商務(wù)網(wǎng)頁(yè)點(diǎn)擊流Wikis/博客傳感器/RFID/設(shè)備社交網(wǎng)絡(luò)音頻/視頻日志文件空間 & GPS 坐標(biāo)數(shù)據(jù)數(shù)據(jù)集市電子政務(wù)氣候文本/圖像大數(shù)據(jù)就是資本 但究竟什么是大數(shù)據(jù)?未來(lái)數(shù)年數(shù)據(jù)量會(huì)呈現(xiàn)指數(shù)增長(zhǎng)。根據(jù)麥肯錫全球研究院（MGI）估計(jì)，全球企業(yè)2010年在硬盤上存儲(chǔ)了超過(guò)7ZB（1ZB等于10億GB）的

2、新數(shù)據(jù)，而消費(fèi)者在PC和筆記本等設(shè)備上存儲(chǔ)了超過(guò)6EB新數(shù)據(jù)。1ZB數(shù)據(jù)相當(dāng)于美國(guó)國(guó)會(huì)圖書館中存儲(chǔ)的數(shù)據(jù)的4000多倍。“大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合”維基百科 8萬(wàn)億GB2015全球信息量1s數(shù)據(jù)處理速度85%非結(jié)構(gòu)化數(shù)據(jù)占比數(shù)據(jù)價(jià)值Volume 數(shù)據(jù)體量大Variety數(shù)據(jù)類型多Velocity 處理速度快Value大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)的4V特點(diǎn)： Volume, Variety, Velocity, Value傳統(tǒng)DW系統(tǒng)不適用于大數(shù)據(jù)的分析數(shù)據(jù)量過(guò)于龐大絕大部分大數(shù)據(jù)是垃圾大數(shù)據(jù)的多樣化格式時(shí)效性高需要革新性的技術(shù)手段海量數(shù)據(jù)“分而治之”

3、-批量分布式并行計(jì)算Hadoop海量數(shù)據(jù)“靈活多變”-實(shí)時(shí)分布式高吞吐高并發(fā)數(shù)據(jù)存取處理NoSQL海量數(shù)據(jù)“實(shí)時(shí)響應(yīng)”-大數(shù)據(jù)流計(jì)算模型我們希望從大數(shù)據(jù)獲得什么？更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部大數(shù)據(jù)改變數(shù)據(jù)分析思維 過(guò)去，由于數(shù)據(jù)獲取的困難程度，人們?cè)诜治鰯?shù)據(jù)時(shí)傾向于使用抽樣數(shù)據(jù)，并通過(guò)不斷改進(jìn)抽樣方法以提升樣本的 精確性，從而對(duì)整體數(shù)據(jù)進(jìn)行推算，并竭力挖掘數(shù)據(jù)間的因果關(guān)系。但當(dāng)前數(shù)據(jù)處理思維方式正逐步向全體性、混沌性以及相關(guān)性演變，以適應(yīng)數(shù)據(jù)量的爆發(fā)式增長(zhǎng)。10大數(shù)據(jù)改變數(shù)據(jù)分析思維全體數(shù)據(jù)混雜數(shù)據(jù)精確數(shù)據(jù)抽樣數(shù)據(jù)因果關(guān)系相關(guān)關(guān)系采樣的目的在于用最少的數(shù)據(jù)得到最多的信息， 但在樣本分析過(guò)程中

4、不可避免會(huì)有一部分信息 丟失。在可以獲得海量數(shù)據(jù)的情況下，對(duì)全體 數(shù)據(jù)進(jìn)行挖掘和分析可以獲得更多信息。只有15%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)化 的，接受不精確性能使更多的非結(jié)構(gòu)化數(shù)據(jù)得 到利用。建立在相關(guān)關(guān)系分析法上基礎(chǔ)上的預(yù)測(cè)是大數(shù)據(jù)的核心。傳統(tǒng)大數(shù)據(jù)大數(shù)據(jù)分析不同于傳統(tǒng)BI分析傳統(tǒng)BI分析批處理大數(shù)據(jù)分析集群化事務(wù)關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)分析非結(jié)構(gòu)化流式分析組織多種數(shù)據(jù)源(MapReduce) 結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)規(guī)模一般為TB規(guī)模 集中式，為了分析進(jìn)行大量數(shù)據(jù)移動(dòng)，數(shù)據(jù)向計(jì)算靠近 批處理為主 結(jié)構(gòu)化/非結(jié)構(gòu)化混合分析的能力 數(shù)據(jù)規(guī)模從數(shù)十TB到PB級(jí)別 分布式，計(jì)算向數(shù)據(jù)靠近 支持流式分析1

5、1如果業(yè)務(wù)需求是分析多種來(lái)源的數(shù)據(jù)。 來(lái)源：Forrester Research，2012 年 6 月全球大數(shù)據(jù)在線調(diào)查數(shù)據(jù)倉(cāng)庫(kù)與大數(shù)據(jù)的整合集成大數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)功能以增加運(yùn)營(yíng)效率需要利用多種類型數(shù)據(jù)擴(kuò)展倉(cāng)庫(kù)基礎(chǔ)架構(gòu)通過(guò)將很少使用的數(shù)據(jù)遷移到 Hadoop 來(lái)優(yōu)化存儲(chǔ)、維護(hù)和許可成本通過(guò)智能處理流數(shù)據(jù)來(lái)降低存儲(chǔ)成本通過(guò)確定倉(cāng)庫(kù)中要填充的數(shù)據(jù)來(lái)改善倉(cāng)庫(kù)性能深度分析所需要的結(jié)構(gòu)化、非結(jié)構(gòu)化和流數(shù)據(jù)源低延遲要求（幾小時(shí)，而非幾周或幾個(gè)月）提供對(duì)數(shù)據(jù)的查詢?cè)L問(wèn)超越傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)概念的大數(shù)據(jù)分析流Internet級(jí)別傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)In-Motion AnalyticsData Analytics, Data

6、 Operations & Model BuildingResultsInternet ScaleDatabase &WarehouseAt-Rest Data AnalyticsResultsUltra Low Latency Results傳統(tǒng)/關(guān)系型數(shù)據(jù)源非傳統(tǒng)/非關(guān)系型數(shù)據(jù)源傳統(tǒng)/關(guān)系型數(shù)據(jù)源非傳統(tǒng)/非關(guān)系型數(shù)據(jù)源100111STREAMING大數(shù)據(jù)分析平臺(tái) 大數(shù)據(jù)技術(shù)是一系列技術(shù)的集合，是傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化技術(shù)與數(shù)據(jù)的整合，并基于這些技術(shù)與數(shù)據(jù)進(jìn)行綜合的商業(yè)智能應(yīng)用，包括數(shù)據(jù)分析與數(shù)據(jù)挖掘等。BI / 報(bào)告BI / 報(bào)告探索/可視化 功能應(yīng)用行業(yè)應(yīng)用預(yù)測(cè)分析 內(nèi)容分析 應(yīng)用

7、程序數(shù)據(jù)分析系統(tǒng)管理數(shù)據(jù)分析應(yīng)用開(kāi)發(fā)數(shù)據(jù)整合與治理Hadoop系統(tǒng)流計(jì)算數(shù)據(jù)倉(cāng)庫(kù)目錄大數(shù)據(jù)分析挑戰(zhàn)大數(shù)據(jù)解決方案介紹大數(shù)據(jù)案例分享大數(shù)據(jù)分析視角面向業(yè)務(wù)分析的愿景 深刻的數(shù)據(jù)洞察自助式服務(wù) | 協(xié)作 | 移動(dòng)化 | 實(shí)時(shí)/準(zhǔn)實(shí)時(shí)非結(jié)構(gòu)化數(shù)據(jù)100111多樣的數(shù)據(jù)管理結(jié)構(gòu)化數(shù)據(jù)流數(shù)據(jù)共享與治理挖掘與關(guān)聯(lián)分析轉(zhuǎn)換清洗豐富的數(shù)據(jù)加工海量多樣快速非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)中結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的整合建立對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行SQL語(yǔ)法查詢的支持，實(shí)現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的集成關(guān)聯(lián)（key）主分類關(guān)鍵詞標(biāo)簽地名人名全國(guó)統(tǒng)一分類分詞，倒排搜索共性、個(gè)性文本識(shí)別處理功能模塊網(wǎng)頁(yè)分類反向搜索關(guān)鍵詞分析日志關(guān)聯(lián)內(nèi)容分詞索引建立索引

8、分析日志合并用戶類別標(biāo)簽摘要結(jié)構(gòu)化元信息網(wǎng)頁(yè)信息分類數(shù)據(jù)獲取語(yǔ)義分析數(shù)據(jù)解析數(shù)據(jù)獲取結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)集市數(shù)據(jù)集市EDW結(jié)構(gòu)化元數(shù)據(jù)Hadoop建立非結(jié)構(gòu)化信息的標(biāo)簽、摘要、索引、日志、內(nèi)容等提取結(jié)構(gòu)化的元數(shù)據(jù)信息，如類別、標(biāo)引、摘要等；實(shí)現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的整合ODSSQL聲譽(yù)度分析品牌分析服務(wù)質(zhì)量分析競(jìng)爭(zhēng)產(chǎn)品分析產(chǎn)品評(píng)價(jià)市場(chǎng)動(dòng)態(tài)跟蹤 Big DataTraditional Business IntelligenceEDWAPPSBiz process ERP, CRMDMDMDMETL數(shù)據(jù)源基礎(chǔ)架構(gòu)分析組件業(yè)務(wù)用戶Structured:e.g.MM/DD/YYYYKnown, knownSemi-

9、structured:e.g. web logs, sensor dataKnown, unknownUn-structured:e.g. text, video, audio, Unknown, unknownBusiness UsersMachinesDevices“The Internet of Things”Data ScientistsCollaboration & SocialEmail, blogs, documentsEveryoneIndexing engineAlgorithmsVisualizationAnalyticsDataSearchPresentationRepo

10、rtingAnalysisDataHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFS數(shù)據(jù)分析路徑Information Flow Traditional BIInformation Flow Unstructured data to BIInformation Flow Semi-structured data to BIInformation Flow Search數(shù)據(jù)分析路徑建設(shè)大數(shù)據(jù)BI系統(tǒng)的思考17常見(jiàn)架構(gòu)+PBT

11、B一體機(jī)MPP DWMPP DM傳統(tǒng)的BI系統(tǒng)架構(gòu)并非一無(wú)是處，同樣值得我們學(xué)習(xí)借鑒+大數(shù)據(jù)解決方案總體架構(gòu)大數(shù)據(jù)產(chǎn)品架構(gòu)Fast LoadSource SystemsHistorical Data(Beyond Active Window)Summarize & LoadBig Data Sources (Raw, Unstructured)Alerts, NotificationsData & Compute Intensive ApplicationERPCRMLOBAPPSIntegrate/EnrichSQL Server StreamInsightSQL Server Parall

12、el Data WarehouseEnterprise ETL with SSIS, DQS, MDSHadoop on Windows AzureHadoop on Windows ServerSQL Server FTDW Data MartsSQL Server Reporting ServicesSQL Server Analysis ServerBusiness InsightsInteractive ReportsPerformance ScorecardsCrawlersBotsDevicesSensorsVolumeVelocityVariety結(jié)構(gòu)化數(shù)據(jù)Microsoft S

13、QL Server 2012 和SQL Server Parallel Data Warehouse設(shè)備提供一種方法來(lái)管理結(jié)構(gòu)化數(shù)據(jù)。流數(shù)據(jù)SQL Server StreamInsight組件實(shí)現(xiàn)了對(duì)新的數(shù)據(jù)格式的支持，其中包括流數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)部署在Windows Azure和Windows Server上的基于Hadoop的服務(wù)使您能夠快速處理PB級(jí)的非結(jié)構(gòu)化的數(shù)據(jù)。管理幾乎來(lái)自任意來(lái)源的數(shù)據(jù)橫向擴(kuò)展大規(guī)模并行處理引擎 Massively Parallel Processing (MPP) PDW作為SQL Server的橫向擴(kuò)展解決方案MPP 提供線性橫向擴(kuò)展能力Massively P

14、arallel Processing (MPP) 大規(guī)模并行處理架構(gòu)橫向擴(kuò)展： 按需添加硬件實(shí)現(xiàn)線性擴(kuò)展無(wú)共享架構(gòu)最小 (0TB) 到最大 (6PB) 從幾個(gè)TB的小型數(shù)據(jù)倉(cāng)庫(kù)開(kāi)始擴(kuò)展到 6 PB 比SMP DW快10倍復(fù)雜作業(yè)計(jì)算線性擴(kuò)展擴(kuò)展靈活方便 (No forklift) 聚沙成塔 成長(zhǎng)無(wú)限容量最大 隨需擴(kuò)容PB宕機(jī)為零高枕無(wú)憂Hadoop的典型應(yīng)用場(chǎng)景用戶行為分析跟蹤用戶在網(wǎng)站上的點(diǎn)擊路徑，分析其購(gòu)買習(xí)慣根據(jù)用戶屬性，猜測(cè)用戶感興趣的商品，定向推廣根據(jù)N度客戶，發(fā)掘潛在的客戶群體日志存儲(chǔ)、分析日志分布在多臺(tái)服務(wù)器，查找問(wèn)題困難,跨系統(tǒng)應(yīng)用日志分析、系統(tǒng)性能分析等上傳文件存儲(chǔ)各業(yè)務(wù)系統(tǒng)

15、上傳的文件、圖片統(tǒng)一保存MS與Hadoop基于Apache Hadoop的Windows Server和Windows Azure，以及AD的支持HDInsight ServerHDInsight ServiceHive ODBC Driver 和 Add-in for ExcelJavaScript Framework for HadoopSQL Server and SQL Server Parallel 數(shù)據(jù) Warehouse connections for HadoopSharepoint, Powerpivot和Powerview作為前端展示數(shù)據(jù)價(jià)值& 訪問(wèn)頻度MPP數(shù)據(jù)庫(kù)結(jié)構(gòu)化數(shù)

16、據(jù)傳統(tǒng)BI工具HDP半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)歷史數(shù)據(jù)分析數(shù)據(jù)生命周期& 數(shù)據(jù)規(guī)模HDP在hadoop上增加了：集群管理能力，工作流，安全管理，并融入了數(shù)據(jù)分析,機(jī)器學(xué)習(xí)技術(shù)以及文本數(shù)據(jù)分析挖掘。所有的這些增強(qiáng)都是為了更好的使得該方案能適用于復(fù)雜的，海量數(shù)據(jù)的分析。HDP是對(duì)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的一種補(bǔ)充和延伸，整體構(gòu)成一個(gè)更廣義的海量數(shù)據(jù)倉(cāng)庫(kù)。HDP 海量大數(shù)據(jù)倉(cāng)庫(kù)Hive、Sqoop當(dāng)前大數(shù)據(jù)分析面臨的挑戰(zhàn)Warehouse要求學(xué)習(xí)和掌握Map-Reduce技術(shù)需要IT人員將 HDFS 中的數(shù)據(jù)倒入數(shù)據(jù)倉(cāng)庫(kù)或集市中，才能用于后繼的分析HDFS (Hadoop)HDFS (Hadoop)大量新技術(shù)需要學(xué)

17、習(xí)掌握、周期長(zhǎng)、見(jiàn)效慢傳統(tǒng)BIEDW Connector for HadoopETL/ELTHadoop：成本低、擴(kuò)展性好、數(shù)據(jù)加載快、并發(fā)處理強(qiáng)EDW：SQL查詢執(zhí)行性能高，包括Ad-hoc、OLAP、報(bào)表等Hive ODBC Driver 基于PolyBase的全方位數(shù)據(jù)整合能力穿越結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的訪問(wèn)數(shù)據(jù)庫(kù)和Hadoop的混合分析支持透明的應(yīng)用訪問(wèn)Social AppsSensor & RFIDMobile AppsWebApps非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫(kù)文件系統(tǒng)HDFS混合動(dòng)力引擎PolyBaseSQL關(guān)系型數(shù)據(jù)庫(kù)通過(guò)統(tǒng)一的查詢，同時(shí)訪問(wèn)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)沿用標(biāo)準(zhǔn)的SQL語(yǔ)句

18、進(jìn)行訪問(wèn)Select, From Where低延遲可擴(kuò)展流數(shù)據(jù)計(jì)算平臺(tái)StreamInsight用于大數(shù)據(jù)領(lǐng)域?qū)崟r(shí)高頻數(shù)據(jù)分析處理一個(gè)處理流數(shù)據(jù)的低延遲平臺(tái)毫秒級(jí)，甚至微妙級(jí)端到端的延遲一個(gè)可高度擴(kuò)展的，用于實(shí)時(shí)分析的高性能平臺(tái)通過(guò)橫向增加硬件獲得近線性的處理能力擴(kuò)展高達(dá)125個(gè)節(jié)點(diǎn)擴(kuò)展一個(gè)靈活的、動(dòng)態(tài)的平臺(tái)Streams應(yīng)用靈活部署支持動(dòng)態(tài)部署新的分析應(yīng)用每秒數(shù)以百萬(wàn)計(jì)的事件微秒級(jí)延遲傳統(tǒng)/非傳統(tǒng)數(shù)據(jù)源實(shí)時(shí)決策強(qiáng)大分析算法交易Telco churnpredictSmartGrid網(wǎng)絡(luò)安全入侵監(jiān)測(cè)Cyber SecurityGovernment /Law enforcementICUMonit

19、oring環(huán)境監(jiān)控 27 使用熟悉工具來(lái)分析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)Hadoop 數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù) 用熟悉的工具來(lái)分析大數(shù)據(jù) BI工具的天然集成在同一表格中分析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)廣泛使用的熟悉工具EXCELPowerPivotSQLSERVER BI無(wú)需IT 人員介入分析多樣的數(shù)據(jù)類型廣泛使用的ExcelMicrosoft Speech SDKMicrosoft Speech SDK是公司提供在Windows平臺(tái)上開(kāi)發(fā)語(yǔ)音識(shí)別和語(yǔ)音合成應(yīng)用程序的開(kāi)發(fā)包，簡(jiǎn)稱為SAPI，內(nèi)含SR（Speech Recognition）和SS（Speechsynthesis）引擎，因此可以很方便地在自己的應(yīng)用程序中添

20、加這些功能。該語(yǔ)音引擎支持多種語(yǔ)音的識(shí)別和朗讀，包括英文、日文、中文等。推出的應(yīng)用編程接口API，雖然現(xiàn)在不是業(yè)界標(biāo)準(zhǔn)，但是應(yīng)用比較廣泛。識(shí)別基本流程：從音頻輸入設(shè)備獲取原始音頻并編碼或直接調(diào)用音頻文件。設(shè)定語(yǔ)音引擎和識(shí)別上下文等內(nèi)容，配置本地訪問(wèn)屬性。分析處理得到的文本結(jié)果請(qǐng)求接口請(qǐng)求方式：本地訪問(wèn)請(qǐng)求數(shù)據(jù)：編碼后的音頻數(shù)據(jù)音頻編碼格式：wav音頻采樣頻率：8000Hz、11025Hz、16000Hz、22050Hz、24000Hz、32000Hz、44100Hz、48000Hz主要優(yōu)點(diǎn)基于COM組件，便于與DirectShow中的組件整合。語(yǔ)音識(shí)別引擎位于本地，便于訪問(wèn)，識(shí)別速度較快。待識(shí)

21、別音頻的大小、時(shí)長(zhǎng)無(wú)限制。MAVIS“研究院音視頻索引系統(tǒng)目錄大數(shù)據(jù)分析挑戰(zhàn)大數(shù)據(jù)解決方案介紹大數(shù)據(jù)案例分享銀行面臨大數(shù)據(jù)時(shí)代的業(yè)務(wù)挑戰(zhàn)小微企業(yè)貸款市場(chǎng)逐漸被侵蝕電子商務(wù)公司和第三方支付廠商緊貼最終用戶，依靠市場(chǎng)優(yōu)勢(shì)，對(duì)銀行的議價(jià)能力極 強(qiáng)，比如：銀行的支付交易手續(xù)費(fèi)被支付寶壓到 3甚至更低，侵蝕銀行信用卡的收入。第三方支付企業(yè)使得客戶和銀行的關(guān)系進(jìn)一步疏遠(yuǎn)：本來(lái)是銀行自己的持卡客戶，銀 行卻根本不知道他們的購(gòu)物明細(xì)，只能知道他們花了多少錢。這在未來(lái)以數(shù)據(jù)取勝的 時(shí)代對(duì)銀行很不利。銀行系電子商務(wù)開(kāi)展不順利：整個(gè)銀行系的電子商務(wù)市場(chǎng)份額總共不到2%。貸款模式使得客戶減少對(duì)于銀行的依賴：目前來(lái)看，

22、貸款模式使得資金的供求 方和需求方可以自行撮合。這使得客戶對(duì)于銀行的貸款依賴逐漸減小。小微企業(yè)客戶數(shù)銀行系民生銀行：91.5萬(wàn) 招商銀行：0.57萬(wàn)互聯(lián)網(wǎng)系阿里小貸：1030萬(wàn)貸款余額民生銀行：363億美元 招商銀行：52億美元阿里小貸：3.6億美元貸款客戶數(shù)民生銀行：15萬(wàn)阿里小貸：13萬(wàn)平均貸款規(guī)模工商銀行：120萬(wàn)元阿里小貸：0.7萬(wàn)元年增長(zhǎng)率銀行業(yè)：18.5%阿里小貸：80%壞賬率銀行業(yè)：3.31%阿里小貸：0.72%銀行與零售客戶越來(lái)越遠(yuǎn)銀行面臨大數(shù)據(jù)時(shí)代的技術(shù)挑戰(zhàn)數(shù)據(jù)缺口專業(yè)人才缺乏IT技術(shù)成熟度隱私安全中國(guó)銀行業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景風(fēng)險(xiǎn)管理和合規(guī)反欺詐 反洗錢 多點(diǎn)檢測(cè)營(yíng)銷 實(shí)時(shí)營(yíng)銷事

23、件式營(yíng)銷 全渠道營(yíng)銷客戶 360客戶視圖 客戶定價(jià) 客戶分類銀行數(shù)據(jù) 銀行交易數(shù)據(jù) 用戶金融信息 電話錄音互聯(lián)網(wǎng)數(shù)據(jù) 瀏覽信息 搜索信息 SNS信息用戶數(shù)據(jù) 身份信息和偏好數(shù)據(jù) 地理位置信息 用戶事件電子商務(wù)數(shù)據(jù) 商品瀏覽信息 交易數(shù)據(jù) 消費(fèi)趨勢(shì)信息 銀行大數(shù)據(jù)源 大數(shù)據(jù)應(yīng)用P2P業(yè)務(wù) 人人貸 小額信用貸利率市場(chǎng)化解決信息孤島：分布式信息日志集中匯聚索引中信、農(nóng)行、工行、建行、交行、民生、招行、光大、阿里巴巴等大數(shù)據(jù)應(yīng)用試點(diǎn)項(xiàng)目摩根大通基于Hadoop的大數(shù)據(jù)應(yīng)用已經(jīng)開(kāi)始使用Hadoop技術(shù)以滿足日益增多的用途，包括詐騙檢驗(yàn)、IT風(fēng)險(xiǎn)管理和自助服務(wù)。150PB在線存儲(chǔ)數(shù)據(jù)、30,000個(gè)數(shù)據(jù)庫(kù)

24、和35億個(gè)用戶登錄賬號(hào)。Hadoop能夠存儲(chǔ)大量非結(jié)構(gòu)化數(shù)據(jù)，允許公司收集和存儲(chǔ)Web日志、交易數(shù)據(jù)和社交媒體數(shù)據(jù)。數(shù)據(jù)被匯集至一個(gè)通用平臺(tái)，以方便以客戶為中心的數(shù)據(jù)挖掘與數(shù)據(jù)分析工具的使用。微信貸公司“大數(shù)據(jù)+機(jī)器智能學(xué)習(xí)”利用海量數(shù)據(jù)挖掘和算法來(lái)做一些貸款業(yè)務(wù)大量使用了社交媒體和其他的網(wǎng)絡(luò)工具每個(gè)貸款人都擁有6000到8000條數(shù)據(jù)特點(diǎn)：它的每筆貸款額度都很小，太多的資金額度需要更多次的檢驗(yàn)不良貸款會(huì)迅速暴露。，模型的反饋和改進(jìn)違約率高利率很高WongaLendingStreamZestcashKlarnaPawnGo阿里云金電聯(lián)行花旗銀行大數(shù)據(jù)信貸應(yīng)用定期（每天）對(duì)所有客戶的交易日志和當(dāng)

25、前的債權(quán)狀況（包括核心系統(tǒng)內(nèi)的數(shù)據(jù)和從征信中心取得的數(shù)據(jù)）進(jìn)行分析， 建模，及分析當(dāng)前模型的精確性；定期（每天）根據(jù)分析對(duì)客戶進(jìn)行分類（segmentation ）；每天針對(duì)不同的分類建立不同的模型，進(jìn)行行為評(píng)分、預(yù)測(cè)對(duì)客戶營(yíng)銷可能性、 提前還款的可能性、壞賬的可能性等；每天根據(jù)預(yù)測(cè)的分?jǐn)?shù)和交易狀況和提前設(shè)定的strategy 自動(dòng)調(diào)整客戶的credit line；每天根據(jù)預(yù)先設(shè)定的strategy和3，4的結(jié)果對(duì)客戶進(jìn)行電話、郵件、信件等的促銷和催收；采用結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)消費(fèi)者數(shù)據(jù)庫(kù)基本身份信息住址信息收入信息財(cái)產(chǎn)信息消費(fèi)信息（1）定期更新消費(fèi)者信息（2）營(yíng)銷活動(dòng)需求（3）建模并計(jì)算（4

26、）提供報(bào)告HBASE（NOSQL數(shù)據(jù)庫(kù)）Hadoop（Map/Reduce）HBASE（NOSQL數(shù)據(jù)庫(kù)）大集中系統(tǒng)使用HBASE存儲(chǔ)半結(jié)構(gòu)及非結(jié)構(gòu)化內(nèi)容使用adoop的并行計(jì)算框架對(duì)存儲(chǔ)的半結(jié)構(gòu)化及非結(jié)構(gòu)化內(nèi)容，按照營(yíng)銷要求進(jìn)行分析計(jì)算與消費(fèi)者數(shù)據(jù)庫(kù)中的身份信息進(jìn)行關(guān)聯(lián)結(jié)果合并處理MS大數(shù)據(jù)分析最佳實(shí)踐客戶分析解決方案關(guān)注點(diǎn)理解客戶行為: 利用線上和線下客戶數(shù)據(jù)，更加高效制定市場(chǎng)決策提升客戶體驗(yàn): 通過(guò)理解客戶痛點(diǎn)以及定制客戶服務(wù)，使客戶滿意度最大化企業(yè)痛點(diǎn)客戶通過(guò)線上，線下和企業(yè)之間的交互信息視圖不完整對(duì)客戶有行為特征了解有限，無(wú)法切實(shí)有效影響客戶的業(yè)務(wù)決策 缺乏對(duì)市場(chǎng)活動(dòng)ROI分析的直觀

27、性解決方案益處獲得完整的客戶信息視圖提高市場(chǎng)費(fèi)用投放的有效性,減少營(yíng)銷成本獲得對(duì)渠道貢獻(xiàn)率的洞察力，優(yōu)化營(yíng)銷途徑提供量身定制的客戶服務(wù)，提高客戶整體滿意度解決方案模塊營(yíng)銷及公共關(guān)系分析互聯(lián)網(wǎng)及媒體輿情分析客戶服務(wù)分析模塊收益衡量企業(yè)營(yíng)銷在各種渠道的有效性通過(guò)分析營(yíng)銷方案的關(guān)鍵字及客戶反饋，獲得對(duì)企業(yè)營(yíng)銷實(shí)際效果的了解. 關(guān)注在最有價(jià)值的客戶群上持續(xù)提高營(yíng)銷方案的質(zhì)量將營(yíng)銷資源向最有執(zhí)行效果的渠道投放獲取負(fù)面評(píng)價(jià). 理解企業(yè)以及競(jìng)爭(zhēng)對(duì)手在哪些信息存在共鳴使?fàn)I銷人員更快更準(zhǔn)地接觸更多客戶更低成本地將信息傳遞到各種渠道，各個(gè)層次，各個(gè)地域的客戶 確認(rèn)出最有影響力的人群，比如微博達(dá)人，明星等客服人員更

28、高效應(yīng)對(duì)市場(chǎng)情緒 通過(guò)及時(shí)分析，快速反應(yīng)，減少不必要的電話及郵件溝通 將消費(fèi)者的反應(yīng)及時(shí)補(bǔ)充到新產(chǎn)品或服務(wù)的改進(jìn)中提高客戶消費(fèi)的時(shí)效性，忠誠(chéng)度及口碑模塊功能對(duì)客戶分層，客戶資料和信息測(cè)試進(jìn)行分析營(yíng)銷活動(dòng)效果評(píng)估：同過(guò)分析各營(yíng)銷渠道中的營(yíng)銷受眾數(shù)量，影響力以及最終消費(fèi)者的評(píng)價(jià)傾向按照產(chǎn)品屬性分析受眾情緒傾向按照品牌及業(yè)務(wù)伙伴分析影響力分析客戶在不同銷售渠道下的用戶體驗(yàn)分析客服中心的業(yè)務(wù)績(jī)效如呼叫量，呼叫時(shí)長(zhǎng)，解決狀態(tài)，客戶滿意度等data分析客戶數(shù)據(jù)以及客戶網(wǎng)絡(luò)行為，社交媒體信息，對(duì)客戶需求有更深洞察力關(guān)鍵指標(biāo)營(yíng)銷活動(dòng)有效性各產(chǎn)品反應(yīng)比例渠道的有效性市場(chǎng)費(fèi)用投入產(chǎn)出比市場(chǎng)比例品牌接受度客戶滿意度

29、最有影響力人群客戶滿意度呼叫總量，反應(yīng)速度客戶留存率3844% of consumers complain via social media. Existing process too cumbersome.Generate a minimum of $100K in savings a year through automation of sentiment data and targeted customer marketing. By automating sentiment analysis, they can alleviate the pain of reacting too la

30、te to negative sentiment and avoid costly lawsuits.OCC requirement to track customer sat. 90,000 customers discuss Capital One on social.TBDLeveraging social data to determine customer sentiment and position productsSituation NeedResultsCreative platform for Customer Analytics for Banking solution.

31、Incorporated social sentiment feed into analysis framework.Analyzing 100k records each month was a full time job, but is now automated for more timely and efficient results. Enabled digital marketing group to better respond to customer complaints and target customers.HighlightSolutionMS的大數(shù)據(jù)成功案例-Capi

32、tal One社交網(wǎng)站客戶滿意度分析Cross Channel Marketing Platform to bridge Cheetahmail and Conversen. Power BI with specially developed industry accelerators as syndicated partnership opportunity.The Power BI team working with COE to integrate Project Orange assets into the data catalog. Possible partnership with

33、 Experian to provide syndicated data, ready to consume. MS的大數(shù)據(jù)成功案例-Experian跨渠道營(yíng)銷39Experian needed to lower the costs of their campaign management system/email marketing system.The Microsoft platform and BI solution combined with Experians existing data created an impactful system for targeting custo

34、mers and making business decisions through analysis. At the same time they were looking for new economy revenue streams for EMS (9% growth)Bundling ready to consume data with BI and industry accelerators for clear resultsSituation NeedResultsHighlightSolutionWhen it comes to business intelligence, M

35、icrosoft SQL Server 2012 demonstrates that the platform has continued to advance and keep up with the innovations that are happening in big data. 在商業(yè)智能領(lǐng)域，Microsoft SQL Server 2012平臺(tái)持續(xù)發(fā)展，支持不斷創(chuàng)新的大數(shù)據(jù)平臺(tái)。David MarianiVice President of Engineering工程副總裁“ ”Connects to more than 1 billion signals 連接到超過(guò) 10 億的

36、信號(hào)/數(shù)據(jù)源Across 15 leading social networks, including Facebook 排名前15位的社交網(wǎng)絡(luò)，包括FacebookGenerates a Klout score for individual people, brands & partners 為個(gè)人、 品牌及合作伙伴生成一個(gè) Klout 分?jǐn)?shù)Enables analysis, targeting and social graphs 在線影響力分析工具，提供分析、 目標(biāo)和社交圖MS的大數(shù)據(jù)成功案例-KLOUTKlout Event Tracker411Perform A|B Testing of

37、 User Flows2Optimize Registration Funnels3Monitor consumer engagement & retention (DAUs & MAUs)4Flexibly track and report on user generated eventsServing StoresSignalCollectors(Java/Scala)Data Warehouse(Hive)K(Node.js)Event Tracker(Scala)Mobile(ObjectiveC)AnalyticsCubes(SSAS)Klout API(Scala)Search Index(Elastic Search)Registrations DB(MySql)Profile