銀行大數據解決方案一、項目背景2015年8月31日,國務院印發了促進大數據發展的行動綱要,這一戰略性文件為我國大數據發展與應用提供了指導綱領和政策保障.在數據已成為銀行重要資產和寶貴資源的形勢下,綱要也為銀行利用大數據推動轉型發展指明了方向和實施路徑,帶來了發展新機遇.當前中國銀行業正在步入大數據時代的初級階段.經過多年的發展與積累,目前銀行業的數據量已經達到100TB以上級別,并且非結構化數據量正在以更快的速度增長.銀行業在數據方面有天然的優勢：一方面,銀行在業務開展過程中積累了包括客戶身份、資產負債情況、資金收付交易等大量高價值密度的數據,這些數據在運用專業技術挖掘和分析之后,將產生巨大的商業價值；另一方面,銀行具有較為充足的預算,可以吸引到實施大數據的高端人才,也有能力采用大數據的最新技術.總體來看,盡管大數據在銀行業的應用剛剛起步,目前影響還比較小,但是從發展趨勢來看,應充分認識大數據帶來的深遠影響.銀行業需要進行統一的大數據平臺建設,建立綜合預測分析體系,整合生產系統數據資源.在此基礎上與綱要規劃的信用信息共享交換平臺和公共機構數據統一開放平臺有效對接,雙管齊下擴展數據來源和采集渠道.這可以一方面高效收集、有效整合企業和社會公共數據,掌握企業真實需求,實現精準營銷.尤其可通過農業農村信息綜合服務和農業資源要素數據共享,獲取三農數據和小微企業數據,解決數據挖掘和分析難點,提升三農和小微金融服務水平.另一方面利用平臺動態監控企業經營及個人信用變化情況,強化信用風險智能化管理和預警,降低信用評估、風險控制的難度和不確定性,實現風險管控和精準營銷的雙重收益.二、銀行大數據平臺總體框架2.1銀行大數據平臺框架概述銀行大數據建設是基于已有的信息化基礎,充分利用和整合已有信息化資源,打破行業、部門之間的信息壁壘,運用大數據技術進行采集、加工、建模、分析,將數據價值融入到金融之中,從而提升創新能力和產品服務能力.1大數據分析基礎平臺按照功能劃分數據區,設計數據模型,在統一流程調度下,整合各類數據,同現有的企業級數據倉庫和歷史數據存儲系統一起,形成基礎數據體系,提供支撐經營管理的各類數據應用,支撐上層應用.2數據應用系統基于基礎數據平臺,持續建設各類數據應用系統,通過數據挖掘、計量分析和機器學習等手段,對豐富的大數據資源進行開發使用,并將數據決策化過程結合到風控、營銷、營運等經營管理活動,充分發揮大數據價值.3數據管控建立數據標準,提升數據質量,加強元數據管理能力,為平臺建設及安全提供保障.2.2銀行大數據平臺建設原則平臺是大數據的基礎實施,其建設、設計和系統實現過程中,應遵循如下指導原則：經濟性：基于現有場景分析,對近年數據量進行合理評估,確定大數據平臺規模,后續根據實際情況再逐步優化擴容.可擴展性：架構設計與功能劃分模塊化,考慮各接口的開放性、可擴展性,便于系統的快速擴展與維護,便于第三方系統的快速接入.可靠性：系統采用的系統結構、技術措施、開發手段都應建立在已經相當成熟的應用基礎上,在技術服務和維護響應上同用戶積極配合,確保系統的可靠；對數據指標要保證完整性,準確性.安全性：針對系統級、應用級、網絡級,均提供合理的安全手段和措施,為系統提供全方位的安全實施方案,確保企業內部信息的安全.大數據技術必須自主可控.先進性：涵蓋結構化,半結構化和非結構化數據存儲和分析的特點.借鑒互聯網大數據存儲及分析的實踐,使平臺具有良好的先進性和彈性.支撐當前及未來數據應用需求,引入對應大數據相關技術.平臺性：歸納整理大數據需求,形成統一的大數據存儲服務和大數據分析服務.利用多租戶,實現計算負荷和數據訪問負荷隔離.多集群統一管理.分層解耦：大數據平臺提供開放的、標準的接口,實現與各應用產品的無縫對接2.3銀行基礎數據層來源2.3.1銀行內部大數據資源金融行業的數據大多數來源于客戶自身信息以及其金融交易行為,其中八成左右的數據集中于銀行.因此依照目前積累沉淀的數量資源情況,將數據主要分為三大類：第一類：客戶基礎數據客戶信息數據,即客戶基礎數據,主要是指描述客戶自身特點的數據.個人客戶信息數據包括：個人姓名、性別、年齡、身份信息、、職業、生活城市、工作地點、家庭地址、所屬行業、具體職業、婚姻狀況、教育情況、工作經歷、工作技能、賬戶信息、產品信息、個人愛好等等.企業客戶信息數據包括：企業名稱、關聯企業、所屬行業、銷售金額、注冊資本、賬戶信息、企業規模、企業地點、分公司情況、客戶和供應商、信用評價、主營業務、法人信息等等.目前銀行業的客戶信息數據積累數量無疑是最大,如果將這些割裂的數據整合到大數據平臺,形成全局數據,再按照自身需要進行歸類和打標簽,由于都是結構化數據因此將有利于數據分析.可以將這些信息集中在大數據管理平臺,對客戶進行分類,依據其他的交易數據,進行產品開發和決策支持.第二類：支付信息交易信息數據,可以稱之為支付信息,主要是指客戶通過渠道發生的交易以及現金流信息.個人客戶交易信息：包括工資收入、個人消費、公共事業繳費、信貸還款、轉賬交易、委托扣款、購買理財產品、購買保險產品、信用卡還款等.企業客戶交易信息：包括供應鏈應收款項、供應鏈應付款項、員工工資、企業運營支出、同分公司之間交易、同總公司之間交易、稅金支出、理財產品買賣、金融衍生產品購買、公共費用支出、其他轉賬等.第三類：資產信息資產信息主要是指客戶在金融機構端資產和負債信息,同時也包含金融機構自身資產負債信息,其中數據大多來自銀行.個人客戶資產負債信息包括：購買的理財產品、定期存款、活期存款、信用貸款、抵押貸款、信用卡負債、抵押房產、企業年金等.企業客戶資產負債信息包括：企業定期存款、活期存款、信用貸款、抵押貸款、擔保額度、應收賬款、應付賬款、理財產品、票據、債券、固定資產等.銀行自身端資產負債信息包括：自身資產和負債例如活期存款、定期存款、借入負債、結算負債、現金資產、固定資產貸款證券投資等.第四類：新型業務數據此類數據包括系統的運行日志、客服語音、視頻影像、網站日志等.2.3.2外部大數據所需來源銀行機構進行大數據分析,為了贏得差異化競爭,就必須考慮其他數據源的輸入,這些數據是自身不具有的,但是對其數據分析和決策起到了很重要的作用.銀行內部有客戶信息、交易信息、信用信息、資產信息等,具有較全的數據,需要的外部數據具有一定針對性,下表是外部數據需求的整理.外部信息數據需求類型及應用方式法院、公安數據個人嚴重行政處罰記錄如行政拘留等、刑事犯罪記錄、涉訴情況人身關系、財產關系、交通嚴重違規違章記錄P2P征信信用數據個人在P2P平臺貸款的信用記錄互聯網消費行為數據了解客戶消費能力和消費偏好客戶征信信息客戶在其他銀行或金融機構的貸款記錄、信用記錄等信息第三方征信客戶的評級情況以及客戶的社會信息社保、納稅、公積金客戶的社會保障情況及經濟能力工作單位性質了解客戶社會身份第三方催收機構有催收記錄的客戶信息、客戶的社會信息出入境記錄客戶出入境目的地、出入境頻率等了解客戶國外消費潛在需求國內出行記錄了解客戶出行習慣表一：銀行外部數據需求類型正是由于以銀行為代表的金融機構需要大量的外部數據彌補自身內部數據的不足,從而催生針對金融業的大數據交易市場.目前金融機構可以采用同大數據廠商合作的方式,通過自身平臺來采集數據或購買第三方數據.三、大數據在銀行業的應用場景3.1客戶管理借助大數據分析平臺,構建360度的立體畫像.圖二：銀行大數據技術客戶畫像維度隨著大數據的大量涌現,尤其是在社交網絡的背景下,服務渠道不應僅局限于傳統的銀行渠道,而應整合新的客戶接觸點即社交媒體網站等,這種趨勢已經變得日益清晰.銀行業發展戰略也逐步從以產品為中心轉向以客戶為中心,客戶成為銀行發展的重要驅動力.銀行不僅僅銷售產品和服務,而且還應為用戶提供完美的多渠道體驗,成為真正以客戶為中心的組織.了解客戶到底是誰以及客戶最真實的需求成為銀行經營管理者最為關注的問題.銀行可以通過大數據分析平臺,接入客戶通過社交網絡、電子商務、終端設備等媒介產生的非結構化數據,構建全面的客戶視圖.根據用戶行為對用戶進行聚類分析,進而可以有效的甄別出優質客戶、潛力客戶以及流失客戶.3.2營銷管理借助大數據分析平臺,執行個性化營銷管理及策略.圖三：銀行大數據技術精準營銷在客戶畫像基礎上,銀行可展開精準營銷.1實時營銷.例如客戶當時的所在地、客戶最近一次消費等信息來有針對地進行營銷,或者將改變生活狀態的事件換工作、改變婚姻狀況、置居等視為營銷機會；2交叉營銷.即不同業務或產品的交叉推薦,如招商銀行可以根據客戶交易記錄分析,有效地識別小微企業客戶,然后用遠程銀行來實施交叉銷售；3個性化推薦.銀行可以根據客戶的喜好進行服務或者銀行產品的個性化推薦,如根據客戶的年齡、資產規模、理財偏好等,對客戶群進行精準定位,分析出其潛在金融服務需求,進而有針對性的營銷推廣；4客戶生命周期管理.客戶生命周期管理包括新客戶獲取、客戶防流失和客戶贏回等.3.3構建更全面的信用評價體系利用大數據平臺及技術,可以更好的構建銀行系統的信用評價系統.圖四：銀行大數據全面信用評價體系信用風險評價是銀行信用風險管理工作的依據和基礎,其前提是要為信用風險評估建立科學合理的評估指標體系.大數據能分析及幫助銀行了解客戶各方面的信息,做出快速、高效的評價、評估,實現業務安全的實施.3.4風險管理借助大數據平臺及技術,實現高效準確的風險控制.圖五：銀行大數據全面風險管理體系隨著銀行業務的快速發展,銀行經營者必須有效地甄別風險、防范風險和控制風險.風險管理成為銀行穩健發展至關重要的一環.社會化媒體的互動、實時的傳感器數據、電子商務和其他新的數據源,正給銀行經營帶來一系列的挑戰.僅僅借助傳統的解決方案,無法全面進行風險管理.大數據分析幫助銀行了解客戶的自然屬性和行為屬性,結合客戶行為分析、客戶信用度分析、客戶風險分析以及客戶的資產負債狀況,建立完善的風險防范體系統.3.5運營優化在運營優化方面的應用包括：1市場和渠道分析優化.通過大數據,銀行可以監控不同市場推廣渠道,進而為銀行產品或者服務找到合適的渠道,優化推廣策略.2產品和服務優化.銀行將客戶行為轉化為信息流,并從中分析客戶的個性特征和風險偏好,智能化分析和預測客戶需求,從而進行產品創新和服務優化.3.6解決信息孤島銀行的系統是非常多,帶來的問題是信息孤島,過去,銀行通常需要小時的時間間隔去掃描各個業務系統,這會造成一些業務方面的問題.比如：現在絕大多數的交易都可以在多渠道上做,用戶在做的過程中可能會遇到困難.遇到這種情況,客戶會打到客服,相應的客服人員不太可能實時的知道這個問題.新一代的解決方案是利用現在大數據的能力把分布在各個地方的原始數據和原始的日志定時每隔一分鐘進行收集和抽取,放到分布式文件系統里,然后建立索引,這樣一來就能夠實時的查詢四、大數據在銀行業的應用趨勢4.1風險定價模型利率市場化改革逐漸深化,銀行正在增強自身的定價能力.在貸款業務上,銀行與銀行的競爭本質上就是風險定價的競爭.現在,銀行在客戶數據和數據質量方面落后于互聯網金融企業,但是風險定價能力則超過這些企業.4.2多渠道數據的實時交互銀行需要加快新興電子渠道建設,同時還要基于客戶統一信息視圖,實現數據在各渠道終端的及時交互.4.3加強語義和語音分析很多銀行內部、社交網絡、移動設備上來的數據和電子商城上的數據都是非結構化的,其中一部分還是語音,比如客戶錄音,這些數據對于銀行了解客戶也是至關重要的.4.4實時營銷將會推廣到更多的銀行和更多的銀行業務根據客戶所在地進行營銷、根據客戶最近一次的交易進行營銷、根據客戶的言論進行營銷、根據客戶瀏覽的網頁或者商品進行營銷等.4.5銀行進入P2P領域對于部分細分市場,銀行將從貸款的提供者走向貸款的中介.實際上,我們已經看到一些銀行正在嘗試這種模式,他們僅僅是撮合資金的提供方和需求方.4.6將銀行的電子商城業務和銀行金融服務結合起來銀行進入電子商務領域本質上并不是為了與互聯網電子商務公司競爭,而是為了更好地了解客戶.從目前來看,銀行開展的電子商務業務都不太順利,電子商城上的商品價格普遍偏高,交易量稀少.五、銀行大數據應用風險及防控銀行業結合了互聯網大數據會使得該行業面臨更多更復雜的風險.在此背景下銀行業大數據健康可持續發展離不開對風險的監控和管理.5.1數據安全和數據定價風險銀行從一開始誕生就離不開數據,銀行的核心基礎就是大數法則,在大數據時代,互聯網銀行在深度觸網的過程中會產生各種結構化和非結構化數據,深度挖掘客戶的大數據,開發出客戶潛在需求和合適的金融產品,前提是確保這些數據來源的全面性、可靠性和準確性,防止數據失真所帶來的定價風險.5.2信用與網絡欺詐風險運用大數據分析軟件,可以預防信用卡和借記卡欺詐.通過監控客戶、賬戶和渠道等,提高銀行在交易、轉賬和在線付款等領域防御欺詐的能力.在監控客戶行為時,大數據可以識別出潛在的違規客戶,提示銀行工作人員對其予以重點關注,從而節省反欺詐監控資源.5.3運維風險和運營風險前者如數據丟失、數據泄露、數據非法篡改、數據整合過程中的信息不對稱導致錯誤決策等,后者如企業聲譽風險、數據被對手獲取后的經營風險等.因此,必須加強數據管控.為此,一是高度重視并推進統一的數據標準,并做好數據清洗,保證數據質量.二是審慎劃定數據邊界,合理開展內外部數據共享和非核心數據業務外包.三是大數據下應更加重視隱私保護和信息安全,加大對反網絡攻擊的投入.5.4操作風險之所以將此風險單獨列舉出來,主要是出于此風險的危害性角度考慮,因為該風險很多時候會對企業產生致命性的打擊.大數據時代的互聯網金融面臨的操作風險更加不容忽視,銀行工作人員和客戶的在線操作風險如果不引起重視,不僅會影響互聯網金融的長遠發展還會引致法律風險.尤其在大數據時因此我們呼吁操作風險的管理應納入到日常的風險管理中.六、銀行大數據商用價值銀行對于大數據的就用不單單在于提供一種有效的手段,提高銀行對于客戶的理解與認知能力.他的商用價值還表現在以下幾個方面：1批量實現較高水準的個性化客戶產品服務,增加客戶粘性,推動業務創新.有效地將大數據分析系統夠構建客戶360度全方位視圖,設計更有競爭力的創新產品.對