《金融科技》FinancialTechnology項目二大數據金融教學目標知識目標1.掌握大數據的基本概念；2.了解大數據技術的處理流程；3.掌握大數據在金融領域的應用；4.了解大數據技術的應用趨勢。能力目標1.能夠利用大數據技術手段為客戶提供金融服務；2.理解大數據技術對金融業帶來的影響并積極予以運用。內容導航一大數據的基本概念二大數據的處理流程三大數據技術在金融領域的應用四大數據技術的發展趨勢及應用前景大數據的基本概念一一、大數據的基本概念（一）（二）（三）大數據的定義大數據的分類大數據的基本原理一、大數據的基本概念導入案例導讀【精品微課_二維碼：沃爾瑪“啤酒加尿布”的故事】一、大數據的基本概念（一）大數據的定義一、大數據的基本概念麥肯錫全球研究所對大數據的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合。一、大數據的基本概念數據類型多樣（Variety）應用價值高（Value）數據處理速度快（Velocity）數據規模大（Volume）數據真實（Veracity）大數據的5V特征：一、大數據的基本概念（二）大數據的分類一、大數據的基本概念數據結構上分類處理方式上分類數據來源和行業來分類結構化數據半結構化數據無結構數據實時數據離線數據網絡數據社交媒體數據醫療數據農業數據身體健康數據設備監測數據……一、大數據的基本概念（三）大數據的基本原理一、大數據的基本概念物聯網云計算物聯網可看作大數據的采集端云計算可看作大數據的核心技術處理端一、大數據的基本概念物聯網物聯網產生海量數據，是大數據來源的基礎設施。日常生活中，大數據的來源主要集中在以下三方面：以微博、微信為代表的社交網絡；電子商務平臺；攝像頭收集的視頻和圖片等信息。一、大數據的基本概念云計算云計算為大數據的計算和分析提供了可行的方法。云計算的數據在云端，任何時間、任何設備，只要登陸后就可以享受計算服務。通過云計算對數據進行處理后，數據可成為一種基礎的公共物品，被人所用。一、大數據的基本概念[做中學2-1]生活中的大數據5-6名同學一組，各組選擇一個行業，收集該行業大數據應用的典型案例1個，并進行分析，寫出案例分析報告。思考：大數據的應用是否可能誤導決策？如果要保證數據分析的準確性，防止被誤導，需要滿足什么前提條件？《金融科技》FinancialTechnology項目二大數據金融教學目標知識目標1.掌握大數據的基本概念；2.了解大數據技術的處理流程；3.掌握大數據在金融領域的應用；4.了解大數據技術的應用趨勢。能力目標1.能夠利用大數據技術手段為客戶提供金融服務；2.理解大數據技術對金融業帶來的影響并積極予以運用。內容導航一大數據的基本概念二大數據的處理流程三大數據技術在金融領域的應用四大數據技術的發展趨勢及應用前景大數據的處理流程二二、大數據的處理流程數據采集數據存儲數據挖掘數據處理二、大數據的處理流程（一）各種智能設備中的運行數據（二）互聯網網頁數據（三）RFID射頻數據大數據的數據源主要來自以下三方面：二、大數據的處理流程網頁數據采集應用最廣泛的技術就是網絡爬蟲二、大數據的處理流程數據采集數據存儲數據挖掘數據處理二、大數據的處理流程大數據的存儲系統必須對多種數據及軟硬件平臺有較好的兼容性，以適應各種應用算法或者數據提取轉換與加載。現階段常用的大數據存儲技術包括：第二類，基于Hadoop技術擴展和封裝，圍繞Hadoop衍生出相關的大數據技術，應對傳統關系型數據庫較難處理的數據和場景，充分利用Hadoop開源的優勢。第三類，大數據一體機，這是一種專為大數據分析處理而設計的軟件、硬件結合的產品，由一組集成的服務器、存儲設備、操作系統、數據庫管理系統以及為數據查詢、處理、分析而特別預先安裝及優化的軟件組成。高性能大數據一體機具有良好的穩定性和縱向擴展性。第一類，采用大規模并行處理系統（MPP）架構的新型數據庫集群，重點面向行業大數據，采用無共享（SharedNothing）架構，通過列存儲、粗粒度索引等大數據處理技術，再結合MPP架構高效的分布式計算模式，完成對分析類應用的支撐。二、大數據的處理流程就存儲大數據的數據庫而言，最流行的兩種數據庫就是傳統的關系型數據庫和新興的NOSQL數據庫。微軟的SQLServer數據庫、IBM的DB2數據庫、甲骨文的Oracle數據庫、開源的MySQL數據庫都是關系型數據庫的典型。NOSQL數據庫是近年來隨著大數據技術發展而興起的一種數據庫技術。NOSQL數據庫依據存儲對象和存儲方法的不同又可以分成鍵值型數據庫、文檔型數據庫、列存儲數據庫、圖存儲數據庫。二、大數據的處理流程序號

類型部分代表特點1鍵值型OracleBDBGoogleBigTableAmazonDynamoDB鍵值型數據庫主要會使用到一個哈希表，這個表中有一個特定的鍵和一個指針指向特定的數據。鍵值型數據庫的優勢在于簡單、易部署，但如果只對部分值進行查詢或更新，則效率相對低下。2文檔型MongoDBCouchDB此類數據庫可存放并獲取文檔，其格式可以是XML、JSON、BSON等，這些文檔具備可述性（self-describing），呈現分層的樹狀結構（hierarchicaltreedatastructure），可以包含映射表、集合和純量值。文檔數據庫可視為其值可查的鍵值數據庫，可以對某些字段建立索引，實現關系數據庫某些功能。二、大數據的處理流程序號

類型部分代表特點3列存儲HbaseCassandraHypertable

列存儲數據庫通常是用來應對分布式存儲的海量數據。鍵仍然存在，但是它們的特點是指向了多個列。這些列是由列家族來安排。特點是方便存儲結構化和半結構化數據，方便數據壓縮，對針對基于列的查詢有很大優勢。4圖存儲Neo4JInfiniteGraph使用靈活的圖形模型，并且能夠擴展到多個服務器上。將數據存儲在圖狀網絡的節點上及它們之間的關系中，這里的圖不是指圖形圖像，而是指一種數據存儲結構。

二、大數據的處理流程在金融科技應用中，我們應如何選擇合適的數據存儲技術呢？一般來講，有嚴謹的數據結構，對數據的可靠性要求高，經常需要對數據進行商業智能分析，這類數據庫適合存儲在關系數據庫中，一般可以選擇開源的MySQL數據庫；相反，那些數據量特別大，對數據的擴展性要求高，對數據庫的可用性要求高，對存儲效率和恢復響應要求高的數據則適用于NOSQL數據庫。二、大數據的處理流程在實踐中，通常會將NOSQL和關系數據庫進行結合使用，各取所長，可以分為兩種模式：第一種：NOSQL數據庫作為輔助存儲。把所有的數據都存放在關系數據庫中，可能被經常頻繁讀取的數據再存放在NOSQL數據庫中一份，其目的是提高數據的查詢速度，減少關系數據庫的并發訪問負載。第二種：NOSQL數據庫作為主存儲。把所有的數據存儲在NOSQL數據庫中，為了一些特殊業務或功能的需要，在將數據存入NOSQL的時候，同時存儲到關系數據庫一份。數據存儲和查詢主要是由NOSQL數據庫完成，少量的數據是從關系數據庫讀取。二、大數據的處理流程數據采集數據存儲數據挖掘數據處理二、大數據的處理流程數據抽取12數據清洗3數據脫敏在數據處理環節，主要完成三項操作：二、大數據的處理流程數據抽取1第一種，全量抽取。類似于數據遷移或數據復制，將數據源中的表格或視圖的數據原封不動地從數據庫中抽取出來，并轉換成自己的ETL（Extraction-Transformation-Loading，數據提取、轉換和加載）工具可以識別的格式。第二種，增量提取。抽取自上次抽取以來數據庫中要抽取的表中新增、修改、刪除的數據。二、大數據的處理流程數據清洗2在采集數據時，會存在大量的“臟”數據。這些數據或與我們的需求無關，或是錯誤數據，或是相互之間有沖突，因此要通過“去噪”過濾掉這些不符要求的數據，提取出有效數據，這一過程稱為“數據清洗”（DataCleaning）。二、大數據的處理流程數據脫敏3現階段常用的數據處理技術有AbInitio（大數據處理軟件平臺技術）、Hadoop（開源分布系統的基礎架構，適合處理超大量的數據）、Netezza（IBM基于數據倉庫的分析技術）Hadoop是由Apache軟件基金會發起的一個分布式計算平臺，也是目前最為流行的大數據處理平臺。用戶可以在該平臺上開發和運行處理海量數據的應用程序。Hadoop在數據提取、變形和加載（FTL）方面具有優勢，擅長存儲大量的半結構化數據集，也非常擅長分布式計算——快速地跨多臺機器處理大型數據集合。數據脫敏指對一些涉及個人隱私的敏感信息，如身份證號、電話號碼、銀行賬戶等，進行數據的變形處理，達到隱私保護的目的。二、大數據的處理流程數據采集數據存儲數據挖掘數據處理二、大數據的處理流程數據挖掘（DataMining）的前身是數據庫中的知識發現技術（KDD），是指運用計算機技術從大量數據中將隱藏的有價值的信息提取出來的過程。基于海量數據；具有非平凡性，即挖掘出來的知識應該是不簡單的；隱藏性，即數據挖掘是要發現深藏在數據內部而非浮現在數據表面的知識；價值性，即挖掘的知識能給企業帶來直接或間接效益。1234二、大數據的處理流程數據挖掘有很多技術方法，歸納起來主要涉及統計學、機器學習和數據庫等領域的研究成果。（一）統計分析統計分析是指利用統計學對大數據進行分析，包括統計學中的回歸分析、差異分析、判別分析、因子分析等，主要用來處理結構化數據。統計分析反映了數據庫中數據的屬性值特性，通過函數表達數據映射關系來發現屬性值之間的依賴關系。它可以應用到對數據序列的預測及相關關系的研究中去。例如，通過對本季度銷售的回歸分析，對下一季度的銷售趨勢做出預測并做出針對性的營銷改變。二、大數據的處理流程（二）聚類分析聚類分析是一種重要的數據挖掘方法，具體是指根據事物的特征進行分類，以期從中發現一定的規律。聚類類似于分類，但與分類的目的不同，是針對數據的相似性和差異性將一組數據分為幾個類別。其原則是使同一類事物盡可能相似，不同類事物盡可能差異大。屬于同一類別的數據間的相似性大，但不同類別之間數據的相似性很小，跨類的數據關聯性很低。聚類分析又可細分為劃分聚類法、層次聚類法、基于網格和模型的聚類法。二、大數據的處理流程（三）決策樹決策樹是機器學習中最基礎、應用最廣泛的算法模型。其原理是，在一批已知的訓練數據的基礎上建立一棵決策樹，利用決策樹對數據進行分析和預測。常見的算法包括分類回歸樹（CART）、ID3、C4.5、隨機森林等。決策樹可用于預測貸款人是否具有償還貸款的能力。借款人通過三個核心指標來判斷：是否擁有房產、是否結婚、月收入金額。決策樹的每一個內部節點都分別代表一個指標，樹葉節點則表示貸款人是否具備還款能力。例如，客戶甲沒有房產，未婚，月收入8000元。通過決策樹的節點判斷，該用戶最終落在“可以償還”的樹葉節點上。因此預測該用戶具備償還能力。二、大數據的處理流程（四）人工神經網絡人工神經網絡（ANN）是一種仿照人腦神經元結構和功能進行數據分析的信息處理系統。人工神經網絡作為一種先進的人工智能技術，因其自行處理、分布存儲和高度容錯等特性非常適合處理非線性的以及那些模糊、不完整、不嚴密的數據，因此在數據挖掘領域得到廣泛應用。二、大數據的處理流程（四）人工神經網絡用于分類預測和模式識別的前饋式神經網絡模型，其主要代表為函數型網絡、感知機；A用于聯想記憶和優化算法的反饋式神經網絡模型，以Hopfield的離散模型和連續模型為代表；B用于聚類的自組織映射方法，以ART模型為代表。C典型的神經網絡模型主要分為三大類二、大數據的處理流程（五）關聯規則關聯規則是數據挖掘領域特有的技術，由一連串的“如果……/則……”的邏輯規則對數據進行細分，以期在數據庫中搜索和挖掘以往不知道的規則。關聯規則是找出隱藏在數據項之間的關聯或相互關系，根據一個數據項的出現推導出其他數據項的出現。關聯規則的挖掘過程主要包括兩個階段：第一階段為從海量原始數據中找出所有的高頻項目組；第二階段為從這些高頻項目組產生關聯規則。關聯規則挖掘技術已經被廣泛應用于金融企業中，用以預測客戶需求和偏好來改善自身的營銷。二、大數據的處理流程（六）Web數據挖掘Web數據挖掘是一項綜合性技術，指Web從文檔結構和使用的集合C中發現隱含的模式P，如果將C看做是輸入，P看做是輸出，那么Web挖掘過程就可以看作是從輸入到輸出的一個映射過程。目前常用的Web數據挖掘算法有：PageRank算法、HITS算法以及LOGSOM算法。這三種算法提到的用戶都是籠統的用戶，并沒有區分用戶的個體。目前Web數據挖掘面臨著一些問題，包括：用戶的分類問題、網站內容時效性問題、用戶在頁面停留時間問題、頁面的鏈入與鏈出數問題等。二、大數據的處理流程（七）數據可視化技術數據可視化是大數據技術非常重要的一環，關系到數據處理的最終效果和用戶體驗。數據可視化技術可以將有價值的信息展示出來，同時還能將其出現的原因背景以及其他相關價值信息列示出來，使隱藏在大數據資源背后的真相呈現在眾人面前。可視化數據無需任何編程基礎，只需要上傳數據，就能創建和發布圖表。數據可視化分析技術是以圖表、圖形、報表等方式將大數據分析處理的結果直觀地、可視地展示給用戶的過程。二、大數據的處理流程可視化工具簡介ExcelExcel作為一個人門級工具，是快速分析數據的理想工具，也能創建供內部使用的數據圖，但Excel在顏色、線條和樣式上可選擇的范圍有限。D3D3(DateDrivendocument)是支持SVG渲染的另一種JavaScript庫，能夠提供大量線性圖和條形圖之外的復雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞云等。Visual.lyVisual.ly的主要定位是“信息圖設計師的在線集市”，同時也提供了大量信息圖模板。RR作為用來分析大數據集的統計組件包，擁有強大的社區和組件庫，但R是一個相對復雜的開源工具。Gepi

Gepi是進行社交圖譜數據可視化分析的工具，不但能處理大規模數據集并生成漂亮的可視化圖形，還能對數據進行清洗和分類。Tableau

Tableau更適合企業和部門進行日常數據報表和數據可視化分析工作，產品涵蓋TableauDesktop、TableauServer以及TableauPublic二、大數據的處理流程[做中學2-1]生活中的大數據5-6名同學一組，各組選擇一個數據可視化分析工具（軟件），對該工具（軟件）的功能進行研究，并制作一份PPT來展示該工具（軟件）的功能和效果。思考：有哪些數據分析問題是無法借助數據可視化分析工具來實現的？《金融科技》FinancialTechnology項目二大數據金融教學目標知識目標1.掌握大數據的基本概念；2.了解大數據技術的處理流程；3.掌握大數據在金融領域的應用；4.了解大數據技術的應用趨勢。能力目標1.能夠利用大數據技術手段為客戶提供金融服務；2.理解大數據技術對金融業帶來的影響并積極予以運用。內容導航一大數據的基本概念二大數據的處理流程三大數據技術在金融領域的應用四大數據技術的發展趨勢及應用前景大數據技術在金融領域的應用三三、大數據技術在金融領域的應用01征信領域02反洗錢領域04證券投資領域06互聯網金融領域05保險領域07金融監管領域03商業銀行領域三、大數據技術在金融領域的應用01征信領域三、大數據技術在金融領域的應用聚合多類數據A信用動態評估B運用數學模型C實時出具報告C大數據征信有以下四個特征：三、大數據技術在金融領域的應用【大數據征信案例：ZestFinance】三、大數據技術在金融領域的應用大數據征信在實踐中還面臨諸多挑戰，包括：數據質量參差不齊同人不同信用的問題信息安全問題數據壁壘問題征信機構的獨立性問題三、大數據技術在金融領域的應用[做中學2-3]大數據征信試一試5-6名同學一組，分析大數據征信應從哪些渠道來征集數據？應從哪些維度來分析客戶的信用狀況？思考：大數據征信可能出現哪些問題和風險？三、大數據技術在金融領域的應用02反洗錢領域三、大數據技術在金融領域的應用反洗錢是指為了預防通過各種方式掩飾、隱瞞毒品犯罪、黑社會性質的組織犯罪、恐怖活動犯罪、走私犯罪、貪污賄賂犯罪、破壞金融管理秩序犯罪、金融詐騙犯罪等犯罪所得及其收益的來源和性質的洗錢活動，依照《反洗錢法》規定采取相關措施的行為。三、大數據技術在金融領域的應用12一方面，金融機構除了使用自身數據和行業數據外，還可使用來自工商、稅務、房管、海關、公安、法院等政府部門以及消費、娛樂、社交等商業活動的數據；除了使用客戶關系、會計系統等結構化數據，還可使用社交媒體、電子郵件、文本、音頻、視頻、網絡日志等非結構化數據，在此基礎上，建立反洗錢大數據平臺，通過對相關數據的科學分析，甄別客戶身份和可疑交易，從而將洗錢犯罪活動拒之門外。另一方面，政府通過加強制度建設，為大數據開放共享建立相應的社會保障制度。我國從2008年即開始實施《政府信息公開條例》，近年來不斷采取措施推動各級政府部門在數據信息方面的共享。政府有必要牽頭建立一個國家層面的跨系統、跨平臺、跨數據結構的大數據網絡，打破數據壁壘，消除信息孤島，促進大數據在各機構間的流動和信息共享。三、大數據技術在金融領域的應用【反洗錢案例：Trulioo】三、大數據技術在金融領域的應用[做中學2-4]大數據反洗錢應用拓展5-6名同學一組，分析如何應用大數據技術實現可疑交易的識別和追蹤？每組可通過PPT或小戲劇方式進行研究成果展示。思考：利用大數據實現可疑交易識別，需要解決的關鍵問題有哪些？三、大數據技術在金融領域的應用03商業銀行領域三、大數據技術在金融領域的應用風險評估C運營優化D大數據技術在商業銀行領域的應用體現在以下方面：客戶營銷A產品創新B三、大數據技術在金融領域的應用客戶營銷A銀行可通過大數據分析平臺，獲得客戶通過社交網絡、電子商務、終端媒介等方式形成的非結構化數據，掌握客戶的消費習慣、消費水平、興趣愛好等信息，再將這些非結構化數據與銀行自身掌握的結構化數據結合，為客戶畫像，在此基礎上實現精準營銷。三、大數據技術在金融領域的應用產品創新B商業銀行通過大數據分析挖掘用戶潛在需求，開發相關產品或增值服務，創新業務模式，提高客戶粘性。三、大數據技術在金融領域的應用風險評估C風險管理能力是商業銀行的核心競爭力之一。通過大數據構建企業信用檔案，可使銀行實時掌握企業經營情況和資產動向，提升銀行的信貸風險控制能力。三、大數據技術在金融領域的應用運營優化D傳統的銀行信貸流程包括貸前調查、貸中審查、貸后檢查，需要耗費大量人力和時間。在大數據時代，銀行可憑借嚴格設計的評分模型和決策引擎，自動審批客戶的貸款申請。資信狀況良好的客戶可以在線即時提取貸款資金，徹底打通貸款的申請、盡職調查、審批、放款各環節。三、大數據技術在金融領域的應用【直銷銀行案例：INGDIRECT銀行】三、大數據技術在金融領域的應用[做中學2-5]大數據在商業銀行產品營銷中的應用

5-6名同學一組，每組選擇一種商業銀行產品，分析如何應用大數據技術開展營銷？每組形成一份營銷計劃，并可通過PPT或小戲劇方式進行展示。三、大數據技術在金融領域的應用04證券投資領域三、大數據技術在金融領域的應用大數據技術在證券投資領域的應用主要體現在智能投顧程序化交易大數據基金三、大數據技術在金融領域的應用智能投顧智能投顧所涉及的大數據主要包括兩大類：客戶行為大數據和金融交易大數據。智能投顧是指以投資者的風險偏好和財務狀況為依據，利用大數據和量化模型，為客戶提供資產配置建議和財富管理服務。三、大數據技術在金融領域的應用【智能投顧案例：Wealthfront】三、大數據技術在金融領域的應用程序化交易程序化交易也是大數據應用比較多的領域。程序化交易又稱高頻交易（HFT），是一種通過高速計算能力，盡可能利用瞬時數據以及其他先進信息技術等識別、捕捉市場中細微價格偏離以獲利的交易方式。三、大數據技術在金融領域的應用大數據基金國內一些基金公司通過量化策略和大數據投資方法的有機結合，成立了大數據基金。大數據基金通過算法篩選策略因子，設計出符合投資理念的量化模型，并借此篩選出更多優質投資標的。三、大數據技術在金融領域的應用[做中學2-6]大數據在證券投資中的應用

5-6名同學一組，收集大數據在證券投資方面應用的案例，提煉出利用大數據技術開展證券投資的適用對象、投資特點、優勢以及不足之處，并分組匯報。三、大數據技術在金融領域的應用05保險領域三、大數據技術在金融領域的應用大數據在保險業的應用主要涉及：識別欺詐行為個性化定價挖掘客戶需求030201三、大數據技術在金融領域的應用挖掘客戶需求中國的眾安保險公司是一家互聯網保險公司，基于用戶在電商網站的購買行為，推出網購退貨運費險、網上支付安全險等創新險種。保險公司可通過客戶在社交網絡、電商網站等留下的瀏覽和交易痕跡，挖掘客戶需求，尋找潛在客戶。美國前進保險公司（ProgressiveInsurance）通過精細化分析客戶財務狀況、資產價值、風險偏好等數據，向客戶提供量身定制的保險產品。三、大數據技術在金融領域的應用個性化定價在美國，保險公司可以通過安裝在車上的通信工具收集有關數據來判斷駕駛員的駕駛行為模式，結合駕駛員的年齡、駕齡、健康狀況等特征，對車輛保險費率實現個性化定價。保險產品的精算定價能力是保險公司的核心競爭力。大數據可以幫助保險公司提升精算能力。三、大數據技術在金融領域的應用識別欺詐行為保險公司借助大數據，可以識別客戶欺詐行為，防范騙保風險。在車險領域保險公司能夠利用過去的欺詐事件建立預測模型，將理賠申請分級處理，可實施車險理賠申請欺詐偵測、業務員及修車廠勾結欺詐偵測，遏制騙保行為。在醫療保險領域常見的欺詐手段有兩種：一種是非法騙取保險金；另一種是在醫保額度內重復就醫、浮報理賠金額。借助大數據技術，保險公司通過分析保險欺詐特征，建立預測模型，并通過自動化計分功能，快速將理賠案件按照欺詐風險級別進行分類處理。三、大數據技術在金融領域的應用【大數據在保險行業應用案例：Metromile】三、大數據技術在金融領域的應用06互聯網金融領域三、大數據技術在金融領域的應用大數據作為一項基礎設施和新興工具，在互聯網金融領域也有諸多應用，主要包括：第三方支付智能信貸精準營銷三、大數據技術在金融領域的應用精準營銷互聯網金融實時掌握客戶的借款、還款、投資等情況，通過與電商網站的數據共享，可以實時生成客戶畫像，了解客戶的風險偏好、資金需求、投資偏好、信用狀況等，從而有針對性地向客戶推送定制化的金融產品，提升營銷精準度，并能刺激客戶金融需求，有助于擴大業務規模。三、大數據技術在金融領域的應用智能信貸以阿里小貸為例，從風險審核到最終放款，阿里小貸實現了全程線上模式，所有的貸前、貸中、貸后環節都能實時有效連接，并可以向那些難以通過傳統渠道獲得貸款的個人和小微企業發放貸款，實現普惠金融。借助大數據進行信用評估，能夠實時更新借款人的信用狀況