《金融科技》FinancialTechnology項目一云金融教學目標1.能夠分析云平臺與信息系統的資源層、平臺層、應用層、管理層以及用戶訪問層五個基本組成部分；2.能夠熟練分析云計算服務的三種基本模式——SaaS模式、PaaS模式和IaaS模式；3.能夠闡述云計算帶來的金融變革，分析云計算未來發展的趨勢。[知識目標]1.掌握云計算的定義、特點，理解云計算的架構，三種服務的模式各自的特點；2.理解云計算平臺與信息系統基本結構組成；3.理解云計算的關鍵技術及其在金融領域的應用。[能力目標][素養目標]1.培養科技自信和民族自豪感；2.培養科技報國的抱負和雄心。云金融云計算的內涵一二三云計算在金融領域的運用云計算帶來的金融變革和發展趨勢任務一云計算的內涵一一、云計算技術概念二、云計算的特點三、云計算服務的模式四、云平臺與信息系統基本結構五、云計算潛在的危險性導入導入1.找一找你手機中帶“云”字的APP;2.找一找你手機中不帶”云“字，但你認為應該采用了云計算的APP。一、云計算技術概念云計算是一種按使用量付費的模式，提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池(資源包括網絡、服務器、存儲、應用軟件、服務)，這些資源能夠被快速地提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。二、云計算的特點特點GBUTtem9

特點7.個性化服務3.可靠性高8.成本低4.超大規模2.虛擬化技術6.可擴展性 * 資料來源： 5.通用性1.基于互聯網三、云計算服務的模式(三)SaaS軟件即服務(二)PaaS平臺即服務(一)IaaS基礎設施即服務四、云平臺的基本結構（一）（二）（五）（三）（四）資源層平臺層應用層用戶訪問層管理層五、云計算潛在的危險性危險性云計算服務：計算服務、存儲服務云計算服務當前壟斷在私人機構(企業)手中，僅提供商業信用，因此政府機構、商業機構應保持足夠的警惕。不可避免地會讓這些私人機構以“數據(信息)”的重要性挾制整個社會。任務一小結云計算的內涵包括五個方面云計算技術概念45321云計算潛在的危險性云計算的特點云平臺與信息系統基本結構云計算服務的模式[做中學1-1]金融行業中的云計算5-6名同學一組完成任務：1、討論云計算服務的模式有哪些，各自適用于哪些領域？2、各組選擇一個應用云計算的案例，分析其特點。《金融科技》FinancialTechnology項目二大數據金融教學目標知識目標1.掌握大數據的基本概念；2.了解大數據技術的處理流程；3.掌握大數據在金融領域的應用；4.了解大數據技術的應用趨勢。能力目標1.能夠利用大數據技術手段為客戶提供金融服務；2.理解大數據技術對金融業帶來的影響并積極予以運用。內容導航一大數據的基本概念二大數據的處理流程三大數據技術在金融領域的應用四大數據技術的發展趨勢及應用前景大數據的基本概念一一、大數據的基本概念（一）（二）（三）大數據的定義大數據的分類大數據的基本原理導入問題大數據，大在哪里一、大數據的基本概念（一）大數據的定義一、大數據的基本概念麥肯錫全球研究所對大數據的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合。一、大數據的基本概念數據類型多樣（Variety）應用價值高（Value）數據處理速度快（Velocity）數據規模大（Volume）數據真實（Veracity）大數據的5V特征：一、大數據的基本概念（二）大數據的分類一、大數據的基本概念數據結構上分類處理方式上分類數據來源和行業來分類結構化數據半結構化數據無結構數據實時數據離線數據網絡數據社交媒體數據醫療數據農業數據身體健康數據設備監測數據……一、大數據的基本概念（三）大數據的基本原理一、大數據的基本概念物聯網云計算物聯網可看作大數據的采集端云計算可看作大數據的核心技術處理端一、大數據的基本概念物聯網物聯網產生海量數據，是大數據來源的基礎設施。日常生活中，大數據的來源主要集中在以下三方面：以微博、微信為代表的社交網絡；電子商務平臺；攝像頭收集的視頻和圖片等信息。一、大數據的基本概念云計算云計算為大數據的計算和分析提供了可行的方法。云計算的數據在云端，任何時間、任何設備，只要登陸后就可以享受計算服務。通過云計算對數據進行處理后，數據可成為一種基礎的公共物品，被人所用。一、大數據的基本概念[做中學2-1]生活中的大數據5-6名同學一組，各組選擇一個行業，收集該行業大數據應用的典型案例1個，并進行分析，寫出案例分析報告。思考：大數據的應用是否可能誤導決策？如果要保證數據分析的準確性，防止被誤導，需要滿足什么前提條件？《金融科技》FinancialTechnology項目二大數據金融教學目標知識目標1.掌握大數據的基本概念；2.了解大數據技術的處理流程；3.掌握大數據在金融領域的應用；4.了解大數據技術的應用趨勢。能力目標1.能夠利用大數據技術手段為客戶提供金融服務；2.理解大數據技術對金融業帶來的影響并積極予以運用。內容導航一大數據的基本概念二大數據的處理流程三大數據技術在金融領域的應用四大數據技術的發展趨勢及應用前景大數據的處理流程二二、大數據的處理流程數據采集數據存儲數據挖掘數據處理二、大數據的處理流程（一）各種智能設備中的運行數據（二）互聯網網頁數據（三）RFID射頻數據大數據的數據源主要來自以下三方面：二、大數據的處理流程網頁數據采集應用最廣泛的技術就是網絡爬蟲二、大數據的處理流程數據采集數據存儲數據挖掘數據處理二、大數據的處理流程大數據的存儲系統必須對多種數據及軟硬件平臺有較好的兼容性，以適應各種應用算法或者數據提取轉換與加載。現階段常用的大數據存儲技術包括：第二類，基于Hadoop技術擴展和封裝，圍繞Hadoop衍生出相關的大數據技術，應對傳統關系型數據庫較難處理的數據和場景，充分利用Hadoop開源的優勢。第三類，大數據一體機，這是一種專為大數據分析處理而設計的軟件、硬件結合的產品，由一組集成的服務器、存儲設備、操作系統、數據庫管理系統以及為數據查詢、處理、分析而特別預先安裝及優化的軟件組成。高性能大數據一體機具有良好的穩定性和縱向擴展性。第一類，采用大規模并行處理系統（MPP）架構的新型數據庫集群，重點面向行業大數據，采用無共享（SharedNothing）架構，通過列存儲、粗粒度索引等大數據處理技術，再結合MPP架構高效的分布式計算模式，完成對分析類應用的支撐。二、大數據的處理流程就存儲大數據的數據庫而言，最流行的兩種數據庫就是傳統的關系型數據庫和新興的NOSQL數據庫。微軟的SQLServer數據庫、IBM的DB2數據庫、甲骨文的Oracle數據庫、開源的MySQL數據庫都是關系型數據庫的典型。NOSQL數據庫是近年來隨著大數據技術發展而興起的一種數據庫技術。NOSQL數據庫依據存儲對象和存儲方法的不同又可以分成鍵值型數據庫、文檔型數據庫、列存儲數據庫、圖存儲數據庫。二、大數據的處理流程序號

類型部分代表特點1鍵值型OracleBDBGoogleBigTableAmazonDynamoDB鍵值型數據庫主要會使用到一個哈希表，這個表中有一個特定的鍵和一個指針指向特定的數據。鍵值型數據庫的優勢在于簡單、易部署，但如果只對部分值進行查詢或更新，則效率相對低下。2文檔型MongoDBCouchDB此類數據庫可存放并獲取文檔，其格式可以是XML、JSON、BSON等，這些文檔具備可述性（self-describing），呈現分層的樹狀結構（hierarchicaltreedatastructure），可以包含映射表、集合和純量值。文檔數據庫可視為其值可查的鍵值數據庫，可以對某些字段建立索引，實現關系數據庫某些功能。二、大數據的處理流程序號

類型部分代表特點3列存儲HbaseCassandraHypertable

列存儲數據庫通常是用來應對分布式存儲的海量數據。鍵仍然存在，但是它們的特點是指向了多個列。這些列是由列家族來安排。特點是方便存儲結構化和半結構化數據，方便數據壓縮，對針對基于列的查詢有很大優勢。4圖存儲Neo4JInfiniteGraph使用靈活的圖形模型，并且能夠擴展到多個服務器上。將數據存儲在圖狀網絡的節點上及它們之間的關系中，這里的圖不是指圖形圖像，而是指一種數據存儲結構。

二、大數據的處理流程在金融科技應用中，我們應如何選擇合適的數據存儲技術呢？一般來講，有嚴謹的數據結構，對數據的可靠性要求高，經常需要對數據進行商業智能分析，這類數據庫適合存儲在關系數據庫中，一般可以選擇開源的MySQL數據庫；相反，那些數據量特別大，對數據的擴展性要求高，對數據庫的可用性要求高，對存儲效率和恢復響應要求高的數據則適用于NOSQL數據庫。二、大數據的處理流程在實踐中，通常會將NOSQL和關系數據庫進行結合使用，各取所長，可以分為兩種模式：第一種：NOSQL數據庫作為輔助存儲。把所有的數據都存放在關系數據庫中，可能被經常頻繁讀取的數據再存放在NOSQL數據庫中一份，其目的是提高數據的查詢速度，減少關系數據庫的并發訪問負載。第二種：NOSQL數據庫作為主存儲。把所有的數據存儲在NOSQL數據庫中，為了一些特殊業務或功能的需要，在將數據存入NOSQL的時候，同時存儲到關系數據庫一份。數據存儲和查詢主要是由NOSQL數據庫完成，少量的數據是從關系數據庫讀取。二、大數據的處理流程數據采集數據存儲數據挖掘數據處理二、大數據的處理流程數據抽取12數據清洗3數據脫敏在數據處理環節，主要完成三項操作：二、大數據的處理流程數據抽取1第一種，全量抽取。類似于數據遷移或數據復制，將數據源中的表格或視圖的數據原封不動地從數據庫中抽取出來，并轉換成自己的ETL（Extraction-Transformation-Loading，數據提取、轉換和加載）工具可以識別的格式。第二種，增量提取。抽取自上次抽取以來數據庫中要抽取的表中新增、修改、刪除的數據。二、大數據的處理流程數據清洗2在采集數據時，會存在大量的“臟”數據。這些數據或與我們的需求無關，或是錯誤數據，或是相互之間有沖突，因此要通過“去噪”過濾掉這些不符要求的數據，提取出有效數據，這一過程稱為“數據清洗”（DataCleaning）。二、大數據的處理流程數據脫敏3現階段常用的數據處理技術有AbInitio（大數據處理軟件平臺技術）、Hadoop（開源分布系統的基礎架構，適合處理超大量的數據）、Netezza（IBM基于數據倉庫的分析技術）Hadoop是由Apache軟件基金會發起的一個分布式計算平臺，也是目前最為流行的大數據處理平臺。用戶可以在該平臺上開發和運行處理海量數據的應用程序。Hadoop在數據提取、變形和加載（FTL）方面具有優勢，擅長存儲大量的半結構化數據集，也非常擅長分布式計算——快速地跨多臺機器處理大型數據集合。數據脫敏指對一些涉及個人隱私的敏感信息，如身份證號、電話號碼、銀行賬戶等，進行數據的變形處理，達到隱私保護的目的。二、大數據的處理流程數據采集數據存儲數據挖掘數據處理二、大數據的處理流程數據挖掘（DataMining）的前身是數據庫中的知識發現技術（KDD），是指運用計算機技術從大量數據中將隱藏的有價值的信息提取出來的過程。基于海量數據；具有非平凡性，即挖掘出來的知識應該是不簡單的；隱藏性，即數據挖掘是要發現深藏在數據內部而非浮現在數據表面的知識；價值性，即挖掘的知識能給企業帶來直接或間接效益。1234二、大數據的處理流程數據挖掘有很多技術方法，歸納起來主要涉及統計學、機器學習和數據庫等領域的研究成果。（一）統計分析統計分析是指利用統計學對大數據進行分析，包括統計學中的回歸分析、差異分析、判別分析、因子分析等，主要用來處理結構化數據。統計分析反映了數據庫中數據的屬性值特性，通過函數表達數據映射關系來發現屬性值之間的依賴關系。它可以應用到對數據序列的預測及相關關系的研究中去。例如，通過對本季度銷售的回歸分析，對下一季度的銷售趨勢做出預測并做出針對性的營銷改變。二、大數據的處理流程（二）聚類分析聚類分析是一種重要的數據挖掘方法，具體是指根據事物的特征進行分類，以期從中發現一定的規律。聚類類似于分類，但與分類的目的不同，是針對數據的相似性和差異性將一組數據分為幾個類別。其原則是使同一類事物盡可能相似，不同類事物盡可能差異大。屬于同一類別的數據間的相似性大，但不同類別之間數據的相似性很小，跨類的數據關聯性很低。聚類分析又可細分為劃分聚類法、層次聚類法、基于網格和模型的聚類法。二、大數據的處理流程（三）決策樹決策樹是機器學習中最基礎、應用最廣泛的算法模型。其原理是，在一批已知的訓練數據的基礎上建立一棵決策樹，利用決策樹對數據進行分析和預測。常見的算法包括分類回歸樹（CART）、ID3、C4.5、隨機森林等。決策樹可用于預測貸款人是否具有償還貸款的能力。借款人通過三個核心指標來判斷：是否擁有房產、是否結婚、月收入金額。決策樹的每一個內部節點都分別代表一個指標，樹葉節點則表示貸款人是否具備還款能力。例如，客戶甲沒有房產，未婚，月收入8000元。通過決策樹的節點判斷，該用戶最終落在“可以償還”的樹葉節點上。因此預測該用戶具備償還能力。二、大數據的處理流程（四）人工神經網絡人工神經網絡（ANN）是一種仿照人腦神經元結構和功能進行數據分析的信息處理系統。人工神經網絡作為一種先進的人工智能技術，因其自行處理、分布存儲和高度容錯等特性非常適合處理非線性的以及那些模糊、不完整、不嚴密的數據，因此在數據挖掘領域得到廣泛應用。二、大數據的處理流程（四）人工神經網絡用于分類預測和模式識別的前饋式神經網絡模型，其主要代表為函數型網絡、感知機；A用于聯想記憶和優化算法的反饋式神經網絡模型，以Hopfield的離散模型和連續模型為代表；B用于聚類的自組織映射方法，以ART模型為代表。C典型的神經網絡模型主要分為三大類二、大數據的處理流程（五）關聯規則關聯規則是數據挖掘領域特有的技術，由一連串的“如果……/則……”的邏輯規則對數據進行細分，以期在數據庫中搜索和挖掘以往不知道的規則。關聯規則是找出隱藏在數據項之間的關聯或相互關系，根據一個數據項的出現推導出其他數據項的出現。關聯規則的挖掘過程主要包括兩個階段：第一階段為從海量原始數據中找出所有的高頻項目組；第二階段為從這些高頻項目組產生關聯規則。關聯規則挖掘技術已經被廣泛應用于金融企業中，用以預測客戶需求和偏好來改善自身的營銷。二、大數據的處理流程（六）Web數據挖掘Web數據挖掘是一項綜合性技術，指Web從文檔結構和使用的集合C中發現隱含的模式P，如果將C看做是輸入，P看做是輸出，那么Web挖掘過程就可以看作是從輸入到輸出的一個映射過程。目前常用的Web數據挖掘算法有：PageRank算法、HITS算法以及LOGSOM算法。這三種算法提到的用戶都是籠統的用戶，并沒有區分用戶的個體。目前Web數據挖掘面臨著一些問題，包括：用戶的分類問題、網站內容時效性問題、用戶在頁面停留時間問題、頁面的鏈入與鏈出數問題等。二、大數據的處理流程（七）數據可視化技術數據可視化是大數據技術非常重要的一環，關系到數據處理的最終效果和用戶體驗。數據可視化技術可以將有價值的信息展示出來，同