機(jī)器學(xué)習(xí)MachineLearning李成偉1編輯版pppt目錄一大數(shù)據(jù)與云計(jì)算二機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能三編程語(yǔ)言的選擇四機(jī)器學(xué)習(xí)算法介紹五算法案例介紹2編輯版pppt一大數(shù)據(jù)與云計(jì)算3編輯版pppt4編輯版pppt什么是大數(shù)據(jù)？5編輯版pppt大數(shù)據(jù)特征定義6編輯版pppt大數(shù)據(jù)時(shí)代要具備大數(shù)據(jù)思維維克托·邁爾-舍恩伯格認(rèn)為：1-需要全部數(shù)據(jù)樣本而不是抽樣;2-關(guān)注效率而不是精確度;3-關(guān)注相關(guān)性而不是因果關(guān)系。大數(shù)據(jù)并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。7編輯版pppt大數(shù)據(jù)的價(jià)值所在？如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。未來(lái)在大數(shù)據(jù)領(lǐng)域最具有價(jià)值的是兩種事物：1-擁有大數(shù)據(jù)思維的人，這種人可以將大數(shù)據(jù)的潛在價(jià)值轉(zhuǎn)化為實(shí)際利益;2-還未有被大數(shù)據(jù)觸及過(guò)的業(yè)務(wù)領(lǐng)域。這些是還未被挖掘的油井，金礦，是所謂的藍(lán)海。8編輯版pppt云計(jì)算和大數(shù)據(jù)的關(guān)系云計(jì)算充當(dāng)了工業(yè)革命時(shí)期的發(fā)動(dòng)機(jī)的角色，而大數(shù)據(jù)則是電。云計(jì)算思想：把計(jì)算能力作為一種像水和電一樣的公用事業(yè)提供給用戶。9編輯版pppt二機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能10編輯版pppt任何通過(guò)數(shù)據(jù)訓(xùn)練的學(xué)習(xí)算法的相關(guān)研究都屬于機(jī)器學(xué)習(xí)。比如線性回歸（LinearRegression）、K均值（K-means，基于原型的目標(biāo)函數(shù)聚類(lèi)方法）、決策樹(shù)（DecisionTrees，運(yùn)用概率分析的一種圖解法）、隨機(jī)森林（RandomForest，運(yùn)用概率分析的一種圖解法）、PCA（PrincipalComponentAnalysis，主成分分析）、SVM（SupportVectorMachine，支持向量機(jī)）以及ANN（ArtificialNeuralNetworks，人工神經(jīng)網(wǎng)絡(luò)）。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如圖像，聲音和文本。人工智能企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類(lèi)智能相似的方式做出反應(yīng)的智能機(jī)器，該領(lǐng)域的研究包括語(yǔ)音識(shí)別、圖像識(shí)別、機(jī)器人、自然語(yǔ)言處理、智能搜索和專(zhuān)家系統(tǒng)等。11編輯版pppt人工智能與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的關(guān)系12編輯版pppt三編程語(yǔ)言的選擇13編輯版pppt14編輯版ppptPKR與Python語(yǔ)言的區(qū)別學(xué)習(xí)難度大入門(mén)簡(jiǎn)單適合處理大量數(shù)據(jù)功能強(qiáng)大命令式編程統(tǒng)計(jì)功能強(qiáng)大15編輯版pppt16編輯版ppptPython在線學(xué)習(xí)推薦----菜鳥(niǎo)教程17編輯版ppptAnaconda：初學(xué)Python、入門(mén)機(jī)器學(xué)習(xí)的首選NumPyScipyTensorFlowMatplotlibPandasScikit-Learn18編輯版pppt四機(jī)器學(xué)習(xí)算法介紹19編輯版pppt擁抱人工智能從機(jī)器學(xué)習(xí)開(kāi)始20編輯版pppt機(jī)器學(xué)習(xí)最大的特點(diǎn)是利用數(shù)據(jù)而不是指令來(lái)進(jìn)行各種工作，其學(xué)習(xí)過(guò)程主要包括：數(shù)據(jù)的特征提取、數(shù)據(jù)預(yù)處理、訓(xùn)練模型、測(cè)試模型、模型評(píng)估改進(jìn)等幾部分。21編輯版pppt機(jī)器學(xué)習(xí)算法是使計(jì)算機(jī)具有智能的關(guān)鍵算法是通過(guò)使用已知的輸入和輸出以某種方式“訓(xùn)練”以對(duì)特定輸入進(jìn)行響應(yīng)。代表著用系統(tǒng)的方法描述解決問(wèn)題的策略機(jī)制。人工智能的發(fā)展離不開(kāi)機(jī)器學(xué)習(xí)算法的不斷進(jìn)步。22編輯版pppt機(jī)器學(xué)習(xí)算法分類(lèi)23編輯版pppt1.線性回歸：找到一條直線來(lái)預(yù)測(cè)目標(biāo)值一個(gè)簡(jiǎn)單的場(chǎng)景：已知房屋價(jià)格與尺寸的歷史數(shù)據(jù)，問(wèn)面積為2000時(shí)，售價(jià)為多少？24編輯版pppt25編輯版pppt線性回歸的應(yīng)用預(yù)測(cè)客戶終生價(jià)值：

基于老客戶歷史數(shù)據(jù)與客戶生命周期的關(guān)聯(lián)關(guān)系，建立線性回歸模型，預(yù)測(cè)新客戶的終生價(jià)值，進(jìn)而開(kāi)展針對(duì)性的活動(dòng)。機(jī)場(chǎng)客流量分布預(yù)測(cè)：

以海量機(jī)場(chǎng)WiFi數(shù)據(jù)及安檢登機(jī)值機(jī)數(shù)據(jù)，通過(guò)數(shù)據(jù)算法實(shí)現(xiàn)機(jī)場(chǎng)航站樓客流分析與預(yù)測(cè)。貨幣基金資金流入流出預(yù)測(cè)：

通過(guò)用戶基本信息數(shù)據(jù)、用戶申購(gòu)贖回?cái)?shù)據(jù)、收益率表和銀行間拆借利率等信息，對(duì)用戶的申購(gòu)贖回?cái)?shù)據(jù)的把握，精準(zhǔn)預(yù)測(cè)未來(lái)每日的資金流入流出情況。電影票房預(yù)測(cè)：

依據(jù)歷史票房數(shù)據(jù)、影評(píng)數(shù)據(jù)、輿情數(shù)據(jù)等互聯(lián)網(wǎng)公眾數(shù)據(jù)，對(duì)電影票房進(jìn)行預(yù)測(cè)。26編輯版pppt2.邏輯回歸：找到一條直線來(lái)分類(lèi)數(shù)據(jù)邏輯回歸雖然名字叫回歸，卻是屬于分類(lèi)算法，是通過(guò)Sigmoid函數(shù)將線性函數(shù)的結(jié)果映射到Sigmoid函數(shù)中，預(yù)估事件出現(xiàn)的概率并分類(lèi)。

邏輯回歸從直觀上來(lái)說(shuō)是畫(huà)出了一條分類(lèi)線。位于分類(lèi)線一側(cè)的數(shù)據(jù)，概率>0.5,屬于分類(lèi)A；位于分類(lèi)線另一側(cè)的數(shù)據(jù)，概率<0.5,屬于分類(lèi)B。27編輯版pppt3.K-近鄰：用距離度量最相鄰的分類(lèi)標(biāo)簽一個(gè)簡(jiǎn)單的場(chǎng)景：已知一個(gè)電影中的打斗和接吻鏡頭數(shù)，判斷它是屬于愛(ài)情片還是動(dòng)作片。當(dāng)接吻鏡頭數(shù)較多時(shí)，根據(jù)經(jīng)驗(yàn)我們判斷它為愛(ài)情片。那么計(jì)算機(jī)如何進(jìn)行判別呢？28編輯版pppt4.樸素貝葉斯：選擇后驗(yàn)概率最大的類(lèi)為分類(lèi)標(biāo)簽一個(gè)簡(jiǎn)單的場(chǎng)景：一號(hào)碗(C1)有30顆水果糖和10顆巧克力糖，二號(hào)碗(C2)有水果糖和巧克力糖各20顆。現(xiàn)在隨機(jī)選擇一個(gè)碗，從中摸出一顆糖，發(fā)現(xiàn)是水果糖。問(wèn)這顆水果糖(X)最有可能來(lái)自哪個(gè)碗？29編輯版pppt例如上面的例子中：

P(X):水果糖的概率為5/8

P(X|C1):一號(hào)碗中水果糖的概率為3/4

P(X|C2):二號(hào)碗中水果糖的概率為2/4

P(C1)=P(C2):兩個(gè)碗被選中的概率相同，為1/2則水果糖來(lái)自一號(hào)碗的概率為:

$P(C1|X)=P(X|C1)P(C1)/P(X)=(3/4)(1/2)/(5/8)=3/5

水果糖來(lái)自二號(hào)碗的概率為:

P(C2|X)=P(X|C2)P(C2)/P(X)=(2/4)(1/2)/(5/8)=2/5

P(C1|X)＞P(C2|X)

因此這顆糖最有可能來(lái)自一號(hào)碗。樸素貝葉斯的主要應(yīng)用有文本分類(lèi)、垃圾文本過(guò)濾，情感判別，多分類(lèi)實(shí)時(shí)預(yù)測(cè)等。30編輯版pppt5.決策樹(shù)：構(gòu)造熵值下降最快的分類(lèi)樹(shù)一個(gè)簡(jiǎn)單的場(chǎng)景：

相親時(shí)，可能首先檢測(cè)相親對(duì)方是否有時(shí)間。如果有，則考慮進(jìn)一步接觸，再觀察其是否有上進(jìn)心，如果沒(méi)有，直接SayGoodbye。如果有，則在看帥不帥，帥的可以列入候選名單。決策樹(shù)可以應(yīng)于：用戶分級(jí)評(píng)估、貸款風(fēng)險(xiǎn)評(píng)估、選股、投標(biāo)決策等。31編輯版pppt6.支持向量機(jī)（SVM）：構(gòu)造超平面，分類(lèi)非線性數(shù)據(jù)一個(gè)簡(jiǎn)單的場(chǎng)景：

要求用一根線將不同顏色的球分開(kāi)，要求盡量在放更多球之后，仍然適用。A、B兩條線都可以滿足條件。再繼續(xù)增加球，線A仍可以將球很好的分開(kāi)，而線B則不可以。32編輯版pppt

進(jìn)一步增加難度，當(dāng)球沒(méi)有明確的分界線，用一條直線已經(jīng)無(wú)法將球分開(kāi)，該怎么解決？SVM可應(yīng)用于垃圾郵件識(shí)別、手寫(xiě)識(shí)別、文本分類(lèi)、選股等。33編輯版pppt7.K-means：計(jì)算質(zhì)心，聚類(lèi)無(wú)標(biāo)簽數(shù)據(jù)在上面介紹的分類(lèi)算法中，需要被分類(lèi)的數(shù)據(jù)集已經(jīng)有標(biāo)記，例如數(shù)據(jù)集已經(jīng)標(biāo)記為○或者×，通過(guò)學(xué)習(xí)出假設(shè)函數(shù)對(duì)這兩類(lèi)數(shù)據(jù)進(jìn)行劃分。而對(duì)于沒(méi)有標(biāo)記的數(shù)據(jù)集，希望能有一種算法能夠自動(dòng)的將相同元素分為緊密關(guān)系的子集或簇，這就是聚類(lèi)算法。34編輯版pppt8.關(guān)聯(lián)分析：挖掘啤酒與尿布（頻繁項(xiàng)集）的關(guān)聯(lián)規(guī)則算法中幾個(gè)相關(guān)的概念：頻繁項(xiàng)集：在數(shù)據(jù)庫(kù)中大量頻繁出現(xiàn)的數(shù)據(jù)集合。例如購(gòu)物單數(shù)據(jù)中{'啤酒'}、{'尿布'}、{'啤酒','尿布'}出現(xiàn)的次數(shù)都比較多。關(guān)聯(lián)規(guī)則：由集合A，可以在某置信度下推出集合B。即如果A發(fā)生了，那么B也很有可能會(huì)發(fā)生。例如購(gòu)買(mǎi)了{(lán)'尿布'}的人很可能會(huì)購(gòu)買(mǎi){'啤酒'}。支持度：指某頻繁項(xiàng)集在整個(gè)數(shù)據(jù)集中的比例。假設(shè)數(shù)據(jù)集有10條記錄，包含{'啤酒','尿布'}的有5條記錄，那么{'啤酒','尿布'}的支持度就是5/10=0.5。置信度：有關(guān)聯(lián)規(guī)則如{'尿布'}->{'啤酒'}，它的置信度為{'尿布'}->{'啤酒'}

假設(shè){'尿布','啤酒'}的支持度為0.45，{'尿布'}的支持度為0.5，則{'尿布'}->{'啤酒'}的置信度為0.45/0.5=0.9。35編輯版pppt9.PCA降維：減少數(shù)據(jù)維度，降低數(shù)據(jù)復(fù)雜度降維是指將原高維空間中的數(shù)據(jù)點(diǎn)映射到低維度的空間中。因?yàn)楦呔S特征的數(shù)目巨大，距離計(jì)算困難，分類(lèi)器的性能會(huì)隨著特征數(shù)的增加而下降；減少高維的冗余信息所造成的誤差,可以提高識(shí)別的精度。36編輯版pppt10.人工神經(jīng)網(wǎng)絡(luò)：逐層抽象，逼近任意函數(shù)前面介紹了九種傳統(tǒng)的機(jī)器學(xué)習(xí)算法，現(xiàn)在介紹一下深度學(xué)習(xí)的基礎(chǔ)：人工神經(jīng)網(wǎng)絡(luò)。它是模擬人腦神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)的模型，由多個(gè)節(jié)點(diǎn)（人工神經(jīng)元）相互聯(lián)結(jié)而成，可以用來(lái)對(duì)數(shù)據(jù)之間的復(fù)雜關(guān)系進(jìn)行建模。37編輯版pppt例如利用單層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)邏輯與門(mén)和同或門(mén)38編輯版pppt多層神經(jīng)網(wǎng)絡(luò)的每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示，通過(guò)抽取更抽象的特征來(lái)對(duì)事物進(jìn)行區(qū)分，從而獲得更好的區(qū)分與分類(lèi)能力。39編輯版pppt11.深度學(xué)習(xí)：賦予人工智能以璀璨的未來(lái)深度學(xué)習(xí)就是一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，使用多層網(wǎng)絡(luò)，能夠?qū)W習(xí)抽象概念，同時(shí)融入自我學(xué)習(xí)，逐步從大量的樣本中逐層抽象出相關(guān)的概念，然后做出理解，最終做出判斷和決策。通過(guò)構(gòu)建具有一定“深度”的模型，可以讓模型來(lái)自動(dòng)學(xué)習(xí)好的特征表示（從底層特征，到中層特征，再到高層特征），從而最終提升預(yù)測(cè)或識(shí)別的準(zhǔn)確性。40編輯版pppt深度學(xué)習(xí)的歷史變遷：深度學(xué)習(xí)經(jīng)歷了三次浪潮：20世紀(jì)40年代～60年年代，深度學(xué)習(xí)的雛形出現(xiàn)在控制論中；20世界80年代～90年代，深度學(xué)習(xí)表現(xiàn)為聯(lián)結(jié)主義；2006年以后，正式以深度學(xué)習(xí)之名復(fù)興。第一次浪潮：以感知機(jī)和線性模型為代表

不能解決與或問(wèn)題第二次浪潮：以多層感知機(jī)和BP模型為代表以統(tǒng)計(jì)學(xué)為基礎(chǔ)，應(yīng)用核函數(shù)和圖模型的支持向量機(jī)算法（SVM算法）等各種淺層有監(jiān)督的機(jī)器學(xué)習(xí)模型廣泛應(yīng)用，且深度神經(jīng)網(wǎng)絡(luò)不可訓(xùn)練第三次浪潮：以無(wú)監(jiān)督學(xué)習(xí)為代表。

解決了深層神經(jīng)網(wǎng)絡(luò)的計(jì)算能力問(wèn)題；解決了深度神經(jīng)網(wǎng)絡(luò)后向誤差反饋梯度消失的問(wèn)題。41編輯版pppt最初，人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間的連接數(shù)受限于硬件能力。而現(xiàn)在，神經(jīng)元之間的連接數(shù)大多是出于設(shè)計(jì)考慮。一些人工神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的連接數(shù)與貓一樣多，并且對(duì)于其他神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，每個(gè)神經(jīng)元的連接數(shù)與較小哺乳動(dòng)物（如小鼠）一樣多，這種情況是非常普遍的。甚至人類(lèi)大腦每個(gè)神經(jīng)元的連接數(shù)也沒(méi)有過(guò)高的數(shù)量。1.自適應(yīng)線性單元（WidrowandHoff,1960）；2.神經(jīng)認(rèn)知機(jī)（Fukushima,1980）；3.GPU-加速卷積網(wǎng)絡(luò)（Chellapillaetal.,2006）；4.深度玻爾茲曼機(jī)（SalakhutdinovandHinton,2009a）；5.無(wú)監(jiān)督卷積網(wǎng)絡(luò)（Jarrettetal.,2009b）；6.GPU-加速多層感知機(jī)（Ciresanetal.,2010）；7.分布式自編碼器（Leetal.,2012）；8.Multi-GPU卷積網(wǎng)絡(luò)（Krizhevskyetal.,2012a）；9.COTSHPC無(wú)監(jiān)督卷積網(wǎng)絡(luò)（Coatesetal.,2013）；10.GoogLeNet（Szegedyetal.,2014a與日俱增的每個(gè)神經(jīng)元的連接數(shù)42編輯版pppt自從引入隱藏單元，人工神經(jīng)網(wǎng)絡(luò)的規(guī)模大約每2.4年翻一倍。1.感知機(jī)（Rosenblatt,1958,1962）；2.自適應(yīng)線性單元（WidrowandHoff,1960）；3.神經(jīng)認(rèn)知機(jī)（Fukushima,1980）；4.早期后向傳播網(wǎng)絡(luò)（Rumelhartetal.,1986b）；5.用于語(yǔ)音識(shí)別的循環(huán)神經(jīng)網(wǎng)絡(luò)（RobinsonandFallside,1991）；6.用于語(yǔ)音識(shí)別的多層感知機(jī)（Bengioetal.,1991）；7.均勻場(chǎng)sigmoid信念網(wǎng)絡(luò)（Sauletal.,1996）；8.LeNet5（LeCunetal.,1998c）；9.回聲狀態(tài)網(wǎng)絡(luò)（JaegerandHaas,2004）；10.深度信念網(wǎng)絡(luò)（Hintonetal.,2006a）；11.GPU-加速卷積網(wǎng)絡(luò)（Chellapillaetal.,2006）；12.深度玻爾茲曼機(jī)（SalakhutdinovandHinton,2009a）；13.GPU加速深度信念網(wǎng)絡(luò)（Rainaetal.,2009a）；14.無(wú)監(jiān)督卷積網(wǎng)絡(luò)（Jarrettetal.,2009b）；15.GPU-加速多層感知機(jī)（Ciresanetal.,2010）；16.OMP-1網(wǎng)絡(luò)（CoatesandNg,2011）；17.分布式自編碼器（Leetal.,2012）；18.MultiGPU卷積網(wǎng)絡(luò)（Krizhevskyetal.,2012a）；19.COTSHPC無(wú)監(jiān)督卷積網(wǎng)絡(luò)（Coatesetal.,2013）；20.GoogLeNet（Szegedyetal.,2014a）與日俱增的神經(jīng)網(wǎng)絡(luò)規(guī)模43編輯版pppt目前深度學(xué)習(xí)的應(yīng)用十分廣泛，例如圖像識(shí)別、語(yǔ)音識(shí)別、機(jī)器翻譯、自動(dòng)駕駛、金融風(fēng)控、智能機(jī)器人等。44編輯版pppt五算法案例介紹45編輯版ppptK近鄰法(KNN)原理K近鄰法(k-nearestneighbors,KNN)是一種很基本的機(jī)器學(xué)習(xí)方法了，在我們平常的生活中也會(huì)不自主的應(yīng)用。比如，我們判斷一個(gè)人的人品，只需要觀察他來(lái)往最密切的幾個(gè)人的人品好壞就可以得出了。KNN做回歸和分類(lèi)的主要區(qū)別在于最后做預(yù)測(cè)時(shí)候的決策方式不同。KNN做分類(lèi)預(yù)測(cè)時(shí)，一般是選擇多數(shù)表決法，即訓(xùn)練集里和預(yù)測(cè)的樣本特征最近的K個(gè)樣本，預(yù)測(cè)為里面有最多類(lèi)別數(shù)的類(lèi)別。

而KNN做回歸時(shí)，一般是選擇平均法，即最近的K個(gè)樣本的樣本輸出的平均值作為回歸預(yù)測(cè)值。由于兩者區(qū)別不大，本次主要是講解KNN的分類(lèi)方法，但思想對(duì)KNN的回歸方法也適用。46編輯版ppptKNN場(chǎng)景電影可以按照題材分類(lèi)，那么如何區(qū)分動(dòng)作片和愛(ài)情片

呢？

動(dòng)作片：打斗次數(shù)更多

愛(ài)情片：親吻次數(shù)更多基于電影中的親吻、打斗出現(xiàn)的次數(shù)，使用k-近鄰算法構(gòu)造程序，就可以自動(dòng)劃分電影的題材類(lèi)型。47編輯版ppptKNN計(jì)算步驟假設(shè)有一個(gè)帶有標(biāo)簽的樣本數(shù)據(jù)集（訓(xùn)練樣本集），其中包含每條數(shù)據(jù)與所屬分類(lèi)的對(duì)應(yīng)關(guān)系。輸入沒(méi)有標(biāo)簽的新數(shù)據(jù)后，將新數(shù)據(jù)的每個(gè)特征與樣本集中數(shù)據(jù)對(duì)應(yīng)的特征進(jìn)行比較。計(jì)算新數(shù)據(jù)與樣本數(shù)據(jù)集中每條數(shù)據(jù)的距離。計(jì)算距離時(shí)直接使用了歐式距離公式，計(jì)算兩個(gè)向量點(diǎn)之間的距離

對(duì)求得的所有距離進(jìn)行排序（從小到大，越小表示越相似）。取前k（k一般小于等于20）個(gè)樣本數(shù)據(jù)對(duì)應(yīng)的分類(lèi)標(biāo)簽。求k個(gè)數(shù)據(jù)中出現(xiàn)次數(shù)最多的分類(lèi)標(biāo)簽作為新數(shù)據(jù)的分類(lèi)。48編輯版ppptKNN算法特優(yōu)點(diǎn)：1）

理論成熟，思想簡(jiǎn)單，既可以用來(lái)做分類(lèi)也可以用來(lái)做回歸2）可用于非線性分類(lèi)3）訓(xùn)練時(shí)間復(fù)雜度比支持向量機(jī)之類(lèi)的算法低，僅為O(n)4）和樸素貝葉斯之類(lèi)的算法比