第五章機器學習前言YOURENGLISHTITLE機器學習是一門多領域的交叉學科，它主要研究計算機如何模擬人和學習人的行為。發展至今的機器學習已經應用在了自然語言處理、手寫識別、機器人應用、數據挖掘、計算機視覺等不同方向，很多機器學習中的方法都應用在了計算機視覺中。本章旨在對機器學習的基礎知識進行介紹，重點介紹決策樹算法、貝葉斯算法的基本流程。思維導圖學習目標（1）掌握機器學習模型評估；（2）掌握線性回歸與邏輯回歸；（3）掌握決策樹算法；（4）掌握貝葉斯分類算法；（5）了解常用聚類方法。1機器學習介紹機器學習機器學習是這樣一門學科，它通過大量的“經驗”來進行預測。在計算機中，通過大量的數據得到一個模型，模型可以對新的數據進行預測得到結果。這便是機器學習的基本解釋。其中策略，模型和算法被稱之為機器學習的三要素。模型就像是一個黑盒子，輸入數據然后模型輸出結果，策略是用來判斷模型的優劣，算法則是指學習模型的具體計算方法。常用術語機器學習一般分為監督學習，無監督學習和半監督學習。監督學習指的是它的訓練數據都是帶有標記的，通過這些帶有標記的數據去不斷修正模型。監督學習一般有分類和回歸兩類任務。分類問題輸出物體所屬的類別，它的輸出值是離散的，而回歸任務則是輸出一個值，它的輸出是連續的。諸如貓狗分類，它是屬于分類問題，像房價預測便是屬于回歸問題。無監督學習則表示數據沒有標記。最常見的就是聚類與降維，關于這一點后面會有介紹。還有部分是半監督學習，它通過少量帶有標記的數據和大量不帶有標記的數據來訓練模型。常用術語在開始機器學習之前，需要大量的數據。比如（前夜天氣=陰，前夜溫度=低，前夜濕度=高），這就是判斷天氣的一個記錄，多個記錄的組成叫做“數據集”。每一個記錄我們都稱為樣本。天氣，溫度，濕度等稱之為屬性，上面的陰，低等稱之為屬性值。如果是監督學習還需要對數據進行標記，上面那個樣本第二天的天氣會標記為晴天。要想得到一個模型，需要利用大量的數據進行訓練，我們把這些數據稱作“訓練數據”，它們的集合稱之為“訓練集”。訓練好模型之后還需要數據來進行測試不斷修正模型，我們稱之為“測試集”。最后我們需要數據來驗證模型的好壞，我們稱之為“驗證集”。機器學習發展歷史人工智能與機器學習的發展大致可以分為三個階段。二十世紀五十年代至七十年代運用基于符號表示的演繹推理技術，一般稱之為推理期。二十世紀七十年代中期至八十年代屬于知識期，基于符號知識表示，通過獲取和利用領域知識來建立專家系統。二十世紀八十年代至今叫做學習期，其中兩大主流技術分別是符號主義學習和基于神經網絡的連接主義學習。2模型的評估數據集的劃分數據集一般分為訓練集，測試集和驗證集。常見的劃分方法有三種。留出法：將數據集D劃分成兩個互斥的集合。可以稱之為訓練集X和測試集C，其中D=C+X。交叉驗證法：將數據集D劃分成K個大小相同的互斥集合，然后用1個集合作為測試集，剩下的K-1個集合作為訓練集。進行K次訓練與測試，最后返回它們的均值得到最終的結果。自助法：假設數據集D有a個樣本，每一次從D中選出一個樣本放入D1數據集，然后再放回樣本。如此重復a次得到D1數據集，D1中會有重復樣本或者一些樣本不出現樣本。沒采集到的樣本可以用來當作測試集。性能度量錯誤率：指的是分類錯誤的樣本數占樣本總數的比例。精度:分類正確的樣本數占樣本總數的比例。機器學習預測中，存在四個重要的參數。TP表示將正類預測為正類數，FN表示將正類預測為負類數，FP表示將負類預測為正類數，TN表示將負類預測為負類數。機器學習中存在查全率和查準率兩個指標。查全率：R=TP/(TP+FN)。查準率：P=TP/(TP+FN)。查準率和查全率兩者相斥。當查準率較高時，查全率便低，查準率低時，查全率便高。F1度量方法應用的更為廣泛。F1=(2×P×R)/(P+R)3線性模型線性回歸線性回歸的最終目的就是通過訓練來得出參數w讓f(x)接近y。在數學上就是找到一條曲線盡量擬合所有的數據樣本點。但是在線性模型中，直線幾乎不可能擬合所有的樣本點。所以機器學習中的線性模型訓練是盡量調整參數使線離大多數數據點更近，線與數據的差距在定量上稱之為誤差。均方誤差的損失函數定義：(J(w)=1/m∑_(i=1)^m(f(x^((i)))-y^((i)))^2=1/m(XW-y)^T(XW-y)將J對w進行求導進行梯度下降。即：W←W-α?J(W)/?W最后可以得到梯度下降的迭代過程：W←W-2/mαX^T(XW-y)邏輯回歸機器學習中，除了線性回歸，邏輯回歸的使用也比較多。但邏輯回歸的作用和線性回歸卻大不相同。邏輯回歸并不是用來完成回歸任務，它經常被用來進行分類。邏輯回歸中用到了Sigmoid函數。Sigmoid的函數形式為：g(z)=1/(1+e^(-z)將線性回歸模型的表達式帶入g(z)，就得到邏輯回歸的表達式:hθ(x)=g(θ^Tx)=1/(1+e^(-θ^Tx))4決策樹算法基本流程決策樹學習的過程主要分為三個部分：（1）特征選擇：特征選擇是指從訓練數據中眾多的特征中選擇一個特征作為當前節點的分裂標準，如何選擇特征有著很多不同量化評估標準，從而衍生出不同的決策樹算法。（2）決策樹生成：根據選擇的特征評估標準，從上至下遞歸地生成子節點，直到數據集不可分則停止決策樹停止生長。（3）剪枝：決策樹容易過擬合，一般需要進行剪枝，縮小樹結構規模、緩解過擬合。剪枝技術有預剪枝和后剪枝兩種。劃分原則

剪枝

過擬合的樹在泛化能力的表現非常差。所以要進行剪枝處理，剪枝又分為預剪枝和后剪枝，前剪枝是指在構造樹的過程中就知道哪些節點可以剪掉。后剪枝是指構造出完整的決策樹之后再來考查哪些子樹可以剪掉。預剪枝在節點劃分前確定是否繼續增長，及早停止增長的主要方法有：節點內數據樣本數小于切分最小樣本數閾值；所有節點特征都已分裂；節點劃分前準確率比劃分后準確率高。后剪枝和預剪枝不同，它是等決策樹完全生成之后從下往上對決策樹進行剪枝處理。如果決策樹的劃分使得精確度下降，就進行剪枝（讓其不劃分）。4貝葉斯算法貝葉斯定理條件概率，一般記作P(A|B)，意思是當B事件發生時，A事件發生的概率。其定義為：全概率公式：貝葉斯公式：貝葉斯算法

條件概率可以理解成下面的式子：后驗概率＝先驗概率×調整因子。

先預估一個“先驗概率”，然后加入實驗結果，看這個實驗到底是增強還是削弱了“先驗概率”，由此得到更接近事實的“后驗概率”。樸素貝葉斯推斷：基于訓練集D來估計類先驗概率P(c)，并為每個屬性估計條件概率P(xi|c)。Dc表示訓練集D中的第c類樣本組成的集合，若有充足的獨立同分布樣本，則可容易地估計出類別的先驗概率：5聚類聚類介紹

聚類問題是機器學習中無監督學習的典型代表，在數據分析、模式識別很多實際問題中得到了應用。類也是要確定一個物體的類別，但和分類問題不同的是，這里沒有事先定義好的類別，聚類算法要自己想辦法把一批樣本分開，分成多個類，保證每一個類中的樣本之間是相似的，而不同類的樣本之間是不同的。在這里，類型被稱為“簇”（cluster）。聚類的分類

基于劃分的聚類方法應用十分廣泛。該方法首先要確定這樣本點最后聚成幾類，然后挑選幾個點作為初始中心點，再然后給數據點做迭代重置（iterativerelocation），直到最后到達“類內的點都足夠近，類間的點都足夠遠”的目標效果。層次聚類主要有兩種類型：合并的層次聚類和分裂的層次聚類。基于密度的方法能解決不規則形狀的聚類。該方法同時也對噪聲數據的處理比較好。基于網絡的方法的原理就是將數據空間劃分為網格單元，將數據對象集映射到網格單元中，并計算每個單元的密度。K-means聚類

K-means算法是找中心點到各個樣本點距離都相近的一個算法。K-means的算法步驟為：①選擇初始化的k個樣本作為初始聚類中心a=a1,a2,a3....。②針對數據集中每個樣本

計算它到k個聚類中心的距離并將其分到距離最小的聚類中心所對應的類中；③針對每個類別，重新計算它的聚類中心。④一直重復步驟②和③直到收斂。6項目實戰：出行決策項目介紹下圖可以清楚的看到一共有四個屬性，分別是天氣，溫度，濕度，以及是否有風，標記表示是否出門。結果展示7項目實戰：鳶尾花聚類項目介紹Iris鳶尾花數據集是一個經典數據集，在統計學習和機器學習領域都經常被用作示例。數據集內包含3類共150條記錄，每類各50個數據，每條記錄都有4項特征：花萼長度、花萼寬度、花瓣長度、花瓣寬度，可以通過這4個特征預測鳶尾花卉屬于（iris-setosa,iris-versicolour,iris-virginica）中的哪一品種。結果展示

數據分布聚類結果小結從引言開始，講解了機器學習一些常用術語以及它的