機器學習專題機器學習專題1桑克（sank）：“一臺計算機若不能進行學習，就不能說它具有智能”Simon（1983）：學習就是系統中的變化，這種變化使系統比以前更有效地去做同樣的工作。無統一的機器學習定義。機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍嚴格的提法是:ML是一門研究機器獲得新知識和新技能，并識別現有知識的學問1、機器學習的定義桑克（sank）：“一臺計算機若不能進行學習，就不能說它具有2

人工智能主要是為了研究人的智能，模仿其機理將其應用于工程的科學。在這個過程中必然會問道：“機器怎樣做才能像人類一樣具有學習能力”。

機器學習廣泛應用于機器人、圖像處理、語音識別、數據挖掘等領域。機器學習的發展有利于推動其他領域的發展。2、為什么要研究機器學習？人工智能主要是為了研究人的智能，模仿其機理將其應用于3預測難：學習后知識庫發生了什么變化，系統功能的變化的預測。歸納推理：是論證的前提支持結論但不確保結論的推理過程(演繹推理保真);而且，歸納的結論是無限多的，其中相當多是假的，給生成的知識帶來不可靠性。判斷難：機器目前很難觀察什么重要、什么有意義。3、實現的困難預測難：學習后知識庫發生了什么變化，系統功能的變化的預測。3454系統學習性能評價分類精度：是否能夠對輸入的數據進行正確、精確的分類。解答的正確性和質量：無論是用于分類的，還是解決問題的系統都有解答正確性問題。同時，正確性不一定保證有好的質量，好的質量包括：可讀性、穩定性等多方面的因素。學習的速度：學習速度是一個很重要的系統指標。它不僅僅影響系統的設計，同時，影響系統的實現。一個很費時的學習方法，某種意義上也是很難實現的。因為，通常花費大量時間所進行的操作表現在對學習樣本量的要求、系統空間的要求、系統硬件性能的要求上。54系統學習性能評價分類精度：是否能夠對輸入的數據進行56環境學習環節知識庫

執行環節學習是建立理論、形成假設和進行歸納推理的過程。整個過程包括：信息的存儲、知識的處理兩部分三、機器學習模型6環境學習環節知識庫執行環節學習是建立理論、形成假設和進行6學習系統環境學習環節知識庫執行環節學習系統所感知到的外界信息集合，也是學習系統的外界來源對環境提供的信息進行整理、分析歸納或類比，形成知識，并將其放入知識庫存儲經過加工后的信息（即知識）

根據知識庫去執行一系列任務，并將執行結果或執行過程中獲得的信息反饋給學習環節學習系統環境學習環節知識庫執行環節學習系統所感知到的外界信息7學習模型輸入x輸出約束條件學習模型輸入x輸出約束條件8機器學習的分類根據是否需要已知類別的樣本進行學習，機器學習可以分為兩大類：有教師學習（監督學習）無教師學習（非監督學習和強化學習）機器學習的分類根據是否需要已知類別的樣本進行學習，機器學習可9監督學習

supervisedlearning利用已知類別的樣本去訓練算法從而調整分類器的參數，這樣的學習過程叫做監督學習。監督學習的任務是學習一個模型，使模型能夠對任意給定的輸入，對其相應的輸出做出一個很好的預測。常見的監督學習算法有：決策樹adbost算法樸素貝葉斯算法回歸算法支持向量機監督學習

supervisedlearning利用已知10訓練集學習系統測試系統測試集模型測試結果監督學習示意圖訓練集學習系統測試系統測試集模型測試結果監督學習示意圖11體重翼展腳蹼后背顏色種屬11000.1125.0無棕色紅尾鵟23000.7200.0無灰色鷺鷹33300.0220.3無灰色鷺鷹44100.0136.0有黑色普通潛鳥53.011.0無綠色蜂鳥上表是用于區分不同鳥類需要使用的四個不同的屬性值，分別選取的是體重、翼展、腳蹼和后背顏色作為評測基準。這些測量的四種值成為特征，也叫屬性。體重翼展腳蹼后背顏色種屬11000.1125.0無棕色紅尾鵟12數據X={x1,x2,x3,x4}表示一組數據標簽labelY={y1,y2,y3,y4}訓練集T={(x1,y1),(x2,y2),(x3,y3)}測試集{(x4,y4)}特征損失函數，訓練誤差，測試誤差經驗風險最小化與結構風險最小化交叉驗證數據X={x1,x2,x3,x4}表示一組數據13選取特定的機器學習算法進行分類，首先需要做的是訓練算法，既學習如何分類。通常我們為算法輸入大量已分類數據作為算法的訓練集。訓練集就是用于訓練機器學習算法的數據樣本集合，表1是包含5個樣本集合的訓練集，每個訓練樣本有4中特征和一個目標變量，目標變量是機器學習算法的預測結果既F(x)，其中x為一組輸入樣本。選取特定的機器學習算法進行分類，首先需要做的是訓練算14損失函數在監督學習中，給定x，根據F(x)給出相應的輸出，而這個輸出是預測輸出，和真實值y可能一致，也可能不一致。用一個損失函數或者代價函數來度量預測錯誤的程度。損失函數是F（x）和y的非負值函數，記做L(y,F(x))。損失函數在監督學習中，給定x，根據F(x)給出相應的輸出，而15常用的損失函數（1）0-1損失函數（2）平方損失函數

（3）絕對損失函數

（4）對數損失函數常用的損失函數（1）0-1損失函數16經驗風險最小化與結構風險最小化經驗風險最小化的策略認為，經驗風險最小的模型是最優模型結構風險最小化是為了防止過擬合而提出的策略。結構風險在經驗風險的上加上表示模型復雜度的正則化項或者說是懲罰項minR(f)經驗風險最小化與結構風險最小化經驗風險最小化的策略認為，經驗17奧卡姆剃刀原理：在所有可能的模型中，能夠很好地解釋已知數據并且十分簡單的次啊是最好的模型，也是應該選擇的模型。奧卡姆剃刀原理：在所有可能的模型中，能夠很好地解釋已知數據并18如果給定的樣本數據充足，進行模型選擇的一種簡單方法就是隨機地將數據切分成三部分，分別為訓練集，驗證集和測試集。訓練集用來訓練模型，驗證機用于模型選擇，測試集用于最終對學習方法的評估。在學習到不同的復雜度的模型中，選擇對驗證集有最小預測誤差的模型。但是，許多實際應用中數據并不是充分的，為了選擇好的模型，可以采用交叉驗證的方法。交叉驗證的基本思想是重復的使用數據；把給定的數據進行切分，將切分的數據集組合成訓練集與測試集，在此基礎上反復地進行訓練，測試以及模型的選擇。交叉驗證如果給定的樣本數據充足，進行模型選擇的19（1）簡單交叉驗證：首先隨機地將已給數據分為兩部分，一部分作為訓練集，另一部分最為測試集；然后用訓練集在各種條件下訓練模型，從而得到不同的模型，在測試集上評價各個模型的測試誤差，選出測試誤差最小的模型（2）S折交叉驗證：首先隨機的把已給的數據切分成s個互不相交的大小相同的子集，然后利用s-1個子集的數據訓練模型，利用余下的自己測試模型；重復的隨機選擇訓練子集，最后選出評測中平均測試誤差最小的模型（3）留一交叉驗證：當S=N時，成為留一交叉驗證，這往往在數據缺乏的時候使用。交叉驗證（1）簡單交叉驗證：首先隨機地將已給數據分為兩部分，一部分作20樸素貝葉斯算法貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎，故統稱為貝葉斯分類假設一個樣本集的數據分類兩類。P1(x,y)表示數據點（xy）屬于類別1的概率，p2(x,y)表示數據點（xy）屬于類別2的概率

如果p1(x,y)>p2(x,y)則數據（xy）屬于類別1

如果p1(x,y)<p2(x,y)則數據（xy）屬于類別2樸素貝葉斯算法貝葉斯分類是一類分類算法的總稱，這類算法均以貝21貝葉斯分類的基礎——貝葉斯定理

貝葉斯分類的基礎——貝葉斯定理

22基本流程1、設為一個待分類項，而每個a為x的一個特征屬性。2有類別集合

3計算

4求出最大的則x劃分為類別

基本流程1、設23機器學習專題課件24某個醫院早上收了六個門診病人，如下表。癥狀職業疾病打噴嚏護士感冒

打噴嚏農夫過敏

頭痛建筑工人腦震蕩

頭痛建筑工人感冒

打噴嚏教師感冒

頭痛教師腦震蕩現在又來了第七個病人，是一個打噴嚏的建筑工人。請問他患上感冒的概率有多大？某個醫院早上收了六個門診病人，如下表。25P(感冒|打噴嚏x建筑工人)

=P(打噴嚏x建筑工人|感冒)xP(感冒)

/P(打噴嚏x建筑工人)打噴嚏"和"建筑工人"這兩個特征是獨立的

P(感冒|打噴嚏x建筑工人)

=P(打噴嚏|感冒)xP(建筑工人|感冒)xP(感冒)

/P(打噴嚏)xP(建筑工人)P(感冒|打噴嚏x建筑工人)

P(感冒|打噴嚏x建筑工人)26P(感冒|打噴嚏x建筑工人)

=0.66x0.33x0.5/0.5x0.33

=0.66因此，這個打噴嚏的建筑工人，有66%的概率是得了感冒。同理，可以計算這個病人患上過敏或腦震蕩的概率。比較這幾個概率，就可以知道他最可能得什么病。這就是貝葉斯分類器的基本方法：在統計資料的基礎上，依據某些特征，計算各個類別的概率，從而實現分類。P(感冒|打噴嚏x建筑工人)

=0.66x027基于樸素貝葉斯的文本分類首先需要拆分文本以便從中獲取特征（詞條），一個詞條是任意字符的組合。‘my’'dog''has''flea''problems''help''please'0(正常言論)'maybe''not''take''him''to''dog''park''stupid'1（侮辱性）'my''dalmation''is''so''cute''i''love''him'0'stop''posting''stupid''worthless''garbage'1'mr''licks''ate''my''steak''how''to''stop''him'0'quit''buying''worthless''dog''food''stupid'1基于樸素貝葉斯的文本分類首先需要拆分文本以便從中獲取特征（詞28

將W作為一個個獨立的特征，上述公式可寫成假設所有詞都相互獨立（獨立性加色）將W作為一個個獨立的特征，上述公式29訓練階段創建包含所有文檔中出現的不重復的詞列表['cute''love''help''garbage''quit''I''problems''is''park''stop''flea''dalmation''licks''food''not''him''buying''posting''has''worthless''ate''to''maybe''please''dog''how''stupid''so''take''mr''steak''my']然后將每一個文本片段表示為一個詞條向量，1表示詞條出現在文檔中，0表示未出現。[00100010001000000010000110000001]給出一個新的文檔,計算訓練階段創建包含所有文檔中出現的不重復的詞列表30通過訓練集，對算法進行訓練得出P1，P2。通過訓練集，對算法進行訓練得出P1，P2。31測試階段給定一個測試詞條，轉換成詞條向量計算=

=比較大小。

32優點：在數據較少的情況下仍然有效，可以處理多類別問題缺點：對于輸入數據的準備方式比較敏感。優點：在數據較少的情況下仍然有效，可以處理多類別問題33決策樹學習決策樹在示例學習中，每一個概念實際上可以看成是例子中所屬的一個類別示例學習就可以轉化為對例子集進行分類的任務

體形(+

+

+

+)大中小顏色顏色(-

-)(+

-)(-

-)(+

-)黑黑棕棕可以看做是一個對目標分類的劃分和獲取策略決策樹學習決策樹在示例學習中，每一個概念實際上可以看成是例子34由一個根結點，若干葉結點和非葉結點構成。根結點對應于學習任務，分類的開始。每個葉結點都包含一個分類名(概念)，表示一個實例的結束。每個非葉結點都包含表示相應實例中的某一屬性。邊代表某一屬性可能的屬性值。決策樹

體形(+

+

+

+)大中小顏色顏色(-

-)(+

-)(-

-)(+

-)黑黑棕棕由一個根結點，若干葉結點和非葉結點構成。決策樹體形(++35從根節點到葉節點的每一條路徑都代表一個具體的實例同一路徑上的所有屬性之間為合取關系，不同路徑（即一個屬性的不同屬性值）之間為析取關系。決策樹的分類過程就是從這棵樹的根接點開始，按照給定的事例的屬性值去測試對應的樹枝，并依次下移，直至到達某個葉節點為止。

體形(+

+

+

+)大中小顏色顏色(-

-)(+

-)(-

-)(+

-)黑黑棕棕關于決策樹：從根節點到葉節點的每一條路徑都代表一個具體的實例體形(+36鳥類家養可能是和平鴿可能是信天翁游泳可能是企鵝可能是鴕鳥一個簡單的鳥類識別決策樹會飛不會飛是不是會不會可表示為如下規則集：

IF

鳥類會飛AND

是家養的THEN

該鳥類可能是和平鴿

IF

鳥類會飛AND

不是家養的

THEN

該鳥類可能是信天翁

IF

鳥類不會飛AND

會游泳THEN

該鳥類可能是企鵝

IF

鳥類不會飛AND

不會游泳THEN

該鳥類可能是鴕鳥

決策樹還可以表示成規則的形式鳥類家養可能是和平鴿可能是信天翁游泳可能是企鵝可能是鴕鳥一個37昆蘭（J.R.Quinlan）于1979年提出的一種以信息熵（entropy）的下降速度作為屬性選擇標準的一種學習算法。輸入是一個用來描述各種已知類別的例子集學習結果是一棵用于進行分類的決策樹

ID3算法：昆蘭（J.R.Quinlan）于1979年提出的一種以信息熵381.令根結點包含例子集中所有實例。2.如果每個葉結點包含的例子都屬于同一分類，則停止劃分。3.否則需對葉結點進行進一步劃分：

(1)需要進一步劃分的葉結點所包含的例子組成子例子集S。

(2)找出對S來說E值最小的屬性abest。

(3)根據屬性abest的值對S進行劃分，每個值將生成一個分枝。

(4)執行步驟2。

通過E值可以找出一個最有利于當前劃分的屬性

體形(+

+

+

+)大中小顏色顏色(-

-)(+

-)(-

-)(+

-)黑黑棕棕ID3算法：1.令根結點包含例子集中所有實例。通過E值可以找出一個最有利39

E是一個基于熵(平均信息量)的函數，該函數評價用各屬性進行分類所能獲得的信息量，選擇E

值最小即獲得信息量最大的屬性。

ID3算法S中屬性ai的值為vij的正例數目Nj-為屬性ai的值為vij的反例數目E是一個基于熵(平均信息量)的函數，該函數評ID3算法S40熵熵是研究不確定人工智能的一個重要參數

熵的歷史可以追溯到19世紀。1864年德國物理學家克勞修斯在研究熱力學時首先提出熵的概念：1877年，玻爾茲曼又給出了熵的統計學新定義——玻爾茲曼公式，即S=klnW;k為玻爾茲曼常數；W是某一宏觀態所對應的微觀態數目，即該微觀態的熱力學幾率1948年，香農將熵的定義引入信息領域：信息熵熵熵是研究不確定人工智能的一個重要參數熵的歷史可以追溯到141設一個系統X由多個事件|Xi|（i=1，2,…,n）組成，事件Xi的概率為p(Xi)，那么信息熵定義為：信息熵的定義：

信息熵大，說明什么？設一個系統X由多個事件|Xi|（i=1，2,…,n）組成，事42例：給出概率分布其信息熵分別為：

信息熵越大，不確定性程度越大信息熵表示事件集X中事件出現的平均不確定性當X中事件出現的概率相等時，信息熵達到最大值例：給出概率分布其信息熵分別為：信息熵越大，不確定性程度越43H(X)-P(x1)關系H(X)-P(x1)關系44

E是一個基于熵(平均信息量)的函數，該函數評價用各屬性進行分類所能獲得的信息量，選擇E

值最小即獲得信息量最大的屬性。

ID3算法：S中屬性ai的值為vij的正例數目Nj-為屬性ai的值為vij的反例數目E是一個基于熵(平均信息量)的函數，該函數評ID3算法：45狗的例子集例子序號顏色體形

毛型

類別1黑大卷毛＋2棕大光滑＋3棕中卷毛－4黑小卷毛－5棕中光滑＋6黑大光滑＋7棕小卷毛＋8棕小光滑－9棕大卷毛＋10黑中卷毛－11黑中光滑－12黑小光滑－實例：危險狗的例子集例子序號顏色體形毛型類別1黑大卷毛＋2棕大光滑46狗的例子集例子序號顏色體形

毛型

類別1黑大卷毛＋2棕大光滑＋3棕中卷毛－4黑小卷毛－5棕中光滑＋6黑大光滑＋7棕小卷毛＋8棕小光滑－9棕大卷毛＋10黑中卷毛－11黑中光滑－12黑小光滑－狗的例子集例子序號顏色體形毛型類別1黑大卷毛＋2棕大光47E顏色.棕色＝

E顏色.黑色＝∴E顏色＝5.510＋5.510＝11.020顏色=棕色的狗：4只是危險的，2只不是危險的。顏色=黑色的狗：2只是危險的，4只不是危險的。∴E顏色＝5.510＋5.510＝11.020顏色=棕色的48E體形.大＝E體形.中＝E體形.小＝

∴E體形＝3.245＋3.245＝6.490

體形=大的4條狗全是危險的；體形=中/小的狗：1條是危險的；3條不是危險的。E體形.大＝∴E體形＝3.245＋3.245＝6.49049ID3算法

E毛型.光滑＝

E毛型.卷毛＝

∴E毛型＝6＋6＝12

毛型=光滑的狗：3條是危險的；3條不是危險的。毛型=卷毛的狗：3條是危險的；3條不是危險的。因此，E體形<

E顏色<

E毛型ID3算法E毛型.光滑＝∴E毛型＝6＋6＝12毛型=50現在必須對“中”“小”這兩個分枝的實例重復上述計算過程。例子序號顏色體形

毛型

類別1黑大卷毛＋2棕大光滑＋3棕中卷毛－4黑小卷毛－5棕中光滑＋6黑大光滑＋7棕小卷毛＋8棕小光滑－9棕大卷毛＋10黑中卷毛－11黑中光滑－12黑小光滑－E顏色＝4和

E毛型＝6.490

現在必須對“中”“小”這兩個分枝的實例重復上述計算過程。例子51現在只有“體形”為“中”和“小”的“棕色”狗還沒有明確類別，需用“毛型”來進一步劃分。

現在只有“體形”為“中”和“小”的“棕色”狗還沒有明確類別，52需要的匹配次數：24需要的匹配次數：53需要的匹配次數：36需要的匹配次數：3654決策樹的優點可以生成可以理解的規則；計算量相對來說不是很大；可以處理連續和離散字段；決策樹可以清晰的顯示哪些字段比較重要。

決策樹的優點可以生成可以理解的規則；55AdaBoost元算法當需要做出重要決定的時候，大家往往會聽取多個人的意見而不是一個人的意見，元算法就是采用這種思想。機器學習種類繁多，各有優缺點。我們自然可以將不同的分類器組合起來，而這種組合結果稱為集成算法，或者元算法。集成方法有很多形式：可以是不同算法的集成，也可以是同一算法在不同設置下的集成，還可以是數據集不同部分分配給不同分類器之后的集成。AdaBoost元算法當需要做出重要決定的時候，大家往往會聽56基于數據隨機重抽樣的分類器構建方法自舉匯聚法，也稱bagging方法，是在原始數據集選擇s次后得到s個新數據集的方法。新數據集和原數據集相等，每個數據集都是通過在原始數據集中隨機選取一個樣本進行替換而得到的。這里的替換意味著可以多次選擇同一個樣本。在s個數據建好之后，將某個學習算法分別作用于每個數據集就得到s個分類器。當要對新數據進行分類的時候，需要應用s個分類器進行分類，選擇分類器投票結果中最多的類別作為最后的分類結果。基于數據隨機重抽樣的分類器構建方法自舉匯聚法，也稱bag57另一與bagging類似的技術是boosting技術。前者在訓練中，不同的訓練器是通過串行訓練而獲得的，每個分類器都根據已訓練出的分類器的性能來進行訓練。而boosting是通過集中關注已有分類器錯分的哪些數據獲得新的分類器。Boosting方法種類很多，其中最流行的就是AdaBoost算法。另一與bagging類似的技術是boosting技術。前58分類器2分類器1分類器3∑0.690.900.97分類器2分類器1分類器3∑0.690.900.9759AdaBoost元算法思想：使用弱分類器和過個實例來構建一個強分類器基本過程：訓練數據中的每個樣本，并賦予一個權重，這些權重構成了向量D，以及分類器的權值。一開始，這些權重初始化成相等的值。首先在訓練數據上訓練出一個弱分類器并計算該分類器的錯誤率，然后再同一數據集上再次訓練弱分類器。在分類器的第二次訓練當中，將會重新調整每個樣本的權重，使分對的樣本權重變低，分錯的樣本權重變高，同時更新分類器的權值，以此類推。AdaBoost元算法思想：使用弱分類器和過個實例來構建一個60其中α是根據錯誤率ε進行計算的，錯誤率ε定義如下：而α的計算公式如下：計算出α的值后，可以對權值向量D進行調整，使那些正確分類的樣本權值變低，錯誤分類的樣本權值變高。如果一個樣本被正確分類，則其權值被更改為：反之：其中α是根據錯誤率ε進行計算的，錯誤率ε定義如下：61

假設訓練出m個分類器，最終的分類結果等于：

假設訓練出m個分類器，最終的分類結果等于：62圖中，“+”和“-”分別表示兩種類別，在這個過程中，我們使用水平或者垂直的直線作為分類器，來進行分類。機器學習專題課件63第一步：根據分類的正確率，得到一個新的樣本分布D2-，一個子分類器h1其中：其中劃圈的樣本表示被分錯的。在右邊的途中，比較大的“+”表示對該樣本做了加權，第一步：64第二步：根據分類的正確率，得到一個新的樣本分布D3，一個子分類器h2第二步：65第三步：得到一個子分類器h3第三步：66整合所有的子分類器：整合所有的子分類器：67Adaboost優點1)adaboost是一種有很高精度的分類器2)可以使用各種方法構建子分類器，adaboost算法提供的是框架3)當使用簡單分類器時，計算出的結果是可以理解的。而且弱分類器構造極其簡單4)簡單，不用做特征篩選5)不用擔心overfitting！Adaboost優點1)adaboost是一種有很68回歸回歸的目的就是預測數值型的目標值。總成績=0.6*期末成績+0.2*期中成績+0.2*平時成績這就是回歸方程，其中0.60.20.2就是回歸系數，求這些回歸系數的過程就是回歸。假設我們有一組數據{X,Y}，X={x1,x2,…,xm},Y={y1,y2,…,ym}對error求導，并令其等于零，解出回歸回歸的目的就是預測數值型的目標值。對error求導，并令69機器學習專題課件70局部加權線性回歸：給待測點附近每個點一個權重。

局部加權線性回歸：給待測點附近每個點一個權重。71K=1K=0.01K=0.003K=1K=0.01K=0.00372如果特征比樣本數還多（n>m）,輸入矩陣X不是滿秩矩陣，而非滿秩矩陣在求逆會出現問題。為了解決這個問題，引入了嶺回歸的概念。如果特征比樣本數還多（n>m）,輸入矩陣X不是滿秩矩陣，而非73嶺回歸就是在矩陣上加上一個矩陣，使其非奇異。矩陣I是一個m*m的單位矩陣，對角線上為1，其他元素為0.是自定義的一個參數。

嶺回歸就是在矩陣上加上一個74Logistic回歸Logistic回歸75假設現在有一些數據點，我們用一條直線對這些點擬合（最佳擬合直線），這個擬合的過程就叫回歸。根據現有數據對分類邊界線簡歷回歸公式，以此進行分類，訓練分類器時的做法就是尋找最佳擬合參數。假設現在有一些數據點，我們用一條直線對這些點擬合（最佳擬合直76我們想要的函數應該是能夠接受所有的輸入然后預測出類別。在兩類的情況下，函數應該輸出0或1.有很多單位躍階函數（海維賽德躍階函數）。然而，這種函數在跳躍點上從0瞬間跳到1上，這個瞬間躍階很難處理好Sigmoid函數當x為0時，函數值為0.5，隨著x增大，函數值增大并逼近于1，x減小，函數值減小并逼近于0.我們想要的函數應該是能夠接受所有的輸入然后預測出類別。77如果采用向量的方法寫X就是輸入數據，就是需要進行訓練的參數。通過訓練后找到最優化的參數如果采用向量的方法寫X就是輸入數據，就是需要進78梯度上升法基本思想：想找到某函數的最大值，最好的方法是沿著該函數的梯度方向探尋。梯度上升算法的迭代公式：梯度上升法基本思想：想找到某函數的最大值，最好的方法是沿著該79機器學習專題課件80每個回歸系數初始化為1重復N次：計算整個數據集的梯度使用更新回歸系數返回回歸系數每個回歸系數初始化為181機器學習專題課件82W=[4.120711455781440,0.479779632289162,-0.616416051893343]這個分類結果只錯分了4個點，分類精度相當不錯。但是這個方法需要大量的計算，不適用于大規模的數據。W=[4.120711455781440,0.47977983神經網絡人工神經網絡（ArtificialNeuralNetworks，簡寫為ANNs）也簡稱為神經網絡（NNs）或稱作連接模型（ConnectionModel），它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。神經網絡人工神經網絡（ArtificialNeuralN84機器學習專題課件8586連接權值86連接權值8687改變權值的過程就是學習的過程87改變權值的過程就是學習的過程8788規律？888889TheHebbRuleD.Hebb,1904-1985.DegreeinEnglish,1925.MasterdegreeinpsychologyatMcGillUniversity.Ph.D.fromHarvardin1936.MovedtoYerkesLabin1942.Published“TheOrganizationofBehavior”in1949.89TheHebbRuleD.Hebb,1904-18990HebbRulesynapseHebb規則是最早的神經網絡學習規則之一，其最關鍵的一條假設：若一條突觸兩側的兩個神經元同時被激活，那么突觸的強度將增大。90HebbRulesynapseHebb規則是最早的神9091權值W不僅僅在a，p全為正數增大，在全為負數時也增大91權值W不僅僅在a，p全為正數增大，在全為負數時也9192Hebb規則如果兩個神經元的突觸同時激活，那么它們之間的連接強度會增加92Hebb規則如果兩個神經元的突觸同時激活，那么它們之間9293自聯想存儲器–

學習規則SupervisedHebbianLearning93自聯想存儲器–學習規則SupervisedHebbi9394?Wt1t2?tQp1Tp2TpQTTPT==Tt1t2?tQ=Pp1p2?pQ=MatrixForm:(ZeroInitialWeights)學習規則94?Wt1t2?tQp1Tp2TpQTTPT==Tt1t29495P1P2P3

P？95P1P29596PP3P2P1Inputs:Outputs:Input:Output:???96PP3P2P1Inputs:Outputs:Input:96979797基于heb神經網絡的PCA傳統PCA算法的缺點：需要大量的計算屬于批量學習基于神經網絡的PCA的優點：不需要計算協方差矩陣屬于在線學習

基于heb神經網絡的PCA傳統PCA算法的缺點：9899基于hebb規則的權值更新公式：數據集

99基于hebb規則的權值更新公式：數據集99基于hebb規則的神經網絡已被證明當迭代次數無窮大時，方差趨向于基于hebb規則的神經網絡已被證明當迭代次數無窮大時，方差100NNHighdimensionaldataOnedimensionaldataNNHighdimensionaldataOnedim10164pages102SangerproposedtheGeneralizedHebbianAlgorithm(GHA)多維壓縮64pages102Sangerproposedthe10264pages103GHALearningAlgorithm64pages103GHALearningAlgori10364pages1042維壓縮(OjaAlgorithmbasedonHebbrules)第一個輸出神經元權值向量第二個輸出神經元權值向量64pages1042維壓縮(OjaAlgorithm10464pages105……64pages105……105感知機感知器是用于線性可分模式分類的最簡單的神經網絡.它由一個具有可調突觸權值和偏置的神經元組成。…X1X2xmw1w2wm偏置bvΦ（·）輸出Y感知機感知器是用于線性可分模式分類的最簡單的神經網絡.它由一106感知器權值自適應公式1.假如訓練成員第N個成員x(n)根據算法中的第N次迭代的權值向量w(n)能正確分類，那么感知器的權值向量不做修改2.否則，感知器的權值向量根據以下規則進行修改:w(n+1)=w(n)-η(n)x(n)假如預測結果為1，實際屬于類2

w(n+1)=w(n)+η(n)x(n)假如預測結果為2，實際屬于類1這里η(n)是學習參數，控制這第n次迭代中作用于權值向量的調節感知器權值自適應公式1.假如訓練成員第N個成員x(n)根據算107BP神經網絡反向傳播算法也稱BP算法。由于這種算法在本質上是一種神經網絡學習的數學模型，所以，有時也稱為BP模型。BP算法是為了解決多層前向神經網絡的權系數優化而提出來的；所以，BP算法也通常暗示著神經網絡的拓撲結構是一種無反饋的多層前向網絡。故而．有時也稱無反饋多層前向網絡為BP模型。基本原理：利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計BP神經網絡反向傳播算法也稱BP算法。由于這種算法在本質上是108

BP神經網絡具有一層隱藏層的多層感知器函數信號的前向傳播和誤差信號的反向傳播

109BP模型的學習過程反向傳播算法分二步進行，即正向傳播和反向傳播。這兩個過程的工作簡述如下。1．正向傳播輸入的樣本從輸入層經過隱單元一層一層進行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經元的狀態只對下一層神經元的狀態產生影響。在輸出層把現行輸出和期望輸出進行比較，如果現行輸出不等于期望輸出，則進入反向傳播過程。2．反向傳播反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經元的權系數進行修改，以望誤差信號趨向最小。步驟1,2不斷循環直到網絡輸出誤差減少到可接受程度或者進行到預先設定的次數為止。BP模型的學習過程反向傳播算法分二步進行，即正向傳播和反向傳110自組織映射當人腦接收外界的時空信息時，大腦皮層的特定區域會興奮，而且類似的外界信息在對應的區域是連續的。因此Kohonen認為，一個神經網絡在接受外界輸入模式時，將會分為不同的對應區域，且各個區域對輸入模式有不同的響應特征，而且這個特征是自動完成的。SOFM只有兩層：輸入層和競爭層，競爭層神經元的排列有多種形式：一維線陣、二維平面、三維柵格等等。自組織映射當人腦接收外界的時空信息時，大腦皮層的特定區域111權值調整方法是在勝者為王基礎上改進的，即優勝領域內的神經元都可以調整權值。理論上應該是離勝者越近，學習率的越大，但是為簡化計算，實際中優勝領域內一般取相同的學習率。優勝領域開始定的很大，隨著訓練次數的增加，最終應該收縮到0。SOFM分為訓練階段和工作階段，要訓練階段，權向量被訓練為輸入樣本空間的聚類中心。在工作階段，當輸入向量與某個競爭層的內星權值相似時，自然會被分到對應的聚類上去。因此SOFM可用作模式分類器。注意當輸入模式在訓練集中從未出現過時，SOFM網只能將它歸入最接近的模式分類中去。權值調整方法是在勝者為王基礎上改進的，即優勝領域內的神112自組織映射主要有三個過程：1.競爭。對每個輸入模式，網絡中的神經元計算它們各自判別的函數值。具有最大函數值的特定神經元成為競爭的勝利者2.合作。獲勝神經元決定興奮神經元的拓撲鄰域的空間位置，從而提供這樣的相鄰神經元合作的基礎3.突觸調節。使興奮神經元通過對它們的突觸權值進行適當的調節以增強它們關于該輸入模式的判別函數值。所做的調節是獲勝神經元對以后相似的輸入模式響應增強了。自組織映射主要有三個過程：113遞歸神經網絡遞歸神經網絡114神經網絡的特點1)可以充分逼近任意復雜的非線性關系；

(2)所有定量或定性的信息都等勢分布貯存于網絡內的各神經元，故有很強的魯棒性和容錯性；

(3)采用并行分布處理方法，使得快速進行大量運算成為可能；

(4)可學習和自適應不知道或不確定的系統；

(5)能夠同時處理定量、定性知識。神經網絡的特點1)可以充分逼近任意復雜的非線性關系；

115機器學習專題機器學習專題116桑克（sank）：“一臺計算機若不能進行學習，就不能說它具有智能”Simon（1983）：學習就是系統中的變化，這種變化使系統比以前更有效地去做同樣的工作。無統一的機器學習定義。機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍嚴格的提法是:ML是一門研究機器獲得新知識和新技能，并識別現有知識的學問1、機器學習的定義桑克（sank）：“一臺計算機若不能進行學習，就不能說它具有117

人工智能主要是為了研究人的智能，模仿其機理將其應用于工程的科學。在這個過程中必然會問道：“機器怎樣做才能像人類一樣具有學習能力”。

機器學習廣泛應用于機器人、圖像處理、語音識別、數據挖掘等領域。機器學習的發展有利于推動其他領域的發展。2、為什么要研究機器學習？人工智能主要是為了研究人的智能，模仿其機理將其應用于118預測難：學習后知識庫發生了什么變化，系統功能的變化的預測。歸納推理：是論證的前提支持結論但不確保結論的推理過程(演繹推理保真);而且，歸納的結論是無限多的，其中相當多是假的，給生成的知識帶來不可靠性。判斷難：機器目前很難觀察什么重要、什么有意義。3、實現的困難預測難：學習后知識庫發生了什么變化，系統功能的變化的預測。31191204系統學習性能評價分類精度：是否能夠對輸入的數據進行正確、精確的分類。解答的正確性和質量：無論是用于分類的，還是解決問題的系統都有解答正確性問題。同時，正確性不一定保證有好的質量，好的質量包括：可讀性、穩定性等多方面的因素。學習的速度：學習速度是一個很重要的系統指標。它不僅僅影響系統的設計，同時，影響系統的實現。一個很費時的學習方法，某種意義上也是很難實現的。因為，通常花費大量時間所進行的操作表現在對學習樣本量的要求、系統空間的要求、系統硬件性能的要求上。54系統學習性能評價分類精度：是否能夠對輸入的數據進行120121環境學習環節知識庫

執行環節學習是建立理論、形成假設和進行歸納推理的過程。整個過程包括：信息的存儲、知識的處理兩部分三、機器學習模型6環境學習環節知識庫執行環節學習是建立理論、形成假設和進行121學習系統環境學習環節知識庫執行環節學習系統所感知到的外界信息集合，也是學習系統的外界來源對環境提供的信息進行整理、分析歸納或類比，形成知識，并將其放入知識庫存儲經過加工后的信息（即知識）

根據知識庫去執行一系列任務，并將執行結果或執行過程中獲得的信息反饋給學習環節學習系統環境學習環節知識庫執行環節學習系統所感知到的外界信息122學習模型輸入x輸出約束條件學習模型輸入x輸出約束條件123機器學習的分類根據是否需要已知類別的樣本進行學習，機器學習可以分為兩大類：有教師學習（監督學習）無教師學習（非監督學習和強化學習）機器學習的分類根據是否需要已知類別的樣本進行學習，機器學習可124監督學習

supervisedlearning利用已知類別的樣本去訓練算法從而調整分類器的參數，這樣的學習過程叫做監督學習。監督學習的任務是學習一個模型，使模型能夠對任意給定的輸入，對其相應的輸出做出一個很好的預測。常見的監督學習算法有：決策樹adbost算法樸素貝葉斯算法回歸算法支持向量機監督學習

supervisedlearning利用已知125訓練集學習系統測試系統測試集模型測試結果監督學習示意圖訓練集學習系統測試系統測試集模型測試結果監督學習示意圖126體重翼展腳蹼后背顏色種屬11000.1125.0無棕色紅尾鵟23000.7200.0無灰色鷺鷹33300.0220.3無灰色鷺鷹44100.0136.0有黑色普通潛鳥53.011.0無綠色蜂鳥上表是用于區分不同鳥類需要使用的四個不同的屬性值，分別選取的是體重、翼展、腳蹼和后背顏色作為評測基準。這些測量的四種值成為特征，也叫屬性。體重翼展腳蹼后背顏色種屬11000.1125.0無棕色紅尾鵟127數據X={x1,x2,x3,x4}表示一組數據標簽labelY={y1,y2,y3,y4}訓練集T={(x1,y1),(x2,y2),(x3,y3)}測試集{(x4,y4)}特征損失函數，訓練誤差，測試誤差經驗風險最小化與結構風險最小化交叉驗證數據X={x1,x2,x3,x4}表示一組數據128選取特定的機器學習算法進行分類，首先需要做的是訓練算法，既學習如何分類。通常我們為算法輸入大量已分類數據作為算法的訓練集。訓練集就是用于訓練機器學習算法的數據樣本集合，表1是包含5個樣本集合的訓練集，每個訓練樣本有4中特征和一個目標變量，目標變量是機器學習算法的預測結果既F(x)，其中x為一組輸入樣本。選取特定的機器學習算法進行分類，首先需要做的是訓練算129損失函數在監督學習中，給定x，根據F(x)給出相應的輸出，而這個輸出是預測輸出，和真實值y可能一致，也可能不一致。用一個損失函數或者代價函數來度量預測錯誤的程度。損失函數是F（x）和y的非負值函數，記做L(y,F(x))。損失函數在監督學習中，給定x，根據F(x)給出相應的輸出，而130常用的損失函數（1）0-1損失函數（2）平方損失函數

（3）絕對損失函數

（4）對數損失函數常用的損失函數（1）0-1損失函數131經驗風險最小化與結構風險最小化經驗風險最小化的策略認為，經驗風險最小的模型是最優模型結構風險最小化是為了防止過擬合而提出的策略。結構風險在經驗風險的上加上表示模型復雜度的正則化項或者說是懲罰項minR(f)經驗風險最小化與結構風險最小化經驗風險最小化的策略認為，經驗132奧卡姆剃刀原理：在所有可能的模型中，能夠很好地解釋已知數據并且十分簡單的次啊是最好的模型，也是應該選擇的模型。奧卡姆剃刀原理：在所有可能的模型中，能夠很好地解釋已知數據并133如果給定的樣本數據充足，進行模型選擇的一種簡單方法就是隨機地將數據切分成三部分，分別為訓練集，驗證集和測試集。訓練集用來訓練模型，驗證機用于模型選擇，測試集用于最終對學習方法的評估。在學習到不同的復雜度的模型中，選擇對驗證集有最小預測誤差的模型。但是，許多實際應用中數據并不是充分的，為了選擇好的模型，可以采用交叉驗證的方法。交叉驗證的基本思想是重復的使用數據；把給定的數據進行切分，將切分的數據集組合成訓練集與測試集，在此基礎上反復地進行訓練，測試以及模型的選擇。交叉驗證如果給定的樣本數據充足，進行模型選擇的134（1）簡單交叉驗證：首先隨機地將已給數據分為兩部分，一部分作為訓練集，另一部分最為測試集；然后用訓練集在各種條件下訓練模型，從而得到不同的模型，在測試集上評價各個模型的測試誤差，選出測試誤差最小的模型（2）S折交叉驗證：首先隨機的把已給的數據切分成s個互不相交的大小相同的子集，然后利用s-1個子集的數據訓練模型，利用余下的自己測試模型；重復的隨機選擇訓練子集，最后選出評測中平均測試誤差最小的模型（3）留一交叉驗證：當S=N時，成為留一交叉驗證，這往往在數據缺乏的時候使用。交叉驗證（1）簡單交叉驗證：首先隨機地將已給數據分為兩部分，一部分作135樸素貝葉斯算法貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎，故統稱為貝葉斯分類假設一個樣本集的數據分類兩類。P1(x,y)表示數據點（xy）屬于類別1的概率，p2(x,y)表示數據點（xy）屬于類別2的概率

如果p1(x,y)>p2(x,y)則數據（xy）屬于類別1

如果p1(x,y)<p2(x,y)則數據（xy）屬于類別2樸素貝葉斯算法貝葉斯分類是一類分類算法的總稱，這類算法均以貝136貝葉斯分類的基礎——貝葉斯定理

貝葉斯分類的基礎——貝葉斯定理

137基本流程1、設為一個待分類項，而每個a為x的一個特征屬性。2有類別集合

3計算

4求出最大的則x劃分為類別

基本流程1、設138機器學習專題課件139某個醫院早上收了六個門診病人，如下表。癥狀職業疾病打噴嚏護士感冒

打噴嚏農夫過敏

頭痛建筑工人腦震蕩

頭痛建筑工人感冒

打噴嚏教師感冒

頭痛教師腦震蕩現在又來了第七個病人，是一個打噴嚏的建筑工人。請問他患上感冒的概率有多大？某個醫院早上收了六個門診病人，如下表。140P(感冒|打噴嚏x建筑工人)

=P(打噴嚏x建筑工人|感冒)xP(感冒)

/P(打噴嚏x建筑工人)打噴嚏"和"建筑工人"這兩個特征是獨立的

P(感冒|打噴嚏x建筑工人)

=P(打噴嚏|感冒)xP(建筑工人|感冒)xP(感冒)

/P(打噴嚏)xP(建筑工人)P(感冒|打噴嚏x建筑工人)

P(感冒|打噴嚏x建筑工人)141P(感冒|打噴嚏x建筑工人)

=0.66x0.33x0.5/0.5x0.33

=0.66因此，這個打噴嚏的建筑工人，有66%的概率是得了感冒。同理，可以計算這個病人患上過敏或腦震蕩的概率。比較這幾個概率，就可以知道他最可能得什么病。這就是貝葉斯分類器的基本方法：在統計資料的基礎上，依據某些特征，計算各個類別的概率，從而實現分類。P(感冒|打噴嚏x建筑工人)

=0.66x0142基于樸素貝葉斯的文本分類首先需要拆分文本以便從中獲取特征（詞條），一個詞條是任意字符的組合。‘my’'dog''has''flea''problems''help''please'0(正常言論)'maybe''not''take''him''to''dog''park''stupid'1（侮辱性）'my''dalmation''is''so''cute''i''love''him'0'stop''posting''stupid''worthless''garbage'1'mr''licks''ate''my''steak''how''to''stop''him'0'quit''buying''worthless''dog''food''stupid'1基于樸素貝葉斯的文本分類首先需要拆分文本以便從中獲取特征（詞143

將W作為一個個獨立的特征，上述公式可寫成假設所有詞都相互獨立（獨立性加色）將W作為一個個獨立的特征，上述公式144訓練階段創建包含所有文檔中出現的不重復的詞列表['cute''love''help''garbage''quit''I''problems''is''park''stop''flea''dalmation''licks''food''not''him''buying''posting''has''worthless''ate''to''maybe''please''dog''how''stupid''so''take''mr''steak''my']然后將每一個文本片段表示為一個詞條向量，1表示詞條出現在文檔中，0表示未出現。[00100010001000000010000110000001]給出一個新的文檔,計算訓練階段創建包含所有文檔中出現的不重復的詞列表145通過訓練集，對算法進行訓練得出P1，P2。通過訓練集，對算法進行訓練得出P1，P2。146測試階段給定一個測試詞條，轉換成詞條向量計算=

=比較大小。

147優點：在數據較少的情況下仍然有效，可以處理多類別問題缺點：對于輸入數據的準備方式比較敏感。優點：在數據較少的情況下仍然有效，可以處理多類別問題148決策樹學習決策樹在示例學習中，每一個概念實際上可以看成是例子中所屬的一個類別示例學習就可以轉化為對例子集進行分類的任務

體形(+

+

+

+)大中小顏色顏色(-

-)(+

-)(-

-)(+

-)黑黑棕棕可以看做是一個對目標分類的劃分和獲取策略決策樹學習決策樹在示例學習中，每一個概念實際上可以看成是例子149由一個根結點，若干葉結點和非葉結點構成。根結點對應于學習任務，分類的開始。每個葉結點都包含一個分類名(概念)，表示一個實例的結束。每個非葉結點都包含表示相應實例中的某一屬性。邊代表某一屬性可能的屬性值。決策樹

體形(+

+

+

+)大中小顏色顏色(-

-)(+

-)(-

-)(+

-)黑黑棕棕由一個根結點，若干葉結點和非葉結點構成。決策樹體形(++150從根節點到葉節點的每一條路徑都代表一個具體的實例同一路徑上的所有屬性之間為合取關系，不同路徑（即一個屬性的不同屬性值）之間為析取關系。決策樹的分類過程就是從這棵樹的根接點開始，按照給定的事例的屬性值去測試對應的樹枝，并依次下移，直至到達某個葉節點為止。

體形(+

+

+

+)大中小顏色顏色(-

-)(+

-)(-

-)(+

-)黑黑棕棕關于決策樹：從根節點到葉節點的每一條路徑都代表一個具體的實例體形(+151鳥類家養可能是和平鴿可能是信天翁游泳可能是企鵝可能是鴕鳥一個簡單的鳥類識別決策樹會飛不會飛是不是會不會可表示為如下規則集：

IF

鳥類會飛AND

是家養的THEN

該鳥類可能是和平鴿

IF

鳥類會飛AND

不是家養的

THEN

該鳥類可能是信天翁

IF

鳥類不會飛AND

會游泳THEN

該鳥類可能是企鵝

IF

鳥類不會飛AND

不會游泳THEN

該鳥類可能是鴕鳥

決策樹還可以表示成規則的形式鳥類家養可能是和平鴿可能是信天翁游泳可能是企鵝可能是鴕鳥一個152昆蘭（J.R.Quinlan）于1979年提出的一種以信息熵（entropy）的下降速度作為屬性選擇標準的一種學習算法。輸入是一個用來描述各種已知類別的例子集學習結果是一棵用于進行分類的決策樹

ID3算法：昆蘭（J.R.Quinlan）于1979年提出的一種以信息熵1531.令根結點包含例子集中所有實例。2.如果每個葉結點包含的例子都屬于同一分類，則停止劃分。3.否則需對葉結點進行進一步劃分：

(1)需要進一步劃分的葉結點所包含的例子組成子例子集S。

(2)找出對S來說E值最小的屬性abest。

(3)根據屬性abest的值對S進行劃分，每個值將生成一個分枝。

(4)執行步驟2。

通過E值可以找出一個最有利于當前劃分的屬性

體形(+

+

+

+)大中小顏色顏色(-

-)(+

-)(-

-)(+

-)黑黑棕棕ID3算法：1.令根結點包含例子集中所有實例。通過E值可以找出一個最有利154

E是一個基于熵(平均信息量)的函數，該函數評價用各屬性進行分類所能獲得的信息量，選擇E

值最小即獲得信息量最大的屬性。

ID3算法S中屬性ai的值為vij的正例數目Nj-為屬性ai的值為vij的反例數目E是一個基于熵(平均信息量)的函數，該函數評ID3算法S155熵熵是研究不確定人工智能的一個重要參數

熵的歷史可以追溯到19世紀。1864年德國物理學家克勞修斯在研究熱力學時首先提出熵的概念：1877年，玻爾茲曼又給出了熵的統計學新定義——玻爾茲曼公式，即S=klnW;k為玻爾茲曼常數；W是某一宏觀態所對應的微觀態數目，即該微觀態的熱力學幾率1948年，香農將熵的定義引入信息領域：信息熵熵熵是研究不確定人工智能的一個重要參數熵的歷史可以追溯到1156設一個系統X由多個事件|Xi|（i=1，2,…,n）組成，事件Xi的概率為p(Xi)，那么信息熵定義為：信息熵的定義：

信息熵大，說明什么？設一個系統X由多個事件|Xi|（i=1，2,…,n）組成，事157例：給出概率分布其信息熵分別為：

信息熵越大，不確定性程度越大信息熵表示事件集X中事件出現的平均不確定性當X中事件出現的概率相等時，信息熵達到最大值例：給出概率分布其信息熵分別為：信息熵越大，不確定性程度越158H(X)-P(x1)關系H(X)-P(x1)關系159

E是一個基于熵(平均信息量)的函數，該函數評價用各屬性進行分類所能獲得的信息量，選擇E

值最小即獲得信息量最大的屬性。

ID3算法：S中屬性ai的值為vij的正例數目Nj-為屬性ai的值為vij的反例數目E是一個基于熵(平均信息量)的函數，該函數評ID3算法：160狗的例子集例子序號顏色體形

毛型

類別1黑大卷毛＋2棕大光滑＋3棕中卷毛－4黑小卷毛－5棕中光滑＋6黑大光滑＋7棕小卷毛＋8棕小光滑－9棕大卷毛＋10黑中卷毛－11黑中光滑－12黑小光滑－實例：危險狗的例子集例子序號顏色體形毛型類別1黑大卷毛＋2棕大光滑161狗的例子集例子序號顏色體形

毛型

類別1黑大卷毛＋2棕大光滑＋3棕中卷毛－4黑小卷毛－5棕中光滑＋6黑大光滑＋7棕小卷毛＋8棕小光滑－9棕大卷毛＋10黑中卷毛－11黑中光滑－12黑小光滑－狗的例子集例子序號顏色體形毛型類別1黑大卷毛＋2棕大光162E顏色.棕色＝

E顏色.黑色＝∴E顏色＝5.510＋5.510＝11.020顏色=棕色的狗：4只是危險的，2只不是危險的。顏色=黑色的狗：2只是危險的，4只不是危險的。∴E顏色＝5.510＋5.510＝11.020顏色=棕色的163E體形.大＝E體形.中＝E體形.小＝

∴E體形＝3.245＋3.245＝6.490

體形=大的4條狗全是危險的；體形=中/小的狗：1條是危險的；3條不是危險的。E體形.大＝∴E體形＝3.245＋3.245＝6.490164ID3算法

E毛型.光滑＝

E毛型.卷毛＝

∴E毛型＝6＋6＝12

毛型=光滑的狗：3條是危險的；3條不是危險的。毛型=卷毛的狗：3條是危險的；3條不是危險的。因此，E體形<

E顏色<

E毛型ID3算法E毛型.光滑＝∴E毛型＝6＋6＝12毛型=165現在必須對“中”“小”這兩個分枝的實例重復上述計算過程。例子序號顏色體形

毛型

類別1黑大卷毛＋2棕大光滑＋3棕中卷毛－4黑小卷毛－5棕中光滑＋6黑大光滑＋7棕小卷毛＋8棕小光滑－9棕大卷毛＋10黑中卷毛－11黑中光滑－12黑小光滑－E顏色＝4和

E毛型＝6.490

現在必須對“中”“小”這兩個分枝的實例重復上述計算過程。例子166現在只有“體形”為“中”和“小”的“棕色”狗還沒有明確類別，需用“毛型”來進一步劃分。

現在只有“體形”為“中”和“小”的“棕色”狗還沒有明確類別，167需要的匹配次數：24需要的匹配次數：168需要的匹配次數：36需要的匹配次數：36169決策樹的優點可以生成可以理解的規則；計算量相對來說不是很大；可以處理連續和離散字段；決策樹可以清晰的顯示哪些字段比較重要。

決策樹的優點可以生成可以理解的規則；170AdaBoost元算法當需要做出重要決定的時候，大家往往會聽取多個人的意見而不是一個人的意見，元算法就是采用這種思想。機器學習種類繁多，各有優缺點。我們自然可以將不同的分類器組合起來，而這種組合結果稱為集成算法，或者元算法。集成方法有很多形式：可以是不同算法的集成，也可以是同一算法在不同設置下的集成，還可以是數據集不同部分分配給不同分類器之后的集成。AdaBoost元算法當需要做出重要決定的時候，大家往往會聽171基于數據隨機重抽樣的分類器構建方法自舉匯聚法，也稱bagging方法，是在原始數據集選擇s次后