1、1機(jī)器學(xué)習(xí)第1章 引言2自我介紹 張偉，東北大學(xué)信息學(xué)院教授。 電子郵箱： 3機(jī)器學(xué)習(xí)簡(jiǎn)介 “機(jī)器學(xué)習(xí)”一般被定義為一個(gè)系統(tǒng)自我改進(jìn)的過(guò)程。 從最初的基于神經(jīng)元模型以及函數(shù)逼近論的方法研究，到以符號(hào)演算為基礎(chǔ)的學(xué)習(xí), 至最新的統(tǒng)計(jì)學(xué)習(xí)的興起，機(jī)器學(xué)習(xí)一直都在相關(guān)學(xué)科的實(shí)踐應(yīng)用中起著主導(dǎo)作用。 研究人員們借鑒了各個(gè)學(xué)科的思想來(lái)發(fā)展機(jī)器學(xué)習(xí)，但關(guān)于機(jī)器學(xué)習(xí)問(wèn)題的實(shí)質(zhì)究竟是什么尚無(wú)定論尚無(wú)定論。不同的機(jī)器學(xué)習(xí)方法也各有優(yōu)缺點(diǎn)，只在其適用的領(lǐng)域內(nèi)才有良好的效果。 機(jī)器學(xué)習(xí)算法在很多應(yīng)用領(lǐng)域被證明有很大的實(shí)用價(jià)值：（a）數(shù)據(jù)挖掘問(wèn)題；（b）在某些人們可能還不具有開(kāi)發(fā)出高效的算法所需的知識(shí)（比如，從圖像庫(kù)

2、中識(shí)別出人臉）。 因此，以枚舉的方法描述機(jī)器學(xué)習(xí)中的各個(gè)理論和算法可能是最合適的途徑。 4機(jī)器學(xué)習(xí)簡(jiǎn)介 機(jī)器學(xué)習(xí)一書(shū)正是以枚舉的方式來(lái)介紹機(jī)器學(xué)習(xí)的。其主要涵蓋了目前機(jī)器學(xué)習(xí)中各種最實(shí)用的理論和算法，包括概念學(xué)習(xí)、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、貝葉斯學(xué)習(xí)、遺傳算法、SVM學(xué)習(xí)等。 對(duì)每一個(gè)主題，作者不僅進(jìn)行了十分詳盡和直觀的解釋?zhuān)€給出了實(shí)用的算法流程。在卡內(nèi)基梅隆卡內(nèi)基梅隆 CMU等許多大學(xué)，本書(shū)都被作為機(jī)器學(xué)習(xí)課程的教材。 本書(shū)的作者Tom MMitchell在機(jī)器學(xué)習(xí)領(lǐng)域享有盛名。他是卡內(nèi)基梅隆大學(xué)的教授。他還是美國(guó)人工智能協(xié)會(huì)(AAAI)的主席，并且是機(jī)器學(xué)習(xí)雜志和國(guó)際機(jī)器學(xué)習(xí)年會(huì)(ICML)的創(chuàng)

3、始人。 本課程的目的：使學(xué)生掌握基本的機(jī)器學(xué)習(xí)算法，能夠應(yīng)用解決于文本分類(lèi)等實(shí)際問(wèn)題.激發(fā)興趣,期末考試。 5什么是機(jī)器學(xué)習(xí)什么是機(jī)器學(xué)習(xí)計(jì)算機(jī)程序如何隨著經(jīng)驗(yàn)積累自動(dòng)提高性能，即系統(tǒng)自我改進(jìn)的過(guò)程1。歷史上成功應(yīng)用學(xué)習(xí)識(shí)別人類(lèi)講話(Sphinx系統(tǒng))學(xué)習(xí)駕駛車(chē)輛(ALVINN系統(tǒng))學(xué)習(xí)分類(lèi)新的天文結(jié)構(gòu)學(xué)習(xí)對(duì)弈西洋雙陸棋6相關(guān)學(xué)科人工智能人工智能學(xué)習(xí)概念的符號(hào)表示。作為搜索問(wèn)題的機(jī)器學(xué)習(xí)。作為提高問(wèn)題求解能力途徑的學(xué)習(xí)。使用先驗(yàn)的知識(shí)和訓(xùn)練數(shù)據(jù)一起引導(dǎo)學(xué)習(xí)。(八數(shù)碼)貝葉斯方法貝葉斯方法作為計(jì)算假設(shè)概率的基礎(chǔ)的貝葉斯法則。樸素貝葉斯分類(lèi)器。估計(jì)未觀測(cè)到變量的值的算法。計(jì)算復(fù)雜性理論計(jì)算復(fù)雜性理

4、論不同學(xué)習(xí)任務(wù)中固有的復(fù)雜性的理論邊界，以計(jì)算量、訓(xùn)練樣例數(shù)量、出錯(cuò)數(shù)量等衡量。控制論控制論為了優(yōu)化預(yù)定目標(biāo)，學(xué)習(xí)對(duì)各種處理過(guò)程進(jìn)行控制，學(xué)習(xí)預(yù)測(cè)被控制的過(guò)程的下一個(gè)狀態(tài)。信息論信息論熵是信息內(nèi)容的度量。學(xué)習(xí)的最小描述長(zhǎng)度方法。編碼假設(shè)時(shí)，它的最佳編碼和與最佳訓(xùn)練序列的關(guān)系。哲學(xué)哲學(xué)“奧坎姆的剃刀”（Occams razor）1：最簡(jiǎn)單的假設(shè)是最好的。從觀察到的數(shù)據(jù)泛化的理由分析。 7學(xué)習(xí)問(wèn)題的標(biāo)準(zhǔn)描述 定義 如果一個(gè)計(jì)算機(jī)針對(duì)某類(lèi)任務(wù)T的用P衡量的性能根據(jù)經(jīng)驗(yàn)E來(lái)自我完善，那么我們稱這個(gè)計(jì)算機(jī)程序在從經(jīng)驗(yàn)E中學(xué)習(xí)2 。 西跳棋學(xué)習(xí)問(wèn)題的解釋 E，和自己下棋 T，參與比賽 P，比賽成績(jī)（或贏棋

5、能力，擊敗對(duì)手的百分比）8 手寫(xiě)識(shí)別學(xué)習(xí)問(wèn)題：手寫(xiě)識(shí)別學(xué)習(xí)問(wèn)題： 任務(wù)T：識(shí)別和分類(lèi)圖像中的手寫(xiě)文字 性能標(biāo)準(zhǔn)P：分類(lèi)的正確率 訓(xùn)練經(jīng)驗(yàn)E：已知分類(lèi)的手寫(xiě)文字?jǐn)?shù)據(jù)庫(kù) 機(jī)器人駕駛學(xué)習(xí)問(wèn)題：機(jī)器人駕駛學(xué)習(xí)問(wèn)題： （link） 任務(wù)T：通過(guò)視覺(jué)傳感器在四車(chē)道高速公路上駕駛 性能標(biāo)準(zhǔn)P：平均無(wú)差錯(cuò)行駛里程（差錯(cuò)由人類(lèi)的監(jiān)督裁定） 訓(xùn)練經(jīng)驗(yàn)E：注視人類(lèi)駕駛時(shí)錄制的一系列圖像和駕駛指令 9西洋跳棋 譯注：為了更好理解本例，下面簡(jiǎn)要介紹一下這種跳棋。棋盤(pán)為88方格，深色棋格不可著子。1、可單步行走，2、亦可每步跨對(duì)方一子單跳或連跳，被跨越的子被殺出局。3、到達(dá)對(duì)方底線的子成為王，可回向行走（成為王前只可前行

6、），又可隔空格飛行。下圖為西洋跳棋棋盤(pán)示例（起始狀態(tài)）。10動(dòng)態(tài)下棋11學(xué)習(xí)問(wèn)題的標(biāo)準(zhǔn)描述（2） 定義很寬泛 這種行為與“學(xué)習(xí)”這個(gè)詞日常談?wù)摰暮x相接近。甚至包括了以非常直接的方式通過(guò)經(jīng)驗(yàn)自我提高的計(jì)算機(jī)程序(如,數(shù)據(jù)庫(kù)查詢)。需要更加細(xì)化。 實(shí)際的機(jī)器學(xué)習(xí)問(wèn)題往往比較復(fù)雜，需要設(shè)計(jì)一個(gè)學(xué)習(xí)系統(tǒng)才能解決此類(lèi)問(wèn)題.12設(shè)計(jì)一個(gè)學(xué)習(xí)系統(tǒng) 基本設(shè)計(jì)方法和學(xué)習(xí)途徑（以西洋跳棋為例） 選擇訓(xùn)練經(jīng)驗(yàn) 選擇目標(biāo)函數(shù) 選擇目標(biāo)函數(shù)的表示 選擇函數(shù)逼近算法 最終設(shè)計(jì)13設(shè)計(jì)一個(gè)學(xué)習(xí)系統(tǒng) 西洋跳棋學(xué)習(xí)問(wèn)題 任務(wù)T，下西洋跳棋 性能標(biāo)準(zhǔn)P，擊敗對(duì)手的百分比 訓(xùn)練經(jīng)驗(yàn)E，和自己進(jìn)行訓(xùn)練對(duì)弈 細(xì)化的設(shè)計(jì)學(xué)習(xí)系統(tǒng)首先要

7、選擇經(jīng)驗(yàn)E 明確三個(gè)關(guān)鍵屬性14選擇訓(xùn)練經(jīng)驗(yàn) 第一個(gè)關(guān)鍵屬性，訓(xùn)練經(jīng)驗(yàn)?zāi)芊駷橄到y(tǒng)的決策提供直接或間接的反饋（間接+信用分配） 第二個(gè)重要屬性，學(xué)習(xí)器在多大程度上控制樣例序列（完全自我控制，“自我博奕”） 第三個(gè)重要屬性，訓(xùn)練樣例的分布能多好地表示實(shí)例分布，通過(guò)樣例來(lái)衡量最終系統(tǒng)的性能（無(wú)限逼近） 于是我們的學(xué)習(xí)任務(wù)變成：15設(shè)計(jì)一個(gè)學(xué)習(xí)系統(tǒng) 西洋跳棋學(xué)習(xí)問(wèn)題3 任務(wù)T，下西洋跳棋 性能標(biāo)準(zhǔn)P，擊敗對(duì)手的百分比 訓(xùn)練經(jīng)驗(yàn)E，和自己進(jìn)行訓(xùn)練對(duì)弈 要學(xué)習(xí)的知識(shí)的確切類(lèi)型 對(duì)于這個(gè)目標(biāo)知識(shí)的表示 一種學(xué)習(xí)機(jī)制16選擇目標(biāo)函數(shù) 目標(biāo)函數(shù)ChooseMove ChooseMove: BM，接受合法棋局集合

8、中的棋盤(pán)狀態(tài)作為輸入，并從合法走子集合中選擇某個(gè)走子作為輸出 于是提高P變成學(xué)習(xí)ChooseMove: 我們把提高任務(wù)T的性能P的問(wèn)題轉(zhuǎn)化（或簡(jiǎn)化）為學(xué)習(xí)像ChooseMove這樣某個(gè)特定的目標(biāo)函數(shù).17選擇目標(biāo)函數(shù)（2） ChooseMove的評(píng)價(jià) 學(xué)習(xí)問(wèn)題很直觀地轉(zhuǎn)化成這個(gè)函數(shù) 這個(gè)函數(shù)的學(xué)習(xí)很困難，因?yàn)樘峁┙o系統(tǒng)的是間接訓(xùn)練經(jīng)驗(yàn) 另一個(gè)目標(biāo)函數(shù)V 一個(gè)評(píng)估函數(shù)，V: BR，它為任何給定棋局賦予一個(gè)數(shù)值評(píng)分，給好的棋局賦予較高的評(píng)分 優(yōu)點(diǎn): 表示統(tǒng)一, 學(xué)習(xí)簡(jiǎn)單 V的應(yīng)用 根據(jù)V能夠輕松地找到當(dāng)前棋局的最佳走法。18選擇目標(biāo)函數(shù)（3） V的設(shè)計(jì)，對(duì)于集合B中的任意棋局b，V(b)定義如下

9、如果b是一最終的勝局，那么V(b)=100 如果b是一最終的負(fù)局，那么V(b)= -100 如果b是一最終的和局，那么V(b)=0 如果b不是最終棋局，那么V(b)=V(b)，其中b是從b開(kāi)始雙方都采取最優(yōu)對(duì)弈后可達(dá)到的終局19選擇目標(biāo)函數(shù)（4） 上面設(shè)計(jì)的分析 遞歸定義 運(yùn)算效率低 不可操作(b要決定它的值V（b）需要向前搜索到達(dá)終局的所有路線! ) 簡(jiǎn)評(píng) 學(xué)習(xí)任務(wù)簡(jiǎn)化成發(fā)現(xiàn)一個(gè)理想目標(biāo)函數(shù)V的可操作描述。 通常要完美地學(xué)習(xí)這樣一個(gè)V的可操作的形式是非常困難的。 一般地，我們僅希望學(xué)習(xí)算法得到近似的目標(biāo)函數(shù)V，因此學(xué)習(xí)目標(biāo)函數(shù)的過(guò)程常稱為函數(shù)逼近。20選擇目標(biāo)函數(shù)的表示 函數(shù)的表示 一張大表

10、，對(duì)于每個(gè)唯一的棋盤(pán)狀態(tài)，表中有唯一的表項(xiàng)來(lái)確定它的狀態(tài)值 規(guī)則集合 二項(xiàng)式函數(shù) 人工神經(jīng)網(wǎng)絡(luò)21選擇目標(biāo)函數(shù)的表示（2） 重要的權(quán)衡過(guò)程 一方面，我們總希望選取一個(gè)非常有表現(xiàn)力的描述，以最大可能地逼近理想的目標(biāo)函數(shù) 另一方面，越有表現(xiàn)力的描述需要越多的訓(xùn)練數(shù)據(jù)，使程序能從它表示的多種假設(shè)中選擇22選擇目標(biāo)函數(shù)的表示（3） 本案例中我們選擇一個(gè)簡(jiǎn)單的表示法，對(duì)于任何給定的棋盤(pán)狀態(tài)，函數(shù)V可以通過(guò)以下棋盤(pán)參數(shù)的線性組合線性組合來(lái)計(jì)算。 x1，黑子的數(shù)量 x2，白子的數(shù)量 x3，黑王的數(shù)量 x4，白王的數(shù)量 x5，被白子威脅的黑子數(shù)量 x6，被黑子威脅的白子數(shù)量23選擇目標(biāo)函數(shù)的表示（4） 目標(biāo)函

11、數(shù) V(b)=w0+w1x1+w2x2+w6x6 其中，w0w6是權(quán)值，表示不同棋局特征的相對(duì)重要性 實(shí)際, b=(x1,x6), b給定,則x1,x6是常量 至此，問(wèn)題轉(zhuǎn)化為學(xué)習(xí)目標(biāo)函數(shù)中的系數(shù)（即權(quán)值w0w6 ）24選擇函數(shù)逼近算法 每個(gè)訓(xùn)練樣例表示成二元對(duì) b是棋盤(pán)狀態(tài)，Vtrain(b)是訓(xùn)練值 比如，,100 訓(xùn)練過(guò)程 從學(xué)習(xí)器可得到的間接訓(xùn)練經(jīng)驗(yàn)中導(dǎo)出上面的訓(xùn)練樣例 調(diào)整系數(shù)wi，最佳擬合這些訓(xùn)練樣例25選擇函數(shù)逼近算法（3） 有了Vtrain, 怎么求出V? 因?yàn)閂(b)=w0+w1x1+w2x2+w3x3+w4x4+w5x5+w6x6 所以,剩下的事情就是選擇權(quán)權(quán)wi使V(b)

12、與訓(xùn)練樣例的誤差達(dá)到最小（擬合）： 調(diào)整權(quán)值 最佳擬合的定義，常用的最佳是誤差平方和最小: 有算法可以得到線性函數(shù)的權(quán)使此定義的E最小化。2)(,)()(bVbVEtrainbVbtrain訓(xùn)練樣例V是是V的近似擬合函的近似擬合函數(shù)數(shù)(因?yàn)橐驗(yàn)閂train也是也是間接的近似的間接的近似的)26選擇函數(shù)逼近算法（3） 訓(xùn)練樣例集合：， ， ， ， 調(diào)整權(quán)值 V(b)=w0+w1x1+w2x2+w3x3+w4x4+w5x5+w6x6 這時(shí)，在訓(xùn)練樣例集合上，x1,x6都是常數(shù)，w0w6是可調(diào)整的變量。27選擇函數(shù)逼近算法（4） 最小均方方法（least mean squares），或叫LMS訓(xùn)練法

13、則： 對(duì)于每一訓(xùn)練樣例，它把權(quán)值向減小這個(gè)訓(xùn)練數(shù)據(jù)誤差的方向略為調(diào)整。 LMS 權(quán)值更新法則權(quán)值更新法則對(duì)于每一個(gè)訓(xùn)練樣例 do： 使用當(dāng)前的權(quán)wi計(jì)算V(b) 對(duì)每一個(gè)權(quán)值wi進(jìn)行如下更新 wi wi +(Vtrain(b)-V(b) xi (其推導(dǎo)依據(jù))幾何意義28V-train初值V1V2V3V4V15V51V-b01001008596 101.2 103.5102.799.01V-b21001008089.594.3 96.76100.3 100.6V-b41001007581 84.35 86.3693.4299.99假設(shè)有直接反饋的情況下，運(yùn)行梯度下降法的運(yùn)行假設(shè)有直接反饋的情況下

14、，運(yùn)行梯度下降法的運(yùn)行結(jié)果，約循環(huán)結(jié)果，約循環(huán)51次收斂。次收斂。29選擇函數(shù)逼近算法（5） 估計(jì)訓(xùn)練值 困難處(給對(duì)弈結(jié)束時(shí)的棋盤(pán)狀態(tài)評(píng)分是容易的) 一個(gè)簡(jiǎn)單的方法，Vtrain(b)=V(Successor(b) 這個(gè)簡(jiǎn)單的方法是合理的看起來(lái)有點(diǎn)離奇，用V來(lái)估計(jì)訓(xùn)練值Vtrain，而Vtrain又被用來(lái)更新V。但請(qǐng)注意，我們是在用后續(xù)棋局Successor(b)的V來(lái)估計(jì)棋局b的值。憑直覺(jué)，我們可以看到越接近游戲結(jié)束的棋局的越趨向精確。 30估計(jì)訓(xùn)練值Vtrain(b)的例子 b4(終局): ，+100, 設(shè)此時(shí)V的系數(shù)為: w0=5,w1=5,w2=5,w3=70,w4=5,w5=5,w

15、6=5. V(b4) = w0+w1*0+w2*0+w3*1+w4*0+w5*0+w6*0 = 75 b2(中間棋局): ，? , 此時(shí)V的系數(shù)為: w0=5,w1=5,w2=5,w3=70,w4=5,w5=5,w6=5.此時(shí)?的訓(xùn)練值Vtrain(b2) = V(successor(b2) = V(b4) = 75 V(b2) = w0+w1*0+w2*1+w3*1+w4*0+w5*0+w6*0 = 80 b0(中間棋局): ，? , 此時(shí)V的系數(shù)為: w0=5,w1=5,w2=5,w3=70,w4=5,w5=5,w6=5.此時(shí)?的訓(xùn)練值Vtrain(b0) = V(successor(b0

16、) = V(b2) = 80 V(b0) = w0+w1*1+w2*1+w3*1+w4*0+w5*0+w6*0 = 85b0 (我方一兵一后,對(duì)手一兵,我走一步兵)b1(吃我兵)b2 (我走后)b3 (他走兵)b4 (吃他一兵,勝)我方一后,對(duì)手一兵我方一后,對(duì)手無(wú)子31估計(jì)訓(xùn)練值Vtrain(b)與V(b)誤差 b4(終局): ，+100, 設(shè)此時(shí)V的系數(shù)為: w0=5,w1=5,w2=5,w3=70,w4=5,w5=5,w6=5.error(b4) = Vtrain(b4) - V(b4) = 100 wi*xi = 100-75=25 b2(中間棋局): ，75 , 設(shè)此時(shí)V的系數(shù)為:

17、w0=5,w1=5,w2=5,w3=70,w4=5,w5=5,w6=5.此時(shí)?的訓(xùn)練值Vtrain(b2) = 75 error(b2) = Vtrain(b2) - V(b2) = 75 wi*xi = 75-80= -5 b0(中間棋局): ，80 , 設(shè)此時(shí)V的系數(shù)為: w0=5,w1=5,w2=5,w3=70,w4=5,w5=5,w6=5.此時(shí)?的訓(xùn)練值Vtrain(b0) = V(successor(b0) = V(b2)= w0+w1*0+w2*1+w3*1+w4*0+w5*0+w6*0 = 80 error(b0) = Vtrain(b0) - V(b0) = 80 wi*xi

18、= 80-85= -5b0(我方一兵一后,對(duì)手一兵)b1b2b3b4我方一后,對(duì)手一兵我方一后,對(duì)手無(wú)子32選擇函數(shù)逼近算法（5） 一個(gè)調(diào)整權(quán)值的例子(棋局為b4): 假設(shè)當(dāng)前wi=5（for i=0,1,2,4,5,6）,w3=70則依訓(xùn)練樣本，+100，需調(diào)整wi如下： Error=100-(5+5*0+5*0+70*1+5*0+5*0+5*0) =25 W3=70+0.1*(25)*1=72.5 其他系數(shù)無(wú)變化, 即,w0=5, ,w1=5,w2=5,w3=72.5,w4=5,w5=5,w6=5. 于是新的Error=100-(5+5*0+5*0+72.5*1+5*0+5*0+5*0)=

19、22.5 多個(gè)樣本訓(xùn)練后,這種簡(jiǎn)單的權(quán)值調(diào)整方法被證明可以收斂到Vtrain 值的最小誤差平方點(diǎn)。計(jì)算程序見(jiàn)后頁(yè)。 33V-train初值V1V2V3V4V15V36V-b0808585.585.279.59299.1V-b2758080.581.1581.991.399V-b41007576.57885.592.599.4w0w1w2w3w4w5w65557055515次循環(huán)后51.14-0.638755510010010034V-train初值V1V2V3V4V15V36V-b080.58585.585.279.59299.1V-b276.58080.581.1581.991.399V-b

20、41007576.57885.592.599.4w0w1w2w3w4w5w65557055515次循環(huán)后51.14-0.6387555計(jì)算程序10010010035設(shè)計(jì)一個(gè)學(xué)習(xí)系統(tǒng) 基本設(shè)計(jì)方法和學(xué)習(xí)途徑（以西洋跳棋為例） 選擇訓(xùn)練經(jīng)驗(yàn) 選擇目標(biāo)函數(shù) 選擇目標(biāo)函數(shù)的表示 選擇函數(shù)逼近算法 最終設(shè)計(jì)36設(shè)計(jì)一個(gè)學(xué)習(xí)系統(tǒng) 西洋跳棋學(xué)習(xí)問(wèn)題4 任務(wù)T，下西洋跳棋 性能標(biāo)準(zhǔn)P，擊敗對(duì)手的百分比 訓(xùn)練經(jīng)驗(yàn)E，和自己進(jìn)行訓(xùn)練對(duì)弈：間接反饋，信用分配規(guī)則為，Vtrain(b)=V(Successor(b) 知識(shí)類(lèi)型：函數(shù)（目標(biāo)函數(shù)：V：B） 目標(biāo)函數(shù)的表示，線形函數(shù)：V(b)=w0+w1x1+w2x2+w3

21、x3+w4x4+w5x5+w6x6 一種學(xué)習(xí)機(jī)制: LMS算法。有了以上核心思想，怎么變成一個(gè)軟件系統(tǒng)？有了以上核心思想，怎么變成一個(gè)軟件系統(tǒng)？37最終設(shè)計(jì)實(shí)驗(yàn)生成器執(zhí)行系統(tǒng)泛化器鑒定器新問(wèn)題解答路線假設(shè)訓(xùn)練樣例38最終設(shè)計(jì)（2） 執(zhí)行系統(tǒng) 用學(xué)會(huì)的目標(biāo)函數(shù)來(lái)解決給定的任務(wù) 鑒定器 以對(duì)弈的路線或歷史記錄作為輸入，輸出目標(biāo)函數(shù)的一系列訓(xùn)練樣例。 泛化器 以訓(xùn)練樣例為輸入，產(chǎn)生一個(gè)輸出假設(shè)，作為它對(duì)目標(biāo)函數(shù)的估計(jì)。 實(shí)驗(yàn)生成器 以當(dāng)前的假設(shè)作為輸入，輸出一個(gè)新的問(wèn)題，供執(zhí)行系統(tǒng)去探索。39Design ChoicesDesign Choices29Determine type of traini

22、ng experienceDetermine target functionDetermine representation of learned functionDetermine learning algorithmCompleted designGradient descentLinear programmingpolynomialLinear function of six featuresBoard moveBoard valueGames against expertsGames against selfTable of correct moves40西洋跳棋學(xué)習(xí)的更多討論 理論上

23、的保證(如果目標(biāo)函數(shù)真在假設(shè)空間中，這種學(xué)習(xí)技術(shù)是否確保發(fā)現(xiàn)一個(gè)非常接近的近似). 更復(fù)雜的目標(biāo)函數(shù)（e.g. ANN） 其他學(xué)習(xí)算法 最近鄰算法，存儲(chǔ)訓(xùn)練樣例，尋找保存的最接近的情形來(lái)匹配新的情況 遺傳算法，產(chǎn)生大量候選的西洋跳棋程序，讓它們相互比賽，保留最成功的程序并進(jìn)一步用模擬進(jìn)化的方式來(lái)培育或變異它們 基于解釋的學(xué)習(xí)，分析每次成敗的原因41對(duì)于有兩個(gè)權(quán)值的線性單元，假設(shè)空間H就是w0,w1平面。縱軸表示與固定的訓(xùn)練樣例集合相應(yīng)的權(quán)向量假設(shè)的誤差。箭頭顯示了該點(diǎn)梯度的相反方向，指出了在w0，w1平面中沿誤差曲面最陡峭下降的方向。 BACK42機(jī)器學(xué)習(xí)的一些觀點(diǎn) 一個(gè)有效的觀點(diǎn) 機(jī)器學(xué)習(xí)問(wèn)

24、題歸結(jié)于搜索問(wèn)題 本書(shū)給出了對(duì)一些基本表示（例如，線性函數(shù)、邏輯描述、決策樹(shù)、人工神經(jīng)元網(wǎng)絡(luò)）定義的假設(shè)空間的搜索算法。這些不同的假設(shè)表示法適合于學(xué)習(xí)不同的目標(biāo)函數(shù)。 通過(guò)搜索策略和搜索空間的內(nèi)在結(jié)構(gòu)來(lái)刻畫(huà)學(xué)習(xí)方法43機(jī)器學(xué)習(xí)的問(wèn)題存在什么樣的算法能從特定的訓(xùn)練數(shù)據(jù)學(xué)習(xí)一般的目標(biāo)函數(shù)呢？如果提供了充足的訓(xùn)練數(shù)據(jù)，什么樣的條件下，會(huì)使特定的算法收斂到期望的函數(shù)？哪個(gè)算法對(duì)哪些問(wèn)題和表示的性能最好？多少訓(xùn)練數(shù)據(jù)是充足的？怎樣找到學(xué)習(xí)到假設(shè)的置信度與訓(xùn)練數(shù)據(jù)的數(shù)量及提供給學(xué)習(xí)器的假設(shè)空間特性之間的一般關(guān)系？學(xué)習(xí)器擁有的先驗(yàn)知識(shí)是怎樣引導(dǎo)從樣例進(jìn)行泛化的過(guò)程的？當(dāng)先驗(yàn)知識(shí)僅僅是近似正確時(shí)，它們會(huì)有幫助嗎？怎樣把學(xué)習(xí)任務(wù)簡(jiǎn)化為一個(gè)或多個(gè)函數(shù)逼近問(wèn)題？換一種方式，系統(tǒng)該試圖學(xué)習(xí)哪些函數(shù)？這個(gè)過(guò)程本身能自動(dòng)化嗎？學(xué)習(xí)器怎樣自動(dòng)地改變表示法來(lái)提高表示和學(xué)習(xí)目標(biāo)函數(shù)的能力？44全書(shū)內(nèi)容簡(jiǎn)介第2章，基于符號(hào)和邏輯表示的概念學(xué)習(xí)第3章，決策樹(shù)第4章，人工神經(jīng)網(wǎng)絡(luò)第5章，統(tǒng)計(jì)和估計(jì)理論的基礎(chǔ)概念第6章，貝葉斯理論第7章，計(jì)算學(xué)習(xí)第8章，基于實(shí)例的學(xué)習(xí)第9章，遺傳算法第10章，規(guī)則學(xué)習(xí)（we will learn VSM）第11章，基于解釋的學(xué)習(xí)第12章，近似知識(shí)與現(xiàn)有數(shù)據(jù)的結(jié)合第13章，增強(qiáng)學(xué)習(xí)45小結(jié) 機(jī)器學(xué)習(xí)算法在很多應(yīng)用領(lǐng)域被證明有很大的實(shí)用價(jià)值