第七章機器學習7.1機器學習的定義、研究意義與發展歷史7.2機器學習的主要策略與基本結構7.3–7.7幾種常用的學習方法7.8知識發現7.9小結7.1機器學習的定義和發展歷史7.1.1機器學習的定義機器學習的定義顧名思義,機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技能,并識別現有知識的學問。27.1.2 機器學習的發展史機器學習的發展分為4個時期第一階段是在50年代中葉到60年代中葉，屬于熱烈時期。第二階段在60年代中葉至70年代中葉，被稱為機器學習的冷靜時期。第三階段從70年代中葉至80年代中葉，稱為復興時期。機器學習的最新階段始于1986年。37.1機器學習的定義和發展歷史機器學習進入新階段的表現機器學習已成為新的邊緣學科并在高校形成課程。綜合各種學習方法機器學習與人工智能問題的統一性觀點正在形成。各種學習方法的應用范圍不斷擴大。數據挖掘和知識發現的研究已形成熱潮。與機器學習有關的學術活動空前活躍。

47.1機器學習的定義和發展歷史7.2機器學習的主要策略和基本結構

7.2.1機器學習的主要策略按照學習中使用推理的多少，機器學習所采用的策略大體上可分為4種———機械學習、傳授學習、類比學習和示例學習。機械學習（死記硬背）傳授學習（灌輸；推理、翻譯、轉化）類比學習（模仿；尋找相似的案例）示例學習（舉一反三,歸納，抽象）57.2.2機器學習系統的基本結構

1.學習系統的基本結構

6環境學習知識庫執行圖6.1學習系統的基本結構7.2機器學習的主要策略和基本結構2.影響學習系統設計的要素影響學習系統設計的最重要因素是環境向系統提供的信息，或者更具體地說是信息的質量。知識庫是影響學習系統設計的第二個因素。知識的表示有特征向量、一階邏輯語句、產生式規則、語義網絡和框架等多種形式。選擇知識表達方式的四原則：表達能力推理能力修改能力擴展能力77.2機器學習的主要策略和基本結構7.3機械學習1.機械學習模式機械學習是最簡單的學習方法。機械學習就是記憶，即把新的知識存儲起來，供需要時檢索調用，而不需要計算和推理。它是一種最基本的學習過程。

特點：忽略推理、計算過程，提高效率

87.3機械學習9存儲計算推導歸納算法與理論機械記憶搜索規則圖7.2數據化簡級別圖

Lenat，Hayes-Roth，和Klahr等人于1979年關于機械學習提出一種有趣的觀點，見圖7.2。7.3機械學習2.機械學習的主要問題存儲組織信息：要采用適當的存儲方式，使檢索速度盡可能地快。提高檢索效率：索引、排序、雜湊環境的穩定性與存儲信息的適用性問題：機械學習系統必須保證所保存的信息適應于外界環境變化的需要。知識過時，設置有效期存儲與計算之間的權衡：對于機械學習來說很重要的一點是它不能降低系統的效率。重新計算比檢索更省有效率時，失去意義；方法：設置存儲量閥值；選擇忘卻107.3機械學習

7.4歸納學習歸納學習（inductionlearning）是應用歸納推理進行學習的一種方法。根據歸納學習有無教師指導，可把它分為示例學習和觀察與發現學習。（從個別到一般）7.4.1歸納學習的模式和規則歸納學習的模式

其一般模式如下：給定：觀察陳述（事實）F，假定的初始斷言（可能為空），背景知識（領域知識，約束，假設，優先準則）求：歸納斷言（假設）H11假設H永真蘊涵事實F，說明F是H的邏輯推理，則有：H|>F或F|<H；選擇型概括，構造性概括：選擇性概括規則：取消部分條件放松條件沿概念樹上溯形成閉合區域將常量轉化成變量12

解釋過程

實例空間規則空間

規劃過程7.4.2歸納學習方法1.示例學習（learningfromexamples）動物識別中醫診斷2.觀察發現學習（learningfromobservationanddiscovery）觀察學習：事例聚類，形成概念描述；機器發現：發現規律，產生定理或規則；137.5類比學習7.5.1類比推理和類比學習方式類比學習（learningbyanalogy）就是通過類比，即通過對相似事物加以比較所進行的一種學習。其推理過程如下： 回憶與聯想

選擇

建立對應關系

轉換

P(a)∧Q(a),P(a)≌P(b)├Q(b)Q(a)

147.5.2類比學習過程與研究類型類比學習主要包括如下四個過程：輸入一組已知條件和一組未完全確定的條件。對兩組出入條件尋找其可類比的對應關系。根據相似轉換的方法，進行映射。對類推得到的知識進行校驗。157.5類比學習類比學習的研究可分為兩大類：

(1)問題求解型的類比學習

(2)預測推定型的類比學習。它又分為兩種方式：一是傳統的類比法另一是因果關系型的類比

167.5類比學習7.6解釋學習(explanation-basedlearning)7.6.1解釋學習過程和算法

1986年米切爾（Mitchell）等人為基于解釋的學習提出了一個統一的算法EBG：17

訓練例子

操作準則

知識庫

新規則

目標概念EBG求解問題的形式可描述于下:給定：(1)目標概念描述TC；(2)訓練實例TE；(3)領域知識DT；(4)操作準則OC。求解：訓練實例的一般化概括，使之滿足：(1)目標概念的充分概括描述TC；(2)操作準則OC。187.6解釋學習7.7神經學習7.7.1基于反向傳播網絡的學習

反向傳播（back-propagation,BP）算法是一種計算單個權值變化引起網絡性能變化值的較為簡單的方法。BP算法過程包含從輸出節點開始，反向地向第一隱含層傳播由總誤差引起的權值修正。19BP算法網絡模型：BP網絡的前向計算關系：以三層網絡為例，n個輸入結點，m個輸出結點，H個隱層結點，訓練樣本由（xk，dk）（k=1,2…p）組成訓練對，轉移函數微f（）當輸入第k個樣本數據時隱層結點h與輸出層結點j的加權和與輸出分別為：20x1x2xny1y2ymWihWhjd1e2dme1emyh(k)xi(k)yj(k)BP算法的權值調整方法：令輸出結點家j的誤差為 則k個訓練樣本的誤差平方和為性能指標隱層到輸出層的權值調整（梯度法）：輸入層到隱層的權值調整（梯度法）：