第七章機器學習7.1機器學習的定義、探討意義與發展歷史7.2機器學習的主要策略與基本結構7.3–7.7幾種常用的學習方法7.8學問發覺7.9小結1

7.1機器學習的定義和發展歷史7.1.1機器學習的定義機器學習的定義顧名思義,機器學習是探討如何運用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門探討機器獲得新學問和新技能,并識別現有學問的學問。27.1.2 機器學習的發展史機器學習的發展分為4個時期第一階段是在50年頭中葉到60年頭中葉，屬于熱忱時期。其次階段在60年頭中葉至70年頭中葉，被稱為機器學習的冷靜時期。第三階段從70年頭中葉至80年頭中葉，稱為復興時期。機器學習的最新階段始于1986年。7.1機器學習的定義和發展歷史3機器學習進入新階段的表現機器學習已成為新的邊緣學科并在高校形成課程。綜合各種學習方法機器學習與人工智能問題的統一性觀點正在形成。各種學習方法的應用范圍不斷擴大。數據挖掘和學問發覺的探討已形成熱潮。與機器學習有關的學術活動空前活躍。

7.1機器學習的定義和發展歷史47.2機器學習的主要策略和基本結構7.2.1機器學習的主要策略依據學習中運用推理的多少，機器學習所接受的策略大體上可分為4種———機械學習、傳授學習、類比學習和示例學習。機械學習（死記硬背）傳授學習（灌輸；推理、翻譯、轉化）類比學習（仿照；找尋相像的案例）示例學習（舉一反三,歸納，抽象）57.2.2機器學習系統的基本結構

1.學習系統的基本結構

環境學習知識庫執行圖6.1學習系統的基本結構7.2機器學習的主要策略和基本結構62.影響學習系統設計的要素影響學習系統設計的最重要因素是環境向系統供應的信息，或者更具體地說是信息的質量。學問庫是影響學習系統設計的其次個因素。學問的表示有特征向量、一階邏輯語句、產生式規則、語義網絡和框架等多種形式。選擇學問表達方式的四原則：表達實力推理實力修改實力擴展實力7.2機器學習的主要策略和基本結構77.3機械學習1.機械學習模式機械學習是最簡潔的學習方法。機械學習就是記憶，即把新的學問存儲起來，供須要時檢索調用，而不須要計算和推理。它是一種最基本的學習過程。

特點：忽視推理、計算過程，提高效率7.3機械學習8存儲計算推導歸納算法與理論機械記憶搜索規則圖7.2數據化簡級別圖Lenat，Hayes-Roth，和Klahr等人于1979年關于機械學習提出一種好玩的觀點，見圖7.2。7.3機械學習92.機械學習的主要問題存儲組織信息：要接受適當的存儲方式，使檢索速度盡可能地快。提高檢索效率：索引、排序、雜湊環境的穩定性與存儲信息的適用性問題：機械學習系統必需保證所保存的信息適應于外界環境變更的須要。學問過時，設置有效期存儲與計算之間的權衡：對于機械學習來說很重要的一點是它不能降低系統的效率。重新計算比檢索更省有效率時，失去意義；方法：設置存儲量閥值；選擇忘卻7.3機械學習10

7.4歸納學習歸納學習（inductionlearning）是應用歸納推理進行學習的一種方法。依據歸納學習有無老師指導，可把它分為示例學習和視察與發覺學習。（從個別到一般）7.4.1歸納學習的模式和規則歸納學習的模式其一般模式如下：給定：視察陳述（事實）F，假定的初始斷言（可能為空），背景學問（領域學問，約束，假設，優先準則）求：歸納斷言（假設）H11假設H永真蘊涵事實F，說明F是H的邏輯推理，則有：H|>F或F|<H；選擇型概括，構造性概括：選擇性概括規則：取消部分條件放松條件沿概念樹上溯形成閉合區域將常量轉化成變量解釋過程實例空間規則空間規劃過程127.4.2歸納學習方法1.示例學習（learningfromexamples）動物識別中醫診斷2.視察發覺學習（learningfromobservationanddiscovery）視察學習：事例聚類，形成概念描述；機器發覺：發覺規律，產生定理或規則；137.5類比學習7.5.1類比推理和類比學習方式類比學習（learningbyanalogy）就是通過類比，即通過對相像事物加以比較所進行的一種學習。其推理過程如下： 回憶與聯想選擇建立對應關系轉換 P(a)∧Q(a),P(a)≌P(b)├Q(b)Q(a)147.5.2類比學習過程與探討類型類比學習主要包括如下四個過程：輸入一組已知條件和一組未完全確定的條件。對兩組出入條件找尋其可類比的對應關系。依據相像轉換的方法，進行映射。對類推得到的學問進行校驗。7.5類比學習15類比學習的探討可分為兩大類：(1)問題求解型的類比學習(2)預料推定型的類比學習。它又分為兩種方式：一是傳統的類比法另一是因果關系型的類比7.5類比學習167.6說明學習(explanation-basedlearning)7.6.1說明學習過程和算法1986年米切爾（Mitchell）等人為基于說明的學習提出了一個統一的算法EBG：訓練例子操作準則知識庫新規則目標概念17EBG求解問題的形式可描述于下:給定：(1)目標概念描述TC；(2)訓練實例TE；(3)領域學問DT；(4)操作準則OC。求解：訓練實例的一般化概括，使之滿足：(1)目標概念的充分概括描述TC；(2)操作準則OC。7.6說明學習187.7神經學習7.7.1基于反向傳播網絡的學習反向傳播（back-propagation,BP）算法是一種計算單個權值變更引起網絡性能變更值的較為簡潔的方法。BP算法過程包含從輸出節點起先，反向地向第一隱含層傳播由總誤差引起的權值修正。19BP算法網絡模型：BP網絡的前向計算關系：以三層網絡為例，n個輸入結點，m個輸出結點，H個隱層結點，訓練樣本由（xk，dk）（k=1,2…p）組成訓練對，轉移函數微f（）當輸入第k個樣本數據時隱層結點h與輸出層結點j的加權和與輸出分別為：x1x2xny1y2ymWihWhjd1e2dme1emyh(k)xi(k)yj(k)20BP算法的權值調整方法：令輸出結點家j的誤差為 則k個訓練樣本的誤差平方和為性能指標隱層到輸出層的權值調整（梯度法）：輸入層到隱層的權值調整（梯度法）： BP網絡的訓練步驟：用小隨機數初始化網絡各層權值；樣本數據輸入；誤差計算；權值變更量計算；權值調整217.7.2基于Hopfield網絡的學習反饋神經網絡，它是一種動態反饋系統，比前饋網絡具有更強的計算實力。Hopfield網絡是一種具有正反相輸出的帶反饋人工神經元。7.7神經學習22反饋型神經網絡（Hopfield網絡）Hopfield網絡結構Hopfield離散隨機網絡是Hopfield于1982提出的，1984年又提出了連續時間模型。一般在進行計算機仿真時接受離散模型，而在硬件實現時接受連續模型。Hopfield網絡的重要意義；f(.)f(.)f(.)I1I2InVnV2V1W2nW22W1223一種特定的Hopfield離散網絡的特性（CAM）f(.)=sign(.)網絡計算：Hopfield證明當Wij＝Wji，網絡是收斂的。數據網絡演化方式：同步與異步網絡的穩定性：穩定吸引子、極限環狀態、狀態發散Hopfiled算法：（1）設置互聯權值具有m個樣本，x為輸入樣本變量，為1或-1的n維向量；（2）對未知類別的采樣初始化 yi(0)=xi0<=i<=n-1（3）迭代運算：（4）網絡收斂，則結束；否則轉（2）247.8學問發覺7.8.1學問發覺的發展和定義學問發覺的產生和發展學問發覺最早是于1989年8月在第11屆國際人工智能聯合會議的專題探討會上提出。學問發覺的定義數據庫中的學問發覺是從大量數據中辨識出有效的、新穎 的、潛在有用的、并可被理解的模式的高級處理過程。數據集、新穎 、潛在有用、可被人理解的、模式、高級過程257.8.2學問發覺的處理過程1.數據選擇。依據用戶的需求從數據庫中提取與KDD相關的數據。2.數據預處理。主要是對上述數據進行再加工，檢查數據的完整性及數據的一樣性，對丟失的數據利用統計方法進行填補，形成發掘數據庫。

7.8學問發覺263.數據變換。即從發掘數據庫里選擇數據4.數據挖掘。依據用戶要求，確定KDD的目標是發覺何種類型的學問。5.學問評價。這一過程主要用于對所獲得的規則進行價值評定，以確定所得的規則是否存入基礎學問庫。7.8學問發覺277.8.3學問發覺的方法1.統計方法：統計方法是從事物的外在數量上的表現去推斷該事物可能的規律性。（1）傳統方法： 收集數據，分析數據，進行推理（回來分析，判別方法，聚類分析，探究性分析）（2）模糊集（3）支持向量機（SVM）（4）粗糙集： 具有三值隸屬函數的模糊集，確定屬于、或許屬于、確定不屬于該概念。7.8學問發覺282.機器學習方法（1）規則歸納如：AQ算法（2）決策樹（3）范例推理（4）貝葉斯信念網絡（5）科學發覺如：BACON系統（6）遺傳算法

3.神經計算方法(MLP、BP、Hopfield、RBF)4.可視化方法：可視化（visualization）就是把數據、信息和學問轉化為可視的表示形式的過程。297.8.4學問發覺的應用學問發覺已在很多領域得到應用。現在，學問發覺已在銀行業、保險業、零售業、醫療保健、工程和制造業、科學探討、衛星視察和消遣業等行業和部門得到成功應用，為人們的科學決策供應很大幫助。

7.8學問發覺30金融（1）市場分析與預料（2）帳戶分類、信用評估保險（1）潛在客戶評估、分析（2）索賠合理性分析制造業（生產過程優化）市場與零售業（銷售、