學習系統的設計與知識表示

1有足夠的學習能力學習是人類的一項重要智力行為。按照人工智能大師H.Simon的觀點,學習就是系統在不斷重復的工作中對本身能力的增強或改進,使得系統在下一次執行同樣或相類似的任務時,會比原來做得更好或效率更高。機器學習研究的是如何使機器通過識別和利用現有知識來獲取新知識和新技能。一個人不管他有多深的學問、多大的本領,如果不善于學習,他的能力總是停留在一個固定的水平上,不會創造出新奇的東西。但一個人若具有很強的學習能力,則不可等閑視之了。也許他現在的能力不是很強,但是“士別三日,當刮目相看”。機器具備了學習能力,其情形完全跟人一樣。1959年美國的Samuel設計了一個下棋程序,它具有學習能力,可以在不斷的對弈中改善自己的棋藝。四年后這個程序戰勝了設計者本人。又過了三年,它戰勝了美國一個保持八年之久的常勝不敗的冠軍。這個程序向人們展示了機器學習的能力,提出了許多令人深思的社會問題與哲學問題。2知識的表示方式我們以H.Simon的學習定義作為出發點,建立起下圖所示的簡單的學習模型,然后通過對這個模型的討論,總結出設計學習系統應當注意的一些原則。該圖表示學習系統的基本結構。環境向系統的學習部分提供某些信息;學習部分利用這些信息修改知識庫,以增強系統執行部分完成任務的效能;執行部分根據知識庫完成任務,同時把獲得的信息反饋給學習部分。在具體應用中,環境、知識庫和執行部分決定了具體的工作內容,學習部分所需要解決的問題完全由上述三部分確定。①影響學習系統設計的最重要的因素是環境向系統提供的信息的質量。知識庫里存放的是指導執行部分動作的一般原則,但環境向學習系統提供的信息卻是各種各樣的。如果信息的質量比較高,與一般原則相差比較小,則學習部分比較容易處理。如果向學習系統提供的是雜亂無章的指導執行具體動作的具體信息,則學習系統需要在獲得足夠數據之后,刪除不必要的細節,進行總結推廣,形成指導動作的一般原則,放入知識庫,這樣學習部分的任務就比較繁重,設計起來也較為困難。②知識庫是影響學習系統設計的第二個因素。知識的表示有多種形式,比如特征向量、一階邏輯語句、產生式規則、語義網絡和框架等等。這些表示方式各有特點,在選擇表示方式上要兼顧以下幾個方面:(1)表達能力強。人工智能系統研究的一個重要問題是所選擇的表示方式能很容易地表示有關的知識。例如,如果我們研究的是一些孤立的木塊,則可選用特征向量表示方式。但是,如果用特征向量描述木塊之間的相互關系,比方說要說明一個紅色的木塊在一個綠色的木塊上面,則比較困難了。這時采用一階邏輯語句描述是比較方便的。(2)易于推理。在具有較強表達能力的基礎上,為了使學習系統的計算代價比較低,我們希望知識表示方式能使推理較為容易。例如,在推理過程中經常會遇到判別兩種表示方式是否等價的問題。在特征向量表示方式中,解決這個問題比較容易;在一階邏輯表示方式中,解決這個問題要耗費很高的代價。因為學習系統通常要在大量的描述中查找,很高的計算代價會嚴重地影響查找的范圍。因此如果只研究孤立的木塊而不考慮相互的位置,則應該使用特征向量表示。(3)容易修改知識庫。學習系統的本質要求它不斷地修改自己的知識庫,當推廣得出一般執行規則后,要加到知識庫中。當發現某些規則不適用時要將其刪除。因此學習系統的知識表示,一般都采用明確、統一的方式,如特征向量、產生式規則等,以利于知識庫的修改。從理論上看,知識庫的修改是個較為困難的課題,因為新增加的知識可能與知識庫中原有的知識矛盾,有必要對整個知識庫做全面調整。刪除某一知識也可能使許多其它的知識失效,需要進一步做全面檢查。(4)知識表示易于擴展。隨著系統學習能力的提高,單一的知識表示已經不能滿足需要;一個系統有時同時使用幾種知識表示方式。不但如此,有時還要求系統自己能構造出新的表示方式,以適應外界信息不斷變化的需要。因此要求系統包含如何構造表示方式的元級描述,現在,人們把這種元級知識也看作是知識庫的一部分。這種元級知識使學習系統的能力得到極大提高,使其能夠學會更加復雜的東西,不斷地擴大它的知識領域和執行能力。(5)學習系統不能在全然沒有任何知識的情況下憑空獲取知識,每一個學習系統都要具有某些知識以便用于理解環境提供的信息,進行分析比較、做出假設、檢驗并修改這些假設等。因此,更確切地說,學習系統是對現有知識的擴展和改進。③執行部分是整個學習系統的核心,因為執行部分的動作就是學習部分力求改進的動作。同執行部分有關的問題有三個:復雜性、反饋和透明性。(1)概念、規則以及一個概念的研究對于通過例子學習的系統,任務的復雜性可以分成三類。最簡單的是那些按照單一的概念或規則進行分類或預測的任務。比較復雜一點的任務涉及多個概念。學習系統最復雜的任務是小型計劃任務,系統必須給出一組規則序列,執行部分依次執行這些規則。(2)對學習部分的評價所有的學習系統必須評價學習部分提出的假設。有些程序有一部分獨立的知識專門從事這種評價。AM系統就有許多探索規則評價學習部分提出的新概念的意義。然而最常用的方法是有教師提出的外部執行標準,然后觀察比較執行結果與這個標準,視情況把比較結果反饋給學習部分,以決定假設的取舍。(3)知識評價評價透明性要求從系統的執行部分的動作效果可以很容易地對知識庫的規則進行評價。例如下完一盤棋之后要從輸贏總的效果來判斷所走過的每一步的優劣就比較困難,但若記錄了每一步之后的局勢,從局勢判斷優劣則比較直觀和容易。3人工智能學習中使用推理的策略學習是一種復雜的智能活動,學習過程與推理過程是緊密相連的,按照學習中使用推理的多少,機器學習所采用的策略主要有下列幾種:機械學習、示教學習、解釋學習、類比學習、示例學習、基于神經網絡的學習等。學習中所用的推理越多,系統的能力就越強。下面對它們作簡單介紹。3.1機械記憶策略機械學習就是記憶。它是最簡單的也是基本的學習策略,它對于任何學習系統來說都是十分重要的部分,因為任何學習系統都必須記住它們獲取的知識以備將來使用。這種學習策略不需要任何推理過程,知識的獲取以較為穩定和直接的方式進行。外界輸入知識的表示方式與系統內部表示方式完全一致,系統不必進行過多的加工。機械學習在方法上看很簡單,但是由于計算機的存儲容量相當大,檢索速度又很快,而且記憶精確,無絲毫誤差,所以也能產生人們難以預料的效果。Samuel的下棋程序就是采用了這種機械記憶策略。當機械學習系統的執行部分解決完一個問題之后,系統就記住這個問題和它的解。可以把執行部分抽象地看成某一函數,這個函數在得到自變量輸入值(x1,…,xn)之后,計算并輸出函數值(y1,…,yp)。實際上它就是簡單地存儲聯合對[(x1,…,xn),(y1,…,yp)]。在以后遇到求自變量輸入值為(x1,…,xn)的問題的解時,就從存儲器中把函數值(y1,…,yp)直接檢索出來而不是進行重新計算。機械學習過程可用模型示意如下:(1)學習過程:(x1???xn)計算→(y1???yp)存儲→[(x1???xn)?(y1???yp)](x1???xn)?→??計算(y1???yp)?→??存儲[(x1???xn)?(y1???yp)](2)應用過程:(x1???xn)檢索→[(x1???xn)?(y1???yp)]輸出→(y1???yp)(x1???xn)?→??檢索[(x1???xn)?(y1???yp)]?→??輸出(y1???yp)3.2知識獲取的學習策略比機械學習更復雜一點的學習是示教學習。對于使用示教學習策略的系統來說,外界輸入知識的表達方工與內部表達方式不完全一致,系統在接受外部知識時需要一點推理、翻譯和轉化工作。MYCIN,DENDRAL等專家系統在獲取知識上都采用這種學習策略。一般地說,示教學習系統需要通過如下步驟實現其功能:(1)請求——向人類專家請求建議;(2)解釋——消化吸收人類專家的建議并把它轉化成內部表示;(3)實用化——把專家建議轉換成能夠使用的形式;(4)并入——并入到知識庫中;(5)評價——評價執行部分動作的結果,并將結果反饋到第一步。學習系統從專家接受的指導經過解釋、實用化并加入知識庫之后會引起某些問題。所以必須對新加入的知識進行評價。最常用的方法是讓系統使用這些新知識去解決某些實際問題,然后根據事先給出的標準對系統的執行效果進行評價。3.3建立類企業社會類、任務類映射類比意味著從一個已知的“源”問題到一個未知的“目標”問題的結構映射。類比學習系統只能得到完成類似任務的有關知識,學習系統必須能夠發現當前任務與已知任務的相似之點,由此制定出完成當前任務的方案。類比學習包括識別、建立、評價及充實四個過程。識別:給定一個不熟悉的局面,系統如何將這個新局面與以前的經驗存儲中一個或多個比較熟悉的局面聯系起來,這就是候選類比的識別問題。識別策略主要有三種:非選擇索引、任務相關索引和任務無關索引。建立:在確定了類比源之后,就要建立目標領域和源領域的各個組成部分之間的一個類比映射。映射決定了領域之間可被傳遞的信息的種類。建立階段的主要問題是:如何將源與目標之間的巨大的可能映射空間限定為一個較小的、似然的或有用的映射空間。有三種約束方式可以用于映射空間的確定。第一種考慮的是源和目標的表示結構的關系:只要在目標表示結構中可找到與之相對應的結構,那么源表示結構中的關系結構在類比映射過程中能被保持下來。第二種重點考慮源的語義類和目標知識,并探討在類比和比喻中什么樣的語義結構應該被保持。第三種注重所要映射的材料的上下文相關性,并探討在當前推理上下文中哪種關系結構或語義結構應該被保持。評價:有兩種方法可用于評價通過源到目標的映射所做的類比推理:一種方法是對所做的類比推理進行測驗,以檢查其在目標領域里的有效性或有用性;另一種方法是在目標領域里為所做的推理建立它的論據,以證明它的有效性。充實:最簡單的充實形式是直接記錄那些被成功地從源領域轉換到目標領域的信息,當遇到一個與以前已通過類比解決的任務一樣的任務時,以前的解法被直接應用而勿需使用較高費用的推理機構。另一種充實形式是:存儲成功的類比映射,以備將來在相似情況下使用,它存儲的是類比推理過程,以期在解決類似的問題時評價和建立階段能夠被重新利用或加以擴展。3.4從一般規律到實際規律采用通過事例學習策略的計算機系統,事先完全沒有完成任務的任何規律性的信息,所得到的只是一些具體的工作例子及工作經驗。系統需要對這些例子及經驗進行分析、總結和推廣,得到完成任務的一般規律,并在進一步的工作中驗證或修改這些規律,因此它需要推理是最多的,是一種歸納學習方法,一個事例學習的系統必須能夠從具體的訓練例子中推導出一般規律,再利用這些規律去指導執行部分的動作。向學習部分提供的是非常低級的信息,這種信息是系統所面臨的具體情況和這些部分在這種具體情況下的適當動作,希望系統推廣這些信息,得到關于動作的一般規則。在事例學習系統中,有兩個重要概念:例子空間和規則空間。例子空間就是我們向系統提供的訓練例集合。規則空間是事物所具有的某種規律的集合,學習系統應該從大量的訓練例中自行總結出這些規律。可以把事例學習看成是選擇訓練例去指導規則空間的搜索過程,直到搜索出能夠準確反映事物本質的規則為止。3.5用實例來處理聯系在進行解釋學習時,往往要向學習系統提供先例。在分析先例時,首先建立關于該先例是如可滿足所學概念的定義的一個解釋。由這個解釋所識別出的先例的特性,被用來作為一般性概念定義的基礎。然后通過后繼的練習,期待學習系統在練習中能夠發現并總結出更一般性的概念和原理。在這個過程中,學習系統必須設法找出先例與練習間的因果關系,并應用先例去處理練習,把結果上升為概念和原理并存儲起來供以后使用。用一個解釋學習系統求解含有先例的問題的過程大致如下:(1)用一個與被解釋的關系或動作對應的鏈來匹配練習與先例;(2)把解釋樣板從先例轉換至練習;(3)跟蹤被轉換解釋樣板的路徑,檢查被解釋的鏈是否由已有的鏈支持;a如果期望的結論獲得支持,就宣布成功。b否則,使用其它先例,檢查系統是否能夠判斷需要的但暫缺的鏈,如能作到,則宣布成功。c否則,宣布失敗。3.6單元內部域值的生成人工神經網絡(artificialneuralnets,ANN)是由模擬神經元組成的,可把ANN看成是以處理單元PE(processingelement)為節點,用加權有向弧相互連接而成的有向圖。其中,處理單元是對生理神經元的模擬,而有向弧則是軸突——突觸——樹突對的模擬。有向弧的權值表示兩處理單元間相互作用的強弱。下圖表示ANN的組成。令來自其它處理單元i(i=0,1,2,…,n-1)的輸入為xi,它們與本處理單元的聯系強度為Wi,本單元內部域值為θ,則本單元的輸入為Ι=n-1∑i=0WiXi而本單元的輸出為y=f(n-1∑i=0WiXi-θ)式中f為作用函數。基于神經網絡的學習策略主要有兩種:刺激______反應論和認識論。刺激______反應論把自學習解釋為習慣的形成。認為經過練習可在某一刺激與個體的某種反應之間建立一種關系,學習就是要建立這樣一種關系,即確定神經網絡中各個神經元