第三講人工神經網絡第一頁，共二十七頁，2022年，8月28日第三講神經網絡的學習規則和感知器主講內容◆§3.1機器學習與神經網絡學習◆§3.2幾種神經網絡學習規則◆§3.3感知器學習規則、算法以及收斂性定理◆§3.4本講問題本章目的：①介紹各種學習算法的數學原理、分析學習性質；②說明算法的使用。（不講有關的算法的生理學、生物學原理）第三講神經網絡的學習規則和感知器┃主講人方濤第二頁，共二十七頁，2022年，8月28日§3.1機器學習與神經網絡學習3.1.1機器學習3.1.2神經網絡學習及其分類第三講神經網絡的學習規則和感知器┃主講人方濤第三頁，共二十七頁，2022年，8月28日3.1.1機器學習機器學習━━AI的一個分支學科

§3.1機器學習與神經網絡學習人類學習行為（客觀世界）→研究歸納、類比等基本方法→獲取各種知識和技能。機器學習→了解人類的各種學習過程→建立各種學習模型→賦予機器的學習能力。有了學習能力，才能不斷自我完善，自我校正，自動獲取和發現新的知識……

沒有機器學習的系統不會是一個真正的智能系統。機器學習目前已經有：事例學習、遺傳學習、類比學習……

第三講神經網絡的學習規則和感知器┃主講人方濤第四頁，共二十七頁，2022年，8月28日§3.1機器學習與神經網絡學習機器學習的發展歷史：①20世紀50年代中期研究沒有任何初始知識的通用學習系統，尤其是神經網絡系統。主要特點：數值表示和參數調整，比如感知機、生物進化過程模擬等。AI：符號表示和啟發式方法，即偏于模式識別②20世紀60年代初期概念學習和語言獲取。主要特點：符號表示（已成為AI主要方法）③20世紀70年代中后期專家系統和知識工程形成，對知識尤為關注，興盛時期。④20世紀80年代中后期

源于神經網絡的重新興起，使非符號的神經網絡研究和符號學習得以深入開展。

第三講神經網絡的學習規則和感知器┃主講人方濤第五頁，共二十七頁，2022年，8月28日§3.1機器學習與神經網絡學習機器學習的發展歷史：⑤20世紀90年代有限樣本統計理論線性空間表示,Vapnik：SVM（1991）;弱學習定理（1990）;Freund：AdaBoost（1996）⑥21世紀近10年----流形學習研究熱局部線性嵌入(LLE)等距映射(Isomap)拉普拉斯特征映射(LaplacianEigenmap)……

第三講神經網絡的學習規則和感知器┃主講人方濤第六頁，共二十七頁，2022年，8月28日17對象的層次性流形（HML）構造高維特征空間的層次性流形學習◆流形學習降維研究目標高維特征低維嵌套的非線性映射，提供目標特性低維表達的有效方式

LLE、ISOMap、LaplacianEigenmap、HessianEigenmap等多子流形◆多類別高分影像對象廣泛存在大類、小類等層次性結構單一結構的流形難以更準確進行非線性映射◆層次性流形（HML）不同類別、不同層次的多個子流形父流形與子流形間關系，通過自下而上“共

享特征”實現層次性鄰及矩陣第七頁，共二十七頁，2022年，8月28日18◆流形學習降維廣義回歸神經網絡GRNN解決out-of-sample通過層次性流形（HML）降維，解譯精度比單一流形性能顯著提高高維特征空間的層次性流形學習該方法得到了國際同行評價“Thisisacompletelyvalidapproachfromapragmaticperspective,andcanevenleadtobetterresults”第八頁，共二十七頁，2022年，8月28日§3.1機器學習與神經網絡學習3.1.2神經網絡學習及其分類人工神經網絡的主要學習算法：3.1.2.1有無導師的學習方式與機器學習類似：事例學習、無導師學習、死記式學習…。主要分為：①監督學習（有導師學習）依據期望值與實際網絡輸出值之差來調整連接權，因此需要有導師來提供期望值。將訓練樣本的數據加入到網絡輸入端，由期望輸出與網絡輸出得到誤差信號，由此控制連接權的調整，多次訓練使得連接權收斂到某個確定值。反傳網絡、感知器、LVQ算法、廣義規則……第三講神經網絡的學習規則和感知器┃主講人方濤第九頁，共二十七頁，2022年，8月28日§3.1機器學習與神經網絡學習②非監督學習（無導師學習）神經元僅根據I/O來修正連接權。直接將網絡置于環境中，學習階段與工作階段于一體，具有自適應性。

比如：Hebb學習規則（簡單），競爭學習（復雜）、ART、自組織映射…③強化學習（有導師學習的特例）采用“評論員”來評價與給定輸入相對應的神經網絡輸出的優度（質量因子）。典型例子：遺傳算法（Gas）。3.1.2.2來自環境刺激模式的多少分類①聯想式學習②非聯想式學習第三講神經網絡的學習規則和感知器┃主講人方濤第十頁，共二十七頁，2022年，8月28日§3.1機器學習與神經網絡學習3.1.2.3網絡連接方式來分①階層②相互連接

一旦神經網絡的拓撲結構確定后，學習就是連接權的修正。學習模型：第三講神經網絡的學習規則和感知器┃主講人方濤第十一頁，共二十七頁，2022年，8月28日§3.2幾種神經網絡學習規則3.2.1Hebb學習規則3.2.2剃度下降算法與學習規則3.2.３其它幾種學習規則第三講神經網絡的學習規則和感知器┃主講人方濤第十二頁，共二十七頁，2022年，8月28日§3.2幾種神經網絡學習規則3.2.1Hebb學習規則

Hebb（美國心理學家）1949年提出假說（OrganizationofBehavior）：“如果兩個神經元A和B有一個共同的突觸S，那么當兩個神經元同時興奮時，突觸的強度增強。”

規則：當第i個和第j個神經元同時處于興奮狀態時，其連接權加強。（最簡單的非監督學習）學習速率參數（訓練速率參數）、輸入輸出權的初始化：在0附近取很小的隨機值。第三講神經網絡的學習規則和感知器┃主講人方濤第十三頁，共二十七頁，2022年，8月28日§3.2幾種神經網絡學習規則3.2.2剃度下降算法與學習規則

①剃度下降算法的一般形式其中E為誤差函數。誤差反傳訓練算法（BP）就是由梯隊算法推導出來的，收斂速度慢。②學習訓練算法（最小均方規則）學習規則：用神經元的輸出值與期望值之間的最小平方誤差來調整連接權。第三講神經網絡的學習規則和感知器┃主講人方濤第十四頁，共二十七頁，2022年，8月28日§3.2幾種神經網絡學習規則剃度向量

標量令標量可以推廣于多層網絡。學習訓練算法為剃度下降算法的一個特例。

第三講神經網絡的學習規則和感知器┃主講人方濤第十五頁，共二十七頁，2022年，8月28日§3.2幾種神經網絡學習規則3.2.3其它幾種學習規則

①內外星學習規則Grossberg1974年提出來的，由信號的流向確定是內星還是外星。內星：節點通過連接權接受一組輸入信號。連接權的學習規則：第三講神經網絡的學習規則和感知器┃主講人方濤第十六頁，共二十七頁，2022年，8月28日§3.2幾種神經網絡學習規則外星：節點通過連接權輸出一組信號。連接權的學習規則：②Winner-Take-All（勝者為王）學習規則(無)③隨機訓練算法(概率/能量)④模擬退火算法⑤Widrow-Hoff學習規則……第三講神經網絡的學習規則和感知器┃主講人方濤第十七頁，共二十七頁，2022年，8月28日§3.3感知器學習規則、算法以及收斂性定理第三講神經網絡的學習規則和感知器┃主講人方濤3.3.1感知器學習規則及算法3.2.2簡單感知器的局限性3.2.３感知器的收斂性第十八頁，共二十七頁，2022年，8月28日Theconceptualschemefor‘learning’inthiscontextisamachinewithaninputchannelforfigures,apairofYESandNOoutputindicators,andareinforcementor‘reward’buttonthatthemachine’soperatorcanusetoindicatehisapprovalordisapprovalofthemachine’sbehavior.”——M.L.MinskyandS.A.Papert,“Perceptron”(1988)§3.3感知器學習規則、算法以及收斂性定理第三講神經網絡的學習規則和感知器┃主講人方濤3.3.1感知器學習規則及算法感知器（perceptron）是1957年美國Rosenblatt提出的單層計算單元的網絡，相當于一個神經元。也稱線性閾值單元（LTU）。第十九頁，共二十七頁，2022年，8月28日§3.3感知器學習規則、算法以及收斂性定理第三講神經網絡的學習規則和感知器┃主講人方濤在感知器中，連接權是可以改變的，即可以學習訓練的。Rosenblatt已證明如果兩類模式是線性可區分的，則算法一定會收斂，即連接權一定會存在，否則在分類邊界產生震蕩，使連接權不收斂。學習規則：學習信號（或導師信號）：期望值d與實際輸出值之差。連接權的調整形式：學習速率參數常常，有助于訓練規則朝正確解收斂，太小，將產生慢收斂，太大，將可能引起震蕩。第二十頁，共二十七頁，2022年，8月28日§3.3感知器學習規則、算法以及收斂性定理第三講神經網絡的學習規則和感知器┃主講人方濤迭代算法過程：①確定初始值，包括連接權較小的非零隨機值（包括閾值）；②輸入不同的訓練樣本和導師信號d或者期望的輸出；③計算實際輸出④修正連接權⑤轉入②步，重復②～④的步驟，直到連接權向量收斂，停止迭代訓練過程。ANN的學習過程就是訓練過程，在將訓練樣本集輸入到網絡的過程中，按照一定的方式來調整神經元之間的聯結權重值，使得網絡能夠將訓練樣本集的內涵以聯結權重矩陣的方式存儲起來，從而使得網絡在接受輸入時，能夠給出適當的輸出。

第二十一頁，共二十七頁，2022年，8月28日§3.3感知器學習規則、算法以及收斂性定理第三講神經網絡的學習規則和感知器┃主講人方濤3.3.2簡單感知器的局限性僅能進行簡單的線性分類和解決一階謂詞邏輯。W/|W|二維的廣義線性可分離方程：n維的廣義線性可分離方程：第二十二頁，共二十七頁，2022年，8月28日§3.3感知器學習規則、算法以及收斂性定理第三講神經網絡的學習規則和感知器┃主講人方濤3.3.2簡單感知器的局限性

“線性不可分”問題的困境及其解決1969年，Minsky和Papert在“Perceptron”一書中從理論上證明單層感知器無法解決許多簡單的問題，包括“異或(XOR)”問題。使得ANN理論的發展在1970～80年代處于低潮。導致政府和企業資助減少，研究人員撤退……MarvinMinskyMITMediaLabandMITAILab

ToshibaProfessorofMediaArtsandSciences

ProfessorofE.E.andC.S.,M.I.T

第二十三頁，共二十七頁，2022年，8月28日§3.3感知器學習規則、算法以及收斂性定理第三講神經網絡的學習規則和感知器┃主講人方濤對異或（Exclusive-OR-XOR）問題，無法求解。XORy01x001110XOR是一個雙輸入、單輸出問題。對應的單層感知器為：xyabzax+by=xy無論如何選擇參數a，b，，都無法滿足劃分。這種由單層感知器不能表達的問題稱為線性不可分問題。盡管簡單感知器學習算法有局限性，但是它還是給出了單個神經元的自組織、自學習的算法，對神經網絡研究有其重要意義。第二十四頁，共二十七頁，2022年，8月28日§3.3感知器學習規則、算法以及收斂性定理第三講神經網絡的學習規則和感知器┃主講人方濤3.3.3感知器的收斂性