1、神經網絡基本理論神經網絡基本理論2v 模糊控制從人的經驗出發，解決了智能控制中人類語言的模糊控制從人的經驗出發，解決了智能控制中人類語言的描述和推理問題，尤其是一些不確定性語言的描述和推理描述和推理問題，尤其是一些不確定性語言的描述和推理問題，從而在機器模擬人腦的感知、推理等智能行為方面問題，從而在機器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。模糊控制在處理數值數據、自學習能邁出了重大的一步。模糊控制在處理數值數據、自學習能力等方面還遠沒有達到人腦的境界。力等方面還遠沒有達到人腦的境界。v 人工神經網絡從另一個角度出發，即從人惱的生理學和心人工神經網絡從另一個角度出發，即從人惱的生理

2、學和心理學著手，通過人工模擬人腦的工作機理來實現機器的部理學著手，通過人工模擬人腦的工作機理來實現機器的部分智能行為。分智能行為。神經網絡簡介神經網絡簡介3神經網絡簡介神經網絡簡介4v 神經網絡的發展歷程經過神經網絡的發展歷程經過4 4個階段。個階段。v 1 1 啟蒙期（啟蒙期（1890-19691890-1969年）年）v 18901890年，年，w.jamesw.james發表專著發表專著心理學心理學，討論了腦的結構，討論了腦的結構和功能。和功能。v 19431943年，心理學家年，心理學家w.s.mccullochw.s.mcculloch和數學家和數學家w.pittsw.pitts提出

3、了提出了描述腦神經細胞動作的數學模型，即描述腦神經細胞動作的數學模型，即m-pm-p模型（第一個神模型（第一個神經網絡模型）。經網絡模型）。v 19491949年，心理學家年，心理學家hebbhebb實現了對腦細胞之間相互影響的數實現了對腦細胞之間相互影響的數學描述，從心理學的角度提出了至今仍對神經網絡理論有學描述，從心理學的角度提出了至今仍對神經網絡理論有著重要影響的著重要影響的hebbhebb學習法則。學習法則。v 19581958年，年，e.rosenblatte.rosenblatt提出了描述信息在人腦中貯存和記提出了描述信息在人腦中貯存和記憶的數學模型，即著名的感知機模型（憶的數學模

4、型，即著名的感知機模型（perceptronperceptron）。）。v 19621962年，年，widrowwidrow和和hoffhoff提出了自適應線性神經網絡，即提出了自適應線性神經網絡，即adalineadaline網絡，并提出了網絡學習新知識的方法，即網絡，并提出了網絡學習新知識的方法，即widrowwidrow和和hoffhoff學習規則（即學習規則（即學習規則），并用電路進行學習規則），并用電路進行了硬件設計。了硬件設計。神經網絡簡介神經網絡簡介5v 2 2 低潮期（低潮期（1969-19821969-1982）v 受當時神經網絡理論研究水平的限制及馮受當時神經網絡理論研究水

5、平的限制及馮諾依曼式計算諾依曼式計算機發展的沖擊等因素的影響，神經網絡的研究陷入低谷。機發展的沖擊等因素的影響，神經網絡的研究陷入低谷。v 在美、日等國有少數學者繼續著神經網絡模型和學習算法在美、日等國有少數學者繼續著神經網絡模型和學習算法的研究，提出了許多有意義的理論和方法。例如，的研究，提出了許多有意義的理論和方法。例如，19691969年，年，s.groisbergs.groisberg和和a.carpenteta.carpentet提出了至今為止最復雜的提出了至今為止最復雜的artart網絡，該網絡可以對任意復雜的二維模式進行自組織、自網絡，該網絡可以對任意復雜的二維模式進行自組織、自

6、穩定和大規模并行處理。穩定和大規模并行處理。19721972年，年，kohonenkohonen提出了自組織提出了自組織映射的映射的somsom模型。模型。神經網絡簡介神經網絡簡介6神經網絡簡介神經網絡簡介v 3 3 復興期（復興期（1982-19861982-1986）v 19821982年，物理學家年，物理學家hoppieldhoppield提出了提出了hoppieldhoppield神經網絡模型，神經網絡模型，該模型通過引入能量函數，實現了問題優化求解，該模型通過引入能量函數，實現了問題優化求解，19841984年年他用此模型成功地解決了旅行商路徑優化問題他用此模型成功地解決了旅行商路徑

7、優化問題(tsp)(tsp)。v 在在19861986年，在年，在rumelhartrumelhart和和mccellandmccelland等出版等出版parallel parallel distributed processingdistributed processing一書，提出了一種著名的多層一書，提出了一種著名的多層神經網絡模型，即神經網絡模型，即bpbp網絡。該網絡是迄今為止應用最普遍網絡。該網絡是迄今為止應用最普遍的神經網絡。的神經網絡。7神經網絡簡介神經網絡簡介v 4 4 新連接機制時期（新連接機制時期（1986-1986-現在）現在）v 神經網絡從理論走向應用領域，出現了神

8、經網絡芯片和神神經網絡從理論走向應用領域，出現了神經網絡芯片和神經計算機。經計算機。v 神經網絡主要應用領域有：模式識別與圖象處理（語音、神經網絡主要應用領域有：模式識別與圖象處理（語音、指紋、故障檢測和圖象壓縮等）、控制與優化、預測與管指紋、故障檢測和圖象壓縮等）、控制與優化、預測與管理（市場預測、風險分析）、通信等。理（市場預測、風險分析）、通信等。8神經網絡簡介神經網絡簡介神經網絡原理神經網絡原理v 神經生理學和神經解剖學的研究表明，人腦極其復雜，由神經生理學和神經解剖學的研究表明，人腦極其復雜，由一千多億個神經元交織在一起的網狀結構構成，其中大腦一千多億個神經元交織在一起的網狀結構構成

9、，其中大腦皮層約皮層約140140億個神經元，小腦皮層約億個神經元，小腦皮層約10001000億個神經元。億個神經元。v 人腦能完成智能、思維等高級活動，為了能利用數學模型人腦能完成智能、思維等高級活動，為了能利用數學模型來模擬人腦的活動，導致了神經網絡的研究。來模擬人腦的活動，導致了神經網絡的研究。 v 神經系統的基本構造是神經元神經系統的基本構造是神經元( (神經細胞神經細胞) )，它是處理人體，它是處理人體內各部分之間相互信息傳遞的基本單元。內各部分之間相互信息傳遞的基本單元。9神經網絡簡介神經網絡簡介v 每個神經元都由一個細胞體，一個連接其他神經元的軸突每個神經元都由一個細胞體，一個連

10、接其他神經元的軸突和一些向外伸出的其它較短分支和一些向外伸出的其它較短分支樹突組成。樹突組成。v 軸突功能是將本神經元的輸出信號軸突功能是將本神經元的輸出信號( (興奮興奮) )傳遞給別的神經傳遞給別的神經元，其末端的許多神經末梢使得興奮可以同時傳送給多個元，其末端的許多神經末梢使得興奮可以同時傳送給多個神經元。神經元。v 樹突的功能是接受來自其它神經元的興奮。樹突的功能是接受來自其它神經元的興奮。v 神經元細胞體將接收到的所有信號進行簡單地處理后，由神經元細胞體將接收到的所有信號進行簡單地處理后，由軸突輸出。軸突輸出。 v 神經元的軸突與另外神經元神經末梢相連的部分稱為突觸。神經元的軸突與另

11、外神經元神經末梢相連的部分稱為突觸。10神經網絡簡介神經網絡簡介n生物神經元模型生物神經元模型生物神經元主要由細胞體、樹突和軸突組成，樹突和軸突負責傳入和傳出生物神經元主要由細胞體、樹突和軸突組成，樹突和軸突負責傳入和傳出信息，興奮性的沖動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位；信息，興奮性的沖動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位；相反，抑制性沖動到達細胞膜則形成抑制性電位。兩種電位進行累加，若相反，抑制性沖動到達細胞膜則形成抑制性電位。兩種電位進行累加，若代數和超過某個閾值，神經元將產生沖動。代數和超過某個閾值，神經元將產生沖動。 11神經網絡簡介神經網絡簡介v 神經元由

12、三部分構成：神經元由三部分構成：v （1 1）細胞體（主體部分）：包括細胞質、細胞膜和細胞）細胞體（主體部分）：包括細胞質、細胞膜和細胞核；核；v （2 2）樹突：用于為細胞體傳入信息；）樹突：用于為細胞體傳入信息；v （3 3）軸突：為細胞體傳出信息，其末端是軸突末梢，含）軸突：為細胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學物質；傳遞信息的化學物質；v （4 4）突觸：是神經元之間的接口（）突觸：是神經元之間的接口（104105104105個個/ /每個神經每個神經元）。一個神經元通過其軸突的神經末梢，經突觸與另外元）。一個神經元通過其軸突的神經末梢，經突觸與另外一個神經元的樹突連接，

13、以實現信息的傳遞。由于突觸的一個神經元的樹突連接，以實現信息的傳遞。由于突觸的信息傳遞特性是可變的，隨著神經沖動傳遞方式的變化，信息傳遞特性是可變的，隨著神經沖動傳遞方式的變化，傳遞作用強弱不同，形成了神經元之間連接的柔性，稱為傳遞作用強弱不同，形成了神經元之間連接的柔性，稱為結構的可塑性。結構的可塑性。v 通過樹突和軸突，神經元之間實現了信息的傳遞。通過樹突和軸突，神經元之間實現了信息的傳遞。12神經網絡簡介神經網絡簡介神經元具有如下功能：神經元具有如下功能：(1) 興奮與抑制：如果傳入神經元的沖動經整和后使細胞膜興奮與抑制：如果傳入神經元的沖動經整和后使細胞膜電位升高，超過動作電位的閾值時

14、即為興奮狀態，產生神電位升高，超過動作電位的閾值時即為興奮狀態，產生神經沖動，由軸突經神經末梢傳出。如果傳入神經元的沖動經沖動，由軸突經神經末梢傳出。如果傳入神經元的沖動經整和后使細胞膜電位降低，低于動作電位的閾值時即為經整和后使細胞膜電位降低，低于動作電位的閾值時即為抑制狀態，不產生神經沖動。抑制狀態，不產生神經沖動。(2) 學習與遺忘：由于神經元結構的可塑性，突觸的傳遞作學習與遺忘：由于神經元結構的可塑性，突觸的傳遞作用可增強和減弱，因此神經元具有學習與遺忘的功能。用可增強和減弱，因此神經元具有學習與遺忘的功能。13人工神經元模型人工神經元模型n人工神經元模型人工神經元模型模仿生物神經元產

15、生沖動的過程，可以建立一個典型的人工神經元數學模型模仿生物神經元產生沖動的過程，可以建立一個典型的人工神經元數學模型x1,xnt為輸入向量，為輸入向量，y為輸出，為輸出，f()為激發函數，為激發函數，為閾值。為閾值。 wi為神經元與其它為神經元與其它神經元的連接強度，也稱權值。神經元的連接強度，也稱權值。14人工神經元模型人工神經元模型常用的激發函數常用的激發函數f 的種類的種類 ：1）閾值型函數）閾值型函數0 x00 x1f(x)0 x10 x1f(x)15人工神經元模型人工神經元模型2）飽和型函數）飽和型函數k1x1k1xk1kxk1x1f(x)3）雙曲函數）雙曲函數arctan(x)f(

16、x)16 人工神經元模型人工神經元模型4）s型函數型函數0,x)exp(11f(x)5）高斯函數）高斯函數)bxexp(f(x)2217神經網絡的定義和特點神經網絡的定義和特點 神經網絡系統是由大量的神經元，通過廣泛地互相連接而形成的復雜網絡系神經網絡系統是由大量的神經元，通過廣泛地互相連接而形成的復雜網絡系統。統。n 定義定義n 特點特點（1）非線性映射逼近能力。非線性映射逼近能力。任意的連續非線性函數映射關系可由多層神經網絡以任意的連續非線性函數映射關系可由多層神經網絡以任意精度加以逼近。任意精度加以逼近。（2）自適應性和自組織性自適應性和自組織性。神經元之間的連接具有多樣性，各神經元之間

17、的連接神經元之間的連接具有多樣性，各神經元之間的連接強度具有可塑性，網絡可以通過學習與訓練進行自組織，以適應不同信息處理的要求。強度具有可塑性，網絡可以通過學習與訓練進行自組織，以適應不同信息處理的要求。（3） 并行處理性。并行處理性。網絡的各單元可以同時進行類似的處理過程，整個網絡的信息網絡的各單元可以同時進行類似的處理過程，整個網絡的信息處理方式是大規模并行的，可以大大加快對信息處理的速度。處理方式是大規模并行的，可以大大加快對信息處理的速度。（4）分布存儲和容錯性。分布存儲和容錯性。信息在神經網絡內的存儲按內容分布于許多神經元中，信息在神經網絡內的存儲按內容分布于許多神經元中，而且每個神

18、經元存儲多種信息的部分內容。網絡的每部分對信息的存儲具有等勢作用，而且每個神經元存儲多種信息的部分內容。網絡的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復，因而使網絡具有容錯性和聯想記憶功部分的信息丟失仍可以使完整的信息得到恢復，因而使網絡具有容錯性和聯想記憶功能。能。（5）便于集成實現和計算模擬。便于集成實現和計算模擬。神經網絡在結構上是相同神經元的大規模組合，神經網絡在結構上是相同神經元的大規模組合，特別適合于用大規模集成電路實現。特別適合于用大規模集成電路實現。 18感知器感知器(perceptron)是由美國學者是由美國學者f.rosenblatt于于195

19、7年提出的，它是一個具有單年提出的，它是一個具有單層計算單元的神經網絡，并由線性閾值元件組成。層計算單元的神經網絡，并由線性閾值元件組成。l 激發函數為閾值型函數，當其輸入的加權和大于或等于閾值時，輸出為激發函數為閾值型函數，當其輸入的加權和大于或等于閾值時，輸出為1，否，否則為則為0或或-1。l它的權系它的權系w可變，這樣它就可以學習。可變，這樣它就可以學習。 n感知器的結構感知器的結構感知器模型感知器模型19感知器模型感知器模型n感知器的學習算法感知器的學習算法為方便起見，將閾值為方便起見，將閾值(它也同樣需要學習它也同樣需要學習)并入并入w中，令中，令wn+1=-，x向量也相向量也相應地

20、增加一個分量應地增加一個分量xn+1=1，則，則1n1iii)xwf(y學習算法：學習算法： 給定初始值：賦給給定初始值：賦給wi(0)各一個較小的隨機非零值，這里各一個較小的隨機非零值，這里wi(t)為為t時刻第時刻第i個個輸入的權輸入的權(1in)，wn+1(t)為為t時刻的閾值；時刻的閾值； 輸入一樣本輸入一樣本x=(xi,xn,1)和它的希望輸出和它的希望輸出d； 計算實際輸出計算實際輸出1n1iii)(t)xwf(y(t) 修正權修正權w ： wi(t+1)=wi(t)+d-y(t)xi, i=1,2,n+1 轉到轉到直到直到w對一切樣本均穩定不變為止。對一切樣本均穩定不變為止。 2

21、0感知器模型感知器模型根據某樣本訓練時，均方差隨訓練次數的收斂情況根據某樣本訓練時，均方差隨訓練次數的收斂情況21神經網絡的構成和分類神經網絡的構成和分類n 構成構成 l 從從perceptron模型可以看出神經網絡通過一組狀態方程和一組學習方程加模型可以看出神經網絡通過一組狀態方程和一組學習方程加以描述。以描述。l 狀態方程描述每個神經元的輸入、輸出、權值間的函數關系。狀態方程描述每個神經元的輸入、輸出、權值間的函數關系。l 學習方程描述權值應該怎樣修正。神經網絡通過修正這些權值來進行學習，學習方程描述權值應該怎樣修正。神經網絡通過修正這些權值來進行學習，從而調整整個神經網絡的輸入輸出關系。

22、從而調整整個神經網絡的輸入輸出關系。 n分類分類 （1）從結構上劃分）從結構上劃分 通常所說的網絡結構，主要是指它的聯接方式。神經網絡從拓撲結構通常所說的網絡結構，主要是指它的聯接方式。神經網絡從拓撲結構上來說，主要分為層狀和網狀結構。上來說，主要分為層狀和網狀結構。 22神經網絡的構成和分類神經網絡的構成和分類層狀結構層狀結構：網絡由若干層組成，每層中有一定數量的神經元，相鄰層中神經網絡由若干層組成，每層中有一定數量的神經元，相鄰層中神經元單向聯接，一般同層內神經元不能聯接。元單向聯接，一般同層內神經元不能聯接。前向網絡：只有前后相鄰兩層之間神經元相互聯接，各神經元之間沒有反饋。前向網絡：只

23、有前后相鄰兩層之間神經元相互聯接，各神經元之間沒有反饋。每個神經元從前一層接收輸入，發送輸出給下一層。每個神經元從前一層接收輸入，發送輸出給下一層。 23神經網絡的構成和分類神經網絡的構成和分類網狀結構：網絡中任何兩個神經元之間都可能雙向聯接。網狀結構：網絡中任何兩個神經元之間都可能雙向聯接。反饋網絡：從輸出層到輸入層有反饋，反饋網絡：從輸出層到輸入層有反饋，每一個神經元同時接收外來輸入和來自其每一個神經元同時接收外來輸入和來自其它神經元的反饋輸入，其中包括神經元輸它神經元的反饋輸入，其中包括神經元輸出信號引回自身輸入的自環反饋。出信號引回自身輸入的自環反饋。 混合型網絡：前向網絡的同一層神經

24、混合型網絡：前向網絡的同一層神經元之間有互聯的網絡。元之間有互聯的網絡。24神經網絡的構成和分類神經網絡的構成和分類（2）從激發函數的類型上劃分從激發函數的類型上劃分 高斯基函數神經網絡、小波基函數神經網絡、樣條基函數神經網絡等等高斯基函數神經網絡、小波基函數神經網絡、樣條基函數神經網絡等等 （3）從網絡的學習方式上劃分從網絡的學習方式上劃分有導師學習神經網絡有導師學習神經網絡為神經網絡提供樣本數據，對網絡進行訓練，使網絡的輸入輸出關系逼為神經網絡提供樣本數據，對網絡進行訓練，使網絡的輸入輸出關系逼近樣本數據的輸入輸出關系。近樣本數據的輸入輸出關系。無導師學習神經網絡無導師學習神經網絡不為神經

25、網絡提供樣本數據，學習過程中網絡自動將輸入數據的特征提不為神經網絡提供樣本數據，學習過程中網絡自動將輸入數據的特征提取出來。取出來。 （4）從學習算法上來劃分：）從學習算法上來劃分：基于基于bp算法的網絡、基于算法的網絡、基于hebb算法的網絡、基于競爭式學習算法的網絡、算法的網絡、基于競爭式學習算法的網絡、基于遺傳算法的網絡。基于遺傳算法的網絡。25典型神經網絡典型神經網絡26神經網絡學習算法神經網絡學習算法27神經網絡學習算法神經網絡學習算法28神經網絡學習算法神經網絡學習算法29神經網絡學習算法神經網絡學習算法30jiijijiikwkw)() 1(神經網絡學習算法神經網絡學習算法31其

26、中，其中， 為連接從神經元為連接從神經元 到神經元到神經元 的當前權的當前權值，值， 和和 為神經元的激活水平。為神經元的激活水平。 hebb學習規則是一種無教師的學習方法，它只學習規則是一種無教師的學習方法，它只根據神經元連接間的激活水平改變權值，因此，這根據神經元連接間的激活水平改變權值，因此，這種方法又稱為相關學習或并聯學習。種方法又稱為相關學習或并聯學習。)(kwijijiijijiijijiikwkw)() 1(神經網絡學習算法神經網絡學習算法32pppppppeyde112)(21pdpy)(ppwxfy wtnwwww, 1, 0px神經網絡學習算法神經網絡學習算法33tpnpp

27、pxxxx,10pp, 2 , 1iwew神經網絡學習算法神經網絡學習算法34ppipiwewe1其中其中221pppyde令令則則ppwxippppipppppipppipxfydxyyewewe)( )(w的修正規則為的修正規則為ppippppixfydw1)( )(上式稱為上式稱為學習規則，又稱誤差修正規則。學習規則，又稱誤差修正規則。神經網絡學習算法神經網絡學習算法351. 1. 神經網絡特征神經網絡特征v 神經網絡具有以下幾個特征：神經網絡具有以下幾個特征：v （1 1）能逼近任意非線性函數；）能逼近任意非線性函數；v （2 2）信息的并行分布式處理與存儲；）信息的并行分布式處理與存

28、儲； v （3 3）可以多輸入、多輸出；）可以多輸入、多輸出；v （4 4）便于用超大規模集成電路（）便于用超大規模集成電路（visivisi）或光學集成電路系）或光學集成電路系統實現，或用現有的計算機技術實現；統實現，或用現有的計算機技術實現；v （5 5）能進行學習，以適應環境的變化。）能進行學習，以適應環境的變化。神經網絡特征及要素神經網絡特征及要素362 2 神經網絡要素神經網絡要素 決定神經網絡模型性能的三大要素為：決定神經網絡模型性能的三大要素為：（1 1）神經元（信息處理單元）的特性；）神經元（信息處理單元）的特性；（2 2）神經元之間相互連接的形式）神經元之間相互連接的形式拓撲

29、結構；拓撲結構；（3 3）為適應環境而改善性能的學習規則。）為適應環境而改善性能的學習規則。神經網絡特征及要素神經網絡特征及要素37神經網絡控制的研究領域神經網絡控制的研究領域 （1 1） 基于神經網絡的系統辨識基于神經網絡的系統辨識 將神經網絡作為被辨識系統的模型，可在已知常規模型將神經網絡作為被辨識系統的模型，可在已知常規模型結構的情況下，估計模型的參數。結構的情況下，估計模型的參數。 利用神經網絡的線性、非線性特性，可建立線性、非線利用神經網絡的線性、非線性特性，可建立線性、非線性系統的靜態、動態、逆動態及預測模型，實現非線性性系統的靜態、動態、逆動態及預測模型，實現非線性系統的建模和辨

30、識。系統的建模和辨識。38(2) (2) 神經網絡控制器神經網絡控制器 神經網絡作為實時控制系統的控制器，對不神經網絡作為實時控制系統的控制器，對不確定、不確知系統及擾動進行有效的控制，使控確定、不確知系統及擾動進行有效的控制，使控制系統達到所要求的動態、靜態特性。制系統達到所要求的動態、靜態特性。 (3) (3) 神經網絡與其他算法相結合神經網絡與其他算法相結合 將神經網絡與專家系統、模糊邏輯、遺傳算法將神經網絡與專家系統、模糊邏輯、遺傳算法等相結合，可設計新型智能控制系統。等相結合，可設計新型智能控制系統。神經網絡控制的研究領域神經網絡控制的研究領域 39(4) (4) 優化計算優化計算

31、在常規的控制系統中，常遇到求解約束優化問題，神經在常規的控制系統中，常遇到求解約束優化問題，神經網絡為這類問題的解決提供了有效的途徑。網絡為這類問題的解決提供了有效的途徑。 目前，神經網絡控制已經在多種控制結構中得到應用，目前，神經網絡控制已經在多種控制結構中得到應用，如如pidpid控制、模型參考自適應控制、前饋反饋控制、內模控制、模型參考自適應控制、前饋反饋控制、內模控制、預測控制、模糊控制等。控制、預測控制、模糊控制等。神經網絡控制的研究領域神經網絡控制的研究領域 40多層前向多層前向bp神經網絡神經網絡 最早由最早由werbos在在1974年提出的，年提出的，1985年由年由rumel

32、hart再次進行發展。再次進行發展。 n 多層前向神經網絡的結構多層前向神經網絡的結構多層前向神經網絡由輸入層、隱層（不少于多層前向神經網絡由輸入層、隱層（不少于1層）、輸出層組成，信號沿層）、輸出層組成，信號沿輸入輸入輸出的方向逐層傳遞。輸出的方向逐層傳遞。 41多層前向多層前向bp神經網絡神經網絡沿信息的傳播方向，給出網絡的狀態方程，用沿信息的傳播方向，給出網絡的狀態方程，用inj(i)， outj(i)表示第表示第i層第層第j個神經元個神經元的輸入和輸出，則各層的輸入輸出關系可描述為：的輸入和輸出，則各層的輸入輸出關系可描述為： 第一層（輸入層）：將輸入引入網絡第一層（輸入層）：將輸入引

33、入網絡 iiixinout) 1 () 1 (ni, 2 , 1第二層（隱層）第二層（隱層）niiijjoutwin1) 1 () 1 ()2()()2()2(jjinfoutlj, 2 , 1第三層（輸出層）第三層（輸出層） ljjjoutwinouty1)2()2()3()3(42多層前向多層前向bp神經網絡神經網絡n網絡的學習網絡的學習 學習的基本思想是：誤差反傳算法調整網絡的權值，使網絡的實際輸出盡可學習的基本思想是：誤差反傳算法調整網絡的權值，使網絡的實際輸出盡可能接近期望的輸出。能接近期望的輸出。 mkyxkk, 2 , 1),(tknkkkxxxx,21假設有假設有m個樣本個樣本

34、: 將第將第k個樣本個樣本xk輸入網絡，得到的網絡輸出為輸入網絡，得到的網絡輸出為 ky定義學習的目標函數為定義學習的目標函數為 ：mkkkyyj12)(2143多層前向多層前向bp神經網絡神經網絡為使目標函數最小，訓練算法是：為使目標函數最小，訓練算法是：)()() 1(twjtwtw)()() 1()2(1)2()2(twjtwtwjjj)()() 1() 1 (2) 1 () 1 (twjtwtwijijij令令 2)(21kkkyyj則則mkkwjwj1)2()2()2()(jkkjkkkjkoutyywyyjwj) 1 ()2() 1 ()2()2()2()2() 1 ()(ijkk

35、ijjjjjkkkijkoutfwyywininoutoutyyjwj 44多層前向多層前向bp神經網絡神經網絡學習的步驟：學習的步驟：（1）依次取第）依次取第k組樣本組樣本 mkyxkk, 2 , 1),(，將，將xk輸入網絡。輸入網絡。（2）依次計算）依次計算 mkkkyyj12)(21，如果，如果 j，退出。，退出。（3）計算）計算wjk（4）計算）計算mkkwjwj1（5）)()() 1(twjtwtw，修正權值，返回（，修正權值，返回（1） 如果樣本數少，則學習知識不夠；如果樣本多，則需計算更多的如果樣本數少，則學習知識不夠；如果樣本多，則需計算更多的djk/dw, ，訓練，訓練時間

36、長。可采用隨機學習法每次以樣本中隨機選取幾個樣本，計算時間長。可采用隨機學習法每次以樣本中隨機選取幾個樣本，計算 djk/dw, ，調，調整權值。整權值。 45例例4.1 多層前向多層前向bp網絡訓練網絡訓練訓練樣本訓練樣本siso：sampleinput=0 0.1 0.2 0.3 0.4;sampleoutput=4 2 2 2 2;網絡結構：網絡結構：46網絡輸入輸出關系：網絡輸入輸出關系：)(2iiiizfwy)exp(11)(iiiizzfiiixwz1需訓練的量：需訓練的量：iiiiww,2147訓練算法：訓練算法：515125122)()(kiikikkkkikizfkewyyj

37、wjwj51221515111)()exp()()()(kiiiiiiiiiiikiikkkkikixzfzwkewzzzfzfyyjwjwj51225151)()exp()()()(kiiiiiiiiikiikkkkikizfzzwkezfzfyyjjj51225151)()exp()()()(kiiiiiiiiiiikiikkkkikizfzwkezzzfzfyyjjj25151251)()( (2121kykyejjkkkkk481111iiiwjww2222iiiwjwwiiij3iiij4訓練初始參數：訓練初始參數：w1=rand(1,5);w2=rand(1,5);theta=ra

38、nd(1,5);beta=rand(1,5);learningrate1=0.2;learningrate2=0.4;learningrate3=0.2;learningrate4=0.2;49訓練后參數：訓練后參數：w1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;w2=0.6245 2.8382 0.6632 0.5783 3.5775;beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;theta=1.5832 0.1900 1.5406 1.6665 -0.1441;50訓練訓練1000次目標函數的變化曲線：次目標函數的變

39、化曲線：51訓練結束后神經網絡的輸出與樣本的擬和情況訓練結束后神經網絡的輸出與樣本的擬和情況52bpbp網絡的優點為：網絡的優點為：（1 1）只要有足夠多的隱層和隱層節點，）只要有足夠多的隱層和隱層節點，bpbp網絡可以逼近任網絡可以逼近任意的非線性映射關系；意的非線性映射關系；（2 2）bpbp網絡的學習算法屬于全局逼近算法，具有較強的泛網絡的學習算法屬于全局逼近算法，具有較強的泛化能力。化能力。（3 3）bpbp網絡輸入輸出之間的關聯信息分布地存儲在網絡的網絡輸入輸出之間的關聯信息分布地存儲在網絡的連接權中，個別神經元的損壞只對輸入輸出關系有較小的連接權中，個別神經元的損壞只對輸入輸出關系

40、有較小的影響，因而影響，因而bpbp網絡具有較好的容錯性。網絡具有較好的容錯性。53bpbp網絡的主要缺點為：網絡的主要缺點為：（1 1）待尋優的參數多，收斂速度慢；）待尋優的參數多，收斂速度慢；（2 2）目標函數存在多個極值點，按梯度下降法進行）目標函數存在多個極值點，按梯度下降法進行學習，很容易陷入局部極小值；學習，很容易陷入局部極小值；（3 3）難以確定隱層及隱層節點的數目。目前，如何）難以確定隱層及隱層節點的數目。目前，如何根據特定的問題來確定具體的網絡結構尚無很好根據特定的問題來確定具體的網絡結構尚無很好的方法，仍需根據經驗來試湊。的方法，仍需根據經驗來試湊。54v由于由于bpbp網

41、絡具有很好的逼近非線性映射的能力，網絡具有很好的逼近非線性映射的能力，該網絡在模式識別、圖像處理、系統辨識、函數該網絡在模式識別、圖像處理、系統辨識、函數擬合、優化計算、最優預測和自適應控制等領域擬合、優化計算、最優預測和自適應控制等領域有著較為廣泛的應用。有著較為廣泛的應用。v 由于由于bpbp網絡具有很好的逼近特性和泛化能力，網絡具有很好的逼近特性和泛化能力，可用于神經網絡控制器的設計。但由于可用于神經網絡控制器的設計。但由于bpbp網絡收網絡收斂速度慢，難以適應實時控制的要求。斂速度慢，難以適應實時控制的要求。55v bpbp網絡逼近仿真實例網絡逼近仿真實例v 使用使用bpbp網絡逼近對

42、象：網絡逼近對象： bpbp網絡逼近程序見網絡逼近程序見chap7_1.m chap7_1.m 23) 1(1) 1()()(kykykuky56v bpbp網絡模式識別網絡模式識別v 由于神經網絡具有自學習、自組織和并行處理等特征，并由于神經網絡具有自學習、自組織和并行處理等特征，并具有很強的容錯能力和聯想能力，因此，神經網絡具有模具有很強的容錯能力和聯想能力，因此，神經網絡具有模式識別的能力式識別的能力v 在神經網絡模式識別中，根據標準的輸入輸出模式對，采在神經網絡模式識別中，根據標準的輸入輸出模式對，采用神經網絡學習算法，以標準的模式作為學習樣本進行訓用神經網絡學習算法，以標準的模式作為

43、學習樣本進行訓練，通過學習調整神經網絡的連接權值。當訓練滿足要求練，通過學習調整神經網絡的連接權值。當訓練滿足要求后，得到的神經網絡權值構成了模式識別的知識庫，利用后，得到的神經網絡權值構成了模式識別的知識庫，利用神經網絡并行推理算法對所需要的輸入模式進行識別。神經網絡并行推理算法對所需要的輸入模式進行識別。57v 當待識別的輸入模式與訓練樣本中的某個輸入模式相同時，當待識別的輸入模式與訓練樣本中的某個輸入模式相同時，神經網絡識別的結果就是與訓練樣本中相對應的輸出模式。神經網絡識別的結果就是與訓練樣本中相對應的輸出模式。v 當待識別的輸入模式與訓練樣本中所有輸入模式都不完全當待識別的輸入模式與

44、訓練樣本中所有輸入模式都不完全相同時，則可得到與其相近樣本相對應的輸出模式。相同時，則可得到與其相近樣本相對應的輸出模式。v 當待識別的輸入模式與訓練樣本中所有輸入模式相差較遠當待識別的輸入模式與訓練樣本中所有輸入模式相差較遠時，就不能得到正確的識別結果，此時可將這一模式作為時，就不能得到正確的識別結果，此時可將這一模式作為新的樣本進行訓練，使神經網絡獲取新的知識，并存儲到新的樣本進行訓練，使神經網絡獲取新的知識，并存儲到網絡的權值矩陣中，從而增強網絡的識別能力。網絡的權值矩陣中，從而增強網絡的識別能力。v bpbp網絡的訓練過程如下：正向傳播是輸入信號從輸入層經網絡的訓練過程如下：正向傳播是

45、輸入信號從輸入層經隱層傳向輸出層，若輸出層得到了期望的輸出，則學習算隱層傳向輸出層，若輸出層得到了期望的輸出，則學習算法結束；否則，轉至反向傳播法結束；否則，轉至反向傳播58rbf神經網絡神經網絡596061vrbf網絡的逼近網絡的逼近62tnxxxx,.,21th.,h ,hm21jhhmjbxjj,2, 1),2c-exp(-h22jtn21jcc ,c cjijjjc 63t21,bmbbbjb,w21mjwwww h+w+h+whw=whkymmm2211)(2m(k)-(k)(21yyke)(64)2() 1(kwkwhyywwjjjmjj(k)-(k)(1)-(k(k)32jjjj

46、mjbcxhwyyb-(k)-(k)(2)-(k-1)-(k(1)-(k(k)jjjjjbbbbb2jjijjmjibcxwyyc-(k)-(k)(2)-(k-1)-(k(1)-(k(k)ijijijijijccccc 65陣陣( (即為即為對象的輸出對控制輸入的靈敏度信息對象的輸出對控制輸入的靈敏度信息) )算法為算法為：jacobianmjjjjjmbxchwkukykuky1211)()()()(k)ux 16623) 1(1) 1()()(kykykuky使用使用rbfrbf網絡逼近下列對象：網絡逼近下列對象：rbfrbf網絡逼近程序見網絡逼近程序見chap7_3.mchap7_3.m

47、。 67回歸神經網絡回歸神經網絡686970niiii,21(t)ii(k)jx(k)jsj(.)f(k)odwowiw71 drnndrnn網絡逼近的結構如圖所示，圖中網絡逼近的結構如圖所示，圖中k k為網絡的迭代步驟，為網絡的迭代步驟，u(k)u(k)和和y(k)y(k)為辨識器的輸入。為辨識器的輸入。drnndrnn為網絡辨識器。為網絡辨識器。y(k)y(k)為為被控對象實際輸出，被控對象實際輸出，y ym m(k)(k)為為drnndrnn的輸出。將系統輸出的輸出。將系統輸出y(k)y(k)及輸入及輸入u(k)u(k)的值作為辨識器的值作為辨識器drnndrnn的輸入，將系統輸出與網的

48、輸入，將系統輸出與網絡輸出的誤差作為辨識器的調整信號。絡輸出的誤差作為辨識器的調整信號。 72)()()(kxwkokyjjojm)()(ksfkxjj)() 1()(kiwkxwksiiijijojj732(k)21eke)()()()(kykytem)()()()()(kxkewykewkekwjojmojoj74)2() 1()(kwkwkwwwojojojoojoj1)-(k(k)()()()()()()()(kqwkewxxkykewkykewkekwijojiijjjmiijmiijiij)2() 1()(kwkwkwwwiijiijiijiiijiij1)-(k(k)()()()

49、()(kpwtewxxykewkekwjojdjjjmdjdj)2() 1()(kwkwkwwwdjdjdjddjdj1)-(k(k)75xxxfe1e1)()1()()(kxsfwxkpjjdjjj)()()(kisfwxkqijiijjijio,d76使用drnn網絡逼近下列對象：23) 1(1) 1()()(kykykukydrnn網絡逼近程序見chap7_4.m。 77是一種無導師學習的網絡是一種無導師學習的網絡腦神經科學研究表明：腦神經科學研究表明：傳遞感覺的神經元排列是按某種規律有序進行的，這種傳遞感覺的神經元排列是按某種規律有序進行的，這種排列往往反映所感受的外部刺激的某些物理特

50、征。排列往往反映所感受的外部刺激的某些物理特征。 大腦自組織神經網絡在接受外界輸入時，將會分成不同的區域，不同的區域對大腦自組織神經網絡在接受外界輸入時，將會分成不同的區域，不同的區域對不同的模式具有不同的響應特征，即不同的神經元以最佳方式響應不同性質的不同的模式具有不同的響應特征，即不同的神經元以最佳方式響應不同性質的信號激勵，從而形成一種拓撲意義上的有序排列信號激勵，從而形成一種拓撲意義上的有序排列 在這種網絡中，輸出節點與其鄰域其他節點在這種網絡中，輸出節點與其鄰域其他節點廣泛相連，并互相激勵。輸入節點和輸出節廣泛相連，并互相激勵。輸入節點和輸出節點之間通過強度點之間通過強度wij(t)

51、相連接。通過某種規則，相連接。通過某種規則，不斷地調整不斷地調整wij(t)，使得在穩定時，每一鄰域，使得在穩定時，每一鄰域的所有節點對某種輸入具有類似的輸出，并的所有節點對某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分且這種聚類的概率分布與輸入模式的概率分布相接近。布相接近。 大腦自組織神經網絡大腦自組織神經網絡78自組織學習算法：自組織學習算法：(1) 權值初始化并選定領域的大小權值初始化并選定領域的大小；(2) 輸入模式；輸入模式； (3) 計算空間距離計算空間距離102)()(niijijtwtxd式中式中xi(t)是是t時刻時刻i節點的輸入，節點的輸入，wij(t)

52、是輸入節點是輸入節點i與輸出節點與輸出節點j 的連接的連接強度，強度，n為輸入節點的數目；為輸入節點的數目； (4) 選擇節點選擇節點j*，它滿足，它滿足jjdmin(5) 按下式改變按下式改變j*和其領域節點的連接強度和其領域節點的連接強度 wij(t+1)= wij(t)+(t)xi(t)- wij(t), jj*的領域，的領域，0i in n-1 -1 式中式中(t)稱之為衰減因子。稱之為衰減因子。 (6) 返回到第返回到第(2)步，直至滿足步，直至滿足xi(t)- wij(t)2(為給定的誤差為給定的誤差)。 79例例4.2 大腦自組織網絡的訓練大腦自組織網絡的訓練輸入模式：輸入模式：

53、xx1,x2,x3網絡節點數量：網絡節點數量：9 鄰域：鄰域：1網絡初始權值：網絡初始權值：w= 0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025;801. 單模式訓練情況單模式訓練情況輸入為：輸入為：x=0 0 1結果：結果：w= 0.1122 0.0000 0.000

54、0 0.0000 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.0000 0.0000 0.0000 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025輸入為：輸入為：x=0 1 0結果：結果：w=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.0000 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 1.0

55、000 1.0000 1.0000 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.0000812. 多模式訓練情況多模式訓練情況1 0 00 1 00 0 1input=訓練結果：訓練結果：0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.00

56、00 0.0000 0.0000w網絡輸出：網絡輸出：output=input*w=0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000模式模式1模式模式2模式模式3模式模式2模式模式1模式模式3模式模式1模式模式2模式模式382小腦神經網絡小腦神經網絡小腦模型關節控制器（小腦模

57、型關節控制器（cmac）是由）是由albus最初于最初于1975年基于神經生理學提出年基于神經生理學提出的，它是一種基于局部逼近的簡單快速的神經網絡，能夠學習任意多維非線性的，它是一種基于局部逼近的簡單快速的神經網絡，能夠學習任意多維非線性映射映射, 迄今已廣泛用于許多領域。迄今已廣泛用于許多領域。cmac具有優點：具有優點：n 具有局部逼近能力，每次修正的權值極少，學習速度快，適合于在線具有局部逼近能力，每次修正的權值極少，學習速度快，適合于在線學習；學習；n 一定的泛化能力，相近輸入給出相近輸出，不同輸入給出不同輸出；一定的泛化能力，相近輸入給出相近輸出，不同輸入給出不同輸出；83ncma

58、c的原理的原理cmac是一種模仿人類小腦的學習結構。在這種技術里，每個狀態變量被量化并且輸入是一種模仿人類小腦的學習結構。在這種技術里，每個狀態變量被量化并且輸入空間被劃分成離散狀態。量化的輸入構成的向量指定了一個離散狀態并且被用于產生地空間被劃分成離散狀態。量化的輸入構成的向量指定了一個離散狀態并且被用于產生地址來激活聯想單元中存儲的聯想強度從而恢復這個狀態的信息。址來激活聯想單元中存儲的聯想強度從而恢復這個狀態的信息。對于輸入空間大的情況，聯想單元數量巨大，為了節省存儲空間，對于輸入空間大的情況，聯想單元數量巨大，為了節省存儲空間，albus提出了提出了hash編編碼，將聯想強度存于數量大

59、大少于聯想單元的碼，將聯想強度存于數量大大少于聯想單元的hash單元中，聯想單元中只存儲單元中，聯想單元中只存儲hash單單元的散列地址編碼元的散列地址編碼狀態空間聯想單元hash單元加法器輸出輸入空間狀態劃分84n cmac的空間劃分和量化機制的空間劃分和量化機制超立方體聯想單元“塊”1234876510912341234111213141516abcdefbacdef量化的第1 種方式量化的第2 種方式量化的第3 種方式量化的第1 種方式量化的第2 種方式量化的第3 種方式85ncmac學習的數學推導學習的數學推導1)無無hash映射的映射的cmac在在cmac中，每個量化的狀態對應中，每

60、個量化的狀態對應ne個聯想單元。假設個聯想單元。假設nh是總的聯想單元是總的聯想單元的數量，該數量與沒有的數量，該數量與沒有hash映射時的物理存儲空間大小一致。用映射時的物理存儲空間大小一致。用cmac技技術，第術，第s個狀態對應的輸出數據個狀態對應的輸出數據ys可以被表示為：可以被表示為： hhhnjjjsnnssstssccccwcy1,21,2 ,1 ,式中式中w是代表存儲內容（聯想強度）的向量，是代表存儲內容（聯想強度）的向量，cs是存儲單元激活向量，該向是存儲單元激活向量，該向量包含量包含ne個個1。在決定了空間的劃分方式后，對于指定的狀態，單元激活向。在決定了空間的劃分方式后，對于指定的狀態，單元激活向量量c