人工神經元網絡控制論1編輯版ppt本章主要內容

人工神經元網絡概述

神經元模型和神經網絡

前向神經網絡模型

動態神經網絡模型

神經網絡控制基礎

神經網絡控制的學習機制

神經網絡控制器的設計2編輯版ppt一、人工神經元網絡概述

模糊控制從人的經驗出發，解決了智能控制中人類語言的描述和推理問題，尤其是一些不確定性語言的描述和推理問題，從而在機器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。

但是，模糊控制在處理數值數據、自學習能力等方面還遠沒有達到人腦的境界。人工神經網絡從另一個角度出發，即從人腦的生理學和心理學著手，通過人工模擬人腦的工作機理來實現機器的部分智能行為。

人工神經網絡（簡稱神經網絡，NeuralNetwork）是模擬人腦思維方式的數學模型。3編輯版ppt1.神經網絡發展歷史

神經網絡的發展歷程經過4個階段。(1)啟蒙期（1890-1969年）1890年，W.James發表專著《心理學》，討論了腦的結構和功能。1943年，心理學家W.S.McCulloch和數學家W.Pitts提出了描述腦神經細胞動作的數學模型，即M-P模型（第一個神經網絡模型）。1949年，心理學家Hebb實現了對腦細胞之間相互影響的數學描述，從心理學的角度提出了Hebb學習法則。1958年，E.Rosenblatt提出了描述信息在人腦中貯存和記憶的數學模型，即著名的感知機模型（Perceptron）。4編輯版ppt1962年，Widrow和Hoff提出了自適應線性神經網絡，即Adaline網絡，并提出了網絡學習新知識的方法，即Widrow和Hoff學習規則（即δ學習規則），并用電路進行了硬件設計。(2)低潮期（1969-1982）受當時神經網絡理論研究水平的限制及馮·諾依曼式計算機發展的沖擊等因素的影響，神經網絡的研究陷入低谷。

在美、日等國有少數學者繼續著神經網絡模型和學習算法的研究，提出了許多有意義的理論和方法。1969年，S.Groisberg和A.Carpentet提出了至今為止最復雜的ART網絡，該網絡可以對任意復雜的二維模式進行自組織、自穩定和大規模并行處理。1972年，Kohonen提出了自組織映射的SOM模型。5編輯版ppt(3)復興期（1982-1986）1982年，物理學家Hoppield提出了Hoppield神經網絡模型，該模型通過引入能量函數，實現了問題優化求解。1984年，Hoppield用Hoppield神經網絡模型成功地解決了旅行商路徑優化問題(TSP)。1986年，Rumelhart和McCelland等出版《ParallelDistributedProcessing》一書中提出了一種著名的多層神經網絡模型，即BP網絡，迄今為止應用最普遍的神經網絡。(4)新連接機制時期（1986-現在）神經網絡從理論走向應用領域，出現了神經網絡芯片和神經計算機。應用領域有：模式識別與圖象處理（語音、指紋、故障檢測和圖象壓縮等）、通信等。6編輯版ppt2.神經網絡基本原理

神經生理學和神經解剖學的研究表明，人腦極其復雜，由一千多億個神經元交織在一起的網狀結構構成，其中大腦皮層約140億個神經元，小腦皮層約1000億個神經元。為了能利用數學模型來模擬人腦的活動，完成學習等智能活動，導致了神經網絡的研究。

神經系統的基本構造是神經元(神經細胞)，它是處理人體內各部分之間相互信息傳遞的基本單元。每個神經元都由一個細胞體，一個連接其他神經元的軸突和一些向外伸出的其它較短分支—樹突組成。7編輯版ppt軸突功能是將本神經元的輸出信號(興奮)傳遞給別的神經元，其末端的許多神經末梢使得興奮可以同時傳給多個神經元。

樹突的功能是接受來自其它神經元的興奮。

神經元細胞體將接收到的所有信號進行簡單地處理后，由軸突輸出。神經元的軸突與另外神經元神經末梢相連的部分稱為突觸。8編輯版ppt9編輯版ppt所以，決定神經網絡模型性能三大要素為：10編輯版ppt3.神經網絡的分類目前神經網絡模型的種類相當豐富，已有近40余種神經網絡模型。根據神經網絡的連接方式，可分為三種形式：(1)前向網絡神經元分層排列，組成輸入層、隱含層和輸出層。每一層的神經元只接受前一層神經元的輸入。輸入模式經過各層的順次變換后，由輸出層輸出。在各神經元之間不存在反饋。感知器和誤差反向傳播網絡采用前向網絡形式。

11編輯版ppt(2)反饋網絡網絡結構在輸出層到輸入層存在反饋，即每一個輸入節點都有可能接受來自外部的輸入和來自輸出神經元的反饋。這種神經網絡是一種反饋動力學系統，它需要工作一段時間才能達到穩定。

Hopfield神經網絡是反饋網絡中最簡單且應用最廣泛的模型，它具有聯想記憶的功能，還可以解決尋優問題。12編輯版ppt(3)自組織網絡Kohonen網絡是最典型的自組織網絡。當神經網絡在接受外界輸入時，網絡的不同區域具有不同的響應特征，即不同的神經元以最佳方式響應不同性質的信號激勵，從而形成一種拓撲意義上的非線性映射。這種映射是通過無監督的自適應過程完成的，所以也稱為自組織特征圖。13編輯版ppt二、神經元模型和神經網絡1.神經元模型14編輯版ppt通常情況下，取即15編輯版pptai1ai2ainbi1bi2bimwiy1y2ynu1ukum1vixiyi●神經元網絡的一般模型框架1）加法器2）線性動態系統（SISO）3）靜態非線性系統︰︰16編輯版ppt通常情況下，可以假設常用的神經元非線性特征有以下四種：1）閾值型函數2）分段線性型函數17編輯版ppt3）Sigmoid函數型4）Tan函數型函數18編輯版ppt

學習是針對一組給定輸入使網絡產生相應的期望輸出的過程。總的來說，神經網絡的學習算法分為兩大類，有導師指導學習和無導師指導學習，分別如下圖：2.神經網絡的學習算法距離計算神經網絡神經網絡有導師指導的神經網絡學習方式

無導師指導的神經網絡學習方式19編輯版ppt有導師學習——在訓練過程中，紿終存在一個期望的網絡輸出。期望輸出和實際輸出之間的距離作為誤差度量并用于調整權值。無導師學習——網絡不存在一個期望的輸出值，因而沒有直接的誤差信息，因此，為實現對網絡的訓練，需建立一個間接的評價函數，以對網絡的某種行為趨向作出評價。20編輯版ppt

學習規則根據連接權系數的改變方式不同又可以分為以下三類：

（1）相關學習僅僅根據連接間的激活水平改變權系數。它常用于自聯想網絡，執行特殊記憶狀態的死記式學習。最常見的學習算法是Hebb規則。簡化后，函數g和h與其第一個自變量成正比，則有：有導師：21編輯版ppt（2）糾錯學習依賴關于輸出節點的外部反饋改變權系數，它常用于感知器網絡、多層前向傳播網絡和Boltzman機網絡。其學習方法是梯度下降法。最常見的學習方法有規則、模擬退火學習規則。感知器學習規則：delta學習規則：22編輯版ppt（3）無導師學習學習表現為自動實現輸入空間的檢測和分類，關鍵不在于實際節點的輸出怎樣與外部期望輸出相一致，而在于調整參數以反映所觀察事件的分布。無導師指導下的學習有時又稱為自組織訓練，輸入樣本就可以進行網絡的訓練。在整個訓練過程中，神經網絡權系數調整的目的是保證此網絡能夠將相類似的輸入樣本映射到相近似的輸出單元。實質是從輸入樣本集中抽取其統計特性。（聚類分析）23編輯版ppt神經網絡理論研究中困擾人們的問題：

神經網絡能否實現期望的表示？滿足期望輸入輸出映射的網絡權陣是否存在？學習算法能否保證權值收斂于真值？權值能否通過網絡訓練達到最佳值？神經網絡的泛化能力是否充分？訓練樣本集是否合理？能否充分描述系統的輸入輸出特性？

24編輯版ppt25編輯版ppt3.神經網絡的泛化能力

人們希望人工神經網絡能容許某些變化，即與樣本輸入矢量存在差異時，其神經網絡的輸出同樣能夠準確地呈現出應有的輸出。這種能力就稱這神經網絡的泛化能力。

泛化或插值都需要一定數量的樣本訓練集。很顯然，如果僅僅只有少數樣本點，那么點之間的曲線形狀的不確定性將是相當嚴重的。

用有限的樣本數據集很難正確的確定其他點的輸出情況，目前沒有很好的解決辦法。26編輯版ppt三、前向神經網絡模型前向神經網絡——由一層或多層非線性處理單元組成的。相鄰層之間通過突觸權陣連接起來。由于前一層的輸出作為下一層的輸入，因此稱此類網絡結構為前向神經網絡。

基本概念

前向神經網絡可以看成一種一組輸入模式到一組輸出模式的系統變換。這種變換通過對某一給定的輸入樣本相應的輸出數據集的訓練而得到。在前向網絡結構中輸入輸出之間包含著一層或多層隱含層。27編輯版ppt單一人工神經元的激勵輸出是由一組連續輸入信號決定的。這些輸入信號代表著從另外神經元傳遞過來的神經脈沖的瞬間激勵。設代表神經元的連續輸出狀態值，在離散情況下，取0或1來表示神經元的興奮或抑制。（1）單一人工神經元（單元）2.神經網絡的學習算法

單一神經元的輸入項Net由輸入信號

的線性組合構成，即

式中，為閾值；是決定第個輸入的突觸權系數。

式中，表示神經元激勵函數。

如果輸出變量是一個二值元素，則在平衡點

表示興奮狀態，表示抑制狀態。30編輯版ppt二值輸出的神經元：只含興奮和抑制兩種狀態的單一神經元可以看作是一個分類器，即能對任意一組輸入信號進行是否屬于的分類映射。連續輸出的單一神經元：神經元可以作為一個最簡單的神經控制器進行參數自適應控制，如傳統的PID調節器就可以用單一神經元來實現。這樣，可以通過神經元的連接權系數來達到PID參數的自適應。31編輯版ppt

單層神經網絡結構是由個輸入單元和個輸出單元組成的，見下圖。（2）單層神經網絡結構32編輯版ppt多層傳播結構是在輸入層和輸出層之間嵌入一層或多層隱含層的網絡結構。隱含單元既可以與輸入輸出單元相連，也可以與其它隱含單元相連。（3）多層神經網絡結構隱含層單元與輸入單元之間通過突觸權系數連接，并可用矩陣表示全部的連接關系，隱含單元與輸出單元通過突觸權系數表示，全部連接關系可用矩陣記之。33編輯版ppt34編輯版ppt35編輯版ppt36編輯版ppt其中一般取為與網絡結構相關的非線性算子。神經網絡可以通過合適樣本集，即外部給定的輸入輸出矢量對，來進行訓練，調整其權值矩陣。3、多層傳播網絡的BP學習算法

前向傳播網絡實質上表示的是一種從輸入空間到輸出空間的映射。對于給定的輸入矢量，其神經網絡的響應為37編輯版ppt

權值矩陣系數的調整是通過對所有樣本的誤差指標

達到極小的方法來實現的。式中，表示期望的輸出；表示當前網絡的實際輸出；表示距離函數。誤差指標函數可以用平方誤差和來表示，即：

針對所有的樣本集，前向神經網絡進行權值矩陣系數的迭代調整，直到誤差指標滿足要求為止。（1）單層神經網絡的學習算法——基于最小二乘其中，引入N個樣本數據后，總的樣本誤差為：令樣本誤差對權值的微分為0，則有：最小二乘意義上的最優解為：

現在考慮多層前向傳播網絡見下圖。設輸入模式為，則相應的隱含單元的輸出為：L+1層前向傳播網絡結構示意圖（2）多層神經網絡的學習算法

很顯然，隱含單元輸出是輸入矢量和它們之間的突觸權系數的函數。突觸權系數由學習算法來訓練。

根據層網絡結構可知，網絡的輸出為

其中，第個隱含層的輸入是第個隱含層的輸出，所以反向傳播：將誤差信號按神經網絡通路反向計算，按梯度下降法調整各層神經元的權值和閥值，使誤差信號減小。正向傳播：輸入信號從輸入層經隱含層傳向輸出層，若輸出層達到期望的輸出，學習算法結束；否則，轉至反向傳播。BP學習算法——誤差反向傳播學習算法

梯度下降法——求函數極小值的迭代算法

基本概念

設是準則函數，為一向量。是在點

的梯度，為一向量，其方向是增長最快的方向；負梯度方向，則是減小最快的方向。

因此，若求某函數的極大值，沿著梯度方向走，可最快達到最大點；反之，沿負梯度方向走，可最快達到最小點。根據誤差指標函數：按照梯度下降法反向計算：定義

其中又稱為廣義誤差。

則可記：46編輯版ppt

這就是說，要使按梯度下降，就必須按下式進行權值調整：其中，上標變量表示第個隱含層，

為第層第單元到第層的第單元連接系數；為學習步長。47編輯版ppt若為輸出單元層，則若為輸出單元層，考慮到所有層的神經元輸入激勵信號都與第層的神經元輸出相關，利用復合微分規則對求微分需對所有層的輸入激勵信號分別求微分之和：BP學習算法的訓練過程

給定P組樣本。這里為維輸入矢量，為維期望的輸出矢量，，假設矢量和分別表示網絡的輸出層和隱含層的輸出矢量。則訓練過程可分為：1）選，作為最大容許誤差，并將權系數，初始化成某一小的隨機權矩陣。49編輯版ppt2）訓練開始

根據

計算出各隱含層神經元的激勵輸出和各輸出層神經元的激勵輸出。3）計算誤差50編輯版ppt4）計算出廣義誤差5）調整權陣系數6）若，轉2），否則轉7）

7）若，結束，否則，轉2）

從理論上來說，具有一個隱含層的神經網絡能實現任意連續函數的逼近。但在訓練過程中仍有許多問題值得討論。對訓練過程有較大影響的是有權系數的初值、學習方式、激勵函數、學習速率等。52編輯版ppt

初始化加輸入和期望輸出計算隱層和輸出層的輸出迭代次數加1調節輸出層和隱層的連接權值

改變訓練樣板訓練樣終止？迭代終止？BP算法的基本流程NoNoyy53編輯版ppt學習方式本書所采用的學習算法是根據廣義誤差

得到的，這種學習算法又稱增量型學習算法。其缺點是權值調整只滿足逼近最近的那個樣本。權系數的初值一般情況下，權系數通常初始化成小的隨機值，盡量可能覆蓋整個權陣的空間域。從而可以避免出現初始權陣系數相同的情況。若采用累積型學習方法，則有：54編輯版ppt激勵函數常規Sigmoid函數在輸入趨于1時其導數接近0，從而容易產生飽和現象。因此，可以通過調節Sigmoid函數的斜率或采用其它激勵單元來改善網絡的學習性能。學習速度一般說來，學習速率越大，收斂越快，但容易產生振蕩；而學習速率越小，收斂越慢。55編輯版ppt

小結BP學習算法本質上屬于一次收斂的學習算法；BP學習算法存在局部極小問題，且學習速度很慢，甚至會在極值點附近出現振蕩現象，而不能平滑地趨于最優解；可采用某種平滑的權值更新公式例如下圖所示的多層前向傳播神經網絡結構假設對于期望的輸入

試用BP算法訓練此網絡。這里，取神經元激勵函數：學習步長為57編輯版ppt解：

1）輸入最大容許逼近誤差值最大迭代學習次數iterafemax.

置初始迭代學習次數iterate=02）計算當前輸入狀態下、當前網絡的連接權系數下的神經網絡輸出。3)判斷神經網絡逼近誤差滿足要求或迭代學習達到最大容許值否？若上述不等式中有一個滿足，則退出學習。否則進入下一步。4）計算廣義誤差輸出層隱含層5）連接權系數更新令，繼續迭代計算直至滿足終止條件為止例利用多層前向傳播神經網絡逼近非線性函數解訓練算法采用傳統的BP學習算法，其中樣本集取20點，即

選擇MLP網絡結構為：1個輸入神經元、6個隱含層神經元和1個輸出神經元。神經元激勵函數都為Sigmoid函數初始權系數陣由（0,1）之間的隨機數組成。學習步長選擇為，下面給出了此神經網絡的BP學習算法的平方誤差曲線的收斂過程。為了驗證此神經網絡逼近的泛化性，我們又選擇了30個校驗樣本數據集，它們的取值為63編輯版ppt均方誤差y

針對同樣的樣本集對含有兩個隱含層的MLP進行了仿真試驗。第一隱含層的隱含神元經數為4、第二隱含層的隱含神元經數為2,學習步長BP算法的學習曲線神經網絡的逼近性能均方誤差y65編輯版ppt

結論增加隱含層的數目并不一定意味著能夠改善逼近精度；傳統的BP學習算法在極值點附近訓練速度相當慢；如果神經網絡的訓練結果不夠理想，應該重新對神經網絡進行訓練；當輸入信號與訓練的樣本信號相距較遠時，神經網絡的輸出可能會產生完全不準確的結果；66編輯版ppt四動態神經網絡模型

雖然前向傳播網絡是一種強有力的學習系統，系統結構簡單且易于編程，但其并不注重系統的動力學行為，而現實世界中的許多系統恰恰是非線性動態系統，如何利用神經網絡實現動態系統的逼近和控制？問題的提出

解決方法研究反饋動力學神經網絡模型67編輯版ppt

由簡單非線性神經元互連而成的反饋動力學神經網絡系統具有如下兩個重要的特征。系統有若干個穩定狀態。如果從某一初始狀態開紿運動，系統總可以進入某一穩定狀態。系統的穩定狀態可以通過改變相連單元的權值而產生。

因此，神經網絡的設計和應用必須建立在對其動力學特性的理解的基礎上，穩定性是其重要性質，而能量函數是判定網絡穩定性的基本概念。68編輯版ppt穩定性——神經網絡從任一初態X（0）開紿運動，若存在某一有限的時刻。從以后神經網絡的狀態不再發生變化，即則稱網絡是穩定的處于穩定時刻的網絡狀態叫穩定狀態，又稱定點吸引子。

基本概念

反饋的引入是構成動態神經網絡的基礎。反饋網絡的一個重要特征是系統具有穩定狀態。動態神經網絡的典型代表是Hopfield網絡、帶時滯的多層感知器網絡、回歸神經網絡等等。69編輯版ppt1、帶時滯的多層感知器網絡一個帶時滯的多層感知器網絡結構圖如下所示多層感知器網絡抽頭時滯環節

這種網絡結構可以有效地描述輸出是有限維獨立的輸入序列函數的動態系統：70編輯版ppt

由于不存在反饋，故其訓練方法完全套用傳統的BP學習算法。而帶反饋的動態網絡系統具有比純前饋神經網絡更優越的性能。此類帶反饋的神經網絡通常又稱為回歸神經網絡。一種將反饋引入到神經網絡中來的簡單方法是將輸出的時延直接加到網絡輸入端。多層感知器網絡抽頭時滯環節

抽頭時滯環節X(k)X(k-1)X(k-n)X(k-m)Y(k-2)Y(k-1)X(k)Y(k)

回歸神經網絡的學習可以直接利用靜態前向傳播神經網絡的BP算法解決。72編輯版ppt2.Hopfield神經網絡（硬件電路）Hopfield網絡可以用一組耦合的非線性微分方程來表示；在任何初始狀態下都能漸進趨于穩定態，這一穩定態是由神經元之間的連接權系數決定的；具備快速優化能力；（1）二值型的Hopfield網絡(離散型的Hopfield網絡)

只有一個神經元層次,每個處理單元均有一個活躍值，又可稱為狀態，它取兩個可能的狀態值之一，通常用0和1或－1和1來表示神經元的抑制和興奮狀態.73編輯版ppt

整個網絡的狀態由單一神經元的狀態組成。網絡的狀態可用一個由0(-1)/1組成的矢量來表示，其中每一元素對應于某個神經元的狀態。通常二值型的Hopfield網絡可以用如下節點方程式來描述。式中，表示時間變量；表示外部輸入；表示神經元輸出；表示神經元內部狀態；表示閥值函數。

神經元之間實現全連接，即每個神經元的輸出都通過權系數反饋到所有其它神經元（包括自身神經元）二值型Hopfield網絡的結構圖75編輯版ppt含有n個節點的離散Hopfield網絡有2n個可能的狀態；網絡狀態變化采用隨機性異步更新策略；節點狀態更新包括三種情況：0→1、1→0，或狀態保持；某一時刻網絡中只有一個節點被選擇進行狀態更新，其余的節點保持原有狀態；Hopfield神經網絡的狀態轉移例

假設一個3節點的離散Hopfield神經網絡，已知網絡權值與閥值如下圖所示。計算狀態轉移關系。0.00.00.1-0.50.20.6解以初始狀態為例，我們可以依次選擇節點，確定其節點興奮的條件及狀態的轉移。圖a)

3節點離散hopfield網絡77編輯版ppt假設首先選擇節點，激勵函數為:

可見，節點處于興奮狀態并且狀態由0→1。網絡狀態由000→100，轉移概率為1/3。同樣其它兩個節點也可以以等概率發生狀態變化，它們的激勵函數為節點和狀態保持不變。因此，由狀態000不會轉移到001和010。110000001-0.6-0.43/31/30100111111000.41/30.01/3-0.32/32/31/31/30.01/31/31/30.01/3-0.11/31/31/31/31/31012/3

從這個例子上可以看出，系統狀態是一個網絡的穩定狀態；網絡從任意一個初始狀態開始經幾次的狀態更新后都將到達此穩態。圖b)

3節點離散hopfield網絡狀態轉移圖Hopfield網絡狀態變化的核心是每個狀態定義一個能量E，任意一個神經元節點狀態變化時，能量E都將減小。能量減小是Hopfield網絡系統穩定的重要標記。引入能量函數研究反饋神經網絡的穩定性。Hopfield神經網絡中的狀態變化導致能量函數E的下降，并且能量函數的極小值點與網絡穩定狀態有著緊密的關系定理離散Hopfield神經網絡的穩定狀態與能量函數E在狀態空間的局部極小狀態是一一對應的。例：計算上例中的各狀態能量。

解：首先看狀態時，由b)圖可知，狀態111可以轉移到011。狀態011的能量為

同理，可以計算出其它狀態對應的能量，結果如圖b所示。方框內的數字所示為能量。顯然，狀態011處的能量最小。從任意初始狀態開始，網絡沿能量減小方向更新狀態，最終能達到能量極小所對應的穩定。

神經網絡的能量極小狀態又稱為能量井。能量井的存在為信息的分布存儲記憶、神經優化計算提供了基礎。能量井的分布是由連接權值決定的。因此，設計能量井的核心是如何獲得一組合適的權值。權值設計通常有兩種方法:靜態產生方法——

根據求解問題的要求直接計算出所需要的連接權值，一旦權值確定下來就不再改變；動態產生方法——

通過提供一種學習機制來訓練網絡，使其能自動調整連接權值，產生期望的能量井；83編輯版ppt例3-3以圖（下圖）所示的3節點DHNN為例，要求設計的能量井為狀態和111。權值和閥值可在[-1,1]區間取值。試確定網絡權值和閥值。圖

3節點DHNN模型當神經網絡達到能量井時，神經網絡狀態則進入穩定狀態，不再發生變化。要想使其進入所選擇的穩態，只有修改網絡的權值和閥值。分析

記為狀態A，為狀態B。對于狀態A，節點激勵函數必須滿足下列不等式：

解：

因為點的神經元輸入激勵函數值為：，當系統處于穩態時，必須要求，這樣才能保持狀態不變。①②③85編輯版ppt

同理，可得其余兩個神經元也應該滿足相應的不等式。對于狀態B，權系數也必須滿足以下不等式。

利用上面6個不等式可以求出6個未知量的允許取值范圍。假設取，則由上面節①式得④⑤⑥取

由④得，

由②得，

由⑤得，

由⑥得，

由③得，取取取取取

因此，需要記憶穩定A和B的3點DHNN網絡的一組權系數值為：

可以驗證，利用這組參數構成的DHNN，對于任一初始狀態，最終都將達到所期望的穩態A或B。

由于網絡權值和閥值的選擇可以在某一個范圍內進行，因此，它的解并不是唯一的，有可能產生我們不期望的能量井。針對上例。如果選擇權值和閥值為：

可以驗證，這組值是滿足上面約束的要求，由這組參數構成DHNN有三個能量井，除010、111外，還有一假能量井100。100101001011001000010111110圖DHNN狀態轉移圖89編輯版pptDHNN的學習只是在此神經網絡用于聯想記憶時才有意義。其實質是通過一定的學習規則自動調整連接權值，使網絡具有期望的能量井分布，并經記憶樣本存儲在不同的能量井中。常用的Hopfield網絡學習規則是Hebb學習規則和學習規則。Hebb學習規則

設有N個神經元相互連接，每個神經元的活化狀態只能取0或1，分別代表抑制和興奮。

調節的原則為：若與兩個神經元同時處于興奮狀態，則它們之間的連接加強，即

對于一給定的需記憶的樣本向量，如果的狀態值為＋1或－1，則其連接權系數的學習可以利用“外積規則”即

對于單端情況，即神經元的活躍值為1或0時，則權系數的學習規則為91編輯版ppt具體的計算步驟可歸結為：

1）置；

2）輸入，對所有連續對的權系數分別按外積規則或單端狀況計算。一旦學習完成，Hopfield網絡就可以用作聯想記憶即對于某一帶噪聲的輸入模式，Hopfield網絡將收斂于與學習樣本最相近的穩態模式。92編輯版ppt

學習規則學習算法的基本公式為：即計算每一個神經元節點的實際激活值，并與期望狀態進行比較，若不滿足要求，則將二者的誤差值的一小部分作為調整量，調整具有激活輸入（狀態為1的輸入端）的節點的權值或閥值；若滿足要求，則相應的權值或閥值不需修整。2、Hopfield神經網絡的聯想記憶

前面已經提到，能量井的存在為實現神經網絡聯想記憶提供了保證。同樣，聯想記憶功能也是DHNN的一個重要應用特征。要實現聯想記憶，神經網絡必須具備兩個基本條件：能夠收斂于穩定狀態，利用此穩態來記憶樣本信息；具有回憶能力，能夠從某一局部輸入信息回憶起與其相關的相似記憶，或者由等一殘缺的信息回憶起比較完整的記憶。94編輯版pptDHNN實現聯想記憶分為兩個階段，即學習記憶階段和聯記回憶階段：學習記憶階段——實質上是設計能量井的分布，對于要記憶的樣本信息，通過一定的學習規則訓練網絡，確定一組合適的權值的閥值，使網絡具有期望的穩態。聯記回憶階段——當給定網絡某一輸入模式的情況下，網絡能夠通過自身的動力學狀態演化過程達到與其在海明距離意義上最近的穩態，從而實現自聯想或異聯想回憶。95編輯版pptDHNN用于聯想記憶有兩個突出特點，即：

記憶是分布式的，聯想是動態的。這與人腦的聯想記憶實現機理相類似。利用網絡能量井來存儲記憶樣本，按照反饋動力學活動規律喚起記憶，顯示出DHNN聯想記憶實現方法的重要價值。96編輯版ppt五神經網絡控制基礎1.神經網絡控制神經網絡控制的優越性：97編輯版ppt3）神經網絡是本質的非線性系統。它可以實現任何非線性映射。而在非線性系統的控制中有很大前途。

4）神經網絡具有很強的信息綜合能力。它能夠同時處理大量不同類型的輸入。利用此功能人們可以有效地進行信息的融合。

5）神經網絡的硬件實現愈趨方便。大規模集成電路技術的發展為神經網絡的硬件實現提供了技術手段。98編輯版ppt

神經網絡控制系統一般分為兩大類：神經網絡控制：它是以神經網絡為基礎而形成的獨立智能控制系統；混合神經網絡控制：利用神經網絡學習和優化能力來改善傳統控制的現代控制方法；如自適應神經控制等。2、神經網絡控制器分類99編輯版ppt100編輯版ppt101編輯版ppt102編輯版ppt103編輯版ppt104編輯版ppt105編輯版ppt（6）混合控制系統由神經網絡技術與模糊控制、專家系統等結合形成的一種具有很強學習能力的智能控制系統，它集人工智能各分支的優點，