第六章神經(jīng)網(wǎng)絡(luò)控制技術(shù)6.1神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和學(xué)習(xí)規(guī)則6.3典型前向網(wǎng)絡(luò)——BP網(wǎng)絡(luò)6.4典型反饋網(wǎng)絡(luò)——Hopfield網(wǎng)絡(luò)6.5應(yīng)用神經(jīng)網(wǎng)絡(luò)產(chǎn)生模糊集的隸屬函數(shù)6.6神經(jīng)網(wǎng)絡(luò)控制原理6.7神經(jīng)網(wǎng)絡(luò)在控制工程中的應(yīng)用6.8單神經(jīng)元控制的直流調(diào)速系統(tǒng)2023/1/151張秦艷神經(jīng)網(wǎng)絡(luò)是由眾多簡(jiǎn)單的神經(jīng)元連接而成的一個(gè)網(wǎng)絡(luò)。是高度非線性動(dòng)力學(xué)系統(tǒng)，可表達(dá)很多復(fù)雜的物理系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的下列特性對(duì)控制是至關(guān)重要的：(1)并行分布處理(2)非線性映射(3)通過(guò)訓(xùn)練進(jìn)行學(xué)習(xí)(4)適應(yīng)與集成(5)硬件實(shí)現(xiàn)2023/1/152張秦艷6.1神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元結(jié)構(gòu)：由細(xì)胞體、樹(shù)突和軸突組成。

2023/1/153張秦艷軸突通過(guò)軸突末梢向其它神經(jīng)元傳出神經(jīng)沖動(dòng)。樹(shù)突相當(dāng)于細(xì)胞的輸入端，它用于接受周圍其它神經(jīng)細(xì)胞傳入的神經(jīng)沖動(dòng)。神經(jīng)沖動(dòng)只能由前一級(jí)神經(jīng)元的軸突末梢傳向下一級(jí)神經(jīng)元的樹(shù)突或細(xì)胞體，不能作反方向的傳遞。神經(jīng)元具有兩種常規(guī)工作狀態(tài)：興奮與抑制，即滿足0—1律。當(dāng)傳入的神經(jīng)沖動(dòng)使細(xì)胞膜電位升高超過(guò)閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)并由軸突輸出；當(dāng)傳入的神經(jīng)沖動(dòng)使膜電位下降低于閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，沒(méi)有神經(jīng)沖動(dòng)輸出。2023/1/154張秦艷2023/1/155張秦艷2023/1/156張秦艷2023/1/157張秦艷3．常用的非線性函數(shù)經(jīng)過(guò)加權(quán)加法器和線性動(dòng)態(tài)系統(tǒng)進(jìn)行時(shí)空整合的信號(hào)，再經(jīng)非線性函數(shù)后即為神經(jīng)元的輸出，即非線性函數(shù)具有兩個(gè)顯著的特征，一是它的突變性，二是它的飽和性。2023/1/158張秦艷6.2神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和學(xué)習(xí)規(guī)則2023/1/159張秦艷

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類：層狀結(jié)構(gòu)和網(wǎng)狀結(jié)構(gòu)。

層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)是由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同層內(nèi)的神經(jīng)元不能聯(lián)接；

網(wǎng)狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)中，任何兩個(gè)神經(jīng)元之間都可能雙向聯(lián)接。

下面介紹四種常見(jiàn)的網(wǎng)絡(luò)結(jié)構(gòu):1.前向網(wǎng)絡(luò)(前饋網(wǎng)絡(luò))2.反饋網(wǎng)絡(luò)

3.相互結(jié)合型網(wǎng)絡(luò)

4.混合型網(wǎng)絡(luò)前向網(wǎng)絡(luò)(前饋網(wǎng)絡(luò))

反饋網(wǎng)絡(luò)

1．前向網(wǎng)絡(luò)(前饋網(wǎng)絡(luò))

前向網(wǎng)絡(luò)通常包含許多層，含有輸入層、隱層和輸出層的三層網(wǎng)絡(luò)。

2．反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)從輸出層到輸入層有反饋，既可接收來(lái)自其它節(jié)點(diǎn)的反饋輸入，又可包含輸出引回到本身輸入構(gòu)成的自環(huán)反饋。2023/1/1510張秦艷3．相互結(jié)合型網(wǎng)絡(luò)屬于網(wǎng)狀結(jié)構(gòu)，構(gòu)成網(wǎng)絡(luò)中的各個(gè)神經(jīng)元都可能相互雙向聯(lián)接。若某一時(shí)刻從神經(jīng)網(wǎng)絡(luò)外部施加一個(gè)輸入，各個(gè)神經(jīng)元一邊相互作用，一邊進(jìn)行信息處理，直到使網(wǎng)絡(luò)所有神經(jīng)元的活性度或輸出值，收斂于某個(gè)平均值作為信息處理的結(jié)束。

4．混合型網(wǎng)絡(luò)混合型網(wǎng)絡(luò)聯(lián)接方式介于前向網(wǎng)絡(luò)和相互結(jié)合型網(wǎng)絡(luò)之間，在同一層內(nèi)有互聯(lián)，目的是為了限制同層內(nèi)神經(jīng)元同時(shí)興奮或抑制的神經(jīng)元數(shù)目，以完成特定的功能.

。

2023/1/1511張秦艷神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

1．聯(lián)想式學(xué)習(xí)——Hebb規(guī)則2．誤差傳播式學(xué)習(xí)——Delta學(xué)習(xí)規(guī)則3．競(jìng)爭(zhēng)式學(xué)習(xí)2023/1/1512張秦艷2023/1/1513張秦艷2023/1/1514張秦艷2．誤差傳播式學(xué)習(xí)——Delta學(xué)習(xí)規(guī)則

2023/1/1515張秦艷3．競(jìng)爭(zhēng)式學(xué)習(xí)

競(jìng)爭(zhēng)式學(xué)習(xí)是屬于無(wú)教師學(xué)習(xí)方式。

基本競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)由兩層組成。第一層為輸入層，第二層為競(jìng)爭(zhēng)層。6.3典型前向網(wǎng)絡(luò)——BP網(wǎng)絡(luò)2023/1/1516張秦艷1.感知機(jī)基本感知機(jī)是一個(gè)兩層網(wǎng)絡(luò)，分為輸入層和輸出層，感知機(jī)的學(xué)習(xí)是典型的有教師學(xué)習(xí)(訓(xùn)練)。訓(xùn)練要素有兩個(gè)：訓(xùn)練樣本和訓(xùn)練規(guī)則。2023/1/1517張秦艷2023/1/1518張秦艷2.BP網(wǎng)絡(luò)1）BP網(wǎng)絡(luò)模型

通常所說(shuō)的BP模型，即誤差后向傳播神經(jīng)網(wǎng)絡(luò)，分為輸入層、隱層和輸出層。2023/1/1519張秦艷2023/1/1520張秦艷2023/1/1521張秦艷2023/1/1522張秦艷3)BP算法在逼近函數(shù)方面很成功，但也存在一些問(wèn)題：（1）收斂速度問(wèn)題由于使用了梯度下降算法，其收斂速度很慢，一種改進(jìn)的方法是在權(quán)值調(diào)整公式中加入慣性項(xiàng)，用以平滑權(quán)值變化：

慣性系數(shù)可以是定值，也可以隨著學(xué)習(xí)過(guò)程自適應(yīng)改變。

這樣，可以提高算法的收斂速度和改善動(dòng)態(tài)性能（抑制寄生振蕩）。2023/1/15張秦艷23（2）局部極小點(diǎn)問(wèn)題BP網(wǎng)絡(luò)含有大量連接權(quán)值，每個(gè)權(quán)值對(duì)應(yīng)一個(gè)維度，則整個(gè)網(wǎng)絡(luò)就對(duì)應(yīng)著一個(gè)非常高維空間中的誤差曲面。這個(gè)曲面不僅有全局最小點(diǎn)，還有局部極小點(diǎn)。逃離局部及小點(diǎn)的常用思路是：

在權(quán)值搜索過(guò)程中加入隨機(jī)因素，這就催生了隨機(jī)神經(jīng)網(wǎng)絡(luò)的思想。2023/1/15張秦艷24（3）學(xué)習(xí)步長(zhǎng)問(wèn)題學(xué)習(xí)因子太小，收斂很慢；太大，則可能導(dǎo)致網(wǎng)絡(luò)癱瘓和不穩(wěn)定，即在極小點(diǎn)附近震蕩。有些學(xué)者提出自適應(yīng)步長(zhǎng)，使得權(quán)值修改量隨著網(wǎng)絡(luò)的訓(xùn)練而不斷變化。基本原則是在學(xué)習(xí)開(kāi)始的時(shí)候步長(zhǎng)較大，在極小點(diǎn)附近時(shí)步長(zhǎng)逐漸變小。2023/1/15張秦艷256.4典型反饋網(wǎng)絡(luò)——Hopfield網(wǎng)絡(luò)美國(guó)物理學(xué)家Hopfield提出離散型Hopfield神經(jīng)網(wǎng)絡(luò)和連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)，引入“計(jì)算能量函數(shù)”的概念，給出了網(wǎng)絡(luò)穩(wěn)定性判據(jù)，尤其是給出了Hopfield神經(jīng)網(wǎng)絡(luò)的電子電路實(shí)現(xiàn)，開(kāi)拓了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑.

2023/1/1526張秦艷2023/1/15張秦艷27x1x2x3x4y1y2y3y4條件：wij=wjiwii=02023/1/1528張秦艷離散型Hopfield神經(jīng)網(wǎng)絡(luò)：2023/1/1529張秦艷結(jié)論：總有<0，這表明神經(jīng)網(wǎng)絡(luò)在運(yùn)行過(guò)程中能量將不斷降低，最后趨于穩(wěn)定的平衡狀態(tài)。

2023/1/1530張秦艷連續(xù)型Hopfield網(wǎng)絡(luò)2023/1/1531張秦艷

2023/1/1532張秦艷

2023/1/1533張秦艷Hopfield網(wǎng)絡(luò)中的問(wèn)題1.能量局部極小問(wèn)題

加入隨機(jī)擾動(dòng)，可使網(wǎng)絡(luò)有機(jī)會(huì)脫離局部極小狀態(tài)。2.容量問(wèn)題

對(duì)于一個(gè)N節(jié)點(diǎn)的離散Hopfield網(wǎng)絡(luò)，所能存儲(chǔ)的總記憶樣本數(shù)約為0.15N個(gè)。如果存儲(chǔ)的記憶模式多于此值，則錯(cuò)誤率大大上升。2023/1/15張秦艷346.5應(yīng)用神經(jīng)網(wǎng)絡(luò)產(chǎn)生模糊集的隸屬函數(shù)R1R22023/1/1535張秦艷2023/1/1536張秦艷2023/1/1537張秦艷2023/1/1538張秦艷2023/1/1539張秦艷2023/1/1540張秦艷2023/1/1541張秦艷2023/1/1542張秦艷接著，再用下一個(gè)數(shù)據(jù)點(diǎn)訓(xùn)練網(wǎng)絡(luò)，直至訓(xùn)練完所有的數(shù)據(jù)點(diǎn)為止。然后用驗(yàn)證數(shù)據(jù)集中的數(shù)據(jù)點(diǎn)驗(yàn)證神經(jīng)網(wǎng)絡(luò)的性能。6.6神經(jīng)網(wǎng)絡(luò)控制原理2023/1/1543張秦艷2023/1/1544張秦艷神經(jīng)網(wǎng)絡(luò)在控制中的作用分為以下幾種：

①在基于精確模型的各種控制結(jié)構(gòu)中充當(dāng)對(duì)象的模型。

②在反饋控制系統(tǒng)中直接充當(dāng)控制器。

③在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計(jì)算作用。

④在與其它智能控制方法和優(yōu)化算法的融合中,為其提供非參數(shù)化對(duì)象模型、優(yōu)化參數(shù)、推理模型及故障診斷等。

神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行處理，信息分布存儲(chǔ)，連續(xù)時(shí)間的非線性動(dòng)力學(xué)特性，高度的容錯(cuò)性和魯棒性，自組織、自學(xué)習(xí)和實(shí)時(shí)處理等特點(diǎn)，因而神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中得到了廣泛的應(yīng)用。6.7神經(jīng)網(wǎng)絡(luò)在控制工程中的應(yīng)用1.基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)

2023/1/1545張秦艷2023/1/1546張秦艷基本構(gòu)成原則：(1)模型的選擇原則

模型只是在某種意義下實(shí)際系統(tǒng)的一種近似描述，需選擇在滿足給定的誤差準(zhǔn)則下逼近原系統(tǒng)的最簡(jiǎn)單模型。(2)輸入信號(hào)的選擇原則

在辨識(shí)時(shí)間內(nèi)系統(tǒng)的動(dòng)態(tài)過(guò)程必須被輸入信號(hào)持續(xù)激勵(lì)，反映在頻譜上，要求輸入信號(hào)的頻譜必須足以覆蓋系統(tǒng)的頻譜，應(yīng)能使給定問(wèn)題的辨識(shí)模型精度最高。2023/1/1547張秦艷前向模型辨識(shí):神經(jīng)網(wǎng)絡(luò)模型與被建模的對(duì)象并聯(lián)，建模對(duì)象輸出與網(wǎng)絡(luò)輸出的差(預(yù)測(cè)誤差)作為網(wǎng)絡(luò)的訓(xùn)練信號(hào)。2023/1/1548張秦艷2023/1/15張秦艷492神經(jīng)網(wǎng)絡(luò)控制1）神經(jīng)網(wǎng)絡(luò)監(jiān)督控制2）神經(jīng)網(wǎng)絡(luò)直接逆控制3）基于神經(jīng)網(wǎng)絡(luò)的自適應(yīng)控制4）神經(jīng)網(wǎng)絡(luò)的內(nèi)模控制2023/1/1550張秦艷1）神經(jīng)網(wǎng)絡(luò)監(jiān)督控制NNC控制器對(duì)象r(t)y(t)e(t)u1(t)u2(t)u(t)神經(jīng)網(wǎng)絡(luò)控制器通過(guò)向傳統(tǒng)控制器的輸出進(jìn)行學(xué)習(xí)、在線調(diào)整自己，目標(biāo)是使反饋誤差e(t)或u1(t)趨近于零，從而使自己逐漸在控制作用中占主導(dǎo)地位，以便最終取消反饋控制器的作用。當(dāng)系統(tǒng)出現(xiàn)干擾時(shí)，反饋控制器仍然可以重新起作用。2023/1/1551張秦艷NN1NN2對(duì)象r(t)y(t)e(t)u(t)uN(t)NN1評(píng)價(jià)函數(shù)對(duì)象r(t)y(t)e(t)u(t)a)b)2）神經(jīng)網(wǎng)絡(luò)直接逆控制2023/1/1552張秦艷3）基于神經(jīng)網(wǎng)絡(luò)的自適應(yīng)控制2023/1/1553張秦艷（1）

神經(jīng)網(wǎng)絡(luò)模型參考自適應(yīng)控制a）直接模型參考控制：神經(jīng)網(wǎng)絡(luò)控制器的作用是使被控對(duì)象與參考模型輸出之差ec(t)=y(t)-ym(t)趨于0或ec(t)的二次型最小。b）間接模型參考控制：神經(jīng)網(wǎng)絡(luò)辨識(shí)器首先離線辨識(shí)被控對(duì)象的正向模型，并可由ei(t)進(jìn)行在線學(xué)習(xí)修正。NN1NN2對(duì)象r(t)y(t)e(t)u(t)uN(t)NN1評(píng)價(jià)函數(shù)對(duì)象r(t)y(t)e(t)u(t)a)b)2023/1/1554張秦艷2023/1/1555張秦艷4）神經(jīng)網(wǎng)絡(luò)的內(nèi)模控制神經(jīng)網(wǎng)絡(luò)正向模型神經(jīng)網(wǎng)絡(luò)控制器對(duì)象r(t)y(t)e(t)ym(t)du(t)濾波器NN1NN22023/1/1556張秦艷6.8單神經(jīng)元控制的直流調(diào)速系統(tǒng)從理論上講，由于神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的信息綜合能力，在計(jì)算速度能夠保證的條件下，可以解決任意復(fù)雜的控制問(wèn)題，但目前缺乏相應(yīng)的神經(jīng)網(wǎng)絡(luò)微機(jī)硬件的支持。近年來(lái)，單神經(jīng)元構(gòu)成的控制器結(jié)構(gòu)簡(jiǎn)