第四章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

(ArtificialNeuralNetworks-ANN)本章介紹神經(jīng)網(wǎng)絡(luò)的基本概念和基本理論，它包括引言、神經(jīng)網(wǎng)絡(luò)基本模型和學(xué)習(xí)規(guī)則。智能控制簡(jiǎn)明教程第2版4.1引言4.2神經(jīng)網(wǎng)絡(luò)基本概念4.3前饋神經(jīng)網(wǎng)絡(luò)4.4徑向基神經(jīng)網(wǎng)絡(luò)4.5反饋神經(jīng)網(wǎng)絡(luò)4.6神經(jīng)網(wǎng)絡(luò)的輸入輸出處理智能控制簡(jiǎn)明教程第2版4.1引言

神經(jīng)網(wǎng)絡(luò)的研究是從20世紀(jì)40年代開(kāi)始的，諸如大腦功能心理學(xué)研究，神經(jīng)元的電生理實(shí)驗(yàn)等

神經(jīng)科學(xué)研究。1943年心理學(xué)家M.McCulloch

數(shù)學(xué)家W.H.Pitts首先提出了第一個(gè)人工神經(jīng)元模型，簡(jiǎn)稱MP模型。智能控制簡(jiǎn)明教程第2版1949年心理學(xué)家D.O.Hebb提出了Hebb學(xué)習(xí)規(guī)則，用來(lái)改變神經(jīng)元之間連接強(qiáng)度。1958年F.Rodenblatt提出了感知器(Perceptron)模型。經(jīng)過(guò)了20多年的低潮之后，20世紀(jì)80年代神經(jīng)網(wǎng)絡(luò)研究又重新興起，成為智能控制的一個(gè)新分支，為解決復(fù)雜的非線性、不確定系統(tǒng)的控制開(kāi)辟了一個(gè)新途徑。智能控制簡(jiǎn)明教程第2版1982年，美國(guó)物理學(xué)家Hopfield教授提出了Hopfield神經(jīng)網(wǎng)絡(luò)模型，可用微電子器件實(shí)現(xiàn)它，并解決TSP問(wèn)題。1988年，提出了BP網(wǎng)絡(luò)算法——多層網(wǎng)絡(luò)學(xué)習(xí)的誤差逆?zhèn)鞑ァ?987年，IEEE召開(kāi)了第一屆ANN國(guó)際會(huì)議。1990年，我國(guó)也召開(kāi)了首屆ANN學(xué)術(shù)會(huì)議。人工神經(jīng)網(wǎng)絡(luò)——ArtificialNeuralNetworks(ANN)智能控制簡(jiǎn)明教程第2版神經(jīng)網(wǎng)絡(luò)的主要特征:1.并行處理、信息的分布存儲(chǔ)與容錯(cuò)性——結(jié)構(gòu)特征。

ANN是由大量簡(jiǎn)單處理元件相互連接構(gòu)成高度并行的非線性系統(tǒng)。信息存儲(chǔ)采用分布式。信息存儲(chǔ)：空間上分布，時(shí)間上并行

良好的容錯(cuò)性。智能控制簡(jiǎn)明教程第2版2.自學(xué)習(xí)、自組織、自適應(yīng)性

自適應(yīng)

自學(xué)習(xí)+自組織，而自學(xué)習(xí)是指外界變化，經(jīng)過(guò)訓(xùn)練和感知，ANN通過(guò)自動(dòng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，輸出

期望輸出。ANN在外部輸入條件下調(diào)整連接權(quán)

自組織，逐漸構(gòu)建起ANN。智能控制簡(jiǎn)明教程第2版ANN的功能:①聯(lián)想記憶

ANN通過(guò)預(yù)先存儲(chǔ)信息和自適應(yīng)學(xué)習(xí)機(jī)制，從不完整信息和噪聲干擾中恢復(fù)原始的完整信息。②非線性映射功能

通過(guò)輸入輸出樣本對(duì)的學(xué)習(xí)自動(dòng)提取映射規(guī)則。可以任意精度擬合任意復(fù)雜的非線性函數(shù)。

智能控制簡(jiǎn)明教程第2版神經(jīng)網(wǎng)絡(luò)在控制方面的應(yīng)用:1.基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)

已知模型結(jié)構(gòu)，估計(jì)模型參數(shù)2.神經(jīng)網(wǎng)絡(luò)控制器

實(shí)時(shí)控制系統(tǒng)，達(dá)到動(dòng)、靜態(tài)性能3.神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)、模糊邏輯、GAs（遺傳算法）相結(jié)合

非參數(shù)模型控制4.優(yōu)化計(jì)算

求解約束優(yōu)化、全局優(yōu)化5.控制系統(tǒng)的故障診斷

可靠性、安全性智能控制簡(jiǎn)明教程第2版神經(jīng)網(wǎng)絡(luò)控制解決的問(wèn)題（發(fā)展趨勢(shì)）:1.神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性與收斂性問(wèn)題。2.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度研究

如何滿足實(shí)時(shí)性要求。3.神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)的逼近問(wèn)題研究。4.神經(jīng)網(wǎng)絡(luò)模型的選擇。智能控制簡(jiǎn)明教程第2版4.2基本概念1.生物神經(jīng)元結(jié)構(gòu)ANN是受人腦的啟發(fā)而構(gòu)成的一種信息處理系統(tǒng)。人腦有數(shù)量級(jí)神經(jīng)元，但沒(méi)有任何兩個(gè)神經(jīng)元的形狀完全相同。①結(jié)構(gòu)神經(jīng)元：由細(xì)胞體、樹(shù)突和軸突構(gòu)成；細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜組成；智能控制簡(jiǎn)明教程第2版輸入輸出連接智能控制簡(jiǎn)明教程第2版軸突：又稱神經(jīng)纖維，它粗細(xì)均勻、表面光滑。功能：傳送細(xì)胞體發(fā)出的神經(jīng)信息，是該細(xì)胞的輸出通道；突觸：神經(jīng)元之間通過(guò)一個(gè)神經(jīng)元的軸突末梢和其他神經(jīng)元的細(xì)胞體或樹(shù)突通信連接，這種連接相當(dāng)于神經(jīng)元之間的輸入輸出接口

突觸樹(shù)突：從細(xì)胞體向外延伸出的許多突起的神經(jīng)纖維，形狀較短。神經(jīng)元靠樹(shù)突接受來(lái)自其他神經(jīng)元的輸入信號(hào)。智能控制簡(jiǎn)明教程第2版②功能興奮與抑制：a.當(dāng)傳入神經(jīng)元的沖動(dòng)，經(jīng)整合使細(xì)胞膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)

興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)。b.當(dāng)傳入神經(jīng)元的沖動(dòng)，經(jīng)整合使細(xì)胞膜電位降低，低于閾值時(shí)

抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。智能控制簡(jiǎn)明教程第2版學(xué)習(xí)與遺忘：神經(jīng)元結(jié)構(gòu)的可塑性，由突觸傳遞作用調(diào)整。細(xì)胞膜電位：神經(jīng)細(xì)胞在受到電的、化學(xué)的、機(jī)械刺激后，產(chǎn)生興奮，此時(shí)細(xì)胞膜內(nèi)外有電位差——20~100mv。智能控制簡(jiǎn)明教程第2版2.人工神經(jīng)元

1943年，由美國(guó)心理學(xué)家McCulloch和數(shù)學(xué)家Pitts共同建立的MP人工神經(jīng)元模型，是神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)。智能控制簡(jiǎn)明教程第2版

——神經(jīng)元j的輸出

——神經(jīng)元j的輸入(i=1,2···n；)

——神經(jīng)元的連接權(quán)值(j=1,2···n)

——神經(jīng)元的閾值（不是常值，隨興奮而變化）

——非線性函數(shù)智能控制簡(jiǎn)明教程第2版MP模型輸出智能控制簡(jiǎn)明教程第2版還可以寫為智能控制簡(jiǎn)明教程第2版3.作用函數(shù)（轉(zhuǎn)移函數(shù)，激活函數(shù)）a.非對(duì)稱型S函數(shù)智能控制簡(jiǎn)明教程第2版b.對(duì)稱型S函數(shù)智能控制簡(jiǎn)明教程第2版c.對(duì)稱型階躍函數(shù)（符號(hào)函數(shù)）智能控制簡(jiǎn)明教程第2版d.線性函數(shù)智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版4.神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)：各神經(jīng)元間相互連接的方式a.前饋式網(wǎng)絡(luò)（前向）智能控制簡(jiǎn)明教程第2版前向網(wǎng)絡(luò)智能控制簡(jiǎn)明教程第2版

1.神經(jīng)元分層排列，可多層

2.層間無(wú)連接

3.方向由入到出

感知網(wǎng)絡(luò)（perceptron即為此）應(yīng)用最為廣泛

前向網(wǎng)絡(luò)特點(diǎn)智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版注意：構(gòu)成多層網(wǎng)絡(luò)時(shí)，各層間的轉(zhuǎn)移函數(shù)應(yīng)是非線性的，否則多層等價(jià)一個(gè)單層網(wǎng)絡(luò)。另外，隱層的加入大大提高NN對(duì)信息的處理能力，經(jīng)過(guò)訓(xùn)練的多層網(wǎng)絡(luò)，具有較好的性能，可實(shí)現(xiàn)X→Y的任意非線性映射的能力。智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版5.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)功能a.學(xué)習(xí)方法學(xué)習(xí)是NN最重要的特征，學(xué)習(xí)learning，訓(xùn)練training。方法：給NN輸入一些樣本模式，按一定規(guī)則（學(xué)習(xí)算法）調(diào)整網(wǎng)絡(luò)各層的權(quán)矩陣，待各權(quán)值都收斂到一定值時(shí)，學(xué)習(xí)完成。實(shí)質(zhì)：NN的權(quán)陣隨外部環(huán)境的激勵(lì)作自適應(yīng)變化。智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版①有監(jiān)督學(xué)習(xí)（有導(dǎo)師學(xué)習(xí)）②無(wú)監(jiān)督學(xué)習(xí)（無(wú)導(dǎo)師學(xué)習(xí)）

③再勵(lì)學(xué)習(xí)（強(qiáng)化學(xué)習(xí)）智能控制簡(jiǎn)明教程第2版再勵(lì)學(xué)習(xí)：模擬人適應(yīng)環(huán)境的學(xué)習(xí)過(guò)程的一種機(jī)器學(xué)習(xí)模型。

有導(dǎo)師的監(jiān)督學(xué)習(xí)：雖學(xué)習(xí)效率高，但在控制中導(dǎo)師信號(hào)一般不易獲得。

無(wú)導(dǎo)師學(xué)習(xí)：效率低。

再勵(lì)學(xué)習(xí)：介于有導(dǎo)師與無(wú)導(dǎo)師之間的一種學(xué)習(xí)方式。智能控制簡(jiǎn)明教程第2版學(xué)習(xí)系統(tǒng)依據(jù)re和環(huán)境當(dāng)前狀態(tài)，再選擇下一動(dòng)作作用于環(huán)境，使受獎(jiǎng)勵(lì)的可能性增大。學(xué)習(xí)系統(tǒng)環(huán)境學(xué)習(xí)系統(tǒng)環(huán)境智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版

智能控制簡(jiǎn)明教程第2版①Hebb學(xué)習(xí)規(guī)則（無(wú)導(dǎo)師學(xué)習(xí)）

在Hebb學(xué)習(xí)規(guī)則中，取神經(jīng)元的輸出為學(xué)習(xí)信號(hào)：智能控制簡(jiǎn)明教程第2版神經(jīng)網(wǎng)絡(luò)調(diào)整權(quán)值的原則：若第i個(gè)與第j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們之間的連接權(quán)應(yīng)加強(qiáng)。符合心理學(xué)中條件反射的機(jī)理

兩個(gè)神經(jīng)元同時(shí)興奮（輸出同時(shí)為‘1’態(tài)）時(shí)w加強(qiáng)，否則應(yīng)削弱。智能控制簡(jiǎn)明教程第2版例：Hebb學(xué)習(xí)規(guī)則智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版4.3感知器（perceptron)

感知器是模擬人的視覺(jué)，接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的神經(jīng)網(wǎng)絡(luò)。分為單層與多層感知器，是一種具有學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)。①單層感知器

感知器模型是由美國(guó)學(xué)者F.Rosenblatt于1957年建立的，它是一個(gè)具有單層處理單元的神經(jīng)網(wǎng)絡(luò)。智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版感知器的輸出：智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版學(xué)習(xí)規(guī)則：智能控制簡(jiǎn)明教程第2版向量形式：智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版

智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版智能控制簡(jiǎn)明教程第2版下面討論單層感知器實(shí)現(xiàn)邏輯運(yùn)算問(wèn)題：a.單層感知器的邏輯“與”運(yùn)算智能控制簡(jiǎn)明教程第2版000-1.50o001-0.50o010-0.50o1110.51*智能控制簡(jiǎn)明教程第2版b.單層感知器的邏輯“或”運(yùn)算000-0.50o1010.51*1100.51*1111.51*智能控制簡(jiǎn)明教程第2版c.“異或”運(yùn)算

線性不可分00