1、3.53.5徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)模型徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)模型概述概述 p19851985年，年，PowellPowell提出了多變量插值的徑向基函提出了多變量插值的徑向基函數(shù)數(shù)(Radical Basis Function(Radical Basis Function，RBF)RBF)方法方法 p19881988年，年， MoodyMoody和和DarkenDarken提出了一種神經(jīng)網(wǎng)絡(luò)提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即結(jié)構(gòu)，即RBFRBF神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)pRBFRBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)pRBFRBF網(wǎng)絡(luò)的基本思想網(wǎng)絡(luò)的基本思想 用RBF作為隱單元的“基”構(gòu)成隱含層空間，將輸入矢

2、量直接(即不需要通過(guò)權(quán)連接)映射到隱空間 當(dāng)RBF的中心點(diǎn)確定后，映射關(guān)系也就確定隱含層空間到輸出空間的映射是線性的 RBF網(wǎng)絡(luò)特點(diǎn)l只有一個(gè)隱層，且隱層神經(jīng)元與輸出層神經(jīng)元的模型不同。l隱層節(jié)點(diǎn)激活函數(shù)為徑向基函數(shù)，輸出層節(jié)點(diǎn)激活函數(shù)為線性函數(shù)。l隱層節(jié)點(diǎn)激活函數(shù)的凈輸入是輸入向量與節(jié)點(diǎn)中心的距離（范數(shù)）而非向量?jī)?nèi)積，且節(jié)點(diǎn)中心不可調(diào)。l隱層節(jié)點(diǎn)參數(shù)確定后，輸出權(quán)值可通過(guò)解線性方程組得到。l隱層節(jié)點(diǎn)的非線性變換把線性不可分問(wèn)題轉(zhuǎn)化為線性可分問(wèn)題。l局部逼近網(wǎng)絡(luò)（MLP是全局逼近網(wǎng)絡(luò))，這意味著逼近一個(gè)輸入輸出映射時(shí)，在相同逼近精度要求下，RBF所需的時(shí)間要比MLP少。l具有唯一最佳逼近的特性

3、，無(wú)局部極小。l合適的隱層節(jié)點(diǎn)數(shù)、節(jié)點(diǎn)中心和寬度不易確定。 222exprr 22exp11rr 2/1221rr1. Gauss（高斯）函數(shù)：（高斯）函數(shù)：2. 反演反演S型函數(shù)：型函數(shù)：3. 擬多二次函數(shù)：擬多二次函數(shù)： 稱為基函數(shù)的擴(kuò)展常數(shù)稱為基函數(shù)的擴(kuò)展常數(shù)或?qū)挾?，或?qū)挾龋?越小，徑向基越小，徑向基函數(shù)的寬度越小，基函數(shù)函數(shù)的寬度越小，基函數(shù)就越有選擇性。就越有選擇性。徑向基函數(shù)（徑向基函數(shù)（RBF）全局逼近和局部逼近全局逼近網(wǎng)絡(luò)全局逼近網(wǎng)絡(luò)局部逼近網(wǎng)絡(luò)局部逼近網(wǎng)絡(luò)當(dāng)神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可當(dāng)神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可調(diào)參數(shù)調(diào)參數(shù)(權(quán)值和閾值權(quán)值和閾值)對(duì)任何對(duì)任何一個(gè)輸出都有影響，則稱該一

4、個(gè)輸出都有影響，則稱該神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)。對(duì)網(wǎng)絡(luò)輸入空間的某個(gè)局對(duì)網(wǎng)絡(luò)輸入空間的某個(gè)局部區(qū)域只有少數(shù)幾個(gè)連接部區(qū)域只有少數(shù)幾個(gè)連接權(quán)影響網(wǎng)絡(luò)的輸出，則稱權(quán)影響網(wǎng)絡(luò)的輸出，則稱該網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)該網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)學(xué)習(xí)速度很慢，無(wú)法滿足實(shí)時(shí)性要求的應(yīng)用學(xué)習(xí)速度很慢，無(wú)法滿足實(shí)時(shí)性要求的應(yīng)用學(xué)習(xí)速度快，有可能滿足有實(shí)時(shí)性要求的應(yīng)用學(xué)習(xí)速度快，有可能滿足有實(shí)時(shí)性要求的應(yīng)用RBF網(wǎng)絡(luò)的工作原理函數(shù)逼近：函數(shù)逼近：以任意精度逼近任一連續(xù)函數(shù)。一般函數(shù)都可表示成一組以任意精度逼近任一連續(xù)函數(shù)。一般函數(shù)都可表示成一組基函數(shù)的線性組合，基函數(shù)的線性組合，RBF網(wǎng)絡(luò)相當(dāng)于用隱層單元

5、的輸出構(gòu)網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù)，然后用輸出層來(lái)進(jìn)行線性組合，以完成成一組基函數(shù)，然后用輸出層來(lái)進(jìn)行線性組合，以完成逼近功能。逼近功能。分類：分類：解決非線性可分問(wèn)題。解決非線性可分問(wèn)題。RBF網(wǎng)絡(luò)用隱層單元先將非線性可網(wǎng)絡(luò)用隱層單元先將非線性可分的輸入空間設(shè)法變換到線性可分的特征空間（通常是高分的輸入空間設(shè)法變換到線性可分的特征空間（通常是高維空間），然后用輸出層來(lái)進(jìn)行線性劃分，完成分類功能。維空間），然后用輸出層來(lái)進(jìn)行線性劃分，完成分類功能。RBF神經(jīng)網(wǎng)絡(luò)兩種模型正規(guī)化網(wǎng)絡(luò)正規(guī)化網(wǎng)絡(luò)RN廣義網(wǎng)絡(luò)廣義網(wǎng)絡(luò)GN通用逼近器模式分類模式分類基本思想：基本思想：通過(guò)加入一個(gè)含有解的先

6、驗(yàn)知識(shí)的約束來(lái)通過(guò)加入一個(gè)含有解的先驗(yàn)知識(shí)的約束來(lái)控制映射函數(shù)的光滑性，若輸入一輸出映射控制映射函數(shù)的光滑性，若輸入一輸出映射函數(shù)是光滑的，則重建問(wèn)題的解是連續(xù)的，函數(shù)是光滑的，則重建問(wèn)題的解是連續(xù)的，意味著相似的輸入對(duì)應(yīng)著相似的輸出。意味著相似的輸入對(duì)應(yīng)著相似的輸出?；舅枷耄夯舅枷耄河脧较蚧瘮?shù)作為隱單元的用徑向基函數(shù)作為隱單元的“基基”，構(gòu)成隱含，構(gòu)成隱含層空間。隱含層對(duì)輸入向量進(jìn)行變換，將低維層空間。隱含層對(duì)輸入向量進(jìn)行變換，將低維空間的模式變換到高維空間內(nèi)，使得在低維空間的模式變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問(wèn)題在高維空間內(nèi)線性可分?？臻g內(nèi)的線性不可分問(wèn)題在高維空間內(nèi)

7、線性可分。兩種模型的比較隱節(jié)點(diǎn)隱節(jié)點(diǎn)=輸入樣本數(shù)輸入樣本數(shù)隱節(jié)點(diǎn)隱節(jié)點(diǎn)輸入樣本數(shù)輸入樣本數(shù) 所有輸入樣本設(shè)為所有輸入樣本設(shè)為徑向基函數(shù)的中心徑向基函數(shù)的中心徑向基函數(shù)的中心徑向基函數(shù)的中心由訓(xùn)練算法確定由訓(xùn)練算法確定徑向基函數(shù)徑向基函數(shù)取統(tǒng)一的擴(kuò)展常數(shù)取統(tǒng)一的擴(kuò)展常數(shù)徑向基函數(shù)的擴(kuò)展常數(shù)徑向基函數(shù)的擴(kuò)展常數(shù)不再統(tǒng)一由訓(xùn)練算法確定不再統(tǒng)一由訓(xùn)練算法確定沒(méi)有設(shè)置閾值沒(méi)有設(shè)置閾值輸出函數(shù)的線性中包含閾值參數(shù)，輸出函數(shù)的線性中包含閾值參數(shù)，用于補(bǔ)償基函數(shù)在樣本集上的用于補(bǔ)償基函數(shù)在樣本集上的平均值與目標(biāo)值之平均值之間的差別。平均值與目標(biāo)值之平均值之間的差別。RNGN3.5.1 RBF神經(jīng)網(wǎng)絡(luò)模型 p徑

8、向基神經(jīng)網(wǎng)絡(luò)的神經(jīng)元結(jié)構(gòu)p激活函數(shù)采用徑向基函數(shù) 以輸入和權(quán)值向量之間的以輸入和權(quán)值向量之間的 距離作為自變量距離作為自變量 2- distR( dist )=edistp徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) pRBF網(wǎng)絡(luò)與BP網(wǎng)絡(luò)比較：RBFRBF網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)和，網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)和，學(xué)習(xí)速度加快學(xué)習(xí)速度加快 BPBP網(wǎng)絡(luò)使用網(wǎng)絡(luò)使用sigmoid()sigmoid()函數(shù)作為激活函數(shù)，這函數(shù)作為激活函數(shù)，這樣使得神經(jīng)元有很大的輸入可見(jiàn)區(qū)域樣使得神經(jīng)元有很大的輸入可見(jiàn)區(qū)域 徑向基神經(jīng)網(wǎng)絡(luò)使用徑向基函數(shù)（一般使用徑向基神經(jīng)網(wǎng)絡(luò)使用徑向基函數(shù)（一般使用高斯函數(shù)）

9、作為激活函數(shù)，神經(jīng)元輸入空間區(qū)高斯函數(shù)）作為激活函數(shù)，神經(jīng)元輸入空間區(qū)域很小，因此需要更多的徑向基神經(jīng)元域很小，因此需要更多的徑向基神經(jīng)元 RBF學(xué)習(xí)算法RBF學(xué)習(xí)的三個(gè)參數(shù)：基函數(shù)的中心 方差（擴(kuò)展常數(shù)） 隱含層與輸出層間的權(quán)值ijwiit當(dāng)采用當(dāng)采用正歸化正歸化RBFRBF網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，隱節(jié)點(diǎn)數(shù)即樣本數(shù)，基函結(jié)構(gòu)時(shí)，隱節(jié)點(diǎn)數(shù)即樣本數(shù)，基函數(shù)的數(shù)據(jù)中心即為樣本本身，參數(shù)設(shè)計(jì)只需考慮擴(kuò)展常數(shù)數(shù)的數(shù)據(jù)中心即為樣本本身，參數(shù)設(shè)計(jì)只需考慮擴(kuò)展常數(shù)和輸出節(jié)點(diǎn)的權(quán)值。和輸出節(jié)點(diǎn)的權(quán)值。當(dāng)采用當(dāng)采用廣義廣義RBFRBF網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，結(jié)構(gòu)時(shí)，RBFRBF網(wǎng)絡(luò)的學(xué)習(xí)算法應(yīng)該解決網(wǎng)絡(luò)的學(xué)習(xí)算法應(yīng)該解決的問(wèn)題

10、包括：如何確定網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)，如何確定的問(wèn)題包括：如何確定網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)，如何確定各徑向基各徑向基函數(shù)的數(shù)據(jù)中心及擴(kuò)展常數(shù)，以及如何修正輸出權(quán)值函數(shù)的數(shù)據(jù)中心及擴(kuò)展常數(shù)，以及如何修正輸出權(quán)值。p學(xué)習(xí)方法分類（按RBF中心選取方法的不同分）隨機(jī)選取中心法隨機(jī)選取中心法自組織選取中心法自組織選取中心法有監(jiān)督選取中心法有監(jiān)督選取中心法正交最小二乘法等正交最小二乘法等3.5.2 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法p自組織選取中心學(xué)習(xí)方法 第一步，自組織學(xué)習(xí)階段第一步，自組織學(xué)習(xí)階段無(wú)導(dǎo)師學(xué)習(xí)過(guò)程，求解隱含層基函數(shù)的中心與方差； 第二步，有導(dǎo)師學(xué)習(xí)階段第二步，有導(dǎo)師學(xué)習(xí)階段求解隱含層到輸出層之間的權(quán)值。p高斯函數(shù)作為徑向

11、基函數(shù)221R()=exp(-)2pipiccxxp網(wǎng)絡(luò)的輸出網(wǎng)絡(luò)的輸出( (網(wǎng)絡(luò)結(jié)構(gòu)如圖網(wǎng)絡(luò)結(jié)構(gòu)如圖2-212-21所示所示 ) )p設(shè)設(shè)d d是樣本的期望輸出值，那么基函數(shù)的方差是樣本的期望輸出值，那么基函數(shù)的方差可表示為可表示為 : :21mjjijdy cPh22i=11y =exp(-)=1,2,2jijpiwcjnxp自組織選取中心算法步驟自組織選取中心算法步驟1.1.基于基于K-K-均值聚類方法求取基函數(shù)中心均值聚類方法求取基函數(shù)中心（1）網(wǎng)絡(luò)初始化。 u隨機(jī)選取 個(gè)訓(xùn)練樣本作為聚類中心 。（2）將輸入的訓(xùn)練樣本集合按最近鄰規(guī)則分組。u 按照 與中心為 之間的歐氏距離將 分配到輸

12、入樣本的各個(gè)聚類集合 中。（3）重新調(diào)整聚類中心。 u計(jì)算各個(gè)聚類集合 中訓(xùn)練樣本的平均值，即新的聚類中心 ，如果新的聚類中心不再發(fā)生變化，則所得到的即為RBF神經(jīng)網(wǎng)絡(luò)最終的基函數(shù)中心，否則返回（2），進(jìn)入下一輪的中心求解。h(1,2, )ic ihpxicpx(1,2, )ppPpicic2.2.求解方差求解方差 RBFRBF神經(jīng)網(wǎng)絡(luò)的基函數(shù)為高斯函數(shù)時(shí)，方差可由下式求解：神經(jīng)網(wǎng)絡(luò)的基函數(shù)為高斯函數(shù)時(shí)，方差可由下式求解：u式中 為中所選取中心之間的最大距離。3.3.計(jì)算隱含層和輸出層之間的權(quán)值計(jì)算隱含層和輸出層之間的權(quán)值隱含層至輸出層之間神經(jīng)元的連接權(quán)值可以用最小二乘法隱含層至輸出層之間神經(jīng)

13、元的連接權(quán)值可以用最小二乘法直接計(jì)算得到，計(jì)算公式如下：直接計(jì)算得到，計(jì)算公式如下：max,1,2,2icihhmaxc22maxexp()1,2, , ;1,2, ,pihwxcpPihc3.5.3 RBF網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn) 函函 數(shù)數(shù) 名名功功 能能newrbnewrb()()新建一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)新建一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)newrbenewrbe()()新建一個(gè)嚴(yán)格的徑向基神經(jīng)網(wǎng)絡(luò)新建一個(gè)嚴(yán)格的徑向基神經(jīng)網(wǎng)絡(luò)newgrnnnewgrnn()()新建一個(gè)廣義回歸徑向基神經(jīng)網(wǎng)絡(luò)新建一個(gè)廣義回歸徑向基神經(jīng)網(wǎng)絡(luò)newpnnnewpnn()()新建一個(gè)概率徑向基神經(jīng)網(wǎng)絡(luò)新建一個(gè)概率徑向基神

14、經(jīng)網(wǎng)絡(luò)pRBFRBF網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLABMATLAB函數(shù)及功能函數(shù)及功能pnewrbnewrb()()功能 建立一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)建立一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)格式 net = newrb(Pnet = newrb(P，T T，GOALGOAL，SPREADSPREAD，MNMN，DF)DF)說(shuō)明 P P為輸入向量，為輸入向量，T T為目標(biāo)向量，為目標(biāo)向量，GOALGOAL為圴方誤差，為圴方誤差，默認(rèn)為默認(rèn)為0 0，SPREADSPREAD為徑向基函數(shù)的分布密度，默為徑向基函數(shù)的分布密度，默認(rèn)為認(rèn)為1 1，MNMN為神經(jīng)元的最大數(shù)目，為神經(jīng)元的最大數(shù)目，DFDF為兩次顯示為兩次顯示之間所添加的神經(jīng)

15、元神經(jīng)元數(shù)目。之間所添加的神經(jīng)元神經(jīng)元數(shù)目。 pnewrbenewrbe()()功能 建立一個(gè)嚴(yán)格的徑向基神經(jīng)網(wǎng)絡(luò)建立一個(gè)嚴(yán)格的徑向基神經(jīng)網(wǎng)絡(luò), ,嚴(yán)格是指徑向基嚴(yán)格是指徑向基神經(jīng)網(wǎng)絡(luò)的神經(jīng)元的個(gè)數(shù)與輸入值的個(gè)數(shù)相等。神經(jīng)網(wǎng)絡(luò)的神經(jīng)元的個(gè)數(shù)與輸入值的個(gè)數(shù)相等。格式 (1) net = newrb(P(1) net = newrb(P，T T， SPREAD)SPREAD)說(shuō)明 各參數(shù)的含義見(jiàn)各參數(shù)的含義見(jiàn)NewrbNewrb。舉例：RBF網(wǎng)絡(luò)實(shí)現(xiàn)函數(shù)逼近 1.問(wèn)題的提出：假設(shè)如下的輸入輸出樣本，輸入向量為-1 1區(qū)間上等間隔的數(shù)組成的向量P,相應(yīng)的期望值向量為T。P=-1:0.1:1;T=-0

16、.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201;%以輸入向量為橫坐標(biāo)，期望值為縱坐標(biāo)，繪制訓(xùn)練用樣本的數(shù)據(jù)點(diǎn)。figure;plot(P,T,+)title(訓(xùn)練樣本)xlabel(輸入矢量P)ylabel(目標(biāo)矢量T)grid on%目的是找到一個(gè)函數(shù)能夠滿足這21個(gè)數(shù)據(jù)點(diǎn)的輸入/輸出關(guān)系，其中一個(gè)方法是通過(guò)構(gòu)建徑向基函數(shù)網(wǎng)絡(luò)來(lái)進(jìn)行

17、曲線擬合2.網(wǎng)絡(luò)設(shè)計(jì)：設(shè)計(jì)一個(gè)徑向基函數(shù)網(wǎng)絡(luò)，網(wǎng)絡(luò)有兩層，隱含層為徑向基神經(jīng)元，輸出層為線性神經(jīng)元。 p=-3:0.1:3;a=radbas(p);figure;plot(p,a)title(徑向基傳遞函數(shù))xlabel(輸入p)ylabel(輸出a) grid on % 每一層神經(jīng)元的權(quán)值和閾值都與徑向基函數(shù)的位置和寬度有關(guān)系，輸出層的線性神經(jīng)元將這些徑向基函數(shù)的權(quán)值相加。如果隱含層神經(jīng)元的數(shù)目足夠，每一層的權(quán)值和閾值正確，那么徑向基函數(shù)網(wǎng)絡(luò)就完全能夠精確的逼近任意函數(shù)。 a2=radbas(p-1.5);a3=radbas(p+2);a4=a+a2*1+a3*0.5;figure;plot

18、(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-);title(徑向基傳遞函數(shù)之和)xlabel(輸入p)ylabel(輸出a) grid on % 應(yīng)用newb()函數(shù)可以快速構(gòu)建一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)，并且網(wǎng)絡(luò)自動(dòng)根據(jù)輸入向量和期望值進(jìn)行調(diào)整，從而進(jìn)行函數(shù)逼近，預(yù)先設(shè)定均方差精度為eg以及散布常數(shù)sc。eg=0.02;sc=1;net=newrb(P,T,eg,sc);3.網(wǎng)絡(luò)測(cè)試：將網(wǎng)絡(luò)輸出和期望值隨輸入向量變化的曲線繪制在一張圖上，就可以看出網(wǎng)絡(luò)設(shè)計(jì)是否能夠做到函數(shù)逼近。 figure;plot(P,T,+);xlabel(輸入);X=-1:0.01:1;Y=sim(net,X);hold on;plot(X,Y);hold off;legend(目標(biāo),輸出) grid onp例例2 2 建立一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)，對(duì)非線性函數(shù)建立一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)，對(duì)非線性函數(shù)y=sqrt(xy=sqrt(x) )進(jìn)行逼近，并作出網(wǎng)絡(luò)的逼近誤差曲線。進(jìn)行逼近，并作出網(wǎng)絡(luò)的逼近誤差曲線。 %輸入從0開(kāi)始變化到5，每次變化幅度為0.1%輸入從0開(kāi)始變化到5，每次變化幅度為0.1x=0:0.1:5;x=0:0.1:5;y=sqrt(x);y=sqrt(x);%建立一個(gè)目標(biāo)誤差為0，徑向基函數(shù)的分布密度為%建立一個(gè)目標(biāo)誤差為0，徑向基函數(shù)的分布密度為%0.5，隱