第4章BP網絡

主要內容：BP網絡的構成隱藏層權的調整分析Delta規那么理論推導算法的收斂速度及其改進討論BP網絡中的幾個重要問題重點：BP算法難點：Delta規那么的理論推導6/25/20251第一頁，共四十四頁。4.1概述

1、BP算法的出現非循環多級網絡的訓練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、算法不一定收斂3、優點：廣泛的適應性和有效性。6/25/20252第二頁，共四十四頁。4.2根本BP算法4.2.1網絡的構成

神經元的網絡輸入： neti=x1w1i+x2w2i+…+xnwni神經元的輸出：6/25/20253第三頁，共四十四頁。輸出函數分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應該將net的值盡量控制在收斂比較快的范圍內可以用其它的函數作為激活函數，只要該函數是處處可導的6/25/20254第四頁，共四十四頁。網絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)6/25/20255第五頁，共四十四頁。網絡的拓撲結構

BP網的結構輸入向量、輸出向量的維數、網絡隱藏層的層數和各個隱藏層神經元的個數的決定實驗：增加隱藏層的層數和隱藏層神經元個數不一定總能夠提高網絡精度和表達能力BP網一般都選用二級網絡6/25/20256第六頁，共四十四頁。網絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………WV6/25/20257第七頁，共四十四頁。4.2.2訓練過程概述

樣本：(輸入向量，理想輸出向量)權初始化：“小隨機數〞與飽和狀態；“不同〞保證網絡可以學。1、向前傳播階段：〔1〕從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網絡；〔2〕計算相應的實際輸出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))6/25/20258第八頁，共四十四頁。4.2.2訓練過程概述

2、向后傳播階段——誤差傳播階段：〔1〕計算實際輸出Op與相應的理想輸出Yp的差；〔2〕按極小化誤差的方式調整權矩陣。〔3〕網絡關于第p個樣本的誤差測度：〔4〕網絡關于整個樣本集的誤差測度：6/25/20259第九頁，共四十四頁。4.2.3誤差傳播分析

1、輸出層權的調整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq6/25/202510第十頁，共四十四頁。2、隱藏層權的調整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……6/25/202511第十一頁，共四十四頁。2、隱藏層權的調整δpk-1的值和δ1k，δ2k，…，δmk有關不妨認為δpk-1通過權wp1對δ1k做出奉獻，通過權wp2對δ2k做出奉獻，……通過權wpm對δmk做出奉獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)6/25/202512第十二頁，共四十四頁。2、隱藏層權的調整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……6/25/202513第十三頁，共四十四頁。4.2.4根本的BP算法樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}根本思想：逐一地根據樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)，W(2)，…，W(L)各做一次調整，重復這個循環，直到∑Ep<ε。用輸出層的誤差調整輸出層權矩陣，并用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現對權矩陣的修改。形成將輸出端表現出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程6/25/202514第十四頁，共四十四頁。算法4-1根本BP算法1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數ε；3E=ε+1;4whileE>εdo

4.1E=0;

6/25/202515第十五頁，共四十四頁。算法4-1根本BP算法4.2對S中的每一個樣本〔Xp,Yp〕： 4.2.1計算出Xp對應的實際輸出Op； 4.2.2計算出Ep； 4.2.3E=E+Ep； 4.2.4根據相應式子調整W(L)； 4.2.5k=L-1； 4.2.6whilek≠0do 4.2.6.1根據相應式子調整W(k)； 4.2.6.2k=k-14.3E=E/2.06/25/202516第十六頁，共四十四頁。4.3算法的改進1、BP網絡接受樣本的順序對訓練結果有較大影響。它更“偏愛〞較后出現的樣本2、給集中的樣本安排一個適當的順序，是非常困難的。3、樣本順序影響結果的原因：“分別〞、“依次〞4、用(X1,Y1)，〔X2,Y2〕，…，〔Xs,Ys〕的“總效果〞修改W(1)，W(2)，…，W(L)。 ?w(k)ij=∑?pw(k)ij 6/25/202517第十七頁，共四十四頁。算法4-2消除樣本順序影響的BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對所有的i，j，k：?w(k)ij=0；

6/25/202518第十八頁，共四十四頁。4.3對S中的每一個樣本〔Xp,Yp〕： 4.3.1計算出Xp對應的實際輸出Op； 4.3.2計算出Ep； 4.3.3E=E+Ep； 4.3.4對所有i，j根據相應式子計算?pw(L)ij； 4.3.5對所有i，j：?w(L)ij=?w(L)ij+?pw(L)ij； 4.3.6k=L-1； 4.3.7whilek≠0do 4.3.7.1對所有i,j根據相應式子計算?pw(k)ij； 4.3.7.2對所有i,j：?w(k)ij=?w(k)ij+?pw(k)ij； 4.3.7.3k=k-14.4對所有i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.06/25/202519第十九頁，共四十四頁。算法4-2分析

較好地解決了因樣本的順序引起的精度問題和訓練的抖動問題收斂速度：比較慢偏移量：給每一個神經元增加一個偏移量來加快收斂速度沖量：聯接權的本次修改要考慮上次修改的影響，以減少抖動問題6/25/202520第二十頁，共四十四頁。算法4-2分析——沖量設置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次的修改量，β為沖量系數，一般可取到0.9

Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)

?wij′也是上一次的修改量，β在0和1之間取值

6/25/202521第二十一頁，共四十四頁。4.4算法的實現

主要數據結構W[H，m]——輸出層的權矩陣；V[n，H]——輸入〔隱藏〕層的權矩陣；?o[m]——輸出層各聯接權的修改量組成的向量；?h[H]——隱藏層各聯接權的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；(X，Y)——一個樣本。6/25/202522第二十二頁，共四十四頁。算法的主要實現步驟

用不同的小偽隨機數初始化W，V；初始化精度控制參數ε；學習率α；

循環控制參數E=ε+1；循環最大次數M；循環次數控制參數N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對每一個樣本(X,Y)，執行如下操作

6/25/202523第二十三頁，共四十四頁。4.2對每一個樣本(X,Y)，執行的操作

4.2.1計算：O1=F1(XV)；O2=F2(O1W)；4.2.2計算輸出層的權修改量fori=1tom 4.2.2.1?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；6/25/202524第二十四頁，共四十四頁。4.2對每一個樣本(X，Y)，執行的操作4.2.4計算隱藏層的權修改量：fori=1toH 4.2.4.1Z=0； 4.2.4.2forj=1tomdoZ=Z+W[i,j]*?o[j]； 4.2.4.3Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改輸出層權矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*?h[i]；6/25/202525第二十五頁，共四十四頁。建議

隱藏層的神經元的個數H作為一個輸入參數同時將ε、循環最大次數M等，作為算法的輸入參數在調試階段，最外層循環內，加一層控制，以探測網絡是否陷入了局部極小點

6/25/202526第二十六頁，共四十四頁。4.5算法的理論根底根本假設網絡含有L層聯接矩陣：W(1)，W(2)，…，W(L)第k層的神經元：Hk個自變量數：n*H1+H1*H2+H2*H3+…+HL*m樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}誤差測度: 6/25/202527第二十七頁，共四十四頁。用E代表EP，用〔X，Y〕代表〔XP，YP〕 X=(x1，x2，…，xn) Y=(y1，y2，…，ym)該樣本對應的實際輸出為 O=〔o1，o2，…，om〕誤差測度6/25/202528第二十八頁，共四十四頁。誤差測度用理想輸出與實際輸出的方差作為相應的誤差測度6/25/202529第二十九頁，共四十四頁。最速下降法，要求E的極小點

wijE>0，此時Δwij<0取E<0,此時Δwij>0wij6/25/202530第三十頁，共四十四頁。而其中的

所以，

最速下降法，要求E的極小點6/25/202531第三十一頁，共四十四頁。令所以Δwij=αδjoiα為學習率最速下降法，要求E的極小點6/25/202532第三十二頁，共四十四頁。ANj為輸出層神經元

oj=f(netj)

容易得到

從而

6/25/202533第三十三頁，共四十四頁。ANj為輸出層神經元6/25/202534第三十四頁，共四十四頁。所以，故，當ANj為輸出層的神經元時，它對應的聯接權wij應該按照以下公式進行調整：ANj為輸出層神經元6/25/202535第三十五頁，共四十四頁。ANj為隱藏層神經元

函數6/25/202536第三十六頁，共四十四頁。ANj為隱藏層神經元netk=oi…o2o1oHhnetk是oj下一級的神經元的網絡輸入oj6/25/202537第三十七頁，共四十四頁。AN