1、版權所有版權所有 復制必究復制必究 200920091 1第五章典型人工神經網絡第五章典型人工神經網絡版權所有版權所有 復制必究復制必究 200920092 2版權所有版權所有 復制必究復制必究 200920093 3版權所有版權所有 復制必究復制必究 200920094 41000netynet0w 01x t01,nxxxxt01,nww ww1000tnetw xnetynet版權所有版權所有 復制必究復制必究 200920095 51000netynet1-1ynete版權所有版權所有 復制必究復制必究 200920096 6nxr0,1y0tw x 0tw x 版權所有版權所有 復制

2、必究復制必究 200920097 7jnjjxwu 0 ufy 01x1x2xnw1w2wn.x0 = 1w0n m-p感知機是一個多輸入單輸出的模型，雖然結構簡感知機是一個多輸入單輸出的模型，雖然結構簡單，但具有一定的計算能力。單，但具有一定的計算能力。n 通過學習（權重），它能夠正確地分類樣本（二分類）通過學習（權重），它能夠正確地分類樣本（二分類），但只能線性分類。，但只能線性分類。 ifif00 uuy單一人工神經元單一人工神經元單層感知機單層感知機版權所有版權所有 復制必究復制必究 200920098 8 000010100111 0000111011111x2x02211xwxw0

3、0021ww01021ww00121ww01121ww1x2x5 . 1121ww02211xwxw00021ww01021 ww00121 ww01121 ww1x2x2x1x與與邏邏輯輯或或邏邏輯輯分類能力分析分類能力分析5 . 0121ww版權所有版權所有 復制必究復制必究 200920099 91x 0000111011101x2x02211xwxw00021ww01021 ww00121 ww01121ww2x1x2x1x21120wwww異異或或邏邏輯輯2x2x1xandorxor02211xwxw版權所有版權所有 復制必究復制必究 200920091010單層感知機單層感知機 通

4、過適當?shù)倪x擇權重，單層感知機能夠實現(xiàn)通過適當?shù)倪x擇權重，單層感知機能夠實現(xiàn)and, or, not布爾邏輯。布爾邏輯。l單層感知機找不到相應的權重來實現(xiàn)單層感知機找不到相應的權重來實現(xiàn)xor邏輯邏輯l單層感知機不具備非線性分類能力！單層感知機不具備非線性分類能力！版權所有版權所有 復制必究復制必究 200920091111版權所有版權所有 復制必究復制必究 200920091212版權所有版權所有 復制必究復制必究 200920091313x1x2xni1ijw2kiwy1y2onyhnhni, 2 , 1inj, 2 , 1onk, 2 , 112版權所有版權所有 復制必究復制必究 2009

5、20091414隱含層輸出：隱含層輸出：111iniijjijow x11xwo輸出層輸出輸出層輸出：221hnkkiikiyw o211122211222xwwxwwowy版權所有版權所有 復制必究復制必究 200920091515x1x2xniy1y2ynollkw1hn)1( lhn1ijwl1l1inonllllllllxwwwy12111211版權所有版權所有 復制必究復制必究 200920091616 nrmr版權所有版權所有 復制必究復制必究 200920091717前向傳播網絡實質上表示的是一種從輸入空間到輸出空前向傳播網絡實質上表示的是一種從輸入空間到輸出空間的映射。間的映射

6、。網絡的訓練實質上是對網絡的訓練實質上是對突觸權陣的調整突觸權陣的調整，以滿足當輸入，以滿足當輸入為為xpxp時其輸出應為時其輸出應為ydyd。思想：思想：前向計算得到網絡的輸出前向計算得到網絡的輸出, , 反向計算得到誤差的積反向計算得到誤差的積累，由梯度下降法調整權值。累，由梯度下降法調整權值。版權所有版權所有 復制必究復制必究 200920091818神經網絡神經網絡w期望期望輸出輸出dypy網絡輸出網絡輸出px輸入輸入信號信號權值調整權值調整+-前向計算前向計算反向計算反向計算版權所有版權所有 復制必究復制必究 200920091919onipidipyye1221誤差的平誤差的平方和

7、方和梯度下降法梯度下降法：權值的變化與誤差梯度的下降成正比，使誤差：權值的變化與誤差梯度的下降成正比，使誤差指標不斷減小。指標不斷減小。wjwnpnipidinppoyyej111正定的、可微正定的、可微的凸函數(shù)的凸函數(shù)n個個樣本樣本版權所有版權所有 復制必究復制必究 200920092020 x1x2xno1o2om3lkwpq1ijw3l1inm2k2kiwiykzjikl學習算法學習算法版權所有版權所有 復制必究復制必究 200920092121學習算法（續(xù)）學習算法（續(xù)）ntxxxx,21mtoooo,21神經網絡輸入神經網絡輸入神經網絡輸出神經網絡輸出ptyyyy,21qtzzzz,

8、21隱層輸出隱層輸出 qmlkpqkinpijwww321,加權矩陣加權矩陣 131211,mlqkpi閾值向量閾值向量kkznetf2iiynetf1llonetf3非線性作用函數(shù)（激活函數(shù)）非線性作用函數(shù)（激活函數(shù)）期望輸出期望輸出.,21mtdddd版權所有版權所有 復制必究復制必究 200920092222;,2,1;,2,1pinj第一隱層輸出：第一隱層輸出：1111injjijiixwfnetfy學習算法（續(xù)）學習算法（續(xù)）2122kpiikikkywfnetfz第二隱層輸出：第二隱層輸出：1, 2,kq1, 2,lm3133lqkklkllzwfnetfo輸出層輸出：輸出層輸出：

9、版權所有版權所有 復制必究復制必究 2009200923232112mllljdo第一步：計算梯度第一步：計算梯度:,33jjwklkllllklllllklllkzznetfodwnetnetoojwnetnetjwj333333333)()(33()()lllldo f net333333333)()(lllllllllllllnetfodnetnetoojnetnetjj學習算法（續(xù)）學習算法（續(xù)）版權所有版權所有 復制必究復制必究 200920092424第二步：計算梯度第二步：計算梯度jjw22,222222223231332133221()()()()()()kkkkikikkik

10、kkikmllkilllkmllllkkilmllkkikilnetznetjjjjfnetywnetwznetwzonetjfnetyonetzdofnetwfnetywfnetyy .)(22132kkmllklknetfwj學習算法（續(xù)）學習算法（續(xù)）版權所有版權所有 復制必究復制必究 200920092525第三步：計算梯度第三步：計算梯度:,11jjw學習算法（續(xù)）學習算法（續(xù)）1111111212122111()()iiiijiijiiijqkijkkiqkkiijijknetynetjjjwnetwynetwnetjfnet xnetywfnet xx 11iij 版權所有版權所

11、有 復制必究復制必究 200920092626選定初始加權矩陣選定初始加權矩陣;,321www一般給一組較小的隨機數(shù)。一般給一組較小的隨機數(shù)。對每個樣本重復下述過程，直到收斂：對每個樣本重復下述過程，直到收斂：學習算法描述學習算法描述123, , ,;net y netz net o do正向過程計算正向過程計算;,),(,),(,),(111122223333iijiikkikkllklljwjnetfjwjnetfjwjnetf反向過程計算反向過程計算.3 , 2, 1,rwjwrrr rrrrwjtwtw1修正權值修正權值版權所有版權所有 復制必究復制必究 200920092727ikk

12、iywj2222kkj第二隱層與第一隱層連接權值及閾值更新：第二隱層與第一隱層連接權值及閾值更新：213322kmllklkknetfwnetjjiijxwj1111iij第一隱層與輸入層連接權值及閾值更新：第一隱層與輸入層連接權值及閾值更新：)(112211iqkkikiinetfwnetjkllkzwj3333llj輸出層與第二隱層連接權值及閾值更新：輸出層與第二隱層連接權值及閾值更新：)()(333lllllnetfodnetj.3 ,2, 1,rwjwrrr rrrrwjtwtw1學習算法描述（續(xù)）學習算法描述（續(xù)）版權所有版權所有 復制必究復制必究 200920092828 初始化

13、加輸入和期望輸出計算隱層和輸出層的輸出迭代次數(shù)加1調節(jié)輸出層和隱層的連接權值wjtwtw)()1( 改變訓練樣本訓練樣本終止？迭代終止？nonoyy算法基本流程算法基本流程版權所有版權所有 復制必究復制必究 200920092929權系數(shù)的初值：權系數(shù)的初值：隨機選較小的值，盡量均勻覆蓋權值空間，避免出現(xiàn)初隨機選較小的值，盡量均勻覆蓋權值空間，避免出現(xiàn)初始權值相同的情況。始權值相同的情況。學習方式學習方式: : 增量型增量型學習方法效果好；學習方法效果好；累積型累積型學習方法速度快。學習方法速度快。激勵函數(shù)：激勵函數(shù)：非減可微函數(shù)?？赏ㄟ^調節(jié)非減可微函數(shù)?？赏ㄟ^調節(jié)sigmoidsigmoid

14、函數(shù)的斜率或采用函數(shù)的斜率或采用其它激勵函數(shù)來改善網絡的學習性能。其它激勵函數(shù)來改善網絡的學習性能。學習速率：學習速率：學習速率小，訓練速度慢；學習速率大，訓練速度快，學習速率小，訓練速度慢；學習速率大，訓練速度快，可能出現(xiàn)振蕩現(xiàn)象?？赡艹霈F(xiàn)振蕩現(xiàn)象。影響影響bpbp學習算法的因素學習算法的因素版權所有版權所有 復制必究復制必究 200920093030非線性優(yōu)化的局部極小，或振蕩不收斂；非線性優(yōu)化的局部極小，或振蕩不收斂；收斂速度很慢；收斂速度很慢；新樣本的加入會影響已學習過的老樣本。新樣本的加入會影響已學習過的老樣本。bpbp學習算法的局限性學習算法的局限性版權所有版權所有 復制必究復制必

15、究 200920093131選用不同的作用函數(shù)、性能指標；選用不同的作用函數(shù)、性能指標；解決局部極小問題解決局部極小問題選用不同的初值迭代；激勵函數(shù)加入斜率因子；模選用不同的初值迭代；激勵函數(shù)加入斜率因子；模擬退火方法；分解子網。擬退火方法；分解子網。加快收斂速度加快收斂速度采用不同的激勵函數(shù)；采用不同的激勵函數(shù)；變學習率方法變學習率方法；利用激勵函；利用激勵函數(shù)的二階導數(shù)；最速下降法；組合學習方法；權值數(shù)的二階導數(shù)；最速下降法；組合學習方法；權值修正引入動量因子；遺傳算法；等等。修正引入動量因子；遺傳算法；等等。bpbp學習算法的改進學習算法的改進版權所有版權所有 復制必究復制必究 2009

16、20093232準則：準則：檢查權值的修正值是否真正降低了誤差函數(shù)，如果確檢查權值的修正值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學習速率值小了，可以對其實如此，則說明所選取的學習速率值小了，可以對其增加一個量；增加一個量；若不是這樣，而產生了過調，那么就應該減小學習速若不是這樣，而產生了過調，那么就應該減小學習速率的值。率的值。調整公式：調整公式：其它)()(04. 1) 1()(7 . 0)() 1()(05. 1) 1(kkjkjkkjkjkk自適應變學習率方法自適應變學習率方法版權所有版權所有 復制必究復制必究 200920093333在修正其權值時，不僅考慮誤差在梯度上的

17、作用，而且考在修正其權值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響。利用附加動量的作用則慮在誤差曲面上變化趨勢的影響。利用附加動量的作用則有可能滑過局部極小值。有可能滑過局部極小值。該方法是在反向傳播法的基礎上，在每一個權值的變化上該方法是在反向傳播法的基礎上，在每一個權值的變化上加上一項正比于前次權值變化量的值，并根據(jù)反向傳播法加上一項正比于前次權值變化量的值，并根據(jù)反向傳播法來產生新的權值變化。來產生新的權值變化。) 1()(kwwjkwijijij權值調節(jié)公式：權值調節(jié)公式：動量因子，一動量因子，一般取般取0.950.95左右左右附加動量法附加動量法版權所有版權所

18、有 復制必究復制必究 200920093434網絡的層數(shù)網絡的層數(shù)隱含層的神經元數(shù)隱含層的神經元數(shù)初始權值的選取初始權值的選取學習速率的選取學習速率的選取期望誤差的選取期望誤差的選取bpbp網絡的設計網絡的設計版權所有版權所有 復制必究復制必究 200920093535理論上已經證明理論上已經證明：至少一個：至少一個s s型隱含層加上一個線性輸出層型隱含層加上一個線性輸出層的網絡，能夠逼近任何有理函數(shù)。的網絡，能夠逼近任何有理函數(shù)。增加層數(shù)主要可以更進一步的降低誤差，提高精度，但同增加層數(shù)主要可以更進一步的降低誤差，提高精度，但同時也使網絡復雜化，從而增加了網絡權值的訓練時間。時也使網絡復雜化

19、，從而增加了網絡權值的訓練時間。一般情況下，應優(yōu)先考慮增加隱含層中的神經元數(shù)。一般情況下，應優(yōu)先考慮增加隱含層中的神經元數(shù)。能不能僅用具有非線性激活函數(shù)的單層網絡來解決問題呢？能不能僅用具有非線性激活函數(shù)的單層網絡來解決問題呢？結論是結論是：沒有必要或效果不好。：沒有必要或效果不好。bpbp網絡的層數(shù)網絡的層數(shù)版權所有版權所有 復制必究復制必究 200920093636網絡訓練精度的提高，可以通過采用一個隱含層，而增網絡訓練精度的提高，可以通過采用一個隱含層，而增加其神經元數(shù)的方法來獲得。這在結構實現(xiàn)上，要比增加其神經元數(shù)的方法來獲得。這在結構實現(xiàn)上，要比增加更多的隱含層要簡單得多。加更多的隱

20、含層要簡單得多。 在具體設計時，比較實際的做法是通過對不同神經元數(shù)在具體設計時，比較實際的做法是通過對不同神經元數(shù)進行訓練對比，然后適當?shù)丶由弦稽c余量。進行訓練對比，然后適當?shù)丶由弦稽c余量。 bpbp網絡隱含層的神經元數(shù)網絡隱含層的神經元數(shù)初始權值的選取初始權值的選取一般取初始權值在一般取初始權值在(-1(-1，1) 1)之間的隨機數(shù)。之間的隨機數(shù)。 版權所有版權所有 復制必究復制必究 200920093737學習速率決定每一次循環(huán)訓練中所產生的權值變化量。學習速率決定每一次循環(huán)訓練中所產生的權值變化量。大的學習速率可能導致系統(tǒng)的不穩(wěn)定。大的學習速率可能導致系統(tǒng)的不穩(wěn)定。小的學習速率導致較長的

21、訓練時間，可能收斂很慢，不過小的學習速率導致較長的訓練時間，可能收斂很慢，不過能保證網絡的誤差值不跳出誤差表面的低谷而最終趨于最能保證網絡的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。小誤差值。所以在一般情況下，傾向于選取較小的學習速率以保證系所以在一般情況下，傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性。學習速率的選取范圍在統(tǒng)的穩(wěn)定性。學習速率的選取范圍在0.01-0.80.01-0.8之間。之間。bpbp網絡學習速率的選取網絡學習速率的選取版權所有版權所有 復制必究復制必究 200920093838在設計網絡的訓練過程中，期望誤差值也應當通過對比訓在設計網絡的訓練過程中，期望誤差值也應當

22、通過對比訓練后確定一個合適的值。練后確定一個合適的值。這個所謂的這個所謂的“合適合適”，是相對于所需要的隱含層的節(jié)點數(shù)，是相對于所需要的隱含層的節(jié)點數(shù)來確定，因為較小的期望誤差值是要靠增加隱含層的節(jié)點，來確定，因為較小的期望誤差值是要靠增加隱含層的節(jié)點，以及訓練時間來獲得的。以及訓練時間來獲得的。一般情況下，作為對比，可以同時對兩個不同期望誤差值一般情況下，作為對比，可以同時對兩個不同期望誤差值的網絡進行訓練，最后通過綜合因素的考慮來確定采用其的網絡進行訓練，最后通過綜合因素的考慮來確定采用其中一個網絡。中一個網絡。bpbp網絡期望誤差的選取網絡期望誤差的選取版權所有版權所有 復制必究復制必究

23、 200920093939例例5.1.1 p128 bp5.1.1 p128 bp網絡訓練網絡訓練版權所有版權所有 復制必究復制必究 200920094040matlab 命令窗口輸入命令窗口輸入 “help 函數(shù)名函數(shù)名” 可得到相關函數(shù)的可得到相關函數(shù)的詳細介紹；詳細介紹；輸入輸入 demop1 利用具有利用具有2個神經元個神經元的感知器實現(xiàn)對的感知器實現(xiàn)對5個個輸入數(shù)據(jù)的兩分類輸入數(shù)據(jù)的兩分類-0.8-0.6-0.4-0.6-1-0.500.511.5vectors to be classifiedp(1)p(2)版權所有版權所有 復制必究復制必究 200920094

24、141常用指令：常用指令： p175 p175 表表.2p180 p180 例例.1% 感知器網絡實驗x=-0.5 -0.5 0.3 -0.1 0.2 0.6 0.8 0.6; -0.5 0.5 -0.5 1 0.5 -0.9 0.8 -0.6t=1 1 0 1 1 0 1 0w,b=initp(x,t)w,b,epochs,erros=trainp(w,b,x,t)y=simup(x,w,b)testx=-0.5 0.3 -0.9 0.4 -0.1 0.2 -0.6 0.8 0.1 0.4; -0.3 -0.8 -0.4 -0.7 0.4 -0.6 0.1 -0.5 -0.5 0.3y=simup(testx,w,b)figureplotpv(testx,y)plotpc(w,b)版權所有版權所有 復制必究復制必究 200920094242-1.5-1-0.500.511.5-1-0.500.5vectors to be classifiedp(1)p(2)00.511.5210-2010-1510-1010-5100105epochsum-squared errorsum-squared