神經(jīng)網(wǎng)絡(luò)配套第1頁(yè)，共35頁(yè)，2023年，2月20日，星期六BP算法的缺點(diǎn)算法的收斂速度很慢可能有多個(gè)局部極小點(diǎn)BP網(wǎng)絡(luò)的隱層神經(jīng)元個(gè)數(shù)的選取尚無(wú)理論上的指導(dǎo)，而是根據(jù)經(jīng)驗(yàn)選取BP網(wǎng)絡(luò)是一個(gè)前向網(wǎng)絡(luò)，具有非線性映射能力，但較之非線性動(dòng)力學(xué)系統(tǒng)，功能上有其局限性第2頁(yè)，共35頁(yè)，2023年，2月20日，星期六BP算法的變形啟發(fā)式改進(jìn)動(dòng)量可變的學(xué)習(xí)速度標(biāo)準(zhǔn)的數(shù)值優(yōu)化共軛梯度牛頓法(Levenberg-Marquardt)第3頁(yè)，共35頁(yè)，2023年，2月20日，星期六性能曲面例子網(wǎng)絡(luò)結(jié)構(gòu)指定的函數(shù)參數(shù)值多層非線性網(wǎng)絡(luò)與單層線性網(wǎng)絡(luò)在均方誤差性能曲面上完全不同。后者的均方誤差只有一個(gè)極小點(diǎn)，且具有常數(shù)曲率；前者的均方誤差可能有多個(gè)局部極小點(diǎn)而且在參數(shù)空間不同區(qū)域曲率也是變化的。第4頁(yè)，共35頁(yè)，2023年，2月20日，星期六性能曲面例子（續(xù)）w11,1w21,1w11,1w21,1w11,1和w21,1變化時(shí)的平方誤差第5頁(yè)，共35頁(yè)，2023年，2月20日，星期六性能曲面例子（續(xù)）

w11,1b11b11w11,1w11,1andb11變化時(shí)的平方誤差

第6頁(yè)，共35頁(yè)，2023年，2月20日，星期六性能曲面例子（續(xù)）

b11b21b21b11b11和b12變化時(shí)的平方誤差第7頁(yè)，共35頁(yè)，2023年，2月20日，星期六性能曲面例子的提示

?算法初始參數(shù)不要設(shè)置為０(參數(shù)空間的原點(diǎn)趨向于鞍點(diǎn))?算法初始參數(shù)不要設(shè)置過(guò)大(在遠(yuǎn)離優(yōu)化點(diǎn)的位置，性能曲面將變得十分平坦)第8頁(yè)，共35頁(yè)，2023年，2月20日，星期六收斂性例子w11,1w21,1第9頁(yè)，共35頁(yè)，2023年，2月20日，星期六學(xué)習(xí)速度太大情形w11,1w21,1第10頁(yè)，共35頁(yè)，2023年，2月20日，星期六提高收斂速度?改變學(xué)習(xí)速度在曲面平坦時(shí)增加學(xué)習(xí)速度，在斜速率增加時(shí)減少學(xué)習(xí)速度。?平滑軌跡：當(dāng)算法開(kāi)始振蕩時(shí)，平滑掉振蕩以產(chǎn)生一個(gè)穩(wěn)定的軌跡。第11頁(yè)，共35頁(yè)，2023年，2月20日，星期六動(dòng)量方法濾波器例子第12頁(yè)，共35頁(yè)，2023年，2月20日，星期六動(dòng)量反向傳播算法最速下降反傳算法(SDBP)動(dòng)量反傳算法(MOBP)w11,1w21,1第13頁(yè)，共35頁(yè)，2023年，2月20日，星期六可變的學(xué)習(xí)速度(VLBP)如果誤差平方(在整個(gè)訓(xùn)練集上)在權(quán)值更新后增加了百分?jǐn)?shù)z(典型值為1%至5%),則取消權(quán)值更新,學(xué)習(xí)速度乘上一個(gè)因子(1

>

r

>

0),并且動(dòng)量系數(shù)g置為0.如果誤差平方在權(quán)值更新后減少,則接受權(quán)值更新,并且學(xué)習(xí)速度乘上一個(gè)因子h>1.如果動(dòng)量系數(shù)g先前被置為0,則恢復(fù)到先前的值.如果誤差平方的增加少于z,則接受權(quán)值更新,但是學(xué)習(xí)速度和動(dòng)量系數(shù)不變.第14頁(yè)，共35頁(yè)，2023年，2月20日，星期六例子w11,1w21,1平方誤差學(xué)習(xí)速度第15頁(yè)，共35頁(yè)，2023年，2月20日，星期六啟發(fā)式方法的缺點(diǎn)要設(shè)置一些額外的參數(shù)算法的性能對(duì)這些參數(shù)的改變十分敏感參數(shù)的選擇是與問(wèn)題相關(guān)的對(duì)某些用最速下降反傳算法能找到解的問(wèn)題卻不能收斂。算法越復(fù)雜這樣問(wèn)題越容易發(fā)生第16頁(yè)，共35頁(yè)，2023年，2月20日，星期六共軛梯度1. 初始搜索方向?yàn)樘荻鹊姆捶较?最速下降)。2. 迭代一次，學(xué)習(xí)速度的選取采用沿搜索方向最小化性能函數(shù)。3. 選擇下一次的搜索方向：其中或或因?yàn)橥ǔＰ阅苤笖?shù)不是二次的，以下二個(gè)方面需要改進(jìn)：1.需要一個(gè)一般的過(guò)程去確定函數(shù)在某個(gè)特定方向的極值；2.算法在共扼方向迭代過(guò)n次后，可能要重新設(shè)置搜索方向。4. 如果算法不收斂，繼續(xù)第２步。第17頁(yè)，共35頁(yè)，2023年，2月20日，星期六區(qū)間定位第18頁(yè)，共35頁(yè)，2023年，2月20日，星期六區(qū)間縮小第19頁(yè)，共35頁(yè)，2023年，2月20日，星期六黃金分割搜索t=0.618Set c1=a1+(1-t)(b1-a1),Fc=F(c1)

d1=b1-(1-t)(b1-a1),Fd=F(d1)Fork=1,2,...repeat IfFc

<Fdthen Set ak+1=ak;bk+1=dk;dk+1=ck

ck+1=ak+1+(1-t)(bk+1-ak+1)

Fd=Fc;Fc=F(ck+1) else Set ak+1=ck;bk+1=bk;ck+1=dk

dk+1=bk+1-(1-t)(bk+1-ak+1)

Fc=Fd;Fd=F(dk+1) endenduntilbk+1-ak+1<tol第20頁(yè)，共35頁(yè)，2023年，2月20日，星期六共扼梯度反向傳播法(CGBP)w11,1w21,1w11,1w21,1中間步驟完整軌跡第21頁(yè)，共35頁(yè)，2023年，2月20日，星期六Newton方法如果性能指數(shù)是函數(shù)平方的和:則梯度的第j個(gè)元素是:第22頁(yè)，共35頁(yè)，2023年，2月20日，星期六矩陣形式梯度能寫(xiě)成矩陣形式:其中J是Jacobian矩陣:Jx()v1x()?x1?----------------v1x()?x2?----------------?v1x()?xn?----------------v2x()?x1?----------------v2x()?x2?----------------?v2x()?xn?----------------???vNx()?x1?-----------------vNx()?x2?-----------------?vNx()?xn?-----------------=第23頁(yè)，共35頁(yè)，2023年，2月20日，星期六Hessian矩陣第24頁(yè)，共35頁(yè)，2023年，2月20日，星期六Gauss-Newton方法xkJTxk()Jxk()[]1–JTxk()vxk()–=設(shè)S(x)很小，Hessian矩陣近似表示為:Newton方法成為:第25頁(yè)，共35頁(yè)，2023年，2月20日，星期六Levenberg-Marquardt(LM)算法Gauss-Newton方法近似表示Hessian矩陣如下：這個(gè)矩陣可能奇異,但是可進(jìn)行如下轉(zhuǎn)換：如果H的特征值和特征向量是：那么G的特征值對(duì)所有i，增加μ以保證，可使G成為正定，所以矩陣G可逆。由此可導(dǎo)出如下LM算法：第26頁(yè)，共35頁(yè)，2023年，2月20日，星期六mk的調(diào)整當(dāng)mk?0，LM方法變成Gauss-Newton方法：當(dāng)mk?￥,LM方法變成有小的學(xué)習(xí)速度的最速下降算法：所以，開(kāi)始時(shí)取小的mk值用Gauss-Newton法加速收斂。如果某一步不能獲得較小的F(x)值，那么增加mk值（乘以一個(gè)因子）重復(fù)那一步直到F(x)值的減少。F(x)值最終一定會(huì)減少，因?yàn)槲覀儗⒃谧钏傧陆捣较蛏嫌煤苄〉牟介L(zhǎng)。第27頁(yè)，共35頁(yè)，2023年，2月20日，星期六應(yīng)用到多層網(wǎng)絡(luò)多層網(wǎng)絡(luò)的性能指數(shù)是:誤差向量是:參數(shù)向量是:兩個(gè)向量的維數(shù)是:第28頁(yè)，共35頁(yè)，2023年，2月20日，星期六Jacobian矩陣Jx()e11,?w11,1?--------------e11,?w12,1?--------------?e11,?wS1R,1?----------------e11,?b11?------------?e21,?w11,1?--------------e21,?w12,1?--------------?e21,?wS1R,1?----------------e21,?b11?------------?????eSM1,?w11,1?---------------eSM1,?w12,1?---------------?eeSM1,?wS1R,1?----------------eeSM1,?b11?----------------?e12,?w11,1?--------------e12,?w12,1?--------------?e12,?wS1R,1?----------------e12,?b11?------------?????=第29頁(yè)，共35頁(yè)，2023年，2月20日，星期六計(jì)算Jacobian矩陣標(biāo)準(zhǔn)BP算法計(jì)算公式為：對(duì)于Jacobian矩陣的元素可用下式計(jì)算：使用鏈規(guī)則：其中敏感度：是用反向傳播方法計(jì)算得到。第30頁(yè)，共35頁(yè)，2023年，2月20日，星期六Marquardt敏感度如果定義Marquardt敏感度為:Jacobian矩陣能如下算得:權(quán)偏置第31頁(yè)，共35頁(yè)，2023年，2月20日，星期六敏感度計(jì)算S?mS?1mS?2m?S?Qm=反向傳播初始化第32頁(yè)，共35頁(yè)，2023年，2月20日，星期六LMBP算法1.將所有輸入提交網(wǎng)絡(luò)并計(jì)算相應(yīng)的網(wǎng)絡(luò)輸出和誤差。計(jì)算所有輸入的誤差平方和F(x).2.計(jì)算Jacobian矩陣。初始化敏感度，用反向傳播算法遞歸計(jì)算各層的敏感度。將各個(gè)單獨(dú)的矩陣增廣到Marquardt敏感度中。計(jì)算Jacobian矩陣的元素。3.求得權(quán)的改變量