1、裝訂線安徽工業(yè)大學管理科學與工程學院 基于MATLAB神經(jīng)網(wǎng)絡仿真共 45 頁 第 PAGE 46 頁摘 要隨著人工神經(jīng)網(wǎng)絡的研研究和應用越來越越廣泛，誤差反向向傳播算法（BP算算法）的提出，成成功地解決了求解解非線性連續(xù)函數(shù)數(shù)的多層前饋神經(jīng)經(jīng)網(wǎng)絡權(quán)值調(diào)整問題，BP神經(jīng)網(wǎng)絡如今成為最廣泛使用的網(wǎng)絡，研究它它對探索非線性復復雜問題具有重要要意義，而且它具有廣泛的應用用前景。以BP神經(jīng)網(wǎng)絡為例例，討論了BP神經(jīng)網(wǎng)絡及幾幾種改進BP神經(jīng)網(wǎng)絡性能能的算法；通過BP學習算法的推導和分析得知BP網(wǎng)絡是一一種多層前饋網(wǎng)絡絡，采用最小均方方差的學習方式，缺點是僅為有導師訓練，訓練時間長，易限于局部極小；運用M

2、ATLAB來實現(xiàn)各種BP神經(jīng)網(wǎng)絡的實現(xiàn)的設計與訓練，比較不同BP神經(jīng)網(wǎng)絡的性能，驗證改進BP網(wǎng)絡的優(yōu)勢，得出如何根據(jù)對象選取神經(jīng)網(wǎng)絡的結(jié)論。關鍵詞：人工神經(jīng)網(wǎng)絡、BP神神經(jīng)網(wǎng)絡、誤差反反向傳播算法、MATLAB、仿真R。AbstractWith the artificial neural network of research and application of more and more widely, the error back-propagation algorithm (BP algorithm) is proposed, successfully resolved the con

3、tinuous function for solving nonlinear multi-layer feed-forward neural network weights adjustment, BP network has become now the most widely used networks, Study to explore its complicated nonlinear problem has important significance, but also has broad application prospects. BP neural network is di

4、scussed and several improvements in the performance of BP neural network algorithm. BP learning algorithm through the derivation and analysis that the BP network is a multi-layer feedforward networks, the use of least-mean-variance approach to learning, there is only disadvantage is that the trainin

5、g instructors, training time, limited to local minimum easily. The use of MATLAB to achieve a variety of BP neural network to achieve the design and training, to compare the performance of BP neural network to verify the advantages of improving the BP network, how to draw the object selected in acco

6、rdance with the conclusions of neural networks.z。Key words: Artificial neural network, BP neural networks, error back-propagation algorithm, MATLAB, simulationS。目 錄TOC o 1-3 h z u HYPERLINK l _Toc 1.緒論 PAGEREF _Toc h 5y。 HYPERLINK l _Toc 1.1 引言 PAGEREF _Toc h 5l。 HYPERLINK l _Toc 1.2 神經(jīng)網(wǎng)絡概述述 PAGEREF

7、 _Toc h 58。 HYPERLINK l _Toc 121 神經(jīng)網(wǎng)絡起源 PAGEREF _Toc h 5Y。 HYPERLINK l _Toc 122 神經(jīng)網(wǎng)絡的發(fā)展歷歷程 PAGEREF _Toc h 5t。 HYPERLINK l _Toc 123 神經(jīng)網(wǎng)絡國內(nèi)發(fā)展展概況 PAGEREF _Toc h 6I。 HYPERLINK l _Toc 124 神經(jīng)網(wǎng)絡研究現(xiàn)狀狀 PAGEREF _Toc h 77。 HYPERLINK l _Toc 1.3研究目的、方法法和問題（BP神經(jīng)網(wǎng)絡） PAGEREF _Toc h 8n。 HYPERLINK l _Toc 131 研究目的 PAG

8、EREF _Toc h 8N。 HYPERLINK l _Toc 132 研究方法 PAGEREF _Toc h 8G。 HYPERLINK l _Toc 133 研究問題 PAGEREF _Toc h 8T。 HYPERLINK l _Toc 2.BP神經(jīng)網(wǎng)絡 PAGEREF _Toc h 10 x。 HYPERLINK l _Toc 2.1 BP神經(jīng)網(wǎng)絡絡相關原理 PAGEREF _Toc h 10c。 HYPERLINK l _Toc 211 神經(jīng)元非線性模型 PAGEREF _Toc h 10Y。 HYPERLINK l _Toc 212 有教師監(jiān)督學習 PAGEREF _Toc h

9、10V。 HYPERLINK l _Toc 213 神經(jīng)元數(shù)學模型 PAGEREF _Toc h 11g。 HYPERLINK l _Toc 214 Delta學習規(guī)規(guī)則 PAGEREF _Toc h 11Q。 HYPERLINK l _Toc 215 神經(jīng)元激活函數(shù) PAGEREF _Toc h 12b。 HYPERLINK l _Toc 216 BP神經(jīng)網(wǎng)絡收斂斂準則 PAGEREF _Toc h 121。 HYPERLINK l _Toc 2.2 BP神經(jīng)網(wǎng)絡絡學習過程描述 PAGEREF _Toc h 132。 HYPERLINK l _Toc 221 BP神經(jīng)網(wǎng)絡計算算模型建立 PA

10、GEREF _Toc h 13u。 HYPERLINK l _Toc 222 BP神經(jīng)網(wǎng)絡學習習過程描述 PAGEREF _Toc h 14L。 HYPERLINK l _Toc 223 BP神經(jīng)網(wǎng)絡方框框圖 PAGEREF _Toc h 14z。 HYPERLINK l _Toc 2.3 BP神經(jīng)網(wǎng)絡絡學習方法 PAGEREF _Toc h 14W。 HYPERLINK l _Toc 231 BP神經(jīng)網(wǎng)絡信號號流程 PAGEREF _Toc h 143。 HYPERLINK l _Toc 232 誤差反向傳播計算算 PAGEREF _Toc h 15S。 HYPERLINK l _Toc 2

11、33 BP神經(jīng)網(wǎng)絡算法法描述 PAGEREF _Toc h 18T。 HYPERLINK l _Toc 2.4 影響因素分析析 PAGEREF _Toc h 191。 HYPERLINK l _Toc 241 權(quán)值初始值設置影影響分析 PAGEREF _Toc h 198。 HYPERLINK l _Toc 242 權(quán)值調(diào)整方法影響響分析 PAGEREF _Toc h 19o。 HYPERLINK l _Toc 243 激活函數(shù)選擇影響響分析 PAGEREF _Toc h 20E。 HYPERLINK l _Toc 244 學習率選擇影響響分析 PAGEREF _Toc h 20U。 HYPE

12、RLINK l _Toc 245 輸入輸出歸一化影影響分析 PAGEREF _Toc h 21Q。 HYPERLINK l _Toc 246 其他影響因素分析析 PAGEREF _Toc h 22Z。 HYPERLINK l _Toc 2.5 BP學習算法法的改進 PAGEREF _Toc h 22L。 HYPERLINK l _Toc 251 BP學習算法的優(yōu)優(yōu)缺點 PAGEREF _Toc h 22p。 HYPERLINK l _Toc 252 增加動量項 PAGEREF _Toc h 23H。 HYPERLINK l _Toc 253 彈性BP學習算法法 PAGEREF _Toc h 2

13、3H。 HYPERLINK l _Toc 254 自適應學習速率法法 PAGEREF _Toc h 24X。 HYPERLINK l _Toc 255 共軛梯度法 PAGEREF _Toc h 25V。 HYPERLINK l _Toc 256 Levenberg-Marquardt算法 PAGEREF _Toc h 25V。 HYPERLINK l _Toc 3.BP神經(jīng)網(wǎng)絡仿真真 PAGEREF _Toc h 27J。 HYPERLINK l _Toc 3.1 仿真平臺MATLAB PAGEREF _Toc h 27E。 HYPERLINK l _Toc 311 MATLAB簡介介 PAG

14、EREF _Toc h 27L。 HYPERLINK l _Toc 312 仿真平臺的構(gòu)建和和策略 PAGEREF _Toc h 27T。 HYPERLINK l _Toc 3.2 仿真實驗 PAGEREF _Toc h 288。 HYPERLINK l _Toc 321 BP神經(jīng)網(wǎng)絡MATLAB設計計 PAGEREF _Toc h 286。 HYPERLINK l _Toc 322 各種BP學習算法法MATLAB仿真真 PAGEREF _Toc h 29f。 HYPERLINK l _Toc 323 各種算法仿真結(jié)果果比較與分析 PAGEREF _Toc h 32p。 HYPERLINK l

15、 _Toc 324 調(diào)整初始權(quán)值和閾閾值的仿真 PAGEREF _Toc h 33A。 HYPERLINK l _Toc 325 其他影響因素仿真真 PAGEREF _Toc h 35c。 HYPERLINK l _Toc 4.BP神經(jīng)網(wǎng)絡應用用實例 PAGEREF _Toc h 37z。 HYPERLINK l _Toc 4.1 實例概述 PAGEREF _Toc h 37s。 HYPERLINK l _Toc 4.2 網(wǎng)絡設計 PAGEREF _Toc h 37U。 HYPERLINK l _Toc 4.3 網(wǎng)絡訓練 PAGEREF _Toc h 38A。 HYPERLINK l _Toc

16、 4.4 網(wǎng)絡測試 PAGEREF _Toc h 39q。 HYPERLINK l _Toc 4.5 實例總結(jié) PAGEREF _Toc h 40h。 HYPERLINK l _Toc 5.總結(jié)與展望 PAGEREF _Toc h 41L。 HYPERLINK l _Toc 5.1 BP神經(jīng)網(wǎng)絡絡研究總結(jié) PAGEREF _Toc h 41V。 HYPERLINK l _Toc 5.2 神經(jīng)網(wǎng)絡研究究展望 PAGEREF _Toc h 42c。 HYPERLINK l _Toc 致謝 PAGEREF _Toc h 43F。 HYPERLINK l _Toc 參考文獻 PAGEREF _Toc

17、h 44N。 HYPERLINK l _Toc 附錄461.緒論1.1 引言隨著計算機的問世與發(fā)發(fā)展，人們設法了了解人的大腦，進進而構(gòu)造具有人類類智能的智能計算算機。在具有人腦腦邏輯推理能力延延伸的計算機戰(zhàn)勝勝人類棋手的同時時引發(fā)人們對模擬擬人腦信息處理的的人工神經(jīng)網(wǎng)絡的的研究。E。人工神經(jīng)網(wǎng)絡（Artificial Neural Networks, ANN）（注：簡稱為神經(jīng)網(wǎng)絡），一種模仿動物神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。人工神經(jīng)網(wǎng)絡具有自學習和自適應的能力，可以通過預先提供

18、的一批相互對應的輸入輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果，這種學習分析的過程被稱為“訓練”。（引自環(huán)球科學2007年第一期神經(jīng)語言：老鼠胡須下的秘密）X。1.2 神經(jīng)網(wǎng)絡概述述121神經(jīng)網(wǎng)絡起起源早在1890年，美國國心理學家William James（1842-1910）出版版了Principles of Psychology專著，本書研究究了心理活動與大大腦神經(jīng)生理活動動的關系,開創(chuàng)性性提出學習、聯(lián)想想記憶的基本原理理。指出：“讓我們假設所有有后繼推理的基礎礎遵循這樣的規(guī)則則：當兩個基本的的腦細胞曾經(jīng)一起起或相繼被激活過過，其中一個受刺刺激激

19、活時會將刺刺激傳播到另一個個”。他還認為在大大腦皮層上的任意意一點的刺激量是是其他所有發(fā)射點點進入該點刺激總總和。1943年年，心理學家W.S.McCulloch和和數(shù)理邏輯學家W.A.Pitts建立了神經(jīng)網(wǎng)絡和數(shù)學模型，稱為M-P模型。他們通過M-P模型提出了神經(jīng)元的形式化數(shù)學描述和網(wǎng)絡結(jié)構(gòu)方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡研究的時代。F。122 神經(jīng)網(wǎng)絡的發(fā)展歷程1943年，心理學家家W.S.McCulloch和和數(shù)理邏輯學家W.Pitts建建立了神經(jīng)網(wǎng)絡和和數(shù)學模型，稱為為M-P模型；R。1949年，心理學家家Donald Olding Hebb出版了了Orga

20、nization of Behavior，在在該書他首先提出出了連接權(quán)訓練算算法，即如今人們們稱為的Hebb算算法；3。1958年，計算機科科學家Frank Rosenblatt，在一篇著名的文章中提出了一種具有三層網(wǎng)絡特性的“感知器”（perceptron）神經(jīng)網(wǎng)絡； n。 1960年，電機工程程師Bernard Widrow和和Marcian Hoff發(fā)表了了Adaptive Switching Circuits文文章，不僅把人工工神經(jīng)網(wǎng)絡在計算算機上仿真，而且且用硬件電路實現(xiàn)現(xiàn)了它。因此Widrow-Hoff的學習習訓練算法（也稱稱（誤差大小）算法或或最小均方（LMS）算算法）也應運而生

21、生；k。1969年，人工智能能的創(chuàng)始人之一，MMinsky和S.Papert經(jīng)過數(shù)年研究，仔細分析了以感知器為代表的神經(jīng)網(wǎng)絡系統(tǒng)的功能及局限后，出版了Perceptron一書，指出感知器不能解決高階謂詞問題；d。1969年，美國波士士頓大學自適應系系統(tǒng)中心的S.Grossberg教教授及其夫人G.A.Carpenter提提出了著名的自適適應共振理論（adaptive resonance theory）模型；6。1972年，芬蘭的T.Kohonen教教授提出了自組織織映射（SOM）理理論，并稱其神經(jīng)經(jīng)網(wǎng)絡結(jié)構(gòu)為“associative memory”；與此同時，美美國的神經(jīng)生理學學家和心理學家J

22、.Anderson，提提出了一個類似的的神經(jīng)網(wǎng)絡“interactive memory”；v。1980年，日本東京京NHK廣播科學學研究實驗室的福福島邦彥（Kunihiko Fukushima），發(fā)發(fā)表了Neocognitron，開開發(fā)了一些神經(jīng)網(wǎng)網(wǎng)絡結(jié)構(gòu)和訓練算算法，還有一系列列的改進的文章，新新認知機在于視覺覺模式識別機制的的模型；K。1982年，美國加州州理工學院的優(yōu)秀秀物理學家John J.Hopfield博士發(fā)表一篇著名的文章，吸收前人的研究成果，把各種結(jié)構(gòu)和算法概括綜合起來建立起新穎而有力的Hopfield網(wǎng)絡；k。1985年，G.E.Hinton和和T.J.Sejnowski借借

23、助統(tǒng)計物理學概概念和方法提出了了波耳茲曼模型，在在學習中采用統(tǒng)計計熱力學模擬退火火技術，保證整個系統(tǒng)趨于于全局穩(wěn)定點；Q。1986年進行認知微微觀結(jié)構(gòu)地研究，提提出了并行分布處處理的理論；T。1987年首屆國際神神經(jīng)網(wǎng)絡學術會議議在美國加州圣地地亞哥召開，成立立了國際神經(jīng)網(wǎng)絡絡學會（INNS）；i。1987年以來，神經(jīng)經(jīng)網(wǎng)絡理論、應用用、實現(xiàn)和相關開開發(fā)工具發(fā)展迅速速，涉及神經(jīng)生理理學、認知科學、心理學、數(shù)理科科學、信息科學、計算機科學、微微電子學、光學、生物電子學等多多學科交叉、綜合合的前沿科學。應應用于各個領域，如如自動控制領域、處理組合優(yōu)化問問題、模式識別、圖像處理、機器人控制、醫(yī)療等。

24、可見人工工神經(jīng)網(wǎng)絡具有廣廣泛的研究和應用用前景；以下是1987年年后的一些發(fā)展歷歷程：f。1988年，Broomhead Lower提出出徑向基函數(shù)網(wǎng)絡絡（Radial Basis Function，RBF），網(wǎng)絡設計采用原理化方法，有堅實的數(shù)學基礎；y。1992-1998年年，Vapnik提提出了支持向量機機（Support Vector Machine，SVM），在在模式分類問題上上能提供良好的泛泛化能力。F。123 神經(jīng)網(wǎng)絡國內(nèi)發(fā)展展概況1980年，涂序言教教授等出版了生生物控制論一書書，“神經(jīng)系統(tǒng)控制論論”一章系統(tǒng)地介紹紹了神經(jīng)元和神經(jīng)經(jīng)網(wǎng)絡的結(jié)構(gòu)、功功能和模型，是我我國最早涉及神經(jīng)經(jīng)

25、網(wǎng)絡的著作；因因此到80年代中中期，我國學術界界掀起了研究神經(jīng)經(jīng)網(wǎng)絡的熱潮；1988年年北京大學非線性性研究中心舉辦了了Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach；1989年召開開可全國非正式的的神經(jīng)網(wǎng)絡會議，于于1990年在北北京召開了中國神神經(jīng)網(wǎng)絡首屆學術術大會，第二年在在南京召開了第二二屆，并成立了中中國神經(jīng)網(wǎng)絡學會會；1992年國國際神經(jīng)網(wǎng)絡學會會和IEEE神經(jīng)經(jīng)網(wǎng)絡委員會在北北京召開神經(jīng)網(wǎng)絡絡的國際性會議；自此中國神經(jīng)網(wǎng)網(wǎng)絡研究在國家研研究

26、計劃的支持和和學術及工程人員員的發(fā)展與應用下下取得一系列豐碩碩成果。D。124 神經(jīng)網(wǎng)絡研究現(xiàn)狀狀神經(jīng)網(wǎng)絡是可大規(guī)模并并行處理和分布式式信息存儲，具有有良好的自學習、自適應、自組織織性，以及很強的的聯(lián)想記憶和容錯錯功能，可以充分分逼近任意復雜的的非線性關系，可可有很強的信息綜綜合能力，能同時時處理定量和定性性信息，能很好的的協(xié)調(diào)多種輸入信信息關系，適用于于處理復雜非線性性和不確定對象。l。目前的神經(jīng)網(wǎng)絡的研究究中主要有以下幾幾種類型：松耦合模型：符符號機制的專家系系統(tǒng)和聯(lián)接機制的的神經(jīng)網(wǎng)絡通過一一個中間媒介如數(shù)數(shù)據(jù)文件進行通信信；緊耦合模型：其其通信數(shù)據(jù)是直接接的內(nèi)部數(shù)據(jù)，具具有很高的效率；轉(zhuǎn)

27、換模型：將專專家系統(tǒng)知識轉(zhuǎn)換換成神經(jīng)網(wǎng)絡，或或把神經(jīng)網(wǎng)絡轉(zhuǎn)換換成專家系統(tǒng)知識識，轉(zhuǎn)換需要在兩兩種機制之間，確確定結(jié)構(gòu)上的一致致性，目前主要問問題還沒有一種能能夠精確而完備的的實現(xiàn)二者轉(zhuǎn)換；綜合模型：將具具有符號機制的邏邏輯功能和具有聯(lián)聯(lián)接機制的自適應應和容錯性結(jié)合為為一個整體，共享享數(shù)據(jù)結(jié)構(gòu)和知識識表示；混沌理論：是系統(tǒng)統(tǒng)從有序突然變?yōu)闉闊o序狀態(tài)的一種種演化理論，是對對確定性系統(tǒng)中出出現(xiàn)的內(nèi)在“隨機機過程”形成的途途徑、機制的研討討，從而與神經(jīng)網(wǎng)網(wǎng)絡融合，達到取取長補短的效果；模糊集理論：用用語言和概念代表表腦的宏觀功能，按按照人為引入的隸隸屬度，將模糊性性的語言信息進行行邏輯處理，與神神經(jīng)網(wǎng)

28、絡結(jié)合，取取長補短；遺傳算法：模擬達達爾文生物進化論論的自然選擇和遺遺傳學機理的生物物進化過程的計算算模型，是一種通通過模擬自然進化化過程搜索最優(yōu)解解的方法，從而與與神經(jīng)網(wǎng)絡融合，達達到取長補短的效效果；混合神經(jīng)網(wǎng)絡：把神經(jīng)網(wǎng)絡與混混沌理論、模糊集集理論和遺傳算法法相互結(jié)合的網(wǎng)絡絡模型。j。人工神經(jīng)網(wǎng)絡學習問題題展望，目前主要要有以下三種方法法：基于搜索機制制的學習方法、基基于規(guī)劃的學習方方法和構(gòu)造性學習習方法。如今也有有其綜合方法，各各有特點。其中基基于搜索的方法，若若不從根本上進行行改變，很難克服服其內(nèi)在固有的缺缺點，如基于局部部最小的搜索算法法，其中BP算法法就有易限于局部部極小的固有缺

29、點點；規(guī)劃方法因為為其中有“優(yōu)化的步驟”，從理論上看其其所得網(wǎng)絡性能要要比其他方法要好好，但如何確定核核函數(shù)形式和參數(shù)數(shù)問題一直是未能能很好解決的問題題，當數(shù)據(jù)規(guī)模極極大會引起計算量量過大問題；構(gòu)造造性方法，因為進進行了局部化，計計算量要小，由于于未進行全局優(yōu)化化，故性能不及規(guī)規(guī)劃方法，不需要要確定映射關系就就沒有了確定核函函數(shù)的困難問題；如果能夠?qū)⑷哒呦嗷ソY(jié)合，將規(guī)規(guī)劃方法中優(yōu)化過過程合理地引入到到構(gòu)造方法中，也也許即可克服規(guī)劃劃方法計算量大的的問題，核函數(shù)和和參數(shù)確定問題，也也可以克服構(gòu)造性性方法未進行全局局優(yōu)化的缺點；這這些將是值得研究究的問題。隨著更更多數(shù)學方法的引引入，如模擬退火火

30、算法、商空間（即即線性空間）理論論、統(tǒng)計推斷方法法與啟發(fā)式搜索技技術及其結(jié)合產(chǎn)物物的引入，促進各種學習方法法的改進，將有力力的推進神經(jīng)網(wǎng)絡絡的進一步發(fā)展。t。隨著神經(jīng)網(wǎng)絡的廣泛應應用，具有以下研研究趨勢：增強對智能和機機器的關系問題的的認識，發(fā)展神經(jīng)經(jīng)計算與進化計算算的理論與應用，擴擴大神經(jīng)網(wǎng)絡結(jié)構(gòu)構(gòu)和神經(jīng)元芯片的的作用，促進信息息科學與生命科學學的相互融合，進進行與其他智能方方法融合技術研究究。p。1.3研究目的、方法法和問題（BP神經(jīng)網(wǎng)網(wǎng)絡）131研究目的在人工神經(jīng)網(wǎng)絡發(fā)展歷歷史中，很長一段段時間里沒有找到到隱含層的連接權(quán)值調(diào)調(diào)整問題的有效算算法。直到誤差反反向傳播算法（BP神經(jīng)網(wǎng)絡算法）

31、的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡權(quán)值調(diào)整問題。目前，BP神經(jīng)網(wǎng)絡已成為廣泛使用的網(wǎng)絡，可用于語言綜合、語言識別、自適應控制等。它是一種多層前饋網(wǎng)絡，采用最小均方差的學習方式，缺點是僅為有導師訓練，訓練時間長，易限于局部極小。A。鑒于神經(jīng)網(wǎng)絡的廣泛應應用，特別是BP神經(jīng)網(wǎng)絡的發(fā)展，對于神經(jīng)網(wǎng)絡（比如BP神經(jīng)網(wǎng)絡）的研究具有重要意義。研究的主要目的是：理解BP網(wǎng)絡結(jié)構(gòu)模型；學習誤差反向傳播算法和BP神經(jīng)網(wǎng)絡的學習算法；分析關鍵因素，得出BP網(wǎng)絡的優(yōu)缺點；綜合各種因素并使用啟發(fā)式方法對BP神經(jīng)網(wǎng)絡算法進行改進；應用數(shù)學軟件MATLAB對BP神經(jīng)網(wǎng)絡標準算法和改進算法進行仿真編

32、程；利用仿真結(jié)果和圖表得出各個算法適用條件；進而研究實際問題的BP神經(jīng)網(wǎng)絡構(gòu)建和仿真。P。132研究方法通過參考研究學習神經(jīng)經(jīng)網(wǎng)絡研究和工作者的著著作和文章，理解解神經(jīng)網(wǎng)絡，特別別是BP神經(jīng)網(wǎng)絡絡的結(jié)構(gòu)模型和理理論；利用現(xiàn)有的的數(shù)學理論知識和和方法，推導反向向傳播算法計算；利用計算機程序序設計理論編寫B(tài)P神經(jīng)網(wǎng)絡學習算法的步驟和流程；分析BP標準算法關鍵因素，利用現(xiàn)有數(shù)學相關方法（如啟發(fā)式方法，MATLAB中幾種典型的BP神經(jīng)網(wǎng)絡算法：traingdm，增加動量法；trainrp，彈性BP算法；traingda，traingdx，自適應學習速率法；traincgf，共軛梯度法；trainbfg

33、，擬牛頓法；trainlm，Levenberg-Marquardt算法）對BP神經(jīng)網(wǎng)絡算法改進和理論推導；利用優(yōu)秀數(shù)學軟件MATLAB進行BP網(wǎng)絡學習算法的仿真編程，分別建立BP神經(jīng)網(wǎng)絡標準算法、改進算法的編程程序，利用MATLAB得出相關圖表，分析其關鍵因素；應用實例對BP神經(jīng)網(wǎng)絡的應用和仿真進行驗證；通過自己的理解和學習得出自己對神經(jīng)網(wǎng)絡（BP神經(jīng)網(wǎng)絡）的思考。W。133研究問題研究問題1：BP神經(jīng)經(jīng)網(wǎng)絡的學習過程程，工作信號正向向傳播，誤差信號號反向傳播。得到到如下圖1-1示意模型：（多層層前饋型網(wǎng)絡）Q。輸入層隱含層輸出層誤 差 信 號圖1.1 BP神經(jīng)網(wǎng)絡示意模型輸 入 信 號s。研

34、究問題2：BP神經(jīng)經(jīng)網(wǎng)絡的不足，訓練時間間較長，有時完全全不能訓練，失敗敗的可能性也較大大，易陷于局部極極小而得不到全局最優(yōu)，隱含節(jié)點個數(shù)難難以確定，訓練過過程有暫時遺忘的的現(xiàn)象即學習新樣樣本有遺忘舊樣本本的趨勢。s。研究問題3：BP神經(jīng)經(jīng)網(wǎng)絡學習算法的的改進有（MATLAB神神經(jīng)網(wǎng)絡工具箱中中）：增加動量法(traingdm)、彈性BP算法（trainrp），自適應學習速率法(traingdx)、共軛梯度法 (traincgf)、擬牛頓法 (trainbfg)以及Levenberg-Marquardt算法（trainlm）等。注：在MATLAB R2007版本中traingdx為動量及自適應

35、lrBP的梯度遞減訓練函數(shù)。C。研究問題4：誤差要求求和網(wǎng)絡復雜程度度將影響B(tài)P各種種算法的選擇；比比如擬牛頓法需要要Hessian矩矩陣，不適用于復復雜的大型網(wǎng)絡，但但對于中型網(wǎng)絡其其收斂效果僅次于于LM算法，且需需要的內(nèi)存也相對對較小，但對于小小型網(wǎng)絡LM算法法最好最快，仿真真效果要好；又如如當誤差要求比較較高時，彈性BP算法和自適應應學習速率法需要要很長的訓練時間間，在設定的訓練練步驟范圍內(nèi)不能達到期望誤差差。B。研究問題5：在實例的的網(wǎng)絡模型的建立立和MATLAB仿真的過程中，發(fā)發(fā)現(xiàn)沒有確定隱含含層神經(jīng)元數(shù)目的的有效方法，隱含含層神經(jīng)元的數(shù)目目直接影響分類精精度，神經(jīng)元數(shù)目目過多或過少

36、都會會使網(wǎng)絡性能下降降，一般只能由經(jīng)經(jīng)驗設定，再經(jīng)過過多次調(diào)試確定最最佳數(shù)目。其次網(wǎng)絡的泛化化能力與訓練能力力的矛盾，一般情情況下，訓練能力力差時，預測能力力也差，并且一定定程度上隨訓練能能力地提高，泛化化能力也提高。但但這種趨勢有一個個極限，當達到此此極限時，隨訓練練能力的提高，泛泛化能力反而下降降，即出現(xiàn)所謂“過擬合”現(xiàn)象。此時，網(wǎng)網(wǎng)絡學習了過多的的樣本細節(jié)，而不不能反映樣本內(nèi)含含的規(guī)律。 q。2.BP神經(jīng)網(wǎng)絡2.1 BP神經(jīng)網(wǎng)絡絡相關原理211神經(jīng)元非線性性模型f（ ）kwk1wk2wkI固定輸入x0=+1x1x2閾值kk激活函數(shù)輸出yk圖2.1 神經(jīng)元非線性模型加法器xIa。加法器，也

37、稱線性組合合器，將求輸入信信號突觸權(quán)值被神經(jīng)元的相相應突觸加權(quán)和；Z。激活函數(shù)是用來限制神神經(jīng)元的振幅，主主要有0,1或-1,+1；I。閾值的作用是根據(jù)其為為正或負，相應的的增加或減低激活活函數(shù)的網(wǎng)絡輸入入。r。注：這里的K為實例。模擬的是生物神經(jīng)元的電位脈沖原理。環(huán)境教師學習系統(tǒng)實際響應描述環(huán)境狀態(tài)向量期望模式輸入模式+-誤差信號ek圖2.2 有教師學習方框圖期望響應212 有教師監(jiān)監(jiān)督學習2。有教師學習采用的是糾糾錯規(guī)則，在網(wǎng)絡絡的學習訓練過程程給神經(jīng)網(wǎng)絡一個個期望模式和輸入入模式，所期望的的模式就是教師信信號，因此可以將將輸入模式所得的的結(jié)果與期望模式式的結(jié)果相比較，當當不相符時，可以以

38、根據(jù)相關規(guī)則進進行權(quán)值調(diào)整，比比如上述的Delta規(guī)規(guī)則，直到滿足一一定誤差范圍內(nèi)，這這將更接近期望模模式結(jié)果。由此可可見，在執(zhí)行具體體任務之前必須經(jīng)經(jīng)過學習，直到“學會”為止。k。213 神經(jīng)元數(shù)學學模型設在n時刻，神經(jīng)元i到到神經(jīng)元j的信息息傳遞，其輸入信信息為xi(n),輸出為為Oj(n)，則神經(jīng)經(jīng)元j的數(shù)學表達達式為5。(式2.1)其中 是神經(jīng)元i到到j的突觸連接權(quán)權(quán)值 是輸入和輸出間的突觸時時延 是神經(jīng)元j的閾值 是神經(jīng)元激活函數(shù)如果,又=-1,=（）可得：。214 Delta學學習規(guī)則Delta學習規(guī)則，也也稱連續(xù)感知器學學習規(guī)則，與離散散感知器學習規(guī)則則并行。其規(guī)則的的學習信號規(guī)

39、定為為：i。(式2.2)為了方便計算，定義神神經(jīng)元j的期望誤誤差與實際輸出之之間的計算誤差為為b。(式2.3)按照誤差的負梯度修正正權(quán)值，即：(式2.4)(式2.5)其中是學習率，01，在多層前饋饋網(wǎng)絡中，權(quán)值可可以初始化為任意意值。W。由式2.5可以看出Delta規(guī)規(guī)則要求連續(xù)可導導的激活函數(shù)，如如Sigmoid函函數(shù)。K。綜合式2.1至式2.5得：(式2.6)其中 式2.3中（包括和）為為n學習時刻的計計算誤差，Delta學學習規(guī)則的學習信信號也為在n時刻刻。l。215 神經(jīng)元激激活函數(shù)O+1+1-1+1+1-1OOO（a）階躍閾值函數(shù)（b）符號閾值函數(shù)（c）S型對數(shù)函數(shù)（d）S型正切函數(shù)

40、圖2.3 神經(jīng)元激活函數(shù)圖形m。在神經(jīng)元的激活函數(shù)中中分為閾值激活函函數(shù)（包括階躍型型和符號型），線線性激活函數(shù)（包包括純線性型和分分段線性型，在圖圖中未標識），非非線性激活函數(shù)（主主要是S型函數(shù)，分分為S型對數(shù)函數(shù)數(shù)和S型正切函數(shù)數(shù)，這兩種是BP神經(jīng)經(jīng)網(wǎng)絡主要使用的的，即Sigmoid函函數(shù)及其改進），還有有一種概率型激活活函數(shù)（其神經(jīng)元元狀態(tài)分布與熱力力學的Boltzmann分分布相似，故稱這這種模型為神經(jīng)網(wǎng)網(wǎng)絡熱力學模型）。K。216 BP神經(jīng)經(jīng)網(wǎng)絡收斂準則在實際問題上，實際輸輸出往往很難達到到期望輸出，因此此需要一個準則停停止權(quán)值的調(diào)整，這這就需要考慮關于于誤差曲面的局部部或全局最小的

41、性性質(zhì)。6。以下有兩種收斂準則：Kramer & Sangiovanni-Vincentelli準準則:z。當梯度向量的歐幾里德德范數(shù)達到一個充充分小的梯度閾值值時，認為反向傳傳播算法已經(jīng)收斂斂。j。注：歐幾里德（Euclidean）范數(shù)指得就是通常意義上的距離范數(shù)，k。比如Simon Haykin建建議準則：當每一個回合的均方差差的變化的絕對速速率足夠小時，認認為反向傳播算法法已經(jīng)收斂。i。分析：第一個準則為了了達到期望值，學學習時間可能會很很長，而第二個準準則則有可能過早早的終止學習。然然而都需要計算一一個梯度或變化率率。a。然而根據(jù)網(wǎng)絡對輸入數(shù)數(shù)據(jù)集合參數(shù)化的的學習過程，我們們可以通過網(wǎng)

42、絡的的泛化能力即預測測能力判斷網(wǎng)絡的的收斂，當泛化能能力達到了比較強強的一個標準時，可可以認為學習過程程的停止，即已經(jīng)經(jīng)收斂。o。關于泛化方法（如結(jié)構(gòu)構(gòu)設計方法、主動動學習、在樣本隨隨機輸入中添加隨隨機噪聲、表決網(wǎng)網(wǎng)、基于先驗知識識、最優(yōu)停止法等等）內(nèi)容請參考相相關文獻。P。2.2 BP神經(jīng)網(wǎng)絡絡學習過程描述輸入層隱含層輸出層誤 差 信 號圖2.4 BP神經(jīng)網(wǎng)絡計算模型輸 入 信 號x1O層x22xIy1y2yOQ層P 層I層12I123P123Q12Owqowpq221 BP神經(jīng)經(jīng)網(wǎng)絡計算模型建建立g。注：Wpq是隱含層P中p（輸輸出）神經(jīng)元到隱隱含層Q中q（輸輸入）神經(jīng)元的連連接權(quán)值。0。

43、神經(jīng)元輸入用，激勵勵輸出用，激勵函數(shù)用Sigmoid，Ii表示I層的第i個神經(jīng)元輸入,在這里即xi；u。訓練樣本集X=x1,x2,xIT，訓練實例K樣樣本集Xk=xk1,xk2,xkIT；N。實際輸出Yk=yk1,yk2,ykOT,期望輸出dk=dk1,dk2,dkOT；p。假設n為迭代次數(shù)，即即訓練步長，權(quán)值值和實際輸出是n的的函數(shù)。222 BP神經(jīng)經(jīng)網(wǎng)絡學習過程描描述工作信號正向傳播。輸輸入信號從輸入層層經(jīng)隱含層傳向輸輸出層，在輸出端端產(chǎn)生輸出信號，在在信號的向前傳遞遞過程中網(wǎng)絡的權(quán)權(quán)值是固定不變的的，沒一層神經(jīng)元元的狀態(tài)只影響下下一層的神經(jīng)元的的狀態(tài)。如果在輸輸出曾不能得到期期望的輸出則

44、會轉(zhuǎn)轉(zhuǎn)入誤差反向傳播播；i。誤差信號反向傳播。網(wǎng)網(wǎng)絡誤差信號即網(wǎng)網(wǎng)絡的實際輸出與與期望輸出之間的的差值，該信號由由輸出端逐層向前前傳播。在誤差信信號的反向傳播過過程中，網(wǎng)絡的權(quán)權(quán)值由誤差反饋進進行調(diào)節(jié)，即權(quán)值值修正，經(jīng)過不斷斷的修正直到允許許的誤差范圍。Z。223 BP神經(jīng)網(wǎng)絡方框框圖一層或多層隱藏神經(jīng)元輸出神經(jīng)元KYk(n)dk(n)ek(n)輸入向量Xk(n)圖2.5 BP神經(jīng)網(wǎng)絡方框圖該圖僅給出了輸出層的的一個神經(jīng)元K，焦焦點集中在該神經(jīng)經(jīng)元周圍活動：a。2.3 BP神經(jīng)網(wǎng)絡絡學習方法231 BP神經(jīng)網(wǎng)絡信號號流程dj(n)y0=+1 閾值0ej(n)j(n)yi(n)f()yj(n)-

45、+n+1圖2.6（a）BP神經(jīng)網(wǎng)絡信號流圖神經(jīng)元j是輸出節(jié)點(從yi(n)開始到y(tǒng)j(n)是神經(jīng)元j)U。圖2.6（b）BP神經(jīng)網(wǎng)絡信號流圖y0=+1 閾值0y0=+1 閾值0yi(n)j(n)yj(n)f()yk(n)k(n)f()dk(n)ek(n)n+1-+神經(jīng)元j是隱含層節(jié)點點(從yj(n)開始到y(tǒng)k(n)是神經(jīng)元k)l。以單個神經(jīng)元輸出為例例。232 誤差反向傳播計算算根據(jù)圖2.6（a）可可以初步寫出下面面的式子：(式2.7)(式2.8)根據(jù)圖2.6（b）可可以初步寫出下面面的式子：(式2.9)(式2.10)其中i=1，2，,I；j=1,2,J；k=1,2,K；n為學習步長。w。在圖

46、2.6（a）中，神神經(jīng)元j在迭代n時時，即訓練第n個個例子時，輸出誤誤差信號定義如下下：（此時j為輸輸出節(jié)點）z。(式2.11)定義神經(jīng)元j的誤差瞬瞬時值為 因此，整個誤差瞬時值值(式2.12)即為輸出層的所有神經(jīng)經(jīng)元的誤差瞬時值值之和。注：此定義式這是個均均方差式，求得實實際輸出和期望輸輸出的誤差值，二二分之一是為了方方便計算。j。根據(jù)Delta學習規(guī)規(guī)則，由式2.6可可得出(式2.13)計算：(式2.14)根據(jù)式2.7至式2.12可可得下式結(jié)果，再再由下面的式子可可以得出式2.14的的計算結(jié)果：F。 (式2.15)如果令（該為負向局向向梯度）取激勵函數(shù)為：（sigmoid函函數(shù)，或稱邏輯函

47、函數(shù)）(式2.16)令a=1，對該激勵函函數(shù)并代入求導：因此(式2.17)在圖2.6（b）中，隱隱含層I和J，輸輸出層為k：(式2.18)由式2.9至式2.17和和上述推導過程可可得：(式2.19)(式2.20)又根據(jù)反向傳播定義可可知：(式2.21)因為式2.9和式2.18代入式2.21可得：(式2.22)將式2.21代入式2.20可可得局向梯度為：根據(jù)在圖a中替換下標標j可以得出k的的局向梯度：因此，注：(注意換j與k下下標)前面計算有：如此反向向前逐層傳播播計算。233 BP神經(jīng)網(wǎng)絡算法法描述 以上的反向傳播算法計計算過程是BP算算法的基礎算法，下下面是其算法描述述：1。初始化輸入樣本計

48、算各層輸出及輸出誤差計算各層誤差信號調(diào)整各層權(quán)值mME結(jié)束n=n+1,m=m+1E=0m=1圖2.7 BP基本算法流程圖開始初始化，設置樣本計數(shù)數(shù)器m和訓練（迭迭代）次數(shù)計數(shù)器器n,其最大值分分別為(M,N)；并將權(quán)值矩陣陣設立隨機數(shù)，誤誤差E置為0，允允許誤差值為，學習率00常數(shù)，通通常a=1.7159.b=2/3。因此，f(1)=1,f(-1)=-1,f(0)=ab=1.71592/3=1.1424,斜率接近單位1，在x=1時二階導數(shù)最大。在誤差反向傳播計算中所用的是S型對數(shù)函數(shù)，同理可以使用S型正切函數(shù)，并對其求導推導。F。S型對數(shù)函數(shù)不是奇函函數(shù)，工作范圍是是0，1。而雙極性S型型正切

49、函數(shù)除了本本身符合連續(xù)可微微的條件外，具有有雙極性輸出，它它常常被選用為要要求輸入是1范圍的信號，關于于它們的選擇主要要從函數(shù)自身的工工作范圍及其導數(shù)數(shù)值的大小范圍以以及結(jié)構(gòu)簡單和運運算速度快等思想想考慮。q。由此可見，研究BP神神經(jīng)網(wǎng)絡激活函數(shù)數(shù)是今后研究的一一個重要課題。244 學習率選擇影響分析首先，學習率是隨時間間改變的，為了方方便，在反向傳播播算法計算過程中中采用的是不變的的學習率。下面是是理想學習率示意意圖和一些規(guī)則：U。迭代次數(shù)nE(n)收斂速率 圖2.8 理想學習率示意圖 根據(jù)反向傳播計算式得得知，學習率越大權(quán)值的變化化就越大，則BP算算法的學習收w。斂速度就越快，過大則則引起

50、網(wǎng)絡的振蕩蕩，導致網(wǎng)絡的不不穩(wěn)定以及性能低低下，當超過某一一極值容易引起算算法不穩(wěn)定。相反反學習率小可以避免網(wǎng)絡絡的振蕩，但導致學習習收斂速度的下降降。經(jīng)過實踐證明明來說，輸出單元元的局向梯度比輸入端大大，為此輸出單元元的應小些；有較多多輸入端的神經(jīng)元元的要比有較少的輸輸入端的神經(jīng)元的的小些；對于一個給給定的神經(jīng)元，其其學習率應與神經(jīng)經(jīng)元的突觸連接的的平方根成反比。M。在BP改進算法中引入入了動量法解決的學習過程變化化問題，增加網(wǎng)絡絡的穩(wěn)定性，加快快學習收斂速度，如如MATLAB中中使用動量及自適適應lrBP的梯梯度遞減訓練函數(shù)數(shù)。此外有很多研究究人員采用遺傳算算法和免疫算法BP神神經(jīng)網(wǎng)絡的學

51、習率率進行優(yōu)化設計并并簡歷數(shù)學模型，下下面是一個簡單的的優(yōu)化的學習率變變化公式：0。其中n為迭代次數(shù)，A和和根據(jù)工程應用的的復雜性和結(jié)構(gòu)優(yōu)優(yōu)化的模糊性，對對不同的系統(tǒng)和要要求取不同的范圍圍，一般情況下，1A50，0.00010.001。（參考文獻10）d。245 輸入輸出出歸一化影響分析析在輸入樣本訓練網(wǎng)絡時，如如果所有輸入樣本本的輸入信號都為為正值或負值，則則與第一隱含層的的神經(jīng)元權(quán)值只能能同時增加或減小小，從而導致學習習速度很慢。因此此需要對輸入信號號進行歸一化處理理，使得所有樣本本的輸入信號均值值接近零或者其標標準方差比較小。2。歸一化的問題旨在是歸歸納統(tǒng)一樣本的統(tǒng)統(tǒng)計分布性，改善善其分

52、布規(guī)律，具具體是消除均值，去去相關性以及均方方差均衡。歸一化化在0,1之間是統(tǒng)計的概概率分布，歸一化化在-1,+1之間是統(tǒng)計的坐坐標分布。網(wǎng)絡的的各個輸入數(shù)據(jù)常常常具有不同的物物理意義和不同的的量綱，為此需要要使網(wǎng)絡訓練一開開始就給各訓練輸輸入向量以同等的的身份地位。BP神神經(jīng)網(wǎng)絡的神經(jīng)元元一般采用sigmoid激激活函數(shù)，歸一化化可以防止輸入信信號數(shù)據(jù)絕對值過過大進入飽和區(qū)。另另外，期望輸出數(shù)數(shù)據(jù)不進行歸一化化會導致數(shù)值大的的分量絕對誤差大大，數(shù)值小的絕對對誤差小，網(wǎng)絡訓訓練時只針對輸出出的總誤差調(diào)整權(quán)權(quán)值，因此在總誤誤差中所占份額少少的輸出分量相對對誤差較大。這些些都將影響學習的的速度。L

53、。處理的方法有，利用合合理的變換等式將將輸入輸出的數(shù)據(jù)據(jù)變換為0,1或-1,+1（其選擇主要看看激活函數(shù)的選擇擇）之間的數(shù)據(jù)；當輸入輸出向量量中某個分量的取取值過于密集時，由由此可以將數(shù)據(jù)的的點拉開一定距離離，適當變換分布布，改善分布規(guī)律律。使用主分量分分析法使訓練樣本本的輸入向量互不不相關，去相關后的輸入入變量應調(diào)整其長長度使它們的方差差近似相等，因此此可以使網(wǎng)絡中不不同權(quán)值以大約相相等的速度進行學學習。R。246 其他影響響因素分析關于能夠改善BP神經(jīng)經(jīng)網(wǎng)絡性能和學習習收斂速度的影響響因素還有很多，比比如輸入樣本信息息內(nèi)容的選擇問題題、允許誤差的選擇問題，從提提示中學習的問題題以及改進誤差

54、函函數(shù)等。J。在輸入樣本信息選擇問問題上，為能在對對權(quán)空間進行更多多的搜索，需要以以下兩個原則選擇擇輸入樣本，使用用訓練誤差最大的的樣本，使用的樣樣本要與以前使用用的有根本區(qū)別。此此外，在一個迭代代過程給網(wǎng)絡的訓訓練樣本分布是變變形的，如果含有有例外點或錯誤標標記的訓練樣本將將會損壞輸入空間間更大區(qū)域的泛化化能力，降低網(wǎng)絡絡的性能。C。允許誤差的選擇也會會影響學習的收斂斂速度和學習精度度，我們一般采取取一開始將允許誤誤差取大些，然后后逐漸減少的做法法，這樣是對網(wǎng)絡絡訓練的寬容，也也是因為網(wǎng)絡的訓訓練往往很難達到到期望的值，也是是為了加快學習速速度，也要參考具具體問題所要求的的精度。W。提示學習

55、是利用現(xiàn)有的的關于函數(shù)的先驗驗知識（如函數(shù)的的不變性、對成性性以及其他特性）來來提高函數(shù)的逼近近能力，這就需要要從學習樣本中提提取有關輸入輸出出函數(shù)的信息，推斷斷出能夠逼近輸入入輸出函數(shù)的函數(shù)數(shù)，在學習中嵌入入這樣的提示，使使用統(tǒng)計分布的方方法建立虛擬樣本本，也增加了網(wǎng)絡絡的泛化能力，加加快了學習速度。o。改進誤差函數(shù)，標準的的誤差函數(shù)采用的的是（這也是為了了方便計算）隨著學習次數(shù)的增加， 越來越小，使函數(shù)逼近速度減慢，這樣對高度非線性樣本的逼近精度得不到保證，為此用絕對和相對逼近精度來描述次誤差函數(shù)，即7。其中和是常量系數(shù)。在樣本學習初期，以絕絕對形式的誤差函函數(shù)來指導權(quán)值的的修正；學習后期

56、期，以相對形式函函數(shù)誤差為主：則則隨著學習次數(shù)的的增加而減少，則隨學習次數(shù)的增增加而增加。有的的學者提出采用熵熵類準則函數(shù)或分分類啟發(fā)準則（參參見參考文獻11）。P。2.5 BP學習算法法的改進251 BP學習習算法的優(yōu)缺點BP學習算法優(yōu)點：BP學習算法具有數(shù)學學理論依據(jù)可靠，推推導過程嚴謹，通通用性好，解決了了求解非線性連續(xù)續(xù)函數(shù)的多層前饋饋神經(jīng)網(wǎng)絡權(quán)值調(diào)整問題，具有實現(xiàn)任何復復雜非線性映射的的功能，特別適合合求解內(nèi)部機制的的復雜問題。它具具有自學習、自組組織、自適應性和和很強的信息綜合合能力，能夠同時時處理定量和定性性信息，協(xié)調(diào)多種種輸入的關系并進進行推廣概括，實實行并行處理，適適用于處理

57、復雜非非線性和不確定的的對象。8。BP學習算法缺點：基于梯度下降法及目標標函數(shù)復雜，導致致訓練次數(shù)多，訓練練時間較長，收斂斂緩慢；基于局部部搜索的優(yōu)化方法法，導致有時完全不能能訓練，失敗的可可能性也較大，易易陷于局部極小而而得不到全局最優(yōu)優(yōu)；網(wǎng)絡結(jié)構(gòu)的選選擇尚無統(tǒng)一完整整的理論指導，隱隱含節(jié)點個數(shù)難以以確定，而網(wǎng)絡的結(jié)構(gòu)直接接影響網(wǎng)絡的逼近近能力及推廣性質(zhì)質(zhì)；訓練過程有暫時時遺忘的現(xiàn)象即學學習新樣本有遺忘忘舊樣本的趨勢；學習復雜性問題題，即網(wǎng)絡容量的的可能性與可行性性的關系問題，難難以解決應用問題題的實例規(guī)模和網(wǎng)網(wǎng)絡規(guī)模的矛盾問問題；還有諸如新新加入訓練樣本的的要求及對已學習習成功網(wǎng)絡的影響響

58、，網(wǎng)絡泛化能力力和訓練能力的極極限問題等。w。鑒于BP學習算法的優(yōu)優(yōu)缺點，增強BP神神經(jīng)網(wǎng)絡的性能和和應用，目前主要要有如下幾種改進進方法。此外還有有一些諸如增加遺遺忘因子、誤差曲曲面陡度因子的方方法，以及將多種種方法和相關數(shù)學學原理相結(jié)合的方方法（具體請參考相關文獻）。z。252 增加動量量項在前面提到學習率的變變化會影響網(wǎng)絡的的性能，為此在權(quán)權(quán)值調(diào)整公式中增增加一個動量項，達達到微調(diào)權(quán)值修正量防止振蕩的效果。這樣樣通過動量法不僅僅考慮了誤差在梯梯度上的作用，而而且考慮了誤差曲曲面上變化的方向向。m。其中是動量因子，一一般有（0，1）動動量項反應了以前前的調(diào)整經(jīng)驗，對對下一時刻的調(diào)整整起到一

59、定阻尼作作用。因此可以減減小振蕩的趨勢，促使使權(quán)值的調(diào)節(jié)向著著誤差曲面的底部部的平均方向變化化，降低了網(wǎng)絡對誤誤差曲面在局部細細節(jié)的敏感性，在在一定程度上緩解解局部極小問題，但但是難以避免收斂斂緩慢問題。U。253 彈性BP學學習算法BP學習算法常用sigmoid函函數(shù)，即其特點是可以把無限的的輸入映射到有限限的輸出，如果函函數(shù)的輸入很大或或很小的時候，函函數(shù)的斜率接近于于零，這樣采用梯梯度下降法使用sigmoid函函數(shù)的網(wǎng)絡就帶來來一個問題：梯度度幅度的不利影響響，即盡管權(quán)值和和闞值離其最佳值值相差甚遠，但此此時梯度的幅度非非常小，導致權(quán)值值和閾值的修正量量也很小，使得訓練時間變得很很長。所

60、以在權(quán)值值修正的時候僅僅僅用偏導的符號，而而其幅值不影響權(quán)權(quán)值的修正，即權(quán)權(quán)值的修正取決于于與幅值無關的修修正值。當連續(xù)兩兩次迭代的梯度方方向相同時，可將將權(quán)值和閾值的修修正值乘以一個增增量因子。使其修正值增加加；當連續(xù)兩次迭迭代的梯度方向相相反時，可將權(quán)值和閾值值的修正值乘以一一個減量因子，使使其修正值減?。划斕荻葹榱銜r，權(quán)權(quán)值和閾值的修正正值保持不變；當當權(quán)值的修正發(fā)生生振蕩時，其修正正值將會減小。如如果權(quán)值在相同的的梯度上連續(xù)被修修正，則其幅度必必將增加，從而克克服了梯度幅度的的不利影響，即c。（當連續(xù)兩次迭代的梯度度方向相同時）（當連續(xù)兩次迭代的梯度度方向相反時）（當局向梯度g(n)為