BP神經網絡的幾種改進方法

研一隊:張之武2010年6月8日2021/9/291BP神經網絡的幾種改進方法BP網絡存在的問題:1.對初始權值的選取很敏感2.網絡隱含層節點數選擇的盲目性3.收斂速度慢容易陷入局部極小而無法得到全局最優解4.泛化能力較差2021/9/292BP神經網絡的幾種改進方法主要的改進策略:1.算法自身的改變2.與其他優化算法的結合2021/9/293BP神經網絡的幾種改進方法提高BP網絡收斂速度的方法歸納為三類：優化網絡學習率的變化方式來提高訓練速度的方法。如：動量項法、自適應學習率法、共軛梯度法、牛頓迭代法等優化網絡初始參數方式來提高訓練速度的方法。如：對輸入初始參數和網絡連接權重參數進行歸一化等優化網絡學習結構的參數來提高訓練速度的方法。如：誤差函數修正法、激勵函數選取法等2021/9/294BP神經網絡的幾種改進方法

一些具體改進方法:1.修正BP算法的誤差函數和激勵函數等效誤差分量和的大小和正負的變化對收斂速度存在影響,修正誤差函數可以定義為：

激勵函數也是BP算法中影響收斂的重要因素，激勵函數的選取影響著BP算法的收斂速度2021/9/295BP神經網絡的幾種改進方法2.網絡初始參數歸一化處理由于輸入樣本屬于不同量綱，故對所有的輸入樣本，(如：網絡初始數據)進行歸一化處理并使之轉化到[0,1]之間。這里利用比例壓縮法，具體公式為：

訓練完成后，將最終得到的數據進行還原處理；其公式為2021/9/296BP神經網絡的幾種改進方法3.隱含層節點數選擇方法的改進隱含層的神經元數可用以下公式計算：式中k為隱含層節點數，n為輸入層節點數，m為輸出層節點數，公式計算值需要用四舍五入法進行取整，在考慮上述公式和比較仿真的效果后確定隱含層的節點數。2021/9/297BP神經網絡的幾種改進方法4.改進的BP網絡學習率其中0.0001≦λ≦0.001,此算法認為,如果網絡誤差處于下降狀態,尤其下降趨勢明顯時,則說明此時學習率可以按一定比例增大.2021/9/298BP神經網絡的幾種改進方法與其他優化算法的結合:遺傳算法、利用混沌運動遍歷的特點的混沌算法、模擬退火算法其中與遺傳算法結合的論文相對較多,兩者算法特性存在明顯互補性，前者利用梯度下降法，使權值向它的誤差函數負梯度方向進行調整，以實現最快減少誤差，局部微調性強，但容易陷于局部最優點。后者主要特點是群體搜索策略和群體中個體之間的信息交換，搜索不依賴于梯度信息，算法魯棒性強，不易陷于局部最優，但是收斂到全局最優解所需的時間可能很長2021/9/299BP神經網絡的幾種改進方法

發展趨勢:人工神經網絡正向模擬人類認知的道路上更加深入發展,與模糊系統、遺傳算法、進化機制等結合，形成計算智能，成為人工智能的一個重要方向，將在實際應用中得到發展。隨著神經網絡理論研究的深入以及網絡計算能力的不斷提高,神經網絡的應用領域將會不斷擴大,應用水平將會不斷提高,