1、 人工神經網絡BP算法的改進及其應用摘要:對傳統的BP算法進行了改進,提出了BP神經網絡動態全參數自調整學習算法,又將其編制成計算機程序,使得隱層節點和學習速率的選取全部動態實現,減少了人為因素的干預,改善了學習速率和網絡的適應能力。計算結果表明:BP神經網絡動態全參數自調整算法較傳統的方法優越,訓練后的神經網絡模型不僅能準確地擬合訓練值,而且能較精確地預測未來趨勢。關鍵詞:人工神經網絡;BP算法;自調整;自組織方法近年來,國際上掀起了一股人工神經網絡研究、開發應用的熱潮。人工神經網絡的理論的應用已滲透到各個領域,并在智能控制、模式識別、計算機視覺、自適應濾波和信號處理、非線性優化、自動目標識

2、別、生物醫學工程等方面取得了顯著成效。BP神經網絡模型是人工神經網絡的重要模型之一。通常,BP算法是通過一些學習規則來調整神經元之間的連接權值,在學習過程中,學習規則以及網絡的拓撲結構不變。然而,一個神經網絡的信息處理功能不僅取決于神經元之間的連接強度,而且與網絡的拓撲結構(神經元的連接方式)、神經元的輸入輸出特性和神經元的閥值有關。因而,神經網絡模型要加強自身的適應和學習能力,應該知道如何合理地自組織網絡的拓撲結構,改變神經元的激活特性以及在必要時調整網絡的學習參數等。本文基于此,在前人研究的基礎上,對傳統的BP算法進行了改進,提出了BP神經網絡動態全參數自調整學習算法,不僅加快了網絡的收斂

3、速度,而且可以優化網絡的拓撲結構,從而增強了BP神經網絡的適應能力。1BP人工神經網絡模型的構造和評述1.1BP神經網絡概言BP神經網絡,即誤差反向傳播神經網絡,是神經網絡模型中應用最廣泛的一種。它由輸入層、隱含層和輸出層構成。假設BP神經網絡每層有N個節點,作用函數為非線性的Sigmoid型函數,一般采用f(x)=1/(1+e-x),學習集包括M個樣本模式(Xp,Yp)。對第P個學習樣本(P=1,2,.,M),節點j的輸總和記為netpj,輸出記為Qpj,則:netpj=i=0N WjiOpjOpj=f(netpj)如果任意設置網絡初始權值,那么對每個輸入樣本P,網絡輸出與期望輸出(dpj)

4、間的誤差為E=Ep=(j (dpj-Opj)2)/2BP網絡的權值修正公式為Wji=Wji(t)+pjOpjpj=fnetpjdpj-Opj ，對于輸出節點f(netpj)kpkWkj ，對于輸入節點 上式中引入學習速率,是為了加快網絡的收斂速度。通常權值修正公式中還需加一個慣性參數a,從而有: Wji=Wji(t)+pjOpj+a(Wji(t)- Wji(t-1)式中,a為一常數項,它決定上一次的權值對本次權值的影響。其具體算法步驟詳見文獻1。1.2傳統BP網絡的評述傳統BP網絡模型把一組樣本的輸入/輸出問題變為一個非線性優化問題,使用了優化中的最普通的梯度下降算法,對問題的識別具有很強的功

5、能,對于復雜的非線性模型仿真從理論上來說其誤差可以達到任意小的程度。但它仍然存在一些缺陷:1)傳統的BP網絡既然是一個非線性優化問題,這就不可避免地存在局部極小問題。網絡的極值通過沿局部改善的方向一小步一小步進行修正,力圖達到使誤差函數E最小化的全局解,但實際上常得到的是局部最優點。2)學習過程中,下降慢,學習速度緩,易出現一個長時間的誤差平坦區,即出現平臺。3)網絡結構選擇不一,網絡過大,在訓練中效率不高,而且還會由于過擬合造成網絡性能脆弱,容錯性下降,浮點溢出,而太小的網絡可能根本不收斂。在實際應用中,網絡結構人為性較大,缺乏規則指導。2BP人工神經網絡模型的改進2.1BP人工神經網絡結構

6、的自我調整在BP人工神經網絡拓撲結構中,輸入節點與輸出節點是由問題的本身決定的,關鍵在于隱層的層數與隱節點的數目。對于隱層的層數,許多學者作了理論上的研究。Lippmann2和Cyberko3曾指出,有兩個隱層,就可以解決任何形式的分類問題;后來Robert Hecht Nielson5等人研究進一步指出:只有一個隱層的神經網絡,只要隱節點足夠多,就可以以任意精度逼近一個非線性函數。相對來說,隱節點數的選取很困難。隱節點少了,學習過程不可能收斂;隱節點多了,網絡性能下降,節點冗余。為了找到合適的隱節點數,最好的辦法是在網絡的學習過程中,根據環境要求,自組織地學習、調整自己的結構,最后得到一個大

7、小合適的神經網絡模型。設Opi是隱節點i在學習第p個樣本時的輸出, Opj隱節點j在學xp2習第p個樣本時的輸出,N為學習樣本總數,則Oi=1Np=1NOpiOj=1Np=1NOpj令 xp=Opi-1Np=1NOpi=Opi-Oi yp=Opj-1Np=1NOpj=Opj-Oj則兩序列Opi與Opj (p=1,N)的相關系數為:ij=p=1Nxpyp: p=1Nxp2: p=1Nyp2顯而易見:| ij|1.ij愈接近±1,表示兩序列Opi與Opj的線性相關程度愈大,互相回歸的離散度愈小;反之,則兩序列的線性相關程度愈小,互相回歸的離散度愈大。定義1°同層隱節點i和j的相

8、關系數ij=p=1Nxpyp: p=1Nxp2: p=1Nyp2ij說明隱節點i和j的相關程度, ij過大,說明節點i和j功能重復,需要壓縮合并。定義2°樣本發散度SiSi=1Np=1NOpi2 -Oi2 Si過小,說明隱節點i的輸出值變化很少,它對網絡的訓練沒有起到什么作用,則可以刪除。根據以上定義,提出如下動態合并與刪減規則。規則1若|ij|C1且Si, SjC2則同層隱節點i和j可以合二為一。其中C1和C2為規定的下限值,一般C1取0.80.9, C2取0.0010.01。規則2若Si<C2,則節點i的作用如同閥值,可與閥值合并,即節點i被刪除。2.2神經網絡學習參數的自

9、適應學習在傳統的BP神經網絡模型中,對學習參數的選取一般都是根據建模者的經驗選取一個值。但事實上的選取對算法的成敗有著重要影響。BP神經網絡模型實際上是一個多元函數的優化問題,即以連結權系數為變量,誤差函數最小為目標的優化問題。當求出對連結權的梯度后,對連結權進行修正時,學習速率實際上是一個沿負梯度方向的步長問題,步長過大將使誤差函數發生振蕩,步長過小,收斂過慢。并且在不同的點,可選步長也不一樣。總之,不存在原BP算法中所提到的固定學習速率。對于學習參數的選取,我們可以引入學習參數自適應算法加以確定。其基本思想是:當Wji遠離穩定點(學習要達到的目標點)時,取較大值,而當其逼近穩定點(E10)

10、時,取較小值。具體作法為:(t+1)= (t)·E1 (t)/ E1 (t-1)其中, E1=p=1NEpN,N為學習樣本容量。E1稱為全局平均誤差。該方法也有缺陷,對局部極小值往往無法“逃避”。針對BP算法中存在局部極小這一問題,本文采用統計學上隨機抽取的思想。在算法中產生大量的隨機初始點,逐次進行迭代最終選優。這樣,誤差函數E能取得全局最優解的概率將大大提高。3動態全參數自調整學習算法綜合1、2部分,我們得到結構參數和學習參數自調整的算法,其具體步驟如下:1)根據實際問題,設定一個較大規模的網絡,并對網絡初始化;2)輸入學習樣本,使樣本參數變化為0,1區間;3)在-1,1之間隨機

11、產生數值賦給初始權矩陣;4)按改進的BP法訓練網絡;5)判斷迭代步數是否超過規定步數或學習精度達到要求否,是,轉入6);否,返回4),繼續學習;6)計算隱節點間的相關參數及發散度。先按規則2,進行節點刪除;若規則2不滿足,按規則1,進行節點合并;若兩規則都滿足,則只按規則2刪除;若兩規則都不滿足,則不進行結點合并、刪除。若無節點合并、刪除,則轉到步驟7);否則,返回3);7)學習精度是否達到要求或迭代參數是否超過規定步數,是,算法終止;否,返回3)。4應用實例及與自組織方法的比較能源是國民經濟發展的基礎。它是一種極其寶貴的自然資源。隨著社會的發展,人們生活質量的提高,對能量的需求量日益加大。能

12、源消費量不僅與一個國家的經濟結構、科學水平、生產模式等因素有關,而且與地理條件、人民生活習慣、國家的發展政策等因素有關。因此,能源的消費量與影響它的因素之間存在著復雜的關系。表1為我國能源消費量及相關因素一覽表。這些因素中影響能源消費量的主要有三個,即國民生產總值指數(1978年=100)、廣義節能率和能源產品出廠價格指數(上年=100)。能源消費量與國民生產總值關系密切,它們之間一般具有復雜的非線性關系。這里的廣義節能率包含了由于科技進步、產業結構調整等而綜合產生的節能效果。根據市場經濟規律,能源產品出廠價格的高低也影響能源消費量。它們之間亦具有復雜的非線性關系。為計算方便,這里的能源產品出

13、廠價格指數僅綜合了煤炭和石油兩種產品的出廠價格指數。我們利用動態全參數自調整BP(三層)學習算法來預測能源消費量。神經網絡的輸入變量取三個:國民生產總值、廣義節能率和能源產品出廠價格綜合指數,即輸入層節點數取3。隱層節點數應適當取大些,這里取10。輸出層的節點數為輸出向量的分量數,這里為1,即能源消費量。 表1 樣本值Tab.1The date of Chinese energy resources consumption國民生產 廣義節 煤炭在能源 煤炭產品出 石油在能源 石油產品出 能源產品出廠 能源消費序號 年份 總值指數 能率% 消耗中的 廠價格指數 消耗中的 廠價格指數 價格綜合指數

14、 量實際值(1989年=100) 比例% (上年=100) 比例% (上年=100) (上年=100) /mtof SCE1 1978 100.0 4.79 70.7 100.0 22.7 100.0 100.0 571.44 2 1979 107.6 4.88 71.3 113.4 21.8 100.6 110.4 585.883 1980 116.0 4.53 72.2 106.4 20.7 102.1 105.4 602.754 1981 121.2 5.65 72.7 102.6 20.0 99.3 101.9 594.475 1982 131.8 3.09 73.7 101.9 18

15、.9 100.5 101.6 626.466 1983 145.4 4.39 74.2 101.5 18.8 106.3 102.4 626.467 1984 170.9 8.67 75.3 102.6 17.4 110.2 104.4 709.048 1985 193.7 4.59 75.8 117.6 17.1 107.2 115.7 766.829 1986 210.2 2.84 75.8 96.8 17.2 104.6 98.2 808.5010 1987 234.1 3.80 76.2 102.8 17.0 104.0 103.0 866.3211 1988 260.5 3.56 7

16、6.2 110.6 17.0 106.8 109.9 928.9712 1989 271.2 0.13 76.0 112.2 17.1 108.4 111.5 929.9713 1990 281.8 2.00 76.2 106.2 16.6 107.1 106.4 987.0314 1991 308.1 3.89 76.1 113.1 17.1 118.8 114.1 1037.8315 1992 351.7 7.86 75.7 116.1 17.5 115.3 115.9 1091.716 1993 399.3 9.80 72.8 139.7 19.6 171.3 146.4 1117.68

17、17 1994 445.6 1.59 75.0 122.2 17.4 148.7 127.2 1193.7318 1995 498.4 2.00 73.4 112.1 17.3 145.7 117.2 1249.1119 1996 569.8 1.53 72.6 107.3 17.9 140.8 111.4 1268.2720 1997 627.6 1.60 73.7 102.7 17.5 120.3 109.6 1298.6921 1998 688.1 1.22 72.8 101.4 18.1 118.0 108.1 1311.10注:表中資料源自中國統計年鑒(19871997年數據)及成都

18、市經濟信息中心(1998年數據)4.1動態全參數自調整BP神經網絡預測模型4.1.1建立動態全參數自調整BP神經網絡模型由表1,我們得到21個樣本輸入輸出數據組。將19781994年間的數據作為網絡訓練樣本,19951998年間的數據作為檢驗預測結果的樣本。取=0.15,a=0.075,=0.0002, C1=0.9, C2=0.001。網絡經過若干次訓練后,得到最優化的BP神經網絡結構:3-2-1(輸入層節點為3個,隱層節點為2個,輸出層1個節點)。同時,又得到了模型的最優連接權值W,V矩陣。在網絡訓練過程中,原BP神經網絡結構由3-10-1調整到了3-2-1。在此中間,隱節點的合并,刪除共

19、進行了兩次。表2為第一次隱節點調整時的相關系數及發散度,從中可看出節點0、2、7、9合并,1、6、5、8合并,節點3被刪除,剩下4、8、9三節點。表3為第二次隱節點調整時的相關系數及發散度,從中顯而易得:節點4與9合并,最終剩下了4、8兩節點。表2隱節點第一次調整時的相關系數及發散度Tab.2The cofficients and the divergent degrees,adjusted for the first time j i 0 1 2 3 4 5 6 7 8 9 Si 0 1.000 0.678 0.971 0.077 0.687 0.229 0.484 0.999 0.029

20、0.926 0.05611 0.678 1.000 0.485 0.678 0.066 0.868 0.968 0.688 0.713 0.351 0.01181 0.971 0.485 1.000 0.3113 0.839 0.004 0.267 0.967 0.265 0.988 0.20592 0.077 0.678 0.311 1.000 0.774 0.943 0.823 0.064 0.997 0.446 0.00053 0.687 0.066 0.839 0.779 1.000 0.547 0.299 0.677 0.745 0.890 0.03114 0.229 0.868 0

21、.004 0.943 0.547 1.000 0.962 0.244 0.962 0.152 0.04905 0.484 0.968 0.267 0.823 0.299 0.962 1.000 0.498 0.854 0.121 0.02136 0.999 0.688 0.967 0.064 0.677 0.244 0.498 1.000 0.015 0.920 0.13647 0.029 0.713 0.265 0.997 0.745 0.962 0.854 0.015 1.000 0.404 0.01419 0.926 0.351 0.988 0.446 0.890 0.152 0.121

22、 0.920 0.404 1.000 0.0026 表3隱節點第二次調整時的相關系數及發散度Tab.3The coefficients and the divergent degrees,adjusted for the second time j i 4 8 9 Si 4 1.000 0.601 0.996 0.02048 0.601 1.000 0.5293 0.00369 0.996 0.5293 1.000 0.0083 由以上BP神經網絡的訓練過程可知 ,網絡的結構通過自身的自組織學習,調整出了自己的結構,最后得出了一個大小合適的優化模型結構,免去了人為因素的干預。經過BP神經網絡的

23、動態全參數自調整學習過,我們得到的模型的連接權矩陣如下:W= -0.6966 -0.3256 0.2342 -0.42210.15320.8888-0.23090.2885V= -1.65564-1.54538-0.486024.1.2模型的應用預測用上面的模型,我們對19951998年我國能源消費量進行預測。得到預測結果如表4所示。4.2與自組織方法(GMDH)的對比自組織理論與方法4自七十年代初誕生至今已近三十年的時間了,正逐步趨于成熟。在對一些復雜的經濟問題的研究過程中,取得了令人滿意的效果。為了和BP神經網絡的動態全參數自調整算法的預測效果比較,我們同樣采用搜集的樣本數據,應用GMDH

24、方法對19951998年我國的能源消費量這一經濟指標進行預測,得到的模型方程為:SCEY=0.00589+0.12290x1-0.00945x2+0.47953x3其中SCEY表示能源消費量實際值, x1表示國民生產總值指數, x2表示廣義節能率, x3表示能源產品出廠價格綜合指數。由此模型中得到的預測結果見表4所示。表4BP神經網絡動態全參數自調整算法與GMDH方法預測結果及檢驗 Tab.4The forecast values,achieved by the improvement of BP algrorithm and GMDH 年份 1995 1996 1997 1998能源消費量實際值 1249.1 1268.27 1298.69 1311.10 BP動態全參 預測值 1229.87 1255.18 1265.31 1286.51數自調整算法 相對誤差 -1.54% -1.03% -2.56% -1.88%GMDH方法 預測值 1214.54 1287.92 1340.67 1411.42 相對誤差 -2.76% 1.56% 3