基于改進(jìn)遺傳算法優(yōu)化bp神經(jīng)網(wǎng)絡(luò)的混沌時(shí)間序列預(yù)測

混混淆現(xiàn)象廣泛存在于自然系統(tǒng)和社會(huì)系統(tǒng)中。這是一個(gè)不規(guī)則的運(yùn)動(dòng)，在確定的不規(guī)則動(dòng)力學(xué)系統(tǒng)中形成了一個(gè)復(fù)雜的行為。混沌系統(tǒng)最本質(zhì)的特征是系統(tǒng)對初始條件的極端敏感性。混沌在許多實(shí)際系統(tǒng)中已經(jīng)得到較為廣泛的應(yīng)用,如生物醫(yī)學(xué)、電力、交通、通訊、社會(huì)經(jīng)濟(jì)、聲學(xué)、化學(xué)等等。盡管混沌現(xiàn)象是一種不規(guī)則現(xiàn)象,但它源于確定性系統(tǒng),所以在短期范圍內(nèi)是可預(yù)測的,而對初值的敏感性又決定了它的長期是不可預(yù)測性的。隨著混沌理論和應(yīng)用技術(shù)的不斷發(fā)展,混沌系統(tǒng)的建模、預(yù)測和控制成為當(dāng)代混沌領(lǐng)域研究的熱點(diǎn)。迄今為止,國內(nèi)外學(xué)者對混沌預(yù)測理論已經(jīng)做了很多研究,取得了一些有價(jià)值的成果,建立了多種混沌時(shí)間序列預(yù)測模型,如局域線性模型、Volterra濾波器自適應(yīng)預(yù)測模型、RBF神經(jīng)網(wǎng)絡(luò)模型、BP神經(jīng)網(wǎng)絡(luò)模型、最大Lyapunov指數(shù)模型以及一些組合預(yù)測模型等。在這些預(yù)測模型中,BP神經(jīng)網(wǎng)絡(luò)模型是比較成功的預(yù)測模型。BP神經(jīng)網(wǎng)絡(luò)通過具有簡單處理能力的神經(jīng)元的復(fù)合作用使網(wǎng)絡(luò)具有復(fù)雜的非線性映射能力,但該模型兩個(gè)明顯的缺點(diǎn):一是容易于陷入局部極小值;二是收斂速度慢。避免上述問題的一種方法是采用遺傳算法,建立遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型。遺傳算法(GeneticAlgorithm,GA)是一種全局搜索算法,把BP神經(jīng)網(wǎng)絡(luò)和遺傳算法有機(jī)融合,利用遺傳算法來彌補(bǔ)BP神經(jīng)網(wǎng)絡(luò)連接權(quán)值和閾值選擇上的隨機(jī)性缺陷,不僅能發(fā)揮BP神經(jīng)網(wǎng)絡(luò)泛化的映射能力,而且使BP神經(jīng)網(wǎng)絡(luò)具有很快的收斂性以及較強(qiáng)的學(xué)習(xí)能力。基于此,本文從非線性混沌時(shí)間序列角度出發(fā),提出了一種改進(jìn)遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的預(yù)測模型,降低了陷入局部極小的風(fēng)險(xiǎn)并能夠使BP網(wǎng)絡(luò)取得很高的收斂精度。該模型首先根據(jù)混沌時(shí)間序列輸入輸出參數(shù)個(gè)數(shù)確定BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),然后使用改進(jìn)的遺傳算法對BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化找到最優(yōu)適應(yīng)度值對應(yīng)個(gè)體,最后用改進(jìn)的遺傳算法得到的最優(yōu)個(gè)體對BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值和閾值賦值,訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型得到預(yù)測最優(yōu)解。以3種完全不同典型的非線性系統(tǒng)(Logistic、Henon、Lorenz)采用該模型進(jìn)行了建模和預(yù)測分析,結(jié)果表明該方法對混沌時(shí)間序列具有更好的非線性擬合能力和更高的預(yù)測精度。1m維相空間的演化過程相空間重構(gòu)理論是混沌時(shí)間序列預(yù)測的基礎(chǔ),Packard等人和Takens提出了用延遲坐標(biāo)法對混沌時(shí)間序列x1ue0a8x2ue0a8ue02aue0a8xn進(jìn)行相空間重構(gòu),則在狀態(tài)空間中重構(gòu)的某一點(diǎn)狀態(tài)矢量可以表示為:式中,M=n-(m-1)τ是重構(gòu)相空間中相點(diǎn)的個(gè)數(shù);τ是延遲時(shí)間;m是嵌入維數(shù),即重構(gòu)相空間的維數(shù)。因此,對于具有n個(gè)數(shù)據(jù)點(diǎn)的預(yù)測信號x1,x2,…,xn,可以在m維相空間中重構(gòu)成M=n-(m-1)τ個(gè)狀態(tài)點(diǎn),這些相點(diǎn)的連線構(gòu)成了n個(gè)數(shù)據(jù)點(diǎn)在m維相空間中的軌跡,該軌跡表征了系統(tǒng)狀態(tài)隨時(shí)間的演化。Takens定理證明了如果嵌入維m≥2d+1,d為系統(tǒng)動(dòng)力學(xué)維數(shù),則系統(tǒng)原始狀態(tài)變量構(gòu)成的相空間和一維觀測值重構(gòu)相空間里的動(dòng)力學(xué)行為等價(jià),兩個(gè)相空間中的混沌吸引子微分同胚,即一維觀測值中包含有系統(tǒng)所有狀態(tài)變量演化的全部信息。由此演化規(guī)律可得系統(tǒng)下一時(shí)刻的狀態(tài),從而得到時(shí)間序列下一時(shí)刻的預(yù)測值。這為混沌時(shí)間序列的預(yù)測提供了依據(jù)。2bp神經(jīng)網(wǎng)絡(luò)的建立混沌時(shí)間序列預(yù)測的實(shí)質(zhì)是一個(gè)動(dòng)力系統(tǒng)的逆問題,即通過動(dòng)力系統(tǒng)的狀態(tài)來重構(gòu)系統(tǒng)的動(dòng)力學(xué)模型F(·),即式中,T為前向預(yù)測步長。構(gòu)造一個(gè)非線性函數(shù)f(·)去逼近F(·)的方法有很多,BP神經(jīng)網(wǎng)絡(luò)就是一種構(gòu)造混沌時(shí)間序列非線性預(yù)測模型F(·)的很好方法。BP神經(jīng)網(wǎng)絡(luò)是一種反向傳遞并且能夠修正誤差的多層映射函數(shù),它通過對未知系統(tǒng)的輸入輸出參數(shù)進(jìn)行學(xué)習(xí)之后,便可以聯(lián)想記憶表達(dá)該系統(tǒng)。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程由信號的正向傳播和誤差的反向傳播2部分組成。正向傳播時(shí),輸入樣本從輸入層傳入,經(jīng)隱層處理后傳向輸出層。若輸出層與期望的輸出不符,則將輸出誤差通過隱層向輸入層逐層反傳,將誤差分?jǐn)偨o各層所有節(jié)點(diǎn),以此作為修正各節(jié)點(diǎn)連接權(quán)值的依據(jù)。若一個(gè)非線性離散動(dòng)力系統(tǒng)的輸入為Xi=(xi,xi+τ,…,xi+(m-1)τ)T,輸出為yi=xi+1,選擇典型的3層BP神經(jīng)網(wǎng)絡(luò),由于用BP神經(jīng)網(wǎng)絡(luò)來預(yù)測混沌時(shí)間序列,神經(jīng)網(wǎng)絡(luò)輸入層的神經(jīng)元數(shù)等于混沌時(shí)間序列重構(gòu)相空間的嵌入維數(shù)m時(shí),預(yù)測效果比較好,故本文取BP神經(jīng)網(wǎng)絡(luò)的輸入個(gè)數(shù)為m、隱層為p、輸出個(gè)數(shù)為1,則BP神經(jīng)網(wǎng)絡(luò)完成映射f:Rm?R1,其隱層各節(jié)點(diǎn)的輸入為:式中,wij為輸入層至隱層的連接權(quán)值;θj為隱層節(jié)點(diǎn)的閾值。BP神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)移函數(shù)采用Sigmoid函數(shù)f(x)=1/(1+e-x),則隱層節(jié)點(diǎn)的輸出為:同理,輸出層節(jié)點(diǎn)的輸入、輸出分別為:式中,vj為隱層至輸出層的連接權(quán)值;γ為輸出層的閾值。BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)重wij、vj和閾值θj、γ可以通過BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練求得,故xi+1是可預(yù)測的。式(6)即為BP神經(jīng)網(wǎng)絡(luò)的預(yù)測模型。BP神經(jīng)網(wǎng)絡(luò)在開始訓(xùn)練前將各層的連接權(quán)值及閾值隨機(jī)初始化為之間的值,這種未經(jīng)優(yōu)化的隨機(jī)初始化往往會(huì)使BP神經(jīng)網(wǎng)絡(luò)的收斂速度慢且容易使最終結(jié)果為非最優(yōu)解。采用遺傳算法可以對初始權(quán)值以及閾值分布進(jìn)行優(yōu)化,優(yōu)化的初始權(quán)值和閾值能使BP神經(jīng)網(wǎng)絡(luò)具有更高的精度。3bp神經(jīng)網(wǎng)絡(luò)預(yù)測及模型預(yù)測遺傳算法是一種全局優(yōu)化隨機(jī)搜索算法,在個(gè)體基因表示的基礎(chǔ)上通過遺傳算子模擬遺傳過程中出現(xiàn)的復(fù)制、交叉和變異等現(xiàn)象,對種群個(gè)體逐代擇優(yōu),從而最終獲得最優(yōu)個(gè)體。本文將改進(jìn)的遺傳算法和BP神經(jīng)網(wǎng)絡(luò)相結(jié)合,形成一個(gè)遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的預(yù)測模型。模型算法分為3部分:(1)確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。根據(jù)混沌時(shí)間序列輸入輸出參數(shù)個(gè)數(shù)確定BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),進(jìn)而確定遺傳算法個(gè)體的長度。(2)遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值。采用線性插值函數(shù)生成種群個(gè)體,種群中每一個(gè)個(gè)體都包含一個(gè)BP神經(jīng)網(wǎng)絡(luò)所有權(quán)值和閾值,個(gè)體通過適應(yīng)度函數(shù)計(jì)算個(gè)體適應(yīng)度值,遺傳算法通過選擇、交叉和變異操作找到最優(yōu)適應(yīng)度值對應(yīng)個(gè)體。(3)BP神經(jīng)網(wǎng)絡(luò)預(yù)測。用遺傳算法得到的最優(yōu)個(gè)體對BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值和閾值進(jìn)行賦值,用BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型進(jìn)行局部尋優(yōu),從而得到具有全局最優(yōu)解的BP神經(jīng)網(wǎng)絡(luò)預(yù)測值。算法具體步驟如下:步驟1設(shè)群體規(guī)模為P。隨機(jī)生成P個(gè)個(gè)體的初始種群W=(W1,W2,…,Wp)T,給定一個(gè)數(shù)據(jù)選定范圍,由于初始群體的確定對GA的全局尋優(yōu)有很大影響,所以采用線性插值函數(shù)生成種群中個(gè)體Wi的一個(gè)實(shí)數(shù)向量w1,w2,…,wS,作為遺傳算法的一個(gè)染色體。染色體的長度為:式中,R為輸入層節(jié)點(diǎn)數(shù);S1為隱層節(jié)點(diǎn)數(shù);S2為輸出層節(jié)點(diǎn)數(shù)。確定好的種群中的每個(gè)個(gè)體Wi=(w1,w2,…,wS),(i=1,2,…,P)代表一個(gè)BP神經(jīng)網(wǎng)絡(luò)的初始值,個(gè)體Wi中的一個(gè)基因值wj表示神經(jīng)網(wǎng)絡(luò)的一個(gè)連接權(quán)值或閾值。為了得到高精度的權(quán)值、縮短染色體的串長,采用浮點(diǎn)數(shù)編碼方法。步驟2確定個(gè)體的評價(jià)函數(shù)。給定一個(gè)BP神經(jīng)網(wǎng)絡(luò)進(jìn)化參數(shù),將步驟1中得到的染色體對BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值進(jìn)行賦值,輸入訓(xùn)練樣本進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練,達(dá)到設(shè)定的精度得到一個(gè)網(wǎng)絡(luò)訓(xùn)練輸出值。則種群W中個(gè)體Wi的適應(yīng)度值fitnessi和平均適應(yīng)度值分別定義為:式中,為訓(xùn)練輸出值;yj為訓(xùn)練輸出期望值;M為重構(gòu)相空間中相點(diǎn)數(shù);P為種群規(guī)模。步驟3采用輪盤賭法選擇算子,即基于適應(yīng)度比例的選擇策略對每一代種群中的染色體進(jìn)行選擇。則選擇概率pi為:式中,fi=1/fitnessi;P為種群規(guī)模。步驟4由于個(gè)體采用實(shí)數(shù)編碼,所以交叉操作方法采用實(shí)數(shù)交叉法。第k個(gè)基因wk和第l個(gè)基因wl在j位的交叉操作為:式中,b為間的隨機(jī)數(shù)。步驟5變異操作選取第i個(gè)個(gè)體的第j個(gè)基因進(jìn)行變異操作:式中,wmax和wmin分別為基因wij取值的上下界;r為間的隨機(jī)數(shù);r2為一個(gè)隨機(jī)數(shù);g為當(dāng)前迭代次數(shù);Gmax為最大進(jìn)化代數(shù)。步驟6將遺傳算法的最優(yōu)個(gè)體分解為BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)值和閾值,利用BP算法對BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型進(jìn)行訓(xùn)練,求出混沌時(shí)間序列預(yù)測最優(yōu)解。4遺傳算法優(yōu)化bp神經(jīng)網(wǎng)絡(luò)預(yù)測模型的實(shí)驗(yàn)結(jié)果應(yīng)用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型和BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型對3種典型的非線性混沌系統(tǒng)(Logistic、Henon、Lorenz)進(jìn)行預(yù)測比較研究。3種典型非線性系統(tǒng)的表達(dá)式、參數(shù)、積分時(shí)間步長、嵌入維數(shù)m和時(shí)間延遲τ見表1。實(shí)驗(yàn)中Logistic和Henon映射按設(shè)定初始值直接迭代;Lorenz映射用四階Runge-Kutta算法積分,時(shí)間序列取x分量。實(shí)驗(yàn)的時(shí)間序列在去除前面2000點(diǎn)過渡點(diǎn)以后,均取后3000點(diǎn)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)。實(shí)驗(yàn)數(shù)據(jù)按式(14)歸一化成均值為0、振幅為1的時(shí)間序列N式中,{xi}為原時(shí)間序列;{yi}為歸一化的時(shí)間序列。仿真實(shí)驗(yàn)中的真實(shí)值和預(yù)測值分別為xi和,NP為預(yù)測樣本數(shù)。則實(shí)驗(yàn)以絕對誤差、平均絕對誤差MAE和相對誤差perr作為預(yù)測精度的評測標(biāo)準(zhǔn),分別定義為:實(shí)驗(yàn)將給定的3000個(gè)樣本的前2000個(gè)樣本作為訓(xùn)練樣本,經(jīng)相空間重構(gòu)后分為訓(xùn)練輸入樣本xn_tr和訓(xùn)練期望輸出樣本dn_tr;將后1000個(gè)樣本作為需要預(yù)測的未知樣本,經(jīng)相空間重構(gòu)后分為測試輸入樣本xn_te和測試期望輸出樣本dn_te。選取不同的訓(xùn)練輸入樣本xn_tr和訓(xùn)練期望輸出樣本dn_tr訓(xùn)練模型。選取xn_tr中的部分樣本經(jīng)相空間重構(gòu)后作為預(yù)測輸入樣本xn_pr進(jìn)行遞推預(yù)測,測試輸入樣本xn_te不參與預(yù)測,期望輸出樣本dn_te僅僅作為模型預(yù)測結(jié)果的比較。本文的預(yù)測是采用完全已知的樣本去預(yù)測未知的樣本,而不是用已知的測試輸入樣本xn_te去預(yù)測期望輸出樣本dn_te。實(shí)驗(yàn)中,BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇m-5-1三層結(jié)構(gòu),m為時(shí)間序列嵌入維數(shù);遺傳算法參數(shù)設(shè)置:種群規(guī)模取10,進(jìn)化代數(shù)取100次,交叉概率取0.4,變異概率取0.2。仿真實(shí)驗(yàn)得到了一系列的結(jié)果,限于篇幅,文中僅僅給出了具有代表性的部分結(jié)果。圖1~圖3分別給出了訓(xùn)練樣本為1500、預(yù)測樣本為30時(shí)的3種典型非線性系統(tǒng)的預(yù)測結(jié)果;表2給出了部分不同數(shù)量訓(xùn)練樣本時(shí)的平均絕對誤差MAE相對誤差perr。通過對上述仿真實(shí)驗(yàn)結(jié)果進(jìn)行分析,可以得出以下基本結(jié)論:(1)除個(gè)別情況以外,遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型比不優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測精度都有相當(dāng)程度的提高,這說明本文的遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型是有效的。(2)用于預(yù)測的混沌時(shí)間序列已知訓(xùn)練樣本數(shù)量不同時(shí),預(yù)測模型預(yù)測效果不同,且沒有一定規(guī)律性。這說明,即使對同一時(shí)間序列,遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型也不一定會(huì)在各種情況下都比不優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型表現(xiàn)得更好。的預(yù)測點(diǎn)并不像某些文獻(xiàn)給出的那樣多,這是因?yàn)楸疚闹械念A(yù)測完全是用已知樣本去預(yù)測未知樣本。5遺傳算法優(yōu)化對混沌時(shí)間序列的BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型進(jìn)行了研究,針對神經(jīng)網(wǎng)絡(luò)存在局部極小缺陷和收斂速度慢的問題。提出了一種基于改進(jìn)遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的混沌時(shí)間序列預(yù)測模型,將其應(yīng)用于3種典型非線