1、小波神經網絡及其應用32 陸宇穎摘 要：小波神經網絡是將小波理論和神經網絡理論結合起來的一種神經網絡，它避免了BP神經網絡結構設計的盲目性和局部最優等非線性優化問題，大大簡化了訓練，具有較強的 函數學習能力和推廣能力及廣闊的應用前景。首先闡明了小波變換和多分辨分析理論，然 后介紹小波神經網絡數學模型和應用概況。1 .研究背景與意義人工神經網絡是基于生物神經系統研究而建立的模型，它具有大規模并行處理和分 布式存儲各類圖像信息的功能，有很強的容錯性、聯想和記憶能力，因而被廣泛地應用于 故障診斷、模式識別、聯想記憶、復雜優化、圖像處理以及計算機領域。但是，人工神經 網絡模型建立的物理解釋，網絡激活函

2、數采用的全局性函數，網絡收斂性的保證，網絡節 點數的經驗性確定等問題尚有待進一步探討和改善。小波理論自Morlet提出以來，由于小波函數具有良好的局部化性質，已經廣泛滲透 到各個領域。小波變換方法是一種窗口大小固定但其形狀可以改變，時間窗和頻率窗都可以改變的時頻局部化分析方法，由于在低頻部分具有較高的頻率分辨率和較低的時間分辨 率，在高頻部分具有較高的時間分辨率和較低的頻率分辨率，所以被譽為數學顯微鏡。正是這種特性，使小波變換具有對信號的自適應性。基于多分辨分析的小波變換由于具有時 頻局部化特性而成為了信號處理的有效工具。實際應用時常采用Ma 1 1 a t快速算法， 利用正交小波基將信號分解

3、到不同尺度上。實現過程如同重復使用一組高通和低通濾波器 把信號分解到不同的頻帶上，高通濾波器產生信號的高頻細節分量，低通濾波器產生信號 的低頻近似分量。每分解一次信號的采樣頻率降低一倍，近似分量還可以通過高通濾波和低通濾波進一步地分解，得到下一層次上的兩個分解分量而小波神經網絡（Wavelet Neural Network, WNN ）正是在近年來小波分析研究獲得突 破的基礎上提出的一種人工神經網絡。它是基于小波分析理論以及小波變換所構造的一種 分層的、多分辨率的新型人工神經網絡模型，即用非線性小波基取代了通常的非線性Sigmoid函數，其信號表述是通過將所選取的小波基進行線性疊加來表現的。小

4、波神經網絡這方面的早期工作大約開始于 1992年，主要研究者是Zhang Q Harold H S和焦李成等。其中，焦李成在其代表作神經網絡的應用與實現中從理論上對小波神經 網絡進行了較為詳細的論述。近年來，人們在小波神經網絡的理論和應用方面都開展了不少 研究工作。小波神經網絡具有以下特點。首先，小波基元及整個網絡結構的確定有可靠的理論根 據，可避免BP神經網絡等結構設計上的盲目性；其次，網絡權系數線性分布和學習目標函 數的凸性，使網絡訓練過程從根本上避免了局部最優等非線性優化問題；第三，有較強的 函數學習能力和推廣能力。2 .數學模型與小波工具小波變換及多分辨分析在函數空間L2（R）（或更廣

5、泛的Hilbert 空間）中，選擇一個母小波函數（又稱為基本 小波函數）（x）,使其滿足允許條件：式中（w）為（X）的Fourier變換。對（x）作伸縮、平移變換得到小波基函數系a,b（X）2對任意f（X） L（R）,其連續小波變換定義為:反演公式為:在實際應用中，特別是計算機實現中，往往要把上述的連續小波及其變換離散化，通一cm U 1,0 m常米用二進制離散，即令a 2 ,b k2 ,則二進小波一定是一個允許小波，且是一個正交小波基。考慮一個連續的、平方可積的2函數f(x) L(R)在分辨率2m下的逼近fm(X),由多分辨分析理論可知：(X)是尺度函數，對其作伸縮、平移變換得到mk(x)o

6、Mallat同時證明了函數f(x)在2m和2m 1分辨率下的信息差別(即細節)Dmf(x),可 以通過將函數f(x)在一小波正交基上分解而獲得，從而定義了一種完全而且正交的多分辨 率描述，即小波描述。mk(x)就是式(5)定義的二進小波，則f(x)在2m 1分辨率下的逼近式為：2Mallat并指出,對于任意一個函數f (x) L (R)可以在一組正交小波基上展開：式(11)是一個平方可積函數的小波分解，提供了小波神經網絡設計的理論框架。 上述理論可推廣到多維情況。我們以二維為例，若定義二維尺度函數1"2),則則有：同理有：2.2小波神經網絡模型小波神經網絡模型的典型結構如圖1所示，包

7、括輸入層、輸出層和隱層。隱層包含兩 種節點：小波基節點( 節點)和尺度函數節點( 節點)2.2.1 分層多分辨學習網絡輸出f（x）在2l分辨率（最低的分辨率）上的逼近：f（x）在2L1分辨率上的逼近：HlaLk Lk（X）L式（18）中的第一項k1表示f（x）在2分辨率上的逼近，在式（17）中已計HldLk Lk（x）算，即系數aLk與式（17）中相同。式（18）中的第二項k 1表示增加的細節。再考慮f（x）在2L2, 2L3,分辨率上的逼近，有：上述方程式是小波神經網絡的學習算法，這種算法是 Moody在1989年提出的。2.2.2 網絡系數計算對于式（19）可以改寫成下述形式：G是網絡權重

8、系數，i是激活函數（尺度函數或小波函數）。設小波神經網絡有 n個節 點，m個訓練數據。則有：即 f Ac （21）式（20）的最小二乘解為：A被稱為A的偽逆矩陣。且如果樣本xi均勻分布，i （i 1,2,., n）是正交基，則ATA是一個n n單位矩陣，且小波神經網絡學習過程選擇合適的小波函數和尺度函數后，在最粗的尺度 L上訓練 節點，直到網絡達到收 斂。要使網絡達到收斂，需確定逼近誤差(在很多文獻中提出了誤差的計算方法)和增加 合適的 節點以減少逼近誤差。最后是優化網絡，使用新的樣本來檢驗網絡并移去權重小 的節點直到滿足性能準則。計算復雜性小波神經網絡訓練的計算復雜性介于 O(N和O(N2)

9、之間，N為學習樣本數。如果學習 樣本是均勻分布的，則計算復雜性為 O(N)；如果學習樣本是非均勻分布的，則計算復雜性 為 O(N2)。3 .數學應用案例小波神經網絡是基于小波分析而構成的神經網絡。它充分利用小波變換的良好局部化 性質并結合神經網絡的自學習功能，因而具有較強的逼近、容錯能力，其實現過程也比較 簡單。小波神經網絡在近十年來應用較廣泛，主要應用于以下幾個領域。非線性函數逼近非線性函數逼近具有非常重要的意義，很多實際問題通過建模都可歸結于非線性函數逼近 問題。而小波神經網絡是通過對小波分解進行平移和伸縮變換之后得到的級數，具有小波 分解的函數逼近性質。由于它引入了伸縮和平移因子，又比一

10、般的小波分解有更多的自由 度，而且還具有小波變換在高頻域的時間精度和低頻域的頻率精度，故能夠更加細致地描 述復雜函數的特性。Zhang和Benveniste首先將小波理論應用于神經網絡而提出了非正交小波神經網絡9, 并首次將這種新理論應用于函數逼近，取得了很好的結果。他們分別對一維、二維非線性 函數進行擬合逼近的研究，采用高斯函數推導式（x）xe x2/2 and（x）xjze * x292作為小波基函數，對小波神經網絡的逼近模擬結果與BP神經網絡和小波分解方法進行對比，結果顯示小波神經網絡對非線性函數的擬合 逼近明顯要優于BP神經網絡和小波分解方法（見圖2,實線是實際曲線，虛線是逼近曲線），

11、 并吸收了兩者的許多優點，摒棄了兩者的一些缺點。李銀國等則在前人的基礎上提出了小波神經網絡結構設計的時（空）域“分解一一綜合” 方法18,并通過仿真實驗（非線性函數逼近）表明：此種方法較好地解決了小波神經網 絡中普遍存在的“維數災”問題，且函數逼近能力強，精度便于掌握，訓練過程方便，不 存在局部最優問題。信號表示和分類小波神經網絡用于信號表示已有很多范例，但用于信號分類的很少。Harold HS等構造了自適應小波神經網絡并將其應用于語音識別。他們首先提出了兩種不同的自適應小波神經2網絡結構（均米用圖斯函數 （x） cos（1.75x）ex/2作為小波基函數）和能量函數分別用于信 號表示與分類，

12、并引入了超小波（super-wavelet ）這一新術語（對于具體的問題，超小波 不僅自適應計算定型小波函數的參數，而且自適應計算小波形狀）。他們將這些理論先應 用于一維信號的表示與分類，隨后又討論了其可能在語音識別中的應用，并展望這些理論 可能會廣泛應用于信號識別與分類和圖像識別與分類。材料損傷診斷吳耀華等介紹了多變量輸入、輸出系統的 B樣條小波神經網絡和用于分類的自適應 B樣條小波神經網絡，應用于智能復合材料應變損傷位置的診斷。他們在實際操作中采用了一些技術處理以減少小波神經網絡結構的復雜性，從而加快了訓練的速度和提高了識別能力。并且在同樣條件下將這兩種小波網絡與 BP網絡相對比，結果表明

13、B樣條小波神經網絡的建模精度和收斂速度明顯高于BP神經網絡(圖3)。錯誤診斷與分析Zhao Jinsong等提出了一種新穎的小波神經網絡小波 -Sigmoid基函數神經網絡(wavelet-sigmoid basic function neural network , WSBFN ),并將其應用于動態錯誤 診斷中。他們為了解決小波神經網絡的“瓶頸”效應，提出了一種多維非乘積小波函數 x2/2 (x) cos(1.75()e,并將其和相應的尺度函數一起作為 WSBFN急層的激勵函數，同時將sigmoid基函數作為 WSBFN俞出層的激勵函數。文獻中將 WSBFN&用于氫化裂解過程的錯誤診

14、斷中，并同前人 提出的較好的錯誤診斷方法之一一 SBFN網絡進行對比。結果顯示，WSBFN以用更簡單的網絡結構而得到更好的診斷效果(WSBF剛I練錯誤遠低于SBFN而且錯誤診斷準確率達到 100%也優于SBFN oBakshi和Stephanopoulos在多分辨率基礎上提出了正交小波神經網絡，并將其應用于靜態錯誤動態建模 現實中，許多問題可以通過動態建模來解決。雖然采用人工神經網絡進行非線性系統建模 的研究很多，但是采用小波神經網絡進行動態建模的則比較少。錢峻等應用小波神經網絡 實現非線性系統模型的在線建立及自校正算法， 并將其應用于微生物生長過程的預測建模。他們在繼承前人對小波神經網絡的診

15、斷與分析問題中，也取得了非常好的診斷效果。經網 絡的結構設計方法的基礎上，引入了限定記憶最小二乘法以替代普通的最小二乘法來實現小波 神經網絡在線建模和校正算法。他們將其方法應用于微生物生長過程的預測建模，結果顯示該小波神經網絡具有很好的預測功能和推廣性能（見圖4,實線是系統輸出，虛線是小波神經網絡輸出）。其訓練方法亦比用普通的最小二乘法快得多。采用小波神經網絡實現動態建模來解決自動控制中的一些實際問題也已有研究。Oussar等首次將小波神經網絡應用于動態系統建模。他們采用高斯函數作為小波函數，提出了一種 訓練算法和用其構建了反饋小波神經網絡，并將其應用于動態非線性輸入輸出系統建模中（機器人手臂

16、的液壓激勵器的建模）。將其建模效果與其他的輸入輸出模型（較鏈超平面 模型和S形人工神經網絡模型）進行比較，結果表明，在輸入輸出系統建模中采用小波神 經網絡可以取得與采用S形神經網絡同樣良好的建模效果。Safavi等采用小波神經網絡來 簡化分裂蒸儲塔模型。他們采用一種混合模型替代傳統的機械模型，混合模型是在傳統的 機械模型中加上了小波神經網絡模塊，用來控制蒸儲塔的輸入輸出模塊。同時，他們將其 與傳統模型進行比較，結果顯示，該模型大大簡化了分裂蒸儲塔模型且保持了原有機械模 型的精確性和內部數據變量的有效性。非平穩時間序列預測與分析由于小波神經網絡是用非線性小波基的線性疊加表示信號，故具有很好的特征

17、提取和抑噪能力，特別適用于非平穩時間序列預測與分析。Bakshi和Stephanopoulos則首次在多分辨率基礎上提出正交小波神經網絡用于非平穩時間序列預測與分析；楊宜康等則將小波神經網絡應用于測量中的異常數據診斷和消除。他們首先借助時-頻譜圖識別時間序列中異常數據的位置和性質，然后利用小波神經網絡作為擬合工具，同時引入加權誤差能量函數，通 過適當選擇網絡結構和參數優化，實現了對受污染的時間序列的抗擾最佳逼近。實例表明，采用加權誤差能量函數的小波神經網絡除了具有逼近性能好、抑噪特性強和收 斂速度快的優點外，還能有效地消除異常數據對擬合結果的影響，具有較強的魯棒性。4.小波神經網絡設計實例：采

18、用sinc函數來驗證小波神經網絡的擬合能力。Sinc函數定義為：自變量x的范圍取為卜5,5,采樣間隔為，共101個樣本點，其中前70個樣本點作為訓練 樣本，后31個樣本點作為檢驗樣本。a=1,b=1,因變量y sinc（x 1） 1。本例中采用緊致型小波神經網絡，將神經網絡隱含層中神經元的傳統激發函數用小波函 數來代替，采用通常用于彳S號分類的小波基函數Morlet小波函數（r通常取值為）作為網絡隱含層的激勵函數。式中，t為函數的輸入。當函數的輸入為零時，其輸出為 1,達到最大值：當輸入的絕 對值較大時，輸出很快衰減為00MATLAB經網絡工具箱中的傳遞函數沒有 Morlet小波函數，所以將創

19、建自定義的傳輸 函數。神經網絡工具箱中包含了一個自定義傳遞函數template_transfer, 輸入helptemplate_transfer 就可以得到有關此函數的幫助信息。將template_transfer函數作為一個模板，來生成自定義的傳遞函數。首先，在MATLAB裝目錄下找到文件。將原傳遞函數改為 Morlet小波函數表達式：再將函數的導數改為：將輸入輸出范圍改為：在主程序中將傳遞函數設為 “template_transfer（本例中未改模板文件名稱）。程序如下：clcclearclose all%產生訓練樣本與測試樣本n1=-5:;x1=sinc(n1+1)+1;n2=:5;x

20、2=sinc(n1+1)+1;列為一個樣本xn_train=n1;%訓練樣本,dn_train=x1;xn_test=n2;dn_test=x2;%設置神經網絡參數NodeNum=20;TypeNum=1;p1=xn_train;%訓練輸入t1=dn_train;%訓練輸出Epochs=1000;%訓練次數P=xn_test;%測試輸入T=dn_test;%測試輸出(真實值)%設置網絡參數TF1=' template_transfer ' ;TF2=' purelin ' ;%設置傳遞參數，'template_transfer '為自定義 Mor

21、let/、波函數 net=newff(minmax(p1),NodeNum TypeNum,TF1 TF2, ' trainlm ');%旨定訓練參數%最大訓練次數% 最小均方誤差%最小梯度%訓練顯示間隔%最大訓練時間訓練呦I練與測試net=train(net,p1,t1);X=sim(net,P);測試，輸出為預測值%吉果作圖plot(1:length(n2),x2, ' r+: ' ,1:length(n2),X, ' bo:')title( '+為真實值，。為預測值)5.結論與展望小波神經網絡最初主要用于函數逼近，語音識別。隨著小波網絡的理論不斷發展，應 用領域也不斷拓寬，如非線性系統辨識，模式識別，信號分類；心電信號的識別與分類； 數據與圖像壓縮。近年來，小波網絡在我國也引起了廣大學者的關注。總體而言，小波網 絡的理論和應用研究還處于初始階段，至今還存在許多有待解決的問題，這無疑是我們今 后的研究方向。(1) 小波網絡的新模型及其學習算法。例如可考慮基于小波包的小波網絡、PPR(Projection Pursuit Regres