1、第5章非平穩隨機過程5.1引言5.2平穩余差過程5.3*隨機過程的線性變換5.4*隨機過程的Fourier變換5.5小結5.1引言現實世界中很多研究對象不僅表現出一定的隨機性，而且隨時間的推移還會呈現出上升或下降的趨勢，當這種趨勢用時間的非線性函數表達的時候，基于弱平穩隨機過程理論的建模方法就不適用了。這樣的對象應該用非平穩隨機過程的理論來支持模型的建立。此外，在很多情況下要求對象的協方差函數只與時間差有關也不一定合理。如果不能確認對象是平穩過程，那么就不能套用第4章討論的方法來建立模型。研究對象的非平穩特性要求繼續研究新的建模理論和方法，然而目前數學理論對于非平穩過程的研究還沒有多少成果能夠

2、幫助解決建模過程中碰到的種種難題，只是由于實際需要在工程領域出現了一些關于處理非平穩過程的方法，本章將主要圍繞這些實用的數據處理方法來探討其數學原理。現有處理非平穩過程的方法主要是把某些非平穩過程經過數據處理后變為平穩過程，然后再用平穩過程的建模方法對它們建模。這種處理問題的方法盡管只能處理一些比較簡單的非平穩過程，或者在某些特殊的條件下建立非平穩對象的模型，但是這些處理問題的方法具有較強的工程性，能夠解決實際問題，彌補平穩過程建模方法的不足。 在一些情況下，對象的非平穩性是和對象的時變性聯系在一起的。這一類系統往往不能用一個恒定不變的模型來描述，要求所建立的模型具有較好的跟蹤能力，例如用新息

3、來修改模型，不僅修改模型的參數，有時也要求修改模型結構。應該說，這種建模思想更符合客觀實際情況，但是無論在理論上還是在實際建模過程中，仍然存在一些技術難點。本書第57章將介紹與非平穩過程有關的一些理論和方法。5.2平穩余差過程5.2.1平穩余差過程的基礎5.2.2ARIMA模型5.2.3季節性模型5.2.4函數生成理論5.2.1平穩余差過程的基礎1.模型描述2.參數估計的統計分析1.模型描述應用的觀點出發對非平穩過程最簡單的理解是認為它的均值函數呈現某種規律性，而協方差只與時間差有關。這一類過程又稱為具有平穩余差的非平穩過程，或簡稱為平穩余差過程。2.參數估計的統計分析當式(5-2)中回歸變量

4、k(t)不含未知參數，這時依據序列y(t)估計回歸系數(或模型參數)在前面幾章已經進行了比較詳細的討論，其中重點討論了最小二乘法。可以把前面的方法用來求解平穩余差過程模型。為此，定義向量和矩陣Yy(1),y(2),y(n)，Xx(1),x(2),x(n)1,2,m1(1)m(1)1(n)m(n)則，得到矩陣方程Y=+(5-3)可以利用最小二乘法的批處理公式求解式(5-3)表達的模型。把用最小二乘法求解的參數估計值記為LS，那么LS(T)-1TY(5-4)定理5-1LS是的線性無偏估計。5.2.2ARIMA模型20世紀70年代Box和Jenkins提出一種研究平穩余差序列的方法，建立了積分自回歸

5、滑動平均模型，記為ARIMA。差分法是這種方法的基礎，通過差分消除序列中的趨勢成分和周期成分而得到一個弱平穩序列。盡管新的弱平穩序列與原來的余差序列并不等價，但是它們之間有密切的關系，從新序列的統計特性可以推測原來的余差序列的統計特性。當序列的均值函數m(t)為多項式時，用簡單的差分方法就可以把趨勢成分消除，使序列變成一個弱平穩序列。5.2.3季節性模型利用差分方法也可以消除均值函數中的周期分量或季節性分量，使平穩余差序列變成弱平穩序列，稱這一類模型為季節性模型。季節性模型可以用于描述有周期性變化的對象，如電力負荷、水文氣象、保溫或降溫的消費品需求等。 季節性模型首先應該把握變化周期，根據變化

6、周期建模。周期性變化可能是季節、月、天。不同的周期還有可能疊加在一起。比較簡單的季節模型是只包含季節分量或者只包含月度分量的模型。5.2.4函數生成理論通過差分可以把一個平穩余差過程轉化為弱平穩過程，那么反過來能否用累加的辦法把一個弱平穩過程變為平穩余差過程呢？灰色系統理論研究了這一問題，提出了函數生成的概念和函數生成的規律。 灰色系統理論認為由于環境中存在干擾，而使研究對象的觀測數據出現比較大的離散情況，不能直接從散點圖中發現模型的線索。但是，只要用適當的方式處理原始數據，就可以削弱其中的隨機成分并強化其規律性，得到一個較為規則的時間序列。灰色系統理論稱它為灰色過程的生成，簡稱為生成。 生成

7、有兩種操作方式，一種是累加生成，記為AGO；另一種是累減生成，記為IAGO。實際上累減生成(IAGO)就是前面討論的差分概念的推廣。下面簡單介紹累加生成。5.3*隨機過程的線性變換5.3.1基本概念5.3.2第一類線性變換5.3.3第二類線性變換5.3.1基本概念把隨機過程xt()，tN視為一個二元泛函。一方面它可以看成定義于N而取值于概率空間(,F,P)的抽象函數；另一方面它可以看成定義于概率空間(,F,P)，取值于廣義函數空間D的廣義函數。因此研究xt()的線性變換應該從兩方面考慮：一種變換與參數t有關，研究對于函數xt的線性變換；另一種變換以x為基本元，研究對x的線性變換。當以t為參考變

8、量時，對xt施以線性變換，有y=L(xt)(5-26)顯然，若xt是以t為參數的隨機過程，那么y則應該是以為參數的隨機過程，這類變換稱為隨機過程的第一類線性變換。當以x為變換的基本元時，為了不引起誤解，記t=xt()，于是就變成以t為基本元，研究t=A(t)(5-27)式中，t為定義于N取值于概率空間(,F,P)的隨機過程。這就是說，變換A把概率空間(,F,P)變成它自身。稱式(5-27)為隨機過程的第二類線性變換。5.3.2第一類線性變換Fourier變換屬于第一類線性變換，然而在一般函數意義下，不能對隨機過程進行Fourier變換，如果把隨機過程同廣義函數聯系起來，利用廣義函數的Fouri

9、er變換，可以發現若干比譜分解定理更有實用價值的結論。隨機過程的第一類線性變換改變參數空間的屬性。例如，對時間序列進行Fourier變換，可以認為參數由時間域映射到復頻域，稱時間序列經Fourier變換后所得到函數為譜函數。當時間序列是一個隨機過程時，它所對應的譜函數是隨機譜函數。現有的平穩隨機過程理論把研究的視野局限在H空間，因此無法定義隨機過程的Fourier變換。為了克服研究中的困難，在譜分解定理中引出正交增量過程來與弱平穩過程對應。如果把研究的視野由H空間擴大到D空間，那么可能解決的問題會更多一些，例如可以直接證明弱平穩過程譜函數的正交性，還可以找到分離平穩余差過程均值函數的方法。5.

10、3.3第二類線性變換 第二類線性變換是建立動態回歸方程或時變參數回歸方程的基礎。前面曾談到這樣一個觀點：現實世界中的大部分對象都會隨時間的變化而改變。可能存在兩種情況，一種情況是對象因為服從其運動規律而發生的變化，而運動規律本身并不改變；另一種情況是運動規律也發生了變化，這樣根據歷史樣本建立的模型就會失去作用。如果對象運動規律改變的速度比較慢，那么依靠歷史數據建立的模型還可以表達對象近期的運動規律，如果對象運動規律改變的速度比較快，那么依靠歷史數據建立的模型就不一定能表達對象未來的運動規律。本書研究對模型參數建模，希望通過參數的改變來表達對象運動規律的變化。此外，本書前面還談到可以用時變參數的

11、線性模型來描述復雜的非線性模型。5.4*隨機過程的Fourier變換5.4.1均值函數的Fourier變換5.4.2零均值隨機過程的Fourier變換5.4.3離散Fourier變換5.4.4噪聲分離技術5.4.5方差濾波5.4.1均值函數的Fourier變換研究對象往往在存在增長或下降的趨勢同時具有隨機特征。當去掉趨勢成分后余下的隨機過程可以認為是零均值隨機過程，在很多情況下它是系統受到的多種干擾的綜合結果，通常希望選擇好的參數估計方法盡量減少它們對模型的影響。即使系統本身就是隨機的，也可以按照前面介紹的時間序列分析的方法建立模型。如果能夠在參數估計之前分離系統觀測值中的趨勢成分和隨機成分，

12、那么可以降低對于參數估計方法的要求。5.4.2零均值隨機過程的Fourier變換假定過程xt是零均值、方差有界，而且是各態歷經的，那么它的Fourier變換為X=1TT0eitxtdt(5-46)考慮當=時，有X0=1TT0 xtdt(5-47)按照各態歷經的概念，式(5-47)計算的應該是隨機過程xt的均值，所以0為0，也就是說，零均值弱平穩隨機過程的譜函數在零譜點上取值為0。把這個結論和上面提到的均值函數的譜完全集中在零譜點上合在一起考慮，可以看出在頻率域內，可以很容易地把增長趨勢的均值函數同零均值的隨機噪聲分離開。當采用數值計算方法分離噪聲時，要引入離散Fourier變換(DFT)，其計

13、算方法比上面提到的結論略微復雜一點，但是沒有本質的區別，都是利用在頻率域內均值函數和隨機干擾在不同譜點上信息的不同分配來分離它們。5.4.3離散Fourier變換設有時間序列x0,x1,xN-1，其中N為序列長度，把它的離散Fourier變換記為Xk=DFTxr(5-48)其反變換記為xr=IDFTXk(5-49)若用wN=exp-2iN(5-50)表示DFT運算符，那么正變換定義為Xk=1NN-1k=0 xrwrkN(5-51)反變換定義為xr=1NXkwrkN(5-52)離散Fourier變換具有線性分配性，因此對式(5-38)的離散Fourier變換可以寫成DFTytDFTmt+DFTx

14、t(5-53)5.4.4噪聲分離技術1.噪聲分離的原理2.計算方法3.仿真計算例子1.噪聲分離的原理圖5-1用時間窗截取時間序列1.噪聲分離的原理圖5-2時間窗的譜函數2.計算方法1)設時間序列為y(n),n=0,1,2,N-1，對它進行離散Fourier變換運算2)利用式(5-64)計算(0)3)計算矩型窗口的離散Fourier變換4)利用式(5-61)和式(5-62)計算噪聲的譜函數5)利用離散Fourier反變換計算原時間序列中的噪聲分量6)分離原時間序列中的均值分量3.仿真計算例子設仿真模型為yt=mt+xt式中，mt為均值函數，由線性方程mt=26.15+2.017t(5-65)產生

15、。隨機分量xt由計算機產生，取均值為0，方差為20，正態分布。把mt和xt相加就得到用于試驗的觀測數據yt，共取得20個數據，列于表5-1。根據表5-1提供的數據，直接用最小二乘法建立線性模型，得到t33.17+1.34t(5-66)其相關系數為r=0.33，從統計學原理看，不能用這個模型。直接比較式(5-65)和式(5-66)也可以看出，參數差別比較大。用噪聲分離技術對表5-1所示的數據進行處理。處理后的數據列于表5-2。根據表5-2所示的數據利用最小二乘法求解出模型t26.04+2.028t(5-67)其相關系數達到r=0.989，其他統計指標也通過。比較式(5-67)與式(5-65)，發

16、現估計的精度相當高。由此可見，Fourier變換的濾波方法能充分地分離噪聲，以建立較準確的趨勢模型。3.仿真計算例子表5-1仿真數據tyty1254671139867255480128586936624813322394267701454394547238155775863518166141474461217672378924718933579451231911519105544820617823.仿真計算例子表5-2噪聲分離后的數據tyty13149911474782333391249793333344135162343371514538225346361556636635660165951

17、2738323176263884020818651449428771963733104562720671405.4.5方差濾波1.方差濾波的基本原理2.方差濾波的統計檢驗3.方差濾波的工作步驟1.方差濾波的基本原理設有時間序列x1,x2,xN，把N分成n組，每組k個數據，顯然N=nk。分組后對數據重新編號，第一組數據記為x11,x12,x1k，第二組數據記為x21,x22,x2k,。對于任意的新編號數據xij，i表示分組的編號，j表示數據在i組內的序號。為了考察小組內數據容量是否恰好反映原始序列數據周期的長度，可以對不同組別但組內序號相同的數據進行平均運算，并計算離差。設組內序號為j的數據平均

18、值為Xj=1nni=1xij(5-68)那么組內數據離差平方和為Se=kj=1ni=1(xij-Xj)(5-69)為了分析方便，先假定序列中沒有趨勢分量和隨機分量，也就是說認為時間序列是純周期性的。在這樣的情況下，如果小組的數據容量等于周期長度，那么不同小組內序號相同的數據應該相等，即x1j=x2j=xnj=Xj由式(5-69)不難看出，此時Se=0。如果分組時小組內的樣本容量不等于周期長度，一般來講，由式(5-69)計算的Se應該大于0。2.方差濾波的統計檢驗設時間序列的總平均值為X=1NNr=1xr1nkkj=1ni=1xij(5-70)相對于X時間序列的總離差平方和為ST=kj=1ni=1(xij-X)(5-71)如果時間序列中的隨機變量為獨立正態分布時，ST為具有自由度fT=N-1的2分布，式(5-69)計算的Se為具有自由度fe=N-k的分布。為了消除統計量ST和Se的相關關系，定義新的統計量SaSa=ST-Se=nkj=