平穩時間序列模型的建立第1頁，共76頁，2023年，2月20日，星期四通過整理可得：具體建模時，只需要在ARMA模型中加入一個截距項，和回歸模型是一樣的。如果事先未對序列進行零均值化，即使該截距項可能不顯著，也不要把它從模型中刪去。因為這個不顯著性可能和自回歸系數的取值有關。第2頁，共76頁，2023年，2月20日，星期四設平穩過程{Xt}的均值為，給定序列X1,…,XN,要檢驗=0，就需要構造檢驗統計量或求參數的置信區間。可以從考慮樣本均值出發所以參數的置信度為1-的置信區間為若白噪聲序列服從正態分布，則有

樣本均值只是總體均值的一個估計，可能存在誤差，因此我們有必要利用樣本均值對總體均值是否為0進行檢驗-即零均值檢驗。（這個也稱為模型的預處理）2.序列減去樣本均值得到零均值的序列。第3頁，共76頁，2023年，2月20日，星期四而

實際問題中k未知，可用它的樣本自協方差函數來代替，從而可對=0進行檢驗。如果0，則通過減去樣本均值使其零均值化。MATLAB中可用ttest命令實現零均值的檢驗，SPSS中選擇均值的檢驗即可。第4頁，共76頁，2023年，2月20日，星期四模型AR(n)MA(m)ARMA(n,m)自相關函數拖尾截尾拖尾偏自相關函數截尾拖尾拖尾平穩零均值序列的自相關函數和偏自相關函數的統計特性可依據上述性質初步確定模型的類型。第一節模型識別第5頁，共76頁，2023年，2月20日，星期四選擇模型的困難因為由于樣本的隨機性，樣本的相關系數不會呈現出理論截尾的完美情況，本應截尾的或仍會呈現出小值振蕩的情況。當或在延遲若干階之后衰減為小值波動時，什么情況下該看作為相關系數截尾，什么情況下該看作為相關系數在延遲若干階之后正常衰減到零值附近作拖尾波動呢？第6頁，共76頁，2023年，2月20日，星期四若k序列在m步后截尾，即若k>m,應有k=0，此時k的估計量漸近于正態分布。即：1.自相關函數截尾的判定第7頁，共76頁，2023年，2月20日，星期四因此，判斷一個序列的k序列是否在m步后截尾，具體做法如下：若某一個k比較大，而其后的k都很小且接近于0，則可以此k作為模型的階m，計算上面的置信區間。如果m之后的k落在該區間的頻率超過68.3%(或95.5%)，則認為序列適合用MA(m)或更低階的模型擬合。否則提高m繼續計算，一直到滿足條件為止。若m值比較大才滿足條件，可認為自相關函數拖尾，用AR模型或ARMA模型可能更好。第8頁，共76頁，2023年，2月20日，星期四若kk序列在n步后截尾，即若k>n,應有kk

=0，此時kk的估計量漸近于正態分布。即：因此，判斷一個序列是否可用AR模型來擬合，具體做法如下：若某一個kk比較大，而其后的都很小且接近于0，則可以此時的k作為模型的階n，計算上面的置信區間。如果n之后的kk值落在該區間的頻率超過68.3%(或95.5%)

，則認為序列適合用AR(n)或更低階的模型擬合。否則提高n繼續計算，一直到滿足條件為止。若n值比較大才滿足條件，可認為偏自相關函數拖尾，用MA模型或ARMA模型可能更好。2.偏自相關函數截尾的判定第9頁，共76頁，2023年，2月20日，星期四若序列的自相關和偏自相關函數都拖尾，則序列是ARMA模型。若序列自相關函數和偏自相關函數無以上特征，而是出現緩慢衰減或周期性衰減情況，則說明序列不是平穩的。

第10頁，共76頁，2023年，2月20日，星期四Lag12345678910Acf0.6150.2380.042-0.051-0.0650.0310.0790.1060.058-0.081Pacf0.615-0.2250.002-0.0510.0080.126-0.0220.066-0.07-0.144Lag11121314151617181920Acf-0.137-0.136-0.093-0.0120.025-0.027-0.05-0.101-0.142-0.12Pacf0.033-0.0570.0260.032-0.045-0.0630.014-0.076-0.027-0.016例5.1下圖是一磨輪剖面資料的數據圖，共250個。試對該序列建立合適的時間序列模型。第11頁，共76頁，2023年，2月20日，星期四觀察序列圖及樣本自相關函數和偏自相關函數圖，發現2階之后值都比較小，假設m=2，則有統計一下2階之后落在-0.0867*2到0.0867*2之間的自相關函數有幾個？適合用MA(2)模型擬合嗎？再觀察偏自相關函數，發現2階之后值都比較小，假設n=2，則有統計一下2階之后落在-0.0634*2到0.0634*2之間的偏自相關函數有幾個？適合用AR(2)模型擬合嗎？進一步適合用AR(1)模型擬合嗎？第12頁，共76頁，2023年，2月20日，星期四第三節

參數估計

自回歸模型AR(n)的參數估計：采用Yule-Walker方程

一、矩估計

原則：以樣本數字特征作為總體相應數字特征的估計，以樣本數字特征的函數作為總體相應數字特征的相應函數的估計或把其中的γ改為ρ亦可。第13頁，共76頁，2023年，2月20日，星期四但是在上述方程組中，自協方差函數是未知的，因此需要用樣本自協方差函數來估計，所以可得到

和

求解上述的方程，即可得到參數和σa2的估計注.如果滿足一定的條件，上述的自協方差函數矩陣是可逆的。對于AR(1)模型，參數的矩估計為：第14頁，共76頁，2023年，2月20日，星期四AR(2)模型：

所以

第15頁，共76頁，2023年，2月20日，星期四移動平均模型MA(m)的參數估計

上述方程為非線性方程，通常要用特定的數值計算方法求解。下面我們只考慮MA(1)模型的直接解法。第16頁，共76頁，2023年，2月20日，星期四1.直接解法變換得：

對于MA(2)模型及更高階的模型，參數的解析解更難表示出來。對于MA(1)模型，自協方差函數滿足：

第17頁，共76頁，2023年，2月20日，星期四2.線性迭代法

經過重排可得到

給定m+1個參數的一組初值，然后進行迭代，直到取到滿意的精度為止。該方法得到的參數擬合出的模型可以滿足可逆性條件。

如果MA(m)模型的階數已知，則可用下述方法來估計其中的參數。已知

第18頁，共76頁，2023年，2月20日，星期四即利用

不斷進行迭代，最后當k→時，x(k)就是f(x)=0的解。對于此問題，具體做法是：將上式改寫為

令則上式變為

3.Newton-Raphson迭代算法第19頁，共76頁，2023年，2月20日，星期四令記則

該方法的優點：（1）收斂速度較快；（2）比線性迭代法精度要高一些。該方法的缺點：（1）估計出的參數擬合出來的模型不能保證具有可逆性；（2）該算法強烈依賴于初始值的選擇。最后用樣本自協方差函數代替總體自協方差函數即可得到參數的估計。第20頁，共76頁，2023年，2月20日，星期四自回歸移動平均模型ARMA(n,m)的參數矩估計：

將模型分成兩個部分，先對AR部分應用Yule-Walker方程，估計出AR部分的參數；然后把參數代入計算得到剩余序列，對剩余序列應用MA模型的參數估計方法。具體如下:

第21頁，共76頁，2023年，2月20日，星期四(2).令則因此可用MA模型的參數估計方法估計出參數。(1).當k>m時，考慮Yule-Walker方程的解第22頁，共76頁，2023年，2月20日，星期四例:求ARMA(1,1)模型系數的矩估計ARMA(1,1)模型矩估計第23頁，共76頁，2023年，2月20日，星期四對矩估計的評價優點估計思想簡單直觀不需要假設總體分布計算量小（低階模型場合）缺點信息浪費嚴重只用到了n+m個樣本自相關系數信息，其他信息都被忽略估計精度差通常矩估計方法被用作極大似然估計和最小二乘估計迭代計算的初始值

第24頁，共76頁，2023年，2月20日，星期四原理使殘差平方和達到最小的那組參數值即為最小二乘估計值

下面只考慮AR(n)模型的參數的最小二乘估計。二、最小二乘估計（LS）第25頁，共76頁，2023年，2月20日，星期四觀測方程為：即：因此參數的最小二乘估計為：比較AR(n)模型參數的最小二乘估計和矩估計。第26頁，共76頁，2023年，2月20日，星期四對最小二乘估計的評價優點最小二乘估計充分應用了每一個觀察值所提供的信息，因而它的估計精度高缺點需要假定總體分布第27頁，共76頁，2023年，2月20日，星期四原理在極大似然準則下，認為樣本來自使該樣本出現概率最大的總體。因此未知參數的極大似然估計就是使得似然函數（即聯合密度函數）達到最大的參數值

三、極大似然估計（ML）

第28頁，共76頁，2023年，2月20日，星期四似然方程由于和都不是的顯式表達式。因而似然方程組實際上是由n+m+1個超越方程構成，通常需要經過復雜的迭代算法才能求出未知參數的極大似然估計值

第29頁，共76頁，2023年，2月20日，星期四對極大似然估計的評價優點極大似然估計充分應用了每一個觀察值所提供的信息，因而它的估計精度高同時還具有估計的一致性、漸近正態性和漸近有效性等許多優良的統計性質缺點需要假定總體分布第30頁，共76頁，2023年，2月20日，星期四第二節模型的定階自相關函數和偏自相關函數定階法自相關函數和偏自相關函數不但可以用來進行模型的識別，同樣也可以用來進行AR模型和MA模型的定階。該方法對ARMA模型定階較為困難。同時，用該方法定的階數也只能作為初步參考值。第31頁，共76頁，2023年，2月20日，星期四殘差方差圖定階法殘差方差圖定階法借用了統計學中多元回歸的原理。假定模型是有限階的自回歸模型，如果選擇的階數小于真正的階數，則是一種不足擬合，因而剩余平方和必然偏大，殘差方差也將偏大；如果選擇的階數大于真正的階數，則是一種過度擬合，殘差方差并不因此而顯著減小。具體方法：以階數作為自變量，殘差方差作為因變量，繪制殘差方差圖，階數較低時殘差方差較大，隨著階數的增加，殘差方差趨于平穩，此時可得到模型的階數。這種判別方法也適用于MA模型和ARMA模型。在ARMA模型中，殘差方差圖是一個曲面圖。第32頁，共76頁，2023年，2月20日，星期四AR、MA、ARMA三種模型的殘差方差估計式分別為：ARMA模型：MA模型：AR模型：關于殘差平方和的計算：估計出來參數后得到at，然后再計算其平方和。MA(1)模型中：a1=

x1，a2=x2+x1,a3=….。P138圖5.4第33頁，共76頁，2023年，2月20日，星期四F檢驗定階法基本思想：首先用ARMA(n,m)進行過度擬合，再令高階系數中某些取值為零，用F檢驗判定階數降低之后的模型與ARMA(n,m)之間是否存在顯著性差異。如果有顯著性差異，階數能夠升高；如果沒有差異，階數可以降低。第34頁，共76頁，2023年，2月20日，星期四基本過程：對N個獨立的觀察值，建立回歸模型：設為的最小二乘估計。則殘差平方和為：第35頁，共76頁，2023年，2月20日，星期四若舍棄后面s個因子，另建一個回歸模型：設為的最小二乘估計。則殘差平方和為：第36頁，共76頁，2023年，2月20日，星期四檢驗舍棄的回歸因子對Y的影響是否顯著，等價于檢驗原假設：是否成立。借助有關回歸理論：第37頁，共76頁，2023年，2月20日，星期四對于給定的顯著性水平，計算統計量若F>Fα(s,N-r)，則拒絕原假設，表示兩個模型存在顯著性差異。該方法對MA模型和ARMA模型也適用。第38頁，共76頁，2023年，2月20日，星期四若F>F0.05(1,246)=3.88,說明兩個模型存在顯著性差異，階數仍有上升可能。再擬合AR（3）模型，殘差平方和為1473.784，與AR（2）比較，有：F<Fα(1,244)=3.88，說明AR（2）與AR（3）模型無顯著性差異。對于書上的實例，首先擬合AR（1）和AR（2）模型，其殘差平方和分別為1619.236和1474.032，則第39頁，共76頁，2023年，2月20日，星期四最佳準則函數定階法

前面所提到的利用自相關函數和偏自相關系數以及殘差方差圖來確定ARMA模型的階是不太準確的，具有很大的主觀性。下面我們將討論1970年以來發展起來的一些在某種準則函數下的定階方法。

原理：構造一個準則函數，該函數既要考慮用某一模型對原始數據擬合的接近程度（殘差的大小），同時又要考慮模型中所含待定參數的個數。建模時，根據函數的取值確定模型優劣，使準則函數值達到最小的模型是最佳模型。此方法中最常用的FPE定階、AIC定階和BIC定階準則。第40頁，共76頁，2023年，2月20日，星期四設{x1,,xN}(N>n)是AR(n)過程的一個實現，如果是基于{x1,,xN}的系數的極大似然估計，則一步預報均方誤差為

FPE準則在1969年，日本學者赤池（Akaike）提出了一種最小化最終預報誤差準則（FPE），可以用于AR(n)模型的定階。

其中a2是模型白噪聲的方差。DN是未知的。第41頁，共76頁，2023年，2月20日，星期四而由可證明但DN未知，因此可以考慮它的無偏估計。如果用估計來替代a2，則得到均方預報誤差DN的一個無偏估計為

最終均方預報誤差準則即為：取FPE(k)的最小值點作為AR(n)模型階數n的估計。即

可知第42頁，共76頁，2023年，2月20日，星期四基本思想：建立模型時，根據準則函數取值來判斷模型的優劣，使準則函數達到極小的是最佳模型，該準則是在模型極大似然估計的基礎上建立起來的。基本理論：最小信息準則AIC函數的一般形式：

AIC定階

該方法由日本人赤池提出,可用于AR模型或ARMA模型定階.式中“模型極大似然度”一般用似然函數表示。第43頁，共76頁，2023年，2月20日，星期四設樣本長度N充分大時，ARMA模型的近似極大似然估計的對數似然函數為：

于是得到采用ARMA（n,m）模型擬合的AIC準則函數：第44頁，共76頁，2023年，2月20日，星期四對于AR模型，AIC函數可取：對事先給好最高階數M(N)，若則取n0為最佳模型階數。這里舍棄了常數2/N.第45頁，共76頁，2023年，2月20日，星期四對AR(n)模型，比較FPE準則和AIC準則的結果。對FPE準則兩端取對數有

由數學分析知，當時，

因此只要N充分大，k/N就很小，從而有

由于對數函數是嚴格單調上升的，O(N-3)是N的高階無窮小量，可忽略。故當N充分大時，FPE(k)和AIC(k)漸進地給出相同的結果。

第46頁，共76頁，2023年，2月20日，星期四BIC定階(SIC定階)

理論上AIC準則不能給出模型階數的相容估計，即當樣本趨于無窮大時，由AIC準則選擇的模型階數不能收斂到其真值（通常比真值高）。另一個定階選擇是BIC準則：

其中k是模型的自由參數個數，對于ARMA(n,m)模型，k=n+m+1。第47頁，共76頁，2023年，2月20日，星期四對于AR模型：若某一階數n0滿足則取n0為最佳階數。第48頁，共76頁，2023年，2月20日，星期四還可以定義其它類型的準則函數，如式中常數C用來在擬合殘差與參數個數之間權衡F檢驗定階法可和SIC定階法結合起來使用。第49頁，共76頁，2023年，2月20日，星期四第四節模型的適應性檢驗模型的顯著性檢驗整個模型對信息的提取是否充分參數的顯著性檢驗模型結構是否最簡第50頁，共76頁，2023年，2月20日，星期四模型的顯著性檢驗目的檢驗模型的有效性（對信息的提取是否充分）檢驗對象殘差序列判定原則一個好的擬合模型應該能夠提取觀察值序列中幾乎所有的樣本相關信息，即殘差序列應該為白噪聲序列

反之，如果殘差序列為非白噪聲序列，那就意味著殘差序列中還殘留著相關信息未被提取，這就說明擬合模型不夠有效第51頁，共76頁，2023年，2月20日，星期四一、散點圖法由模型估計出殘差序列at；作at對at-j，at對Xt-j的散點圖由散點圖分析at的性質---白噪聲性質。第52頁，共76頁，2023年，2月20日，星期四二、殘差相關系數法由模型估計出殘差序列at；計算at和at-j，at和Xt-j的相關系數；由相關系數分析at的性質---白噪聲性質。以上兩種方法比較粗略，主要憑經驗來判斷。第53頁，共76頁，2023年，2月20日，星期四三、χ2檢驗法設at的自相關函數為ρk(N,at)，則它的估計量為：當N很大時，

即這k個量近似服從相互獨立的正態分布。第54頁，共76頁，2023年，2月20日，星期四原假設：殘差序列為白噪聲序列，可轉化為：在原假設成立的條件下，有其中：上述建立的統計量稱為Q統計量（或Box-Pierce統計量）。

若Q<=2(L(N)-n-m)，則接受H0；若Q>2(L(N)-n-m)，則拒絕H0。第55頁，共76頁，2023年，2月20日，星期四

許多時候，Q統計量的值比卡方分布下所預期的值略偏小，因此需要對該統計量進行改進該統計量稱為L-B-P統計量，是軟件中常用的統計量。第56頁，共76頁，2023年，2月20日，星期四模型優化問題提出當一個擬合模型通過了檢驗，說明在一定的置信水平下，該模型能有效地擬合觀察值序列的波動，但這種有效模型并不是唯一的。優化的目的選擇相對最優模型1～4節的建模方法稱為Box-Jenkins法，這是時間序列分析中最主要的建模方法。

第57頁，共76頁，2023年，2月20日，星期四第七章非平穩時間序列分析前幾章討論的都是平穩時間序列，然而在實際應用中，特別是在經濟和商業中出現的時間序列大多是非平穩的，如非常數均值的時間序列，非常數方差的時間序列，或者二者皆有。第58頁，共76頁，2023年，2月20日，星期四第三節平穩化方法

本節介紹三種常用的平穩化方法：差分、季節差分以及對數變換與差分結合運用。第59頁，共76頁，2023年，2月20日，星期四普通差分

一般地二階差分一階差分第60頁，共76頁，2023年，2月20日，星期四例：對溫度序列作一階差分。原序列圖第61頁，共76頁，2023年，2月20日，星期四一階差分序列圖第62頁，共76頁，2023年，2月20日，星期四過差分

足夠多次的差分運算可以充分地提取原序列中的非平穩確定性信息但過度的差分會造成有用信息的浪費

第63頁，共76頁，2023年，2月20日，星期四例1假設序列如下

考察一階差分后序列和二階差分序列的平穩性與方差，體會過差分所造成的浪費。第64頁，共76頁，2023年，2月20日，星期四比較一階差分平穩方差小二階差分方差大（過差分）平穩第65頁，共76頁，2023年，2月20日，星期四例2假設序列如下

過差分把原來的不相關序列轉換為MA(1)模型，產生了原本不存在的相依性。第66頁，共76頁，2023年，2月20日，星期四季節差分

Xt為一周期性波動的時序，周期為S。則

為各相應周期