1、第二章 平穩時間序列模型本章將介紹Box-Jenkins方法，主要包括一元平穩時間序列的識別、估計、診斷和預測方法。21 平穩性 時間序列的均值和協方差 一個隨機過程的線性性質可由均值和協方差來描述。如果這個過程是正態過程， 可以完全刻畫這個隨機過程的分布性質。如果沒有正態性質，但生成過程是線性的，則在它的均值和方差中可獲得關于這個過程的更多的重要特征。下面的問題是如何來估計，對于一些過程我們可以得到大量的實現（反復做觀測）那么，的估計是 但對大多數過程來說，得不到更多的實現。如，不可能把經濟停下來，然后重新開始觀測。對一個實現，不可能估計出。 為了克服這個困難，時間序列分析要做如下的假設：均

2、值和方差不隨時間而改變。 如果對任何t, t-s, 都有 這里 都是常量，與時間無關，是依賴于的常量。這樣的隨機過程稱為協方差平穩。可以簡單地說，如果一個時間序列的均值和協方差不受時間變化影響，則稱這個時間序列是協方差平穩。在一些文獻中，協方差平穩的過程也稱為弱平穩，二階矩平穩或寬平穩過程。（注意一個強平穩過程不一定有有限的均值和方差）。一個更進一步的假設是遍歷性（ergodic）。這是一個較難理解的一個概念。遍歷性是指，按時間平均 是總體均值的無偏、一致估計。即。同理，的估計也是一致的。 因此，如果有平穩性和遍歷性的假設，利用關于時間的平均，就可以得到較好的估計。遍歷性的一個必要條件（但不充

3、分）是。對于一個協方差平穩的序列，和之間的自相關系數可定義為 因此， 之間的自相關系數與之間的自相關系數相同，顯然。序列描述了這個過程的一個值與先前的值的相關程度，所以自相關系數可用來測量過程本身的記憶性的長度和強度，即在時刻t的值與時刻t-s 的值的相關程度。的圖形被稱為相關圖。用來刻畫這個過程生成機制的線性性質。 2.2 自回歸模型如果一個時間序列可表示成是零均值白噪聲則稱為一階自回歸過程。記為。由Yule (1927) 引入，起源于實踐。如，每月的失業人數可認為是上月失業人數的一個固定比例，加上尋求職業的工人數。如果這些人數形成一個白噪聲序列，那么，失業序列就是一階自回歸。更一般的形式稱

4、為階自回歸過程。記為。如果=0的根在單位園外，則過程是平穩的。用滯后算子表示為 ，它的一般解為 。如果平穩性條件成立，則。這里，。特別地，如果那么，所以， (2.2.1)如果，則，由此可看出，如果，的解具有發散性質。 2.3 運動平均模型一般的運動平均的模型是 按這樣方式構成的序列被稱為階為q的運動平均，記為MA(q)。 運動平均過程由Yule （1926）引出，Wold （1938）進行了詳細地研究。如果一個經濟變量處在均衡中， 如果受到來自經濟系統內部（或外部）不可預期事件的沖擊而偏離原來狀態。如果本系統并不能立刻吸收這些沖擊效應，那么，將出現一個運動平均模型。如，一個小型商品市場得到了一

5、系列關于農產品狀況的信息， 一條特別新聞對價格有即時影響，也有不同程度的滯后影響，令表示價格在t 處的變化，假設這種沖擊影響價格變化，直到q 天,這種沖擊影響消失。 這時，較適當的模型是MA(q)如果影響是逐漸消失），即天前的影響是，則 , 由（2.2.1），可表示成 這時，過程等價于過程。 由2.2節知道，平穩的過程可以寫成，那么，如果的根在單位園外（可逆性性條件成立），則過程可以寫成過程。 2.4 ARMA 模型將自回歸模型和運動平均模型結合起來， （2.4.1）總可以將標準化成1，如果自回歸部分和運動平均部分的滯后階數分別為p,q，模型被稱為ARMA(p,q)。如果q=0，這過程被稱為自

6、回歸過程AR(p), 如果p=0, 這過程是運動平均過程MA(q)。在ARMA模型中，允許p,q是無限的。用滯后算子表示為 這里。這時容易知道：（1） 如果的根在單位園外，則過程是平穩的。（2） 如果過程是平穩的，則有一個等價的過程。（3） 如果的根在單位園外（通常稱為可逆性條件），則有一個等價的過程。 這說明，一個平穩的ARMA過程可以逼近高階MA 過程。如果過程滿足可逆性條件， 這過程可以逼近高階AR 過程。 25 自相關函數 Box-Jenkins(1976)在識別和估計時間序列時，給出了非常有用的工具是自協方差和自相關。如AR(1)模型 每個除，得到自相關。對于AR(1)過程，平穩的必

7、要條件是。相對 s的圖形稱為自相關函數(ACF)。因此，如果這個序列是平穩的，這個自相關函數是幾何收斂到零。如果是正的，則這個自相關函數直接收斂到零。如果是負的，這個自相關函數按振蕩的方式收斂到零。AR(2)過程的自相關函數 （2.5.1）這里省略了截距項，這是因為截距不影響ACF。下面利用Yule-Walker方程的方法：用分別乘方程（2.5.1）兩邊，并取期望，可得由于 ，可得 （2.5.2） （2.5.3） （2.5.4）用除方程（2.5.3），（2.5.4）得 （2.5.5） （2.5.6）由，有，因此，利用方程（2.5.6）可求出所有。 對于二階過程的平穩性限制條件是的根在單位圓外，

8、如果根是實的，自相關按指數衰減；如果根是復的，自相關按震蕩式衰減。MA(1)過程的自相關函數下面考慮MA(1)過程。用乘方程兩邊，并取期望，可得Yule-Walker方程并，用除可得ACF：。下面求MA(q) 過程，的自相關函數。所以， 。因此，對充分大的。 下面求ARMA(1，1)過程的自相關函數 考慮ARMA(1，1)過程，可同樣求出Yule-Walker方程： 因此， 。因此，ARMA(1，1)的ACF類似于AR(1)的ACF。如果收斂是直接的，如果，收斂是振蕩的。 26 偏自相關函數為了說明偏自相關函數的作用，考慮自回歸過程AR(p)則有，兩端同除得 對任何隨機過程，偏自相關被定義為下

9、面方程的解： 因而，對任何階為p的自回歸過程，偏自相關，階數大于p的偏自相關為零。 之間的偏自相關不依賴于 之間的們的相關性。求偏自相關函數的直接方法是：首先從序列中減去序列的平均值，獲得一個新序列，然后構造一階自回歸，這里是誤差項，可以不是白噪聲。這時，既是之間的自相關也是偏自相關。構造二階自回歸是之間的偏自相關函數。即是之間除去的影響后的相關系數。 重復這個過程得到偏自相關函數(PACF)。大多數統計計算軟件包都有相應的計算程序。 下面給出了各種ARMA過程的ACF和PACF的性質。表2.6.1 ACF和PACF的性質過程ACFPACF白噪聲所有所有AR(1):,指數衰減：AR(1):,振

10、蕩衰減：AR(p)衰減（可以振蕩）到零在期前有峰值，但在期之后MA(1):在滯后1期處有正峰值，但振蕩衰減，MA(1):在滯后1期處有負峰值，但幾何衰減，ARMA(1，1) 在滯后1期處開始按幾何衰減 在滯后1期處振蕩衰減 ARMA(1，1) 在滯后1期處開始振蕩衰減 在滯后1期處按指數衰減ARMA(p,q)在滯后q期開始衰減（或直接或振蕩）在滯后p期開始衰減（或直接或振蕩） 2.7 平穩序列的樣本自相關 在實際中,一個序列的理論均值、方差、自相關通常是未知的。如果這序列是平穩的,我們可以用樣本均值,樣本方差,樣本自相關來估計它們。假設有T個觀測值,令是的估計量： 對每個可用樣本自相關函數AC

11、F和樣本偏相關函數PACF與理論值做比較來識別數據生成過程的性質。Box-Jenkins(1976)在是平穩具有正態誤差假設下，討論了樣本值的分布和的分布。在零假設下，漸近服從均值為零的正態分布，其中方差為 （2.7.1）在零假設下，漸近服從均值為零的正態分布，其中，的方差漸近于。 在實際檢驗中，我們可以使用這些樣本值來構造樣本自相關和偏相關函數，利用（2.7.1）進行顯著性檢驗。例如，如果我們使用95%置信區間（即，2個標準差），且計算出的值大于，則拒絕零假設-一階自相關在統計意義上不是顯著異于零。拒絕零假設意味著接受備擇假設。下面檢驗是否 這時，如果 則=0.015,標準差為0.123。如

12、果 超過，則拒絕假設。因此，拒絕零假設意味著接受備擇假設。重復上述過程，我們可確定這個過程的階數。Q-統計量可用來檢驗自相關是否顯著不為零，Box-Pierce (1970) 利用樣本自相關構造了統計量在下，Q是漸近-分布，自由度為s，較高的樣本自相關可導致較大Q的值。顯然，白噪聲過程（所有的自相關都為零）的Q值為零。如果Q的值超過表中的臨界值，我們可以拒絕零假設（ 各階自相關都為零），意味著接受備擇假設：至少有一個自相關不為零。 然而，即使在大樣本情況下，Box-Pierce的Q統計量有偏差，Ljung和Box(1978)給出了修正的Q-統計量如果這個Q值超過表中的臨界值，那么至少有一個在給

13、定的顯著水平上顯著不為零。 Box-Pierce和Ljung-Box的Q統計量也可用來檢驗來自于ARMA(p,q)模型的殘差是否為白噪聲。但是，如果對ARMA(p,q) 模型的殘差計算s個自相關，則Q統計量的自由度就會由待估計的系數個數增加而減少。因此，如果檢驗ARMA(p,q)模型的殘差時，Q統計量有自由度為s-p-q的分布，（如果包含常數的話，自由度就是s-p-q-1）。 2.8 選擇模型準則一個自然的問題是：所選擇的模型擬合數據效果如何？增加滯后階數一定能減少殘差平方和。但是增加滯后階數需要估計更多的參數，使自由度減少。而且，系數個數的增加降低預測的精度。因而產生了各種選擇模型的準則（能

14、降低殘差平方的更節儉的模型）。有兩個通常使用的準則是Akaike信息準則(AIC)和Schwartz Bayesian準則(SBC). AIC=T ln(殘差平方和)+2n SBC=T ln（殘差平方和）+n ln(T)這里n=估計的參數的個數（p+q+常數項個數），T=觀測值個數。當使用滯后變量估計模型時，一些觀測值被損失。為了比較選擇的模型，T應當是固定的。當然希望AIC和SBC盡可能小（也可能是負的）,隨著模型擬合的改進，AIC和SBC將趨于。我們能利用這些準則，選擇最適合的模型。如果模型A的AIC（或SBC）小于模型B的AIC（或SBC），我們就說模型A擬合的比B好。在使用這些準則對不

15、同的模型進行比較時，必須在相同的樣本期間內進行估計，以使它們可進行比較。回歸變量個數n的增加，可以降低殘差平方和。因此，如果一個回歸變量沒有解釋能力，把它添加到模型中會引起AIC和SBC增加。由于ln(T)大于2，所以，SBC總是比AIC選擇更節儉的模型。 兩個準則中，SBC有更好的大樣本性質。令數據生成過程的真正階為，假設我們利用AIC和SBC估計階為(p,q)的ARMA模型，這里 ，當樣本個數趨于無窮時，AIC和SBC都將選擇階數大于等于的模型。然而，AIC 傾向于選擇參數過多的模型，而SBC卻是漸進一致的。但在小樣本中，AIC優于 SBC。如果AIC和SBC選擇了同一模型，對這個模型就應

16、當有較大的信心。如果兩個準則選擇了不同的模型，這時就需要再進一步的分析。由于SBC傾向于選擇更節儉的模型，所以一旦選擇了這個節儉模型，還需要檢驗殘差是否為白噪聲。因為AIC能選擇參數過多的模型，所有系數的t-統計量都應是顯著的（在適當的顯著水平下）。以后我們還會介紹更多的診斷檢驗來檢驗模型的充足性。 2.9 AR(1)模型的估計 讓我們用一個例子說明利用樣本自相關、偏相關函數來識別ARMA模型。利用計算機生成100個正態分布的隨機數（方差為1），這些隨機變量稱為.由和初始條件生成上圖給出了樣本自相關和偏自相關函數的圖形。在實際中，我們不知道真實的數據生成過程。假設我們利用這100個數據（樣本值

17、）來找出真正過程。第一步，比較ACF和PACF。ACF的衰減和PACF在滯后一階處的截尾說明了AR(1)模型。前三個自相關（有時大于理論值）。在PACF中，滯后1階處有一個顯著的高峰值0.74，所有其它偏自相關（除在滯后12階處）都非常小。 在零假設下， 的標準差是，因為=0.74的樣本值大于7個標準差。我們可以拒絕=0的零假設。再計算方差 因為的標準差，的樣本值大于3倍（0.58/0.15）的標準差；在通常的顯著水平下，我們可以拒絕=0的零假設。我們可同樣檢驗其它自相關值的顯著性。除外，所有偏自相關函數（除滯后12階外），都小于。ACF的衰減和PACF的一個高峰值建議了一階自回歸模型。然而，

18、如果我們不知道真正過程，而且使用了月度數據，這時需要關注偏自相關函數在滯后12階處的顯著性，需要關注和的直接關系。盡管我們這里知道這過程是由AR(1) 生成的，下面我們將兩個不同的模型作一比較。假設我們估計AR(1)模型，并試圖用MA系數捕捉的在滯后12階處峰值。因此，考慮兩個模型模型1：模型2：下表報告了兩個估計結果，模型1的系數滿足穩定性條件且標準差較低（零假設的t-統計量值大于12）。作為診斷檢驗，也可以做出擬合模型的殘差的相關圖。這些殘差的Q-統計量說明：每個自相關都小于2倍標準差。這些殘差的Ljung-Box的Q統計量說明：Q(8)、Q(12)、Q(24)都顯著為零（接受原假設）。這

19、強烈說明AR(1)模型擬合數據擬合的較好。如果殘差的自相關是顯著的，說明AR(1)模型沒能利用所有信息。 自由度9998殘差平方和85.2185.17的估計（標準差）0.7910(0.0622) 12.70.7953(0.0638) 12.5的估計 （標準差）-0.033(0.1134) -0.29AIC, SBC441.9, 444.5443.9, 449.1殘差的Ljung-Box Q統計量（括號內的值為拒絕原假設的最小顯著水平-P值）Q(8)=6.43(0.490)Q(16)=15.86(0.391)Q（24)=21.74(0.536)Q(8)=6.48(0.485)Q(16)=15.7

20、5(0.4)Q(24)=21.56(0.547)考察模型2，注意兩個模型產生類似的一階自回歸系數和標準差。然而，系數的估計是不顯著的，應該被去掉。通過比較兩個模型的AIC和SBC，降低殘差平方和的益處會被估計更多參數帶來的不利影響所抵消。這些都說明應該選擇模型1。210 ARMA(1.1) 模型的估計 構造第二個序列，來說明ARMA(1.1)模型的估計。給定100個正態分布的序列按如下生成 這里都為零。 樣本ACF和PACF的圖 如果數據生成過程是未知的，還要關注一些相近的情形。AR(2)模型也許能產生類似上圖的ACF和PACF。考慮三個模型模型1：模型2：模型3： 下表給出估計結果：ARMA(1.1) 模型的估計估計（括號內為標準差）Q統計量（括號內為顯著水平）AIC/SBC模型1-0.835(.053)0.835/0.053=16Q(8)=26.19(.000)Q(24)=41.10(.001)AIC=496.5SBC=499.0模型2-0.679(.076)-0.676(.081)Q(8)=3.86(.695)Q(24)=14.23(.892)AIC=471.0SBC=476.2模型3-1.16(.093)-0.378(.092)Q(8)=11.44(.057)