1、含體制變化的時間序列建模漢密爾頓時間序列分析第二十二章對于1982年以前的數據，我們可以使用模型對于1982年以后的數據，則可以使用模型稱作時期的狀態或體制。如果，則過程處于體制1；如果，則過程處于體制2。模型可以等價地寫作其中，在時等于，在時等于。馬爾科夫鏈令為一個隨機變量，它可假定為僅一個整數值。假定等于某個值的概率受過去的影響僅通過最近的值：這樣一個過程稱作轉變概率為的狀態馬爾科夫鏈。轉變概率給出了狀態后繼之以狀態的概率。注意:將轉變概率列成一個稱為轉變矩陣的矩陣常常是方便的：的第行、第列元素為轉變概率用一個向量自回歸表示一個馬爾科夫鏈馬爾科夫鏈的一個有用表示可這樣得到：令表示一個向量，

2、其第個元素當時為一，其他情形為零。如果，則的第個元素為一個隨機變量，以概率取值一，其他情形取值零。這樣一個隨機變量有期望。因此，時，的條件期望為：因此，上式表明而且確實，由馬爾科夫性質，進一步得到因此，由可能將馬爾科夫鏈表示成其中馬爾科夫鏈預測式表明對上式兩邊取條件期望，得前期的馬爾科夫鏈預測值可由來計算。如果過程在時期取狀態，則斷言其中，表示的第列。這就表明馬爾科夫鏈的前期轉變概率可由矩陣自身的倍而得。可約馬爾科夫鏈對于一個二狀態馬爾可夫鏈，其轉變矩陣為假定，所以矩陣是上三角形的于是，只要矩陣進入了狀態1，則沒有可能再進入狀態2。在這樣一個情形下，我們要說狀態1是吸收狀態而馬爾可夫鏈式可約的

3、。更為一般地，一個狀態馬爾可夫鏈稱為可約的，如果存在一個辦法來標明各狀態使得轉變可寫成形式表示一矩陣。如果是上三角形的，則對于任意，也是。因此，只要這樣一個過程進入狀態，就沒有可能再進入狀態中的一個。一個馬爾可夫鏈不是可約的，則稱為不可約的。遍歷馬爾科夫鏈要求P的每一列之和為1，或者其中，1表示一個各元素為1的向量。這表明1是矩陣的特征值且1是與其相應的特征向量。因為一個矩陣和其轉置矩陣有同樣的特征值，所以1是任意馬爾可夫鏈的轉變矩陣的一個特征值。考察一個轉變矩陣為的狀態不可約馬爾可夫鏈。假定的一個特征值為1且的其余特征值全部落在單位圓之內，則馬爾可夫鏈稱為遍歷的。的與單位特征值相應的特征向量

4、被定義為遍歷鏈的遍歷概率，即遍歷概率向量滿足該特征向量是正規化的，所以其元素之和為1。可以證明：如果是遍歷馬爾可夫鏈的轉變矩陣，則對于相異特征根的情形，總可以寫成（Jordan分解）Ø 是一個矩陣，其各列是的特征向量，Ø 是一個對角形矩陣，其主對角線包含了的對應特征值，因為的元素為1而的其他元素都落在單位圓之內，收斂于一個位置為一，其余位置為零的矩陣。因而，Ø 是的第一列是對應于單位特征值的特征向量，其特征向量記作，即Ø 是第一行當表示成列向量時，對應于的與單位特征值相應的特征向量，可見其特征向量比例于1，即。將代入得出可解釋作一個轉變概率矩陣，其每列之

5、和須為一。遍歷概率向量由條件正規化。由此得出正規性常數須為1。因此，。表明：也就是說，一個遍歷馬爾科夫鏈的長期預測獨立于當期狀態。遍歷概率向量也視作個不同狀態的每一個的無條件概率。假定使用符號表示無條件概率，則向量可視作的無條件期望：已知，兩邊取無條件期望，結果為假定由平穩性，且，因此，這表征了作為的與單位根相應的特征向量。對于一個遍歷的馬爾科夫鏈，這一特征向量是唯一的。所以，遍歷概率向量可解釋作無條件概率向量。二狀態馬爾科夫鏈的進一步討論二狀態馬爾科夫鏈的轉變概率矩陣可寫為因此，可求得轉變矩陣的特征值二狀態馬爾科夫鏈的特征值為和只要，則第二個特征值將落在單位圓之內。只要且，則該鏈是不可約的。

6、因此，給定，且，則二狀態馬爾科夫鏈是遍歷的。二狀態馬爾可夫鏈的第一個特征值的特征向量為因此，在任何給定時期，過程將處于體制1的無條件概率為 過程將處于體制2的無條件概率為第二個特征值的特征向量為因此，一個遍歷二狀態馬爾可夫鏈的前期轉變概率矩陣為一個二狀態馬爾可夫鏈也可以用一個簡單數量AR(1)過程來表示。令表示向量的第一個元素；即是一個時為1,其他時間為零的隨機變量。對于該二狀態鏈，的第二個元素為，因此，可以寫作那么第一行表明這是一個常數項為且自回歸系數為的過程。計算一個N狀態馬爾科夫鏈的遍歷概率對于一個一般的遍歷狀態過程，無條件概率向量代表了一個向量，有性質且。周期性馬爾可夫鏈如果馬爾可夫是

7、不可約的，則可能有不止一個特征值落在單位圓上，即并非所有的不可約的馬爾可夫鏈都是遍歷的。例如:此情形下，矩陣并不收斂于形如的任何固定的極限。而是，若過程在時期位于狀態1，則在時期，也處于該狀態。這樣一個馬爾可夫鏈稱為具有周期為二的周期性。如果有個特征值嚴格落在單位圓之上，則鏈稱為有周期的周期性。這樣的鏈具有性質：狀態可劃分為個不同的族，如果時期的狀態來自族，則時期的狀態肯定來自族。i.i.d.混合分布的統計分析令給定過程的時期的體制以未被觀察到的隨機變量為指標，有個可能的體制（或）。如果過程處于體制時，觀察到的變量預定取自一個分布，如果過程處于體制，則預定取自一個分布，如此等等。因此，以隨機變

8、量取值為條件的密度為其中。這里是一個總體參數向量，它包括及。未觀察到的體制預定由某個概率分布生成，取值的無條件概率記作：概率也可包括進；即為我們知道對于任意的事件和，給定，的條件概率為假定事件發生的概率非零。此式表明和同時發生的聯合概率為例如，如果我們對聯合事件及落在區間內的概率感興趣，則可通過對式關于在和之間的所有值求積分而得。上式稱為和的聯合密度分布函數。具體地，這一函數為將在所有可能的值上求和，可得的無條件密度：因為體制是未觀察到的，上式是描述實際觀察到的的相對密度。如果體制變量分布作跨時期的，則觀察到數據的對數似然可由上式計算，的最大似然估計由在限制及時這條件下最大化似然函數而得。關于

9、未觀察到的體制的推斷一旦人們得到了的估計，就有可能作出關于體制可能對時期生成的觀察值負責的推斷。又，由條件概率的定義，有這個數代表了對觀察值負責的未被觀察到的體制是體制的概率。最大似然估計和EM算法分析性表征總體參數的最大似然估計是有建設性的。最大似然估計代表了下面的非線性方程系統的解：因為以上方程為非線性的，所以不能以分析方法解出作為的函數。但是，這些方程建議了一個有吸引力的求最大似然估計的迭代算法。1. 由的記作的任意初始猜測開始，可由計算。2. 以取代，可以計算至的右邊的值。至的左邊將得到一個 新估計。3. 該估計可用于重新計算且重新計算至的右邊。則至的左邊可得出一個新估計。4. 可持續

10、這一迭代方式直至和的差比指定的收斂標準更小為止。該算法為登普斯特，萊爾德和魯賓建立的原理的特例。可以證明該算法的每一次迭代都增加了似然函數值。顯然，如果迭代達到一個點使，則該算法已求得最大似然估計。含體制變化的時間序列模型我們現在再回到目標：建立一個允許給定變量在不同子樣本上服從不同時間序列過程的模型。為什么馬爾可夫鏈可能是產生體制變換的過程的一個有用描述嗎？Ø 允許人們先于變化考慮由體制變化的可能性并生成關于變化的有意義的先驗預測。Ø 我們可能想用一個含體制變化的時間序列模型解釋短期存在的事件如二次大戰。又，也有可能我們選取馬爾可夫鏈的參數，使得對于給定的100年的數據，

11、我們很可能觀察到體制2的持續5年的插曲。當然一個馬爾可夫鏈識別表明給定另一個100年，我們會看到另一個這樣的事件。人們可能會認為對于建立模型來說，這是一個適當的性質。科學方法的實質就在于未來在某種意義上像過去之預假設。Ø 靈活性之優點。看起來有些值，可以設定與一個很寬的不同結果范圍相一致的概率規律，且單以數據為基礎在該族內選擇特定參數。本節研究的一般模型如下:令為一個觀察到內生變量向量，為一觀察到外生變量向量令為包含至時期的全部觀察值的一個向量。如果過程受制于時期的體制，的條件密度假定為其中，是表征條件密度的參數向量。如果有個不同的體制，則有由其表示的不同的密度，。這些密度將列為一個

12、向量，記作。作為一個例子，考察一個一階自回歸，其常數項和自回歸系數在不同的子樣本上可不同：其中，。建議是將體制作為未觀察到的狀態馬爾可夫鏈的后果來建模，這里關于所有的和獨立于。對于這個例子，是一個數量，外生變量僅包含一個常數項，且中的未知參數含以及。在體制為時，則兩個密度為注意：關于條件密度，假定條件密度僅依賴于當期體制而不依賴于過去的體制：上式并非真正限制性的。例如，考察模型其中的條件密度依賴于和二者，其中由一個二狀態馬爾可夫鏈所描述，即取值。我們可以定義一個新變量，它以與相一致的方式表征了時期的體制，如下：如果表示，則服從一個四狀態馬爾可夫鏈，其轉變矩陣為且假定按照馬爾可夫鏈源化，它獨立于

13、的過去或的當期和過去的觀察值：關于體制的最優推斷和似然函數的計算總體參數描述了受制于假定和的時間序列，它們包括及各個轉變概率。一個重要目標是根據的觀察值估計的值。不管怎樣，讓我們先把這一目標擱置起來，且假定的值對于分析者而言是確知的。即使我們知道的值，我們也不知道在樣本中的每一個時期，過程究竟位于哪一個體制。我們能做的只是形成“對觀察值負責的未被觀察到的體制是體制的概率”在情形，分析者關于的值的推斷僅依賴于。在這里所描述的更為一般的時間序列模型族里，推斷典型地依賴于全部可得觀察值。令表示分析者關于值基于至時期已得數據和總體參數的知識的推斷。這一推斷取條件概率的形式，分析者可安排這一概率使得第個

14、觀察值由體制生成。將這些條件概率列成一個向量。人們也可設想給定至時期已得觀察值，形成關于過程在時期，有多大可能位于體制的預測。將這些預測列成一個向量，它的第個元素代表。樣本中每個時期的最優推斷和預測可通過對下面方程的迭代而求得：這里表示向量，其第個元素為條件密度，代表轉變矩陣，代表各元素為的向量，表示元素對元素乘法。給定初始值和總體參數的假定值，可在時迭代和，來計算樣本中每個時期的和值。關于已觀察到數據的對數似然函數在用于形成迭代的處的值可由這一算法的副產品得到，為其中方程和的推導Ø 假定是外生的，據此知道除包含在內的以外，不再包含關于的任何信息。因此，也可寫作。Ø 的第個

15、元素為。向量的第個元素為這兩個值的積，這個積可解釋作和的條件聯合密度分布：可觀察向量以過去可觀察值為條件的密度為在時個值的和。這一和可寫成向量記號為如果聯合密度分布除以的密度，結果為的條件分布：因此，而由知，中右邊表達式的分子為向量的第個元素，而的左邊為向量的第個元素。因此將時的方程列成一個向量，得到。已知，對其兩邊取在條件下的期望：即。算法的開始給定一個初始值可用來計算任意的。有幾種選擇供選取初始值使用。一個方法是令等于無條件概率向量。另一個選擇是令其中是一個固定的的各元素之和為1的非負常數向量，如。另外，可由最大似然估計，其限制條件為且對于。體制的預測和平滑推斷推廣早期的記號，令表示第個元

16、素為的向量。當時，這代表了對未來某期待體制的預測。當時，它代表了在時期基于遲至期已得關于體制的平滑推斷。以時期的可得信息為條件，將對兩邊取期望可得的前期預測：或其中據算出。平滑推斷可用基姆建立的算法計算。以向量形式，這一算法可寫作其中符號表示元素對元素的除法。將關于向后迭代得到平滑概率。該迭代從時從得到的開始。僅當服從一階馬爾可夫鏈時，該算法是有效的。其他觀察到變量的預測據條件密度，可徑直根據知道，和的條件預測。例如，對于設定，這樣一個預測為與個可能的值相應，有個不同的條件預測。注意基于實際觀察到的變量的無條件預測與這些條件預測的關系為因此，第個體制的適當預測僅是乘以該過程將位于體制的概率，且將個不同的乘積假在一起。參數的最大似然估計在迭代和中，參數向量取作固定的已知向量。對于一個給定的固定的，一旦迭代對于完成了，則由值所隱含的對數似然值就可知為。如果轉變概率僅限于對于所有的和，且，初始概率取作一個固定的值，且與其他參數不相關，則漢密爾頓證明了轉變概率的最大似然估計滿足其中表示最大似然估計全向量。因此，估計的轉變概率為狀態看起來繼以狀態的次數除以過程位于狀態的次數。這些可基于平滑概率得到估計。如果初始概率向量被視作僅有限制且的分開的參數向量，則的最大似然估計為關于初始狀態的平滑推斷：統治條件密度的參數向量的最大似然估計表征為這里是一個向