穩態概率1.一個常返類，狀態有限，非周期的情形：如果j

非常返，則(定理4.13)

如果j

常返，處于狀態j的概率pij(n)趨近于一個獨立于初始狀態i的極限值。這個極限值記為j

，有如下表示：j≈P(Xn=j)(當n很大時)，并且稱之為穩態概率。例1：因此，穩態概率為因為1和2形成概率分布，稱為平穩分布231是一概率分布，稱為平穩分布如果初始分布為(p1,p2,...,pm),則n步之后的狀態分布：于是：同理：當n足夠大時，狀態分布是平穩分布，與初始分布無關。如果初始狀態分布為：如果初始狀態分布為：如果初始分布為平穩分布下一時刻的狀態分布：于是任意時刻的狀態分布都是如果初始分布為平穩分布則：任意時刻的狀態分布都是對于只有一個常返類，狀態有限，非周期的馬爾科夫鏈，狀態空間I={1,2,...,m},轉移矩陣平穩分布則得到平衡方程組：平衡方程組為：又結合歸一化方程就可以解出j

實際上，一旦pij(n)收斂于某一個j，考慮查普曼—科爾莫格洛夫方程：兩邊對n→∞取極限，得到平衡方程：當j=1時，當j=2時，......例7.5考慮兩個狀態的馬爾科夫鏈，他們的轉移概率是P11=0.8，P12=0.2P21=0.6，P22=0.4平衡方程組為注意上面兩個方程是相互依賴的，共同等價于這是一個一般的結論，可以證明平衡方程組內的任何方程都可以利用剩下的式子推導出來。由于j滿足歸一化方程它是平衡方程組的一個補充，從而能唯一的得到j這個結果和我們前面通過迭代查普曼-科爾莫格洛夫方程組得到的結果一致。穩態收斂定理：考慮一個非周期的，單個常返類的馬爾科夫鏈。狀態j和它對應的穩態概率j具有如下性質。(a)對于每個j，我們有：(b)j是下列方程組的唯一解：(c)另外有：例7.6一位健忘的教授有兩把雨傘，用于上下班往返于家和學校之間。如果下雨且在她所處位置有一把雨傘可用，那么她就會帶上它。如果沒有下雨，她總是忘記帶雨傘。假設每次她出門下雨的概率是p，且獨立于其他時候。請問她在路上被淋濕的穩態概率是多少？解利用馬爾科夫鏈模型建立模型，假設以下狀態：狀態i：在她所在地有i把雨傘可用，i=0,1,2,轉移概率圖和轉移概率矩陣如下：矩陣第一行表示她出門時門口沒有傘,她到達目的地門口必定有兩把傘,因此p00=0,p01=0,p02=1第二行表示她出門時門口只有一把傘，以概率p把傘帶走，以概率1-p將傘留在原地，這樣目的地門口的狀態為1或2.這個馬爾科夫鏈具有單個常返類，且是非周期的(假設0<p<1),所以可以利用穩態收斂定理。其平衡方程組為結合歸一化方程得到根據穩態收斂定理，教授發現自己所在地方沒有雨傘的穩態概率是0，那么教授被淋濕的概率為例7.7一個迷信的教授在一個具有m扇門的環形建筑里面工作，m是奇數。他絕不連續兩次打開同一扇門。相反，他以概率p(或1-p)以順時針(逆時針)方向打開他上一次打開的相鄰的門。請問選定一扇門將在未來一天被用到的概率？解利用馬爾科夫鏈模型，有以下m個狀態：狀態i：教授打開的是第i扇門，i=1,...,m轉移概率矩陣為(圖中m=5):假設0<p<1,該鏈是一個非周期的單個常返類。平衡方程組為注意，由于對稱性，所有的門都有一樣的穩態概率，所以解為注意：如果p=0或者p=1，鏈也是只有一個常返類，但是是有周期的。這種情況下n步轉移概率pij(n)不會收斂于一個極限值，因為門將會按照環形順序使用。如果m是偶數，鏈的常返類也是有周期的，因為狀態將可以分成兩個子集，奇數集和偶數集，并且滿足從一個子集到達下一個子集。后面再討論這種情況。長期頻率的解釋概率通常被解釋為在無限次獨立重復試驗中事件發生的頻率。盡管不具有獨立重復試驗中的獨立性，馬爾科夫鏈的穩態概率也具有這樣類似的性質。例如,考慮一個與機器有關的馬爾科夫鏈：每天工作結束時，機器有兩種狀態：正常工作或出現故障。每次出現故障時，立即花100元維修。如何建立模型，計算長期的每天平均的修理費？有兩種解釋方法：1.將它看成未來任意一天的修理費的均值，需要先計算故障狀態的穩態概率j，然后平均每天的修理費用為0×(1-j)+100×j2.先計算n天內出現故障的天數的期望值，記為vij(n),n天內總的期望花費為100vij(n),平均每天的修理費用為直觀上，兩種計算方法將會得到一樣的結果。穩態概率的期望頻率解釋對于一個非周期的具有單個常返類的馬爾科夫鏈，狀態的穩態概率j滿足其中Vij(n)表示從狀態i出發，在n次轉移中到達狀態j的總次數的期望值j表示狀態j的長期期望頻率。每次j被訪問了，則下一步轉移到狀態k的概率是pjk。所以，我們得到結論，jpjk可以看做從j轉移到k的長期轉移概率。事實上，對馬爾科夫鏈進行一個概率試驗，產生一個馬爾科夫鏈的無限長的軌道，觀測這個軌道的到達狀態j的長期頻率就是j，發生從狀態j轉移到狀態k的長期頻率正好是jpjk。特定轉移的期望頻率特定轉移的期望頻率考慮一個馬爾科夫鏈的n次轉移，該鏈是從給定初始狀態出發的、非周期的，且具有單個常返類。令qjk(n)為在時間n內，從狀態j到狀態k的轉移期望次數，那么，無論初始狀態是什么，均有給出j和jpjk的頻率解釋后，平衡方程組就具有直觀意義：訪問j的期望頻率j等于能達到j的轉移的期望頻率jpjk的總和，也就是首達概率：由i出發經有限步終于到達j的概率：由i出發經有限步終于回到i的概率：常返：fii=1由i出發再返回到i的平均返回時間：于是，返回頻率的期望值：所以于是，而對于一個非周期的具有單個常返類的馬爾科夫鏈，因此定理4.16不可約非周期馬爾可夫鏈是正常返的充要條件是存在平穩分布，且此平穩分布就是極限分布推論1有限狀態的不可約非周期馬爾可夫鏈必存在平穩分布。(定理4.13推論1)推論2若不可約馬爾可夫鏈的所有狀態是非常返或零常返，則不存在平穩分布。推論3若{j,jI}是馬爾可夫鏈的平穩分布，則例4.16設馬爾可夫鏈的轉移概率矩陣為求馬爾可夫鏈的平穩分布及各狀態的平均返回時間。解因為馬爾可夫鏈是不可約非周期有限狀態的，所以平穩分布存在，設=(1,2,3)，則各狀態的平均返回時間為:生滅過程生滅過程：狀態空間為{0,1,2,...,m}且轉移只發生在相鄰狀態之間，或者保持狀態不變。生滅過程的實際背景的例子非常多，尤其是排隊論。下面是概率轉移圖生滅過程狀態轉移圖轉移概率矩陣為：平衡方程組對于一個生滅過程，我們重點考察相鄰狀態i和i

+1。在馬爾科夫鏈的任何軌跡中，從i到i+1的轉移一定會跟著一個從i+1到i的轉移(雖然不總是從i+1馬上轉移到i)，后面這個轉移會在另一個i到i+1的轉移發生之前。換言之，在馬爾科夫鏈的任何軌跡中，從i到i+1的轉移和從i+1到i的轉移一定是交替出現的。所以從i到i+1的轉移的期望頻率ibi一定等于從i+1到i的轉移的期望頻率i+1

di+1。這就推出了一個局部平衡方程組：利用這個局部方程組，可以得到：再利用歸一化方程，很容易算出穩態概率。例8（具有反射壁的隨機游動）一個人在直線上行走，每一個時刻，他向右走的概率是b，向左走的概率是1-b。該人開始于位置1,2，...，m中的任一個，但是如果他到達位置0（或m+1），他將自動的反回位置1（或者m）。這等價于，我們假設當該人到達位置1（或m）時，下一步將分別以概率1-b（或b）停留在原處，以概率1-b向右走一步（或以概率1-b向左走一步）。利用馬爾科夫鏈模型，狀態為1,2,...,m,轉移概率圖如下：局部平衡方程組為所以i+1

=ρi其中于是我們用1表示所有的i，有利用歸一化方程得到于是得到注意：如果ρ=1,(向左和向右的概率一樣),那么對于所有的i，有例7.9(排隊論)在通信網絡中，信號包到來后，被存放在緩沖器中然后傳播。緩沖器的儲存容量為m：如果已經有m個信號包存在于緩沖器中，那么新的信號就自動丟失了。我們將時間分割成很小的部分，并且假定每個時間段最多有一個事件發生（一個新的信號包到達或將已經存在的一個信號包傳送出去),改變系統中信號的數量。特別的，我們假設每個時間段只有以下事件之一發生：(a)一個新的信號包到達，發生概率是b>0;(b)如果至少存在一個信號包在系統中，則傳送出去一個信號包，發生的概率是d>0,否則概率為0；(c)沒有新信號到達，也沒有已經存在的信號包傳送出去，(沒有完成傳送任務)，如果當時的緩沖器中存在至少一個信號包，則事件發生的概率為1-b-d;如果當時在緩沖器中沒有信號包，則事件發生的概率為1-b我們建立一個馬爾科夫鏈，其狀態空間為0,1,...,m,這些狀態表示緩沖器中信號包的個數。轉移概率圖如下：局部平衡方程組為：定義可得結合歸一化方程可得以及穩態概率為下面分析當緩沖器容量m很大，實際中可以認為無窮的時候，將會發生什么事情。分兩種情況：(a)假定b<d,或者ρ<1。在這種情況下，新信號到達的概率小于緩沖器中信號離開的概率。這避免了緩沖器中信號數量的增加，并且穩態概率i隨著i的增加而減小。注意到當m→∞時，其分布列是截尾型的幾何分布。(b)假定b>d,或者ρ>1這種情況下，新信號到達的可能性大于緩沖器中信號離開的可能性。緩沖器中信號的數量趨于增加，并且穩態概率i隨著i的增大而增加。由于我們考慮的緩沖器具有很大的容量m，任何狀態i的概率都是趨近于0的：i→0，對于所有的I這意味著，緩沖器中信號的個數將增加到無限多個，并且任何特別的狀態都只能被訪問有限次數。穩態性質如果有兩個或多個常返類，顯然pij(n)的極限值一定依賴于初始狀態（例2）。所以我們將鏈限定于只有一個常返類，加上一些可能存在的非常返狀態。由于一個狀態一旦進入一個常返類，它將一直處于這個類中，所以可以利用單一鏈的漸近行為去理解多個常返類的馬爾科夫鏈的漸近行為。4.4漸近性質與平穩分布

例4.18設馬爾可夫鏈轉移概率矩陣為求每一個不