1、第四章4.1馬爾可夫鏈的的概念及轉移概率一、知識回顧二、馬爾可夫鏈的的定義三、轉移概率四、馬爾可夫鏈的一些簡單例子五、總結、知識回顧1. 條件概率定義：設A，B為兩個事件，且P(A) > 0，稱P(B|A)=?(?)?(?)為事件A發(fā)生條件下B事件發(fā)生的條件概率將條件概率公式移項即得到所謂的乘法公式：P(AB) = P(A)P(B|A)2. 全概率公式設試驗E的樣本空間為S，A為E的事件，若？?,？，?，?為S的一個完 備事件組，既滿足條件：1) .?,?，?，?兩兩互不相容，即?= ?，i 工j,i,j= i,2,? ,n2) . ? U? U? U?= ?且有P(?> 0,i

2、= i,2,? ,n，則P(A)=廿?=iP(?琢P(?|?此式稱為全概率公式。3. 矩陣乘法矩陣乘法的定義M?2?22?3?3)，?1(?21?1?> ?2) ?2?(?如果?= ?i x? + ?2 x?i + ?3 x ?31?i?= ?ix ?>+?>x ?22+?3x ?32?= ?ix ?|+?22x ?21+?3x ?22= ?ix?2+?22x?22+?3x ?那么矩陣C叫做矩陣A和B的乘積，記作C= AB4. 馬爾可夫過程的分類馬爾可夫過程按其狀態(tài)和時間參數(shù)是連續(xù)的或離散的，可分為三類：(1) 時間、狀態(tài)都是離散的馬爾科夫過程，稱為馬爾可夫鏈；(2) 時間連

3、續(xù)、狀態(tài)離散的馬爾科夫過程稱為連續(xù)時間的馬爾可夫鏈的;(3) 時間、狀態(tài)都連續(xù)的馬爾科夫過程。二、馬爾科夫鏈的定義定義4.1設有隨機過程?n T，若對于任意的整數(shù)n T和任意的?,？?+i ?條件概率都滿足?% =族昇?？ = ? = ? ？?=明=?+i = ?+i|?= ?(4.1.1)則稱?n T為馬爾科夫鏈，簡稱馬氏鏈。式(4.1.1)即為馬氏鏈，他表明在狀態(tài)?(0) = ?(1)= ?(n)= ?已知的 條件下，？?(n+ 1) = ?的條件概率與?(0) = ?(1)= ?(n- 1) = ?-1 無關, 而僅與?(n)所處的狀態(tài)？?有關。式(4.1.1)是馬爾科夫鏈的馬氏性(或無

4、后效性)的數(shù)學表達式。由定義知?= ?= ? ,?=明=? = ?= ? = ?，?-1 = ?-1?P?= ?= ?,？?-1 = ?-1=?=陰?-1 = ?-1 P?= ?= ?1?,？?-1 = ?-1= ?=P? = ? = ?= ?可見，馬爾科夫鏈的統(tǒng)計特性完全由條件概率?+1 = ?+?= ?所決定。如何確定這個條件概率，是馬爾科夫鏈理論和應用中的重要問題之一。現(xiàn)舉一例說明上述概念：例4.1.1箱中裝有c個白球和d個黑球，每次從箱子中任取一球，抽出的球要到從箱子中再抽出一球后才放回箱中，每抽出一球作為一次取樣試驗。現(xiàn)引進隨機變量序列為X(n),n= 1,2,?,每次取樣試驗的所有

5、可能結果只有兩個，即白球或黑球。若以數(shù)？?代表白球，以數(shù)?代表黑球則有?，第n次抽球結果為白球X(n) = ?，第n次抽球結果為黑球由上所述的抽球規(guī)則可知，任意第 n次抽到黑球或白球的概率只與第 n-1次抽 得球的結果有關，而與第n - 2次，第n- 3次，？，第1次，抽的球的結果無 關，由此可知上述隨機變量序列X(n), n= 1,2,? ，為馬氏鏈。三、轉移概率定義4.2稱條件概率? = ?+1 = ?|帶？?為馬爾科夫鏈?,n T在時刻N的一步轉移概率，其中i,j T，簡稱為轉 移概率。條件概率?:隨機游動的質點在時刻n處于狀態(tài)？的條件下，下一步轉移 到狀態(tài)？的你改率。一般地，轉移概率?

6、不僅與狀態(tài)i ,j有關，而且與時刻n有關。當? 不依賴與時刻n時，表示馬爾科夫鏈具有平穩(wěn)轉移概率。定義4.3若對任意的i,j T，馬爾科夫鏈?,n T的轉移概率？?與n 無關則稱馬爾科夫鏈是齊次的，并記？?為?下面我們只討論齊次馬爾科夫鏈通常將“齊次”兩個字省略。設P表示一步轉移概率？?所組成的矩陣，且狀態(tài)空間I = 1,2,，則? ?2 ?P = (?2?2?) 稱為系統(tǒng)狀態(tài)的一步轉移概率矩陣。它具有性質：(1) ?>0，i，j I；(2) 習 t?= 1，i I.(2) 式中對j求和是對狀態(tài)空間I的所有可能狀態(tài)進行的，此性質說明一步轉移概 率矩陣中任一行元素之和為1.通常稱滿足上述(

7、1 )、(2)性質的矩陣為隨機矩定義4.4稱條件概率p(n)= PXm+n = j|Xm = i, i,j I, m > 0,n > 1為馬爾科夫鏈? n T的n步轉移概率，并稱P(n)= (P)為馬爾科夫鏈的n步轉移矩陣，其中(p(n) >0,習TP(n) = 1,即P(n)也是隨 機矩陣。當 n=1 是，P(j1)=Pij，此時一步轉移矩陣P=P.此外我們規(guī)疋(0)°，i 豐j，Pij = 1，i = j.定理4.1設?n T為馬爾科夫鏈，則對任意整數(shù)n >0, 0 < I < ?和i,j T, n步轉移概率p(jn)具有下列性質:(1)pij

8、 = 月1 二*-1 lPik1Pk1k2 Pkn-1 j ;p(n)= pp(n-1)(1)利用全概率公式及馬爾科夫性，有(n).PXm = i, Xm+n = jPX m =i,X m+l =k,X m+n =Xk Ipij = PXm+n = j|Xm = i=卩扒= jPXm=i,Xm+l=k Xm+l=k|Xm = i2-k I(n-l )(l)(l) (n-l )Pkj Pik (m)=人 lPik Pkj在(1)中令l=1,k= k1得P(jn) = x卩匚訂需)k I這是一個遞推公式，故可遞推得到pij =刀 刀 Pik1pk1k2 Pkn-1 j ; k 1 I kn-1 I

9、(3) 在(1)中令1=1,利用矩陣乘法可證。(4) 由(3)，利用歸納法可證。定理4.1中(1)式稱為切普曼 柯爾莫哥洛夫方程，簡稱 C-K方程。它在 馬爾科夫鏈的轉移概率的計算中起著重要的作用。(2)式說明n步轉移概率完全由一步轉移概率決定。(4)式說明齊次馬爾科夫鏈的n步轉移概率矩陣是一步轉 移概率矩陣的n次乘方。定義4.5設?, n T為馬爾科夫鏈，稱Pj = PXo = j和 Pj(n) = pXn = j，(j 1)為?,n T的初始概率和絕對概率，并分別成?j 1和?n), j I為?n T的初始分布和絕對分布，簡記為?和?(n)。稱概率向量PT(n) = 4(n)，P2(n)，

10、)為n時刻的絕對概率向量，而稱PT(0) = (P1，P2，)為初始概率定理4.2設?n T為馬爾科夫鏈，則對任意j I和n > 1，絕對概率Pj(n)具有下列性質：(1) Pj(n)=龍 p p(jn);(2) pj(n)=刀 ii(n - 1)pij;(3) PT(n) = PT(0)P (n);(4) PT(n) = PT(n - 1)P.證(1) ?(?= ?= ?= E? ? = ?= j=E? ?= ?l?= ?= ?= E? ?；?(2)? = ?= ?= E? ?超？?= ?-i = ?=E? 隔？?= ?| ?1 = T?-1 = ?E? ?(?- 1)?與中式是與中式

11、的矩陣乘積形式，顯然成立。證畢定理4.3設?,n T為馬爾科夫鏈，則對任意h,in 1和n > 1，有PX1 = i1,，Xn = in = E PiPii1 Pin-1 ini I證由全概率公式及馬氏性質有P? = ? ,?=錮=P(? = ? = ? ,?=明)? ?=E ?= ?= ? ,?=為? ?=E ? = ? = ? = ? ?=闕? = ? , ?-1 = ?-1=E? ? = ? = ? = ?=軸？?-1 = ?-1=E? ? ?"§?證畢一、馬爾可夫鏈的的一些簡單例子馬爾科夫鏈在研究質點的隨機運動、自動控制、通信技術、生物工程、經濟 管理等領域中

12、有著廣泛的應用。例4.1無限制隨機游動設質點在數(shù)軸上移動，每次移動一格，向右移動的概率為 p，向左移動的概 率為q= 1 - p，這種運動稱為無限制隨機游動。以？?表示時刻n質點所處的位 置，則?n T是一個齊次馬爾科夫鏈，試寫出它的一步和 k步轉移概率。解 顯然?,n T的狀態(tài)空間I = 0, ± 1,± 2，其一步轉移概率矩陣為q0p0P=(0q0p設在第k不轉移中向右移了 x步，向左移了 y步，且經過k步轉移狀態(tài)從i 進入j，則x + y = k，x- y = j- i，從而X=k+(j- i)y=k- (i- i)2 ，y 2由于x，y都只能取整數(shù)，所以k 

13、7; (j - i)必須是偶數(shù)。又在k步中哪x步向 右，哪y步向左是任意的，選取的方法有 &種。于是Kcxpxqy，k+ (j- i)為偶數(shù)Pii = 0，k+ (j- i)為奇數(shù)。例4.2賭徒輸光問題兩賭徒甲、乙一系列賭博。賭徒甲有 a元。賭徒乙有b元，每賭一局輸者給贏者1元，沒有和局，直到兩人中有一個輸光為止。設在每一局中， 甲贏的概 率為p，輸?shù)母怕蕿閝 = 1 - p,求甲輸光的概率這個實質上是帶有兩個吸收壁的隨機游動，其狀態(tài)空間I = 0,1,2,c, c =a+ b.故現(xiàn)在的問題是求質點從a點出發(fā)到達0狀態(tài)先于到達c狀態(tài)的概率.解 設Ui表示甲從狀態(tài)i出發(fā)轉移到狀態(tài)0的概率

14、，我們要計算的就是Ua。由于0和c是吸收狀態(tài)，故U0 = 1，Uc = 0.由全概率公式Ui = pUi+1 + qUi-1 ， i = 1,2,c- 1.(3.1 )上式的含義是，甲從有i元開始賭到輸光的概率等于“他接下去贏了一局(概 率為p)，處于狀態(tài)i+1后再輸光”；和“他接下去輸了一局(概率為 q)，處于 狀態(tài)i-1后再輸光”這兩個事件的和事件的概率。由于p+q=1,(3.1)式實質上是一個差分方程Ui+1 - Ui = r(ui - Ui-1 )，i = 1,2，,c- 1，(3.2)其中r = q，其邊界條件為u0 = 1， Uc = 0.(3.3)先討論r=1，即p = q =

15、2的情況，此時(3.2 )為Ui+1 - Ui = Ui - Ui-1 ，令i = 1,2,c- 1，U1 = U0 + a，得U2 = U1 + a = U0 + 2a，ui = ui-1+ a = u0 + ia,將U0 =1，Uc= 0代入最后一式，得參數(shù)1a=- c，所以Uii=1 - c， i = 1,2,c- 1.uc = uc-1 + a = u0 + ca.ab令i=a，求得甲輸光的概率為ui = 1 -=-c a+b上述結果表明，在p=q情況下（即甲、乙每局比賽中輸贏是等可能的情況下），甲輸光的概率與乙的賭本b成正比，即賭本小者輸光的可能性大。由于甲、乙的地位是對稱的，故乙輸

16、光的概率為aUb = a+ b由于Ua+ U- = 1，表明甲、乙中必有一人要輸光，賭博遲早要結束。再討論r工1，即p工q的情況。由（3.2）式得Uc- Ukc-1=刀 r(u i - Ui-1 )=i=kc-1刀 ri(u1-u o)i=k(u=-rk-r c(4.14 )令k=0，由于Uc = 0，1 - rc1=(1- udL(1 - u1)=十代入（3.4 ）式，得Uark c，k=1,2,c-1.令k=a，的甲輸光的概率a c r - rUa = c1 - rc由對稱性，乙輸光的概率為(=p/q)rbrcUb =由于ua + ub = 1，因此在r工1時，即p工q時兩個人中也總有一個

17、人要輸光 的。例4.3天氣預報有問題設昨日、今日都下雨，明日有雨的概率為 0.7 ;昨日無雨，今日有雨，明日 有雨的概率為0.5 ;昨日有雨、今日無雨，明日有雨的概率為 0.4 ;昨日、今日 均無雨，明日有雨的概率為0.2.若星期一、星期二均下雨，求星期四下雨的概率。解 設昨日，今日連續(xù)兩天有雨稱為狀態(tài) 0(RR);昨日無雨，今日有雨稱為 狀態(tài)1(NR);昨日有雨，今日無雨稱為狀態(tài) 2(RN);昨日，今日無雨稱為狀態(tài) 3(NN);。由于天氣預報模型可看作一個四狀態(tài)的馬爾可夫鏈，其轉移概率為?00 = ? ?明I?乍? = P連續(xù)三天有雨=? | ? ? = 0 7明 昨今?1 = ?(?今 ?

18、即？?乍?？ = 0(不可能事件)，?52 = ?彳?彳?為 |?乍?？ = ?明 |?乍?兔 = 1 - 0.7 = 0.3，?3 = ?(?今 ? |?昨 ?今 = 0(不可能事件)，其中R代表有雨，N代表無雨。類似的可以得到所有狀態(tài)的一步轉移概率。于是它的一步轉移概率矩陣為? ? ? ? eS直還殳 ? ? ? ? 05 2玄胡 ? ? ? ?0? %3b ? ? ? ?0 0 6 80 03 50 0 o O0 0 4 20 07 50 0 o O其兩步轉移概率矩陣為?(2)= ?=(0 0 6 80 03 50 0 o O0 0 4 20 07 50 0 o O0 0 6 80 03 50 0 o O0 0 4 20 07 50 0 o O0.490.120.210.18(0