1、馬爾科夫過程1、馬爾科夫過程的定義 其狀態(tài)空間12 , ,.NEi ii任意m個(gè)時(shí)刻 及任意正數(shù)s，滿足則稱nX為馬爾科夫過程。定義：設(shè)時(shí)間連續(xù)狀態(tài)離散的隨機(jī)過程( ),(0,)X tt，若對(duì)任意整數(shù)m12, ,. ,mt tt12, , .,mi iijE1122|( ),( ), .,()mmmP X tsj X tiX tiX ti|()mmmP X tsj X ti2、轉(zhuǎn)移概率及性質(zhì)( ,)|( ),0,0ijpt tsP X tsj X tits( )=( ,)|( ),0,0ijijpsp t tsP X tsj X tits(1) 0( )1, (2)( )1,ijijjpsps

2、,1,2,.()i j 有限或無限一般的，規(guī)定性質(zhì)時(shí)齊馬爾科夫過程的轉(zhuǎn)移概率1,(0)=0,ijijijpij3 3 切普曼切普曼- -柯爾莫哥洛夫方程（柯爾莫哥洛夫方程（C-KC-K方程）方程）()( )( ),0,1,2.ijirrjrpstps pti j 轉(zhuǎn)移概率之間有如下關(guān)系: 對(duì) ，有0,0ts4 初始分布與絕對(duì)分布（1）初始分布為一馬爾科夫過程，其狀態(tài)空間, 2, 1, 0 E或?yàn)橛邢拮蛹Ａ?0)(0),ipP XiiE且對(duì)任意的Ei(0)(1)0ip(0)(2)1ii Ep(0),ipiE則稱 為該馬爾科夫過程的初始分布，也稱初始概率。初始概率是在初始時(shí)間 時(shí)處于狀態(tài)i的概率

3、。0t ，均有( ),(0,)X tt0t 當(dāng) 時(shí)，取各狀態(tài)的概率稱為絕對(duì)概率或絕對(duì)分布。設(shè)為一馬爾科夫過程，其狀態(tài)空間, 2, 1, 0 E或?yàn)橛邢拮蛹Ａ? )( ),iptP X tiiE且對(duì)任意的Ei(1)( )0ip t (2)( )1ii Ep t( ),ip tiE則稱 為絕對(duì)分布，也稱絕對(duì)概率。均有（2）絕對(duì)分布( ),(0,)X tt絕對(duì)概率由初始分布和相應(yīng)的轉(zhuǎn)移概率唯一確定。絕對(duì)概率由初始分布和相應(yīng)的轉(zhuǎn)移概率唯一確定。(0)( )( )( )jiiji Ep tP X tjpp t科爾莫哥洛夫向前和向后方程1、速率函數(shù)( ),(0,)X tt若是狀態(tài)有限的馬爾科夫過程，設(shè)0

4、1,lim( )0,ijijtijp tij0( )lim,0,1,.ijijijtp tqi jNt(0 )ijqpijq稱為速率函數(shù)，即速率函數(shù)刻畫了過程的轉(zhuǎn)移概率函數(shù)在零時(shí)刻對(duì)時(shí)間的變化率2、速率函數(shù)的性質(zhì)(1)0,0,1,.iiqiN(2)0,0,1,.ijqiji jN0(3)0Nijjq，性質(zhì)(3)的證明：000( )=limNNijijijtjjp tqt000( )=lim=0NNijijjjtp tt0,1,.iN定理 設(shè)隨機(jī)連續(xù)狀態(tài)有限馬爾科夫過程的轉(zhuǎn)移 概率函數(shù)為 ，速率函數(shù)為 ，則有科爾莫哥洛夫向前方程科爾莫哥洛夫向后方程0( )( ),0,1,2,.Nijikkjkd

5、p tpt qi jNdt0( )( ),0,1,2,.Nijikkjkdp tq pti jNdt( )ijp tijq注：無限馬爾科夫過程也有類似結(jié)論證明：0( )()( )limijijijtdp tp ttp tdtt 00( )()( )limNikkjijktpt ptp tt 000( )()( )limNNikkjikkjkktpt ptptt 000()( ) lim( )NNkjkjikikkjtkkptptpt qt 證明20( )()( )limijijijtdp tp ttp tdtt 00()( )( )limNikkjijktpt ptp tt 000()( )(

6、 )limNNikkjikkjkktpt ptptt 000()(lim)( )( )NNikikkjikkjtkkptptq ptt 遍歷性定義 若馬爾科夫過程轉(zhuǎn)移概率的極限lim( ),ijjtp tpi jE存在且與 無關(guān)，則稱此馬爾科夫鏈具有遍歷性此時(shí)，若滿足為轉(zhuǎn)移概率函數(shù)的極限分布i0,1jjjpp則稱,jpjE遍歷性111lim( )lim( )1NNNijijjttjjjp tp tp10,1,1,2,.NjjjppjN即在此稱為轉(zhuǎn)移概率的極限分布若馬爾科夫過程為有限狀態(tài)的，顯然有，滿足說明1：,1,2,.jpjN構(gòu)成一個(gè)概率分布有限狀態(tài)的遍歷的馬爾科夫過程必存在極限分布遍歷性,

7、1,2,.jpjN10,1,1,2,.jjjppj1( )1,ijjp tjE即若馬爾科夫過程為無限狀態(tài)的，則有，又因?yàn)檎f明2：不一定構(gòu)成一個(gè)概率分布無限狀態(tài)的遍歷的馬爾科夫過程不一定存在極限分布，只有其極限概率構(gòu)成概率分布時(shí)才存在極限分布1( )1Mijjp t11lim lim( )lim1MMijjMtMjjp tp絕對(duì)概率的極限( )(0)limlim( )tjiijttippp t(0)(0)lim( )iijijjtiipp tppp( )limtjjtpp即：絕對(duì)概率的極限與轉(zhuǎn)移概率的極限相同即定理 對(duì)有限馬爾科夫過程，如果存在正數(shù) ，則此鏈?zhǔn)潜闅v的，0( )0,1,2,.ijp ti jN且極限分布 是方程組滿足條件的唯一解1,2,.jpjN，1,1,2,.Njiijjpp pjN10,(2)1Njjjpp(1)注：此定理給出了求極限分布(平穩(wěn)分布)的方法使得00t 第第2 2章章 隨機(jī)過程隨機(jī)過程人有了知識(shí)，就會(huì)具備各種分析能力，明辨是非的能力。所以我們要勤懇讀書，廣泛閱讀，古人說“書中自有黃金屋。”通過閱讀科技書籍，我