1、2022-6-121CH4 馬爾可夫過(guò)程 4.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 2022-6-1224.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 4.6.1.定義則稱(chēng)該過(guò)程是連續(xù)參數(shù)連續(xù)參數(shù)的馬爾可夫鏈，也稱(chēng)為純不連續(xù)純不連續(xù)過(guò)程。 定義4.19：隨機(jī)過(guò)程 的狀態(tài)空間E為可數(shù)集，若 2022-6-123連續(xù)參數(shù)的馬爾可夫鏈的統(tǒng)計(jì)特性：4.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 4.6.1.定義 1 1、狀態(tài)概率：、狀態(tài)概率：2 2、概率分布：、概率分布：1( )1iit ( )( )ii Ett-初始分布初始分布(0)(0)ii E3 3、狀態(tài)轉(zhuǎn)移概率：、狀態(tài)轉(zhuǎn)移概率：0,tsEji2022-6-124每一

2、行之和為每一行之和為1 111( ,) ()( ) 1ijjjP s s tP X s tj X si4 4、狀態(tài)轉(zhuǎn)移概率矩陣：、狀態(tài)轉(zhuǎn)移概率矩陣：4.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 4.6.1.定義C-K方程： ()( ) ()( ) ()()k EP X s tj X siP X s rk X si P X s tj X s rk 4.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)定義定義4.204.20：如果概率轉(zhuǎn)移矩陣 與初始時(shí)刻s無(wú)關(guān)，稱(chēng)該馬爾可夫鏈?zhǔn)驱R次齊次的或時(shí)齊時(shí)齊的。分別簡(jiǎn)記轉(zhuǎn)移概率與轉(zhuǎn)移概率矩陣為 ( ,)s stP4.6.1.定義 000101011101( )( )( )( )(

3、)( )( )( )( )nnnnnnp tp tp tp tp tp ttp tp tp tP 10000100000100001P 易知轉(zhuǎn)移矩陣 滿(mǎn)足：（1）是隨機(jī)矩陣： 有(0) PI且規(guī)定 （無(wú)窮單位陣），即,)(tP4.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)4.6.1.定義 通常假定連續(xù)參數(shù)齊次鏈 是隨機(jī)連續(xù)的，即, 或 也稱(chēng)滿(mǎn)足標(biāo)準(zhǔn)性條件。 0lim0ttPPI 01,lim()(,)0,ijtijp tiji jEij ,0X tt tP0t 其實(shí)，標(biāo)準(zhǔn)性條件就是 在 右連續(xù)，其直觀意義是：在充分小的時(shí)段內(nèi)，過(guò)程的狀態(tài)不會(huì)突變。在絕大多數(shù)實(shí)際情形中，這樣的假設(shè)是合理的。在物理過(guò)程中，在

4、一個(gè)有限時(shí)間間隔內(nèi)不可能有無(wú)窮次跳躍，在有限時(shí)間內(nèi)僅允許有限次數(shù)的跳變。 2022-6-1274.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) (2)滿(mǎn)足 C-K（查普曼-柯?tīng)柲缏宸颍┓匠?即(,)i jE0t ，有( )(0) ( )ttP且4.6.1.定義而且，連續(xù)參數(shù)齊次馬爾可夫鏈的任意 n 個(gè)時(shí)刻的聯(lián)合分布由 與 唯一確定。)0()(tP)(tP2022-6-1284.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)4.6.2 齊次連續(xù)參數(shù)馬爾可夫鏈的基本性質(zhì) 互通是一種等價(jià)關(guān)系，通過(guò)互通可以將狀態(tài)空間劃分為若干個(gè)等價(jià)類(lèi)，若所有狀態(tài)彼此互通，整個(gè)狀態(tài)空間是一個(gè)類(lèi)，則稱(chēng)該馬爾可夫鏈?zhǔn)遣豢杉s的。 4.6連續(xù)參數(shù)馬爾

5、可夫鏈及其基本性質(zhì)定義定義4.22（1） （只與j 有關(guān)）則稱(chēng)該馬爾可夫鏈?zhǔn)潜闅v的。（2）若 存在，則 稱(chēng)為極限分布。（3）若 ，概率分布滿(mǎn)足 ，則稱(chēng) 為平穩(wěn)分布。 tP4.6.2 齊次連續(xù)參數(shù)馬爾可夫鏈的基本性質(zhì) 定理定理4.16 對(duì)于連續(xù)參數(shù)的有限狀態(tài)齊次馬爾可夫鏈，若存在 ，使 時(shí) ，則該鏈具有遍歷性。且 是其極限分布，也是其唯一的平穩(wěn)分布。0s2022-6-12104.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 對(duì)于離散參數(shù)齊次鏈，任意n 步的轉(zhuǎn)移概率矩陣可以由一步轉(zhuǎn)移概率矩陣獲得，即 。對(duì)于連續(xù)參數(shù)齊次鏈，研究任意 的轉(zhuǎn)移概率矩陣 需要研究 在 時(shí)的微分性質(zhì)。 4.6.3 Q矩陣)(tP)(t

6、P2022-6-12114.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)定理定理4.17 若過(guò)程是隨機(jī)連續(xù)的， 滿(mǎn)足（1） 在 一致連續(xù)，即連續(xù)的狀態(tài)是平滑的；（2） 在 處右導(dǎo)數(shù)存在，記為， 通常有限，（除E為無(wú)限可數(shù)時(shí)， 可能為 外）。4.6.3 Q矩陣0t 01,lim()(,)0,ijtijp tiji jEij2022-6-12124.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)滿(mǎn)足下面的兩條：（1） （2） 當(dāng)狀態(tài)有限時(shí)等號(hào)必定成立。4.6.3 Q矩陣 證明：如果 可交換次序（比如狀態(tài)有限時(shí)），由于，是從狀態(tài)i 轉(zhuǎn)移到狀態(tài)j 的速率；是離開(kāi)狀態(tài)i的速率。2022-6-12134.6連續(xù)參數(shù)馬爾可夫鏈及其基

7、本性質(zhì)定義定義4.23 若過(guò)程是隨機(jī)連續(xù)的，記稱(chēng)為轉(zhuǎn)移速率矩陣或密度矩陣，簡(jiǎn)稱(chēng)為Q Q矩陣。若對(duì)所有 都有 ，則稱(chēng)Q為保守的。簡(jiǎn)單講，Q矩陣是 在 處的導(dǎo)數(shù)，它在研究齊次連續(xù)參數(shù)馬爾可夫鏈時(shí)是非常重要的。4.6.3 Q矩陣000101011101nnnnnnqqqqqqQqqqQ Q矩陣是常數(shù)矩陣)(tP0t2022-6-12144.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 在研究連續(xù)時(shí)間鏈時(shí)不僅關(guān)心過(guò)程將轉(zhuǎn)移到哪個(gè)狀態(tài)，轉(zhuǎn)移機(jī)率是多少，還關(guān)心它在當(dāng)前狀態(tài)上的逗留時(shí)間有多長(zhǎng)。 令 它表示首次離開(kāi)初始狀態(tài)的時(shí)刻（即，初始狀態(tài)上的逗留時(shí)間）。 由過(guò)程的馬爾可夫性可知， 這正是指數(shù)分布特有的無(wú)記憶性質(zhì)。可以

8、證明， 在 狀態(tài)上的逗留時(shí)間服從參數(shù)為 的指數(shù)分布，因此，平均逗留時(shí)間為 )(tXi2022-6-12154.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)依據(jù) 的具體值可以得出下面結(jié)論：2022-6-12164.6 連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)定理定理4.18 若過(guò)程 是隨機(jī)連續(xù)的且狀態(tài)有限，則有，注意到E為有限狀態(tài)集，可令 對(duì)兩邊求極限，即得定理結(jié)論。（證畢）。 4.6.4 向前向后微分方程2022-6-12174.6 連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 兩個(gè)方程的分量形式為， 4.6.4向前向后微分方程 向前方程中微分處理在“未來(lái)”時(shí)段；而向后方程中微分處理在“過(guò)去”時(shí)段。 ijikkjk Eptq p

9、t000101011101nnnnnnqqqqqqQqqq 000101011101( )( )( )( )( )( )( )( )( )nnnnnnp tp tp tp tp tp tP tp tp tp t 000101011101( )( )( )( )( )( )( )( )( )nnnnnnp tp tp tp tp tp tP tp tp tp t2022-6-12184.6 連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)證明：由于 ，對(duì)其求導(dǎo)并代入柯?tīng)柲缏宸蛳蚯胺匠蹋腥?是平穩(wěn)分布，則 。仿上有， 0ttP tP 4.6.4 向前向后微分方程 tQ0若 是平穩(wěn)分布，則它是 的解。定理定理4.

10、19 若 是過(guò)程在t時(shí)刻的概率分布，則當(dāng)E有限時(shí)有Fokker-PlanckFokker-Planck方程，2022-6-12194.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)例例4.18 設(shè) 是參數(shù)為 的泊松過(guò)程，因?yàn)樗仟?dú)立增量過(guò)程，易見(jiàn)它是連續(xù)參數(shù)的馬爾可夫鏈，試求 Q矩陣。 解：因此，它是保守的。 2022-6-12204.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 例例4.19 設(shè)某觸發(fā)器有兩個(gè)狀態(tài)， ， 表示t時(shí)刻該觸發(fā)器的狀態(tài)。假定觸發(fā)器狀態(tài)翻轉(zhuǎn)具有馬爾可夫性，且，其中， 為高階無(wú)窮小。試求 。0,1E X t o t tP解：易見(jiàn) 是隨機(jī)連續(xù)的，且 由向前方程有，)(tP2022-6-12214.

11、6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)于是，解該常系數(shù)微分方程易得，其中并且同理有，0001000110111011( )( )( )( )( )( )( )( )p tp tp tp tp tp tp tp t 0100( ) 1( )p tp t 00000000tttteetee P因此， 2022-6-12224.6 連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)例例4.20 對(duì)上例中兩狀態(tài)觸發(fā)器的狀態(tài) ，假定初始分布為 ， ，求t 時(shí)刻的分布與極限分布。 X t 0, a b1ab解：容易驗(yàn)證， 滿(mǎn)足 Fokker-Planck 方程， 也是平穩(wěn)分布（滿(mǎn)足 ）。 其實(shí)， 是有限狀態(tài)有限狀態(tài)的且互通互通，它

12、是不可約遍歷鏈不可約遍歷鏈。因此，其平穩(wěn)分布與極限分布都存在且相等平穩(wěn)分布與極限分布都存在且相等。 t* Q0 X t極限分布為 *00lim,tt 2022-6-12234.7 生滅過(guò)程定義定義4.24 狀態(tài)空間為非負(fù)整數(shù)，且轉(zhuǎn)移速率矩陣為的連續(xù)參數(shù)馬爾可夫鏈稱(chēng)為生滅過(guò)程，其中i 為非負(fù)整數(shù)， 且有界。可見(jiàn)，Q Q矩陣是保守的，其特征是，當(dāng) 時(shí)，0,1,2,E 2022-6-12244.7 生滅過(guò)程其實(shí)，生滅過(guò)程的等價(jià)定義：任取充分小的h 0，其中， 為高階無(wú)窮小。可見(jiàn)，在充分小的時(shí)間內(nèi)，狀態(tài)轉(zhuǎn)移只有三種可能： 。 o h,iiiiii 2022-6-12254.7 生滅過(guò)程 若 表示某生物

13、群體的個(gè)數(shù)，它是一個(gè)生滅過(guò)程，t 時(shí)刻的個(gè)數(shù)i，在t 之后很短的時(shí)間h 以?xún)?nèi)，個(gè)數(shù)只有三種變化： ,0X tt 所以，生滅過(guò)程的狀態(tài)在生滅過(guò)程的狀態(tài)在極短的時(shí)間極短的時(shí)間內(nèi)只能在內(nèi)只能在相鄰相鄰的兩個(gè)狀的兩個(gè)狀態(tài)內(nèi)變化，或態(tài)內(nèi)變化，或“生一個(gè)生一個(gè)”、或、或“滅一個(gè)滅一個(gè)”、或、或“不變不變”，故，故稱(chēng)為生滅過(guò)程。稱(chēng)為生滅過(guò)程。2022-6-12264.7 生滅過(guò)程 用狀態(tài)轉(zhuǎn)移速率圖來(lái)描述生滅過(guò)程的狀態(tài)轉(zhuǎn)移與速率特點(diǎn)。 的生滅過(guò)程稱(chēng)為純生過(guò)程； 的生滅過(guò)程稱(chēng)為純滅過(guò)程。 在 時(shí)生滅過(guò)程狀態(tài)的所有狀態(tài)是互通的，這樣的生滅過(guò)程是不可約鏈。2022-6-12274.7 生滅過(guò)程生滅過(guò)程滿(mǎn)足向前與向后

14、方程：生滅過(guò)程滿(mǎn)足向前與向后方程： 000( )( )( )iijp tP tp tp t)()()()(ttttQPPQPP前進(jìn)方程前進(jìn)方程后退方程后退方程 ( )( )iijP tP tP t0j2022-6-12284.7 生滅過(guò)程還滿(mǎn)足滿(mǎn)足Fokker-PlanckFokker-Planck方程方程： 0( )( )jtttQ)()(tt 0( )( )jtttj2022-6-12294.7 生滅過(guò)程生滅過(guò)程的穩(wěn)態(tài)分布穩(wěn)態(tài)分布與極限分布極限分布。由方程 得： Q0通過(guò)遞歸方法可得，jj101111100jjj2022-6-12304.7 生滅過(guò)程容易發(fā)現(xiàn)，如果則 進(jìn)而可解出 于是，生滅

15、過(guò)程有惟一的平穩(wěn)分布，也等于其極限分布。特別是，（1）純生過(guò)程沒(méi)有平穩(wěn)分布 （2）如果狀態(tài)數(shù)無(wú)限，且 當(dāng) 時(shí)，可解出平穩(wěn)分布為， 這是生滅過(guò)程存在平這是生滅過(guò)程存在平穩(wěn)分布的充要條件。穩(wěn)分布的充要條件。2022-6-12314.7 生滅過(guò)程例例4.21 泊松過(guò)程是最簡(jiǎn)單的純生過(guò)程；例例4.22 線(xiàn)性純生過(guò)程（線(xiàn)性純生過(guò)程（YuleYule 過(guò)程過(guò)程）考察一種初等生物群體的繁殖過(guò)程模型：假定每一個(gè)體繁殖后代的過(guò)程獨(dú)立同分布，服從參數(shù)為 的泊松分布；且繁殖的后代不會(huì)死亡，并繼續(xù)繁殖。記 為t時(shí)刻生物群體的個(gè)數(shù)，稱(chēng)為Yule 過(guò)程。 ，在 上 的轉(zhuǎn)移概率可表達(dá)式為，, t th N t0h 不變。無(wú)

16、關(guān)，且與itX)(123232022-6-12324.7 生滅過(guò)程其Q Q矩陣為： N t于是， 是一個(gè)“生長(zhǎng)速率”與當(dāng)時(shí)的狀態(tài)值成正比的生滅過(guò)程，是泊松過(guò)程的一個(gè)推廣。2022-6-12334.7 生滅過(guò)程例例4.23 有遷入的線(xiàn)性生滅過(guò)程考察某區(qū)域內(nèi)生物再生與人口增長(zhǎng)過(guò)程。假定每一個(gè)體獨(dú)立地以指數(shù)率 出生，以指數(shù)率 死亡；同時(shí)，群體又因外界遷入的影響，以指數(shù)率 增長(zhǎng)。t 時(shí)刻群體的個(gè)數(shù)可以描述為生滅過(guò)程 ，轉(zhuǎn)移速率圖如下： ,0X tt 2022-6-12344.7 生滅過(guò)程0,1例例4.24 兩狀態(tài)觸發(fā)器的狀態(tài)過(guò)程如例4.19。易知，它是只有兩個(gè)狀態(tài) 的生滅過(guò)程， 且求其平穩(wěn)分布。011

17、00101010解得：10 由于狀態(tài)數(shù)限，平穩(wěn)分布可由方程 直接求解。即Q0解：4.8 排隊(duì)論及其應(yīng)用簡(jiǎn)介4.8.1 排隊(duì)系統(tǒng) 它是動(dòng)態(tài)的與隨機(jī)的。這類(lèi)系統(tǒng)稱(chēng)為隨機(jī)服務(wù)系統(tǒng)或排隊(duì)系統(tǒng)，簡(jiǎn)稱(chēng)隊(duì)列。 在系統(tǒng)中，顧客隨機(jī)到來(lái)，形成輸入流；結(jié)賬服務(wù)花去的時(shí)間是隨機(jī)的，離開(kāi)的顧客形成輸出流。 系統(tǒng)的狀態(tài)：其內(nèi)部所包含的顧客數(shù)，記為 。 ,0X tt4.8 排隊(duì)論及其應(yīng)用簡(jiǎn)介隊(duì)列的特性取決于輸入流與服務(wù)時(shí)間的特性隊(duì)列的特性取決于輸入流與服務(wù)時(shí)間的特性。（1） 輸入過(guò)程特性：指輸入流的統(tǒng)計(jì)特性。輸入流可以具有任意分布，最基本的是指數(shù)流（即泊松過(guò)程）最基本的是指數(shù)流（即泊松過(guò)程）。（2） 服務(wù)時(shí)間特性：指服務(wù)

18、各顧客所用時(shí)間的統(tǒng)計(jì)特性。它們可以為任意分布，有時(shí)甚至為某確定值。最基本的是獨(dú)立同分布的指數(shù)序列最基本的是獨(dú)立同分布的指數(shù)序列。一般可以認(rèn)為：輸入流與服務(wù)時(shí)間是彼此獨(dú)立的輸入流與服務(wù)時(shí)間是彼此獨(dú)立的。（3） 排隊(duì)規(guī)則：指形成隊(duì)列與等候服務(wù)的規(guī)則。通常有“順序服順序服務(wù)務(wù)”，也稱(chēng)為“FIFO（先到先服務(wù)）”，“隨機(jī)選擇服務(wù)隨機(jī)選擇服務(wù)”，“優(yōu)先級(jí)優(yōu)先級(jí)服務(wù)服務(wù)”和“后到先服務(wù)后到先服務(wù)”等其他規(guī)則。（4）系統(tǒng)能力：工作的服務(wù)臺(tái)服務(wù)臺(tái)（或稱(chēng)為通道）的數(shù)目的數(shù)目；等候隊(duì)列的容等候隊(duì)列的容量量，是無(wú)限的還是有限的。一種描述隊(duì)列及其特性的簡(jiǎn)明表示方法：一種描述隊(duì)列及其特性的簡(jiǎn)明表示方法：其基本形式：“輸入過(guò)程/服務(wù)時(shí)間/通道數(shù)目”。常用的符號(hào)有：1）M泊松過(guò)程（或指數(shù)分布）；2）D某確定值； 3） n階愛(ài)爾朗分布； 4）G某任意分布。 通道數(shù)目用數(shù)字直接表示。 若有第四部分，表示系統(tǒng)（即等候隊(duì)列）的容量或特性。nE4.8 排隊(duì)論及其應(yīng)用簡(jiǎn)介4.8.2 馬爾可夫隊(duì)列及其舉例 1. M/M