1、2022-4-71 馬爾可夫過程習題習題l4.2 4.8 4.11 4.14 4.16 4.19 22022-4-72022-4-73CH4 CH4 馬爾可夫過程馬爾可夫過程 l 馬爾可夫過程是一類重要的隨機過程，廣泛應用在近代物理、生物（生滅過程）、公用事業、信號處理、自動控制等方面。 2022-4-744.1 基本概念與舉例過去與將來將來獨立，過去對于將來無直接影響，稱為“無后效性無后效性”。2022-4-754.1 基本概念與舉例按照參數集按照參數集T 與狀態空間與狀態空間E 的不同，馬爾可夫過程可分為：的不同，馬爾可夫過程可分為：2022-4-76上式表明：“將來完全由現在現在 決定，

2、與過去過去無關”。4.1 基本概念與舉例考慮離散參數集為非負整數考慮離散參數集為非負整數，記為，記為取值狀態空間為有限或無限可數集，記為取值狀態空間為有限或無限可數集，記為2022-4-77馬爾可夫鏈的統計特性：馬爾可夫鏈的統計特性：初始分布),0(),0(,)0(),(),(,)(2121nnn2 2、概率分布向量：、概率分布向量：1 1、狀態概率：、狀態概率：)(iXPnni1( )1iin 3 3、狀態轉移概率：狀態轉移概率：)(,),(nmiXjXPmnPnmij4.1 基本概念與舉例2022-4-784.1 基本概念與舉例每一行之和為每一行之和為1 14 4、狀態轉移概率矩陣：、狀態

3、轉移概率矩陣：11( ,)1ijmnjjP n mP Xj Xi-隨機矩陣),()()(mnnmP狀態概率與狀態轉移概率之間的關系：狀態概率與狀態轉移概率之間的關系：4.1 基本概念與舉例( , )ijP n mji)(ni( )jm 111),()(,)(iijiinmninmmjmnPniXjXPiXPiXjXPjXPm2022-4-7104.1 基本概念與舉例2022-4-7114.1 基本概念與舉例1111,( ,)|,( , )( ,)mnijmnnmrnknmrnrnknrnmrnrnkrnnikkjkP xj xiP n mP xj xiP xiP xj xk xiP xiP x

4、j xk xiP xk xiP xiP xk xiP xj xk xiP xk xiP xk xiP xiP n r P r m證明：2022-4-7124.1 基本概念與舉例 查普曼-柯爾莫哥洛夫 (Chapman-Kolmogorov)方程，簡稱C-KC-K 方程，其直觀含義下圖所示：( , )ikP n r( , )kjP r m2022-4-7134.1 基本概念與舉例)(),(nmmn PP此時，此時，2022-4-7144.1 基本概念與舉例2022-4-7154.1 基本概念與舉例2022-4-7164.1 基本概念與舉例2022-4-7174.1 基本概念與舉例非齊次馬爾科夫鏈

5、。非齊次馬爾科夫鏈。2022-4-7184.1 基本概念與舉例2022-4-7194.1 基本概念與舉例(2)2022-4-7204.1 基本概念與舉例2022-4-7214.1 基本概念與舉例 隨機游走是一種簡單而用途廣泛的數學模型。當Zn 只取+1,-1 時，稱Xn 為簡單隨機 游動。這時，r=PZn = 0=0 。進而，當p=q=1/2時，稱Xn 為對稱的隨機游動隨機游動。2022-4-7224.1 基本概念與舉例隨機游走幾種常見形式：隨機游走幾種常見形式：狀態轉移圖（以5個狀態為例）2022-4-7234.1 基本概念與舉例隨機游走幾種常見形式：隨機游走幾種常見形式：01102022-

6、4-7244.1 基本概念與舉例隨機游走幾種常見形式：隨機游走幾種常見形式：qpqp2022-4-7254.1 基本概念與舉例隨機游走幾種常見形式：隨機游走幾種常見形式：0pqp0q2022-4-7264.1 基本概念與舉例它是一個齊次馬爾可夫鏈。討論該過程。討論該過程。解：qqq2022-4-7274.1 基本概念與舉例它是一個非齊次馬爾可夫鏈。更一般的情況，每個位置上的“逃離”與“捕回”概率不同，則0q0p1p2p3p1q2q3q0p1p2p0q1q2qipiq2022-4-7284.1 基本概念與舉例討論該過程。討論該過程。2022-4-7294.1 基本概念與舉例一般而言， ，這時，它

7、可被看作只有兩個彈性壁的隨機游走。1,02022-4-7304.1 基本概念與舉例2022-4-7314.1 基本概念與舉例2022-4-7324.1 基本概念與舉例 這是一個兩端為反射壁的非均勻隨機游動，其概率配置左右對稱，這是一個兩端為反射壁的非均勻隨機游動，其概率配置左右對稱，并構成一種向中心游動的趨勢。艾倫菲斯特模型可作為許多物理現象并構成一種向中心游動的趨勢。艾倫菲斯特模型可作為許多物理現象的數學模型，例如：的數學模型，例如： （1 1） 容器中有容器中有 2 2a a 個粒子，中央安置薄膜（或界面）將其分為個粒子，中央安置薄膜（或界面）將其分為 A A 與與 B B 兩部分。每次只

8、有兩部分。每次只有 一個粒子越過界面進入另一部分空間。令一個粒子越過界面進入另一部分空間。令 X X n n 為為 n n 時刻時刻 A A 與與 B B 兩部分中粒子數目之兩部分中粒子數目之 差值，則常認為差值，則常認為 X n X n 是具是具有上面轉移概率的馬爾可夫鏈，這種概率特性保證了容器有上面轉移概率的馬爾可夫鏈，這種概率特性保證了容器 中的粒子維中的粒子維持動態平衡。持動態平衡。 （2 2）兩同等規模的城市兩同等規模的城市 A A 與與 B B 之間的人口遷移問題，之間的人口遷移問題，遷移活動遷移活動類似于容器中粒子越過中央界面的情況。用類似于容器中粒子越過中央界面的情況。用 X

9、n X n 表兩城市間人口的差表兩城市間人口的差異。異。 （3 3）直線上隨機游動的質點，受指向中心的）直線上隨機游動的質點，受指向中心的“彈簧力彈簧力”的作用，的作用，彈力的大小與偏離中心的距離成正比，用彈力的大小與偏離中心的距離成正比，用 X n X n 表示表示 n n 時刻質點的位時刻質點的位置。置。 （4 4）口袋中有總共）口袋中有總共 2 2a a 個紅球或黑球，每次隨機摸出一個，若摸個紅球或黑球，每次隨機摸出一個，若摸到紅球則返還一個黑球；摸到黑球則返一個紅球。用到紅球則返還一個黑球；摸到黑球則返一個紅球。用Xn Xn 表示表示 n n 時刻時刻紅球與黑球數量的差值。紅球與黑球數

10、量的差值。2022-4-7334.1 基本概念與舉例2022-4-7344.1 基本概念與舉例2022-4-7354.1 基本概念與舉例2022-4-7364.1 基本概念與舉例!)0()(kpkkjYYYi212022-4-7374.2 狀態分類馬爾可夫鏈的狀態可劃分為以下幾種重要類別： 2022-4-7384.2 狀態分類0)(kijp2022-4-7394.2 狀態分類，表示：表示：。ijT表明狀態 永不出現，不存在 。jnijT是隨機的，因到達的路線不同而不同。如ijT取值于 , 2 , 1N2022-4-7404.2 狀態分類考察例 4.4 中兩端具有吸收壁的隨機游走112T112T

11、114T11T116T118T2022-4-7414.2 狀態分類。( )1nijijnff 顯然，ijijPiXjXPf01)1(從 出發永遠不能到達 的概率。ij2022-4-7424.2 狀態分類2022-4-7434.2 狀態分類:iif自狀態 出發，經有限步遲早返回狀態 的概率。ii:iiT自狀態 出發，首次返回狀態 所需的時間。iiji 2022-4-7444.2 狀態分類2022-4-7454.2 狀態分類( )0( )kkijijkP zpz( )0( )kkijijkF zfzZ變換變換2022-4-7464.2 狀態分類( )11( )00111lim( )lim1( )11njjjjzzknjjjjjjkpPzFzff( )0( )kkijijkP zpz( )0( )kkijijkF zfz4.2 狀態分類( )( )( )( )( )()( )()( )()( )()( )(nnnkn kjjjjjjjjjjjjnnnkkn kkn kjjjjjjjjkn kkn kkmnjjjjjjjjkmnnjjppppfpfpfpfpfpp 000111111001111)njjf011另證：4.2 狀態分類ji 0)(nnjjjjpEN2022-4-7494.2 狀態分類2022-4-7504.2 狀態分