預備知識：隨機過程與馬爾可夫鏈第1節隨機變量第2節一維隨機過程的定義及物理意義第3節一維隨機過程的統計特性第4節二維隨機過程的定義及統計特性第5節馬爾可夫過程的定義及數學表述第6節馬爾可夫鏈的定義及數學表述第7節齊次馬爾可夫鏈第8節馬爾可夫鏈的遍歷性第1節隨機變量1、復雜性系統：事件本身很復雜，社會復雜性。2、隨機現象。拋擲硬幣、射擊等特點：單次不確定和多次統計規律性3、研究隨機事件的必要性和可行性4、隨機變量:實函數，用大寫字母表示5、頻率和概率6、數學特征第1節隨機變量7、連續隨機變量的概率密度函數和分布函數第1節隨機變量8、離散隨機變量的分布律和分布函數9、隨機變量的函數XY=g1(X)=X2

Z=g2(X)=X2

第1節隨機變量說明：隨機變量研究的是一次試驗中可能出現的各種情況。1、隨機試驗：可以在相同的條件下重復進行。每次試驗的可能結果不止一個但預先知道所有可能的結果。每次試驗前不能確定哪個結果會出現。2、隨機過程的概念和數學描述研究連續單次隨機試驗，在某一具體時間為一個隨機變量，在不同的時刻，隨機變量不同。第2節一維隨機過程的定義及物理意義例2：在天氣預報中，若用X(n)表示某地區第n次統計所得的該天最高氣溫。例1：電話交換臺在時間段[0，t]內接到的呼叫次數是與t有關的隨機變量X(t)。第2節一維隨機過程的定義及物理意義參量(時間)連續，狀態(呼叫次數)離散參量(次數)離散，狀態（溫度）連續X(10)是離散隨機變量，X(11.5)是離散隨機變量，…X(2)是連續隨機變量，X(5)是連續隨機變量，…例4：連續拋擲一枚骰子的實驗，第n次實驗的結果記為X(n)(n=1,2,…)例3：在時間段[0，∞)內電路中某器件的熱噪聲電壓X(t)第2節一維隨機過程的定義及物理意義參量(時間)連續，狀態（電壓）連續參量(次數)離散，狀態（點數）離散X(10)是連續隨機變量，X(11.5)是連續隨機變量，…第2節一維隨機過程的定義及物理意義設E是隨機試驗，S＝{e}是其樣本空間。如果對于每一個樣本eS

，總可以有一個確定的參數為t的實值函數X(e，t)，t

T與之對應，我們稱之為隨機過程，記作：

X(e，t)，eS，

t

T，簡寫為：{

X(t)，t

T}通常情況下，t表示時間。3、隨機過程的定義4、隨機過程的物理意義：1）、對于一個特定的試驗結果（樣本）eiS，X(ei，t)表示對應于ei的樣本函數，也是隨機過程的一次實現。（樣本函數族）2）、對于每一個固定的參數tjT，X(e，tj)是一個定義在S上的隨機變量。（隨機變量族）隨機過程是依賴于參量tT的一族隨機變量。第2節一維隨機過程的定義及物理意義4、例(p330)：X(t)＝acos（t＋），a，為常數，為在(0,2)上服從均勻分布的隨機變量。1)、t為具體值時，X(t)為一隨機變量。隨機變量族第2節一維隨機過程的定義及物理意義2)、當隨機變量隨機取一個值j時，得到相應的樣本函數xj(t)＝acos（t＋j）樣本函數族第2節一維隨機過程的定義及物理意義5、為什么要研究隨機過程？1)、通信過程中的信號是隨機過程，2)、噪聲也是隨機過程第2節一維隨機過程的定義及物理意義6、說明：理論分析時通常以隨機變量族為描述方式。實際測量和處理中往往采用樣本函數族為描述方式。為什么？第2節一維隨機過程的定義及物理意義第2節一維隨機過程的定義及物理意義o3)、說明：可列(離散)與非可列(連續)7、隨機過程的分類1）、按隨機過程任一時刻的狀態，可分為連續型隨機過程和離散型隨機過程。2）、按參量t（通常表示時間）時離散還是連續可分為連續參量隨機過程和離散參量隨機過程如：時間可列型連續隨機過程第2節一維隨機過程的定義及物理意義1、一維分布函數1)、定義：給定隨機過程，對于任意一，隨機變量的分布函數一般與t有關，記為：稱為隨機過程的一維分布函數，而稱為一維分布函數族。第3節一維隨機過程的統計特性第3節一維隨機過程的統計特性2）、對于隨機過程，可以用n（足夠大）維分布函數來近似描述隨機過程的統計特性。例題：p352T1利用拋擲一枚硬幣的試驗定義一隨機過程第3節一維隨機過程的統計特性分析：第3節一維隨機過程的統計特性第3節一維隨機過程的統計特性第3節一維隨機過程的統計特性1)、均值函數2)、方差函數3)、均方值函數第3節一維隨機過程的統計特性2、隨機過程的數字特征第3節一維隨機過程的統計特性5)、自協方差函數4)、自相關函數例：P353T5已知隨機過程的均值函數和協方差函數,是普通的函數。試求隨機過程的均值函數和協方差函數第3節一維隨機過程的統計特性分析：第3節一維隨機過程的統計特性第3節一維隨機過程的統計特性1）定義二維隨機過程設X(t),Y(t)是定義在同一樣本空間S和同一參數集T上的隨機過程，對于不同的tT，(X(t),Y(t))是不同的二維隨機變量，我們稱{(X(t),Y(t)),tT}為二維隨機過程。第4節二維隨機過程及其統計特性第4節二維隨機過程及其統計特性2）二維隨機過程的分布函數用二維隨機過程的m+n維隨機變量的分布函數近似代替隨機過程的分布函數，即：稱為二維隨機過程的m＋n維分布函數或隨機過程X(t)與Y(t)的m＋n維聯合概率分布。則稱隨機過程X(t)與Y(t)相互獨立第4節二維隨機過程及其統計特性6)、互相關函數7)、互協方差函數二維隨機過程的情況第4節二維隨機過程及其統計特性例：P353T7第4節二維隨機過程及其統計特性第4節二維隨機過程及其統計特性作業P352T2,3,9例題最好做在另外一個本子上1、馬爾可夫過程1）、馬爾可夫性（無后效性，遺忘特性）：過程在時刻t0所處的狀態為已知的情況下，過程在tt0所處的狀態的條件分布與過程在時刻t0之前的狀態無關。第5節馬爾可夫過程及其數學表述2）、馬爾可夫過程定義：設隨機過程{X(t),tT}的狀態空間為I。如果對時間t的任意n個數值t1t2…tn，n3，tiT，在條件X(ti)=xi，i＝1，2，…n－1下，X(tn)的條件分布函數等于在條件X(tn-1)=xn-1下X(tn)的條件分布函數。即：第5節馬爾可夫過程及其數學表述第5節馬爾可夫過程及其數學表述則稱之為馬爾可夫過程說明：其中狀態空間I可離散可連續，參量空間T可離散可連續。例：p373T1第5節馬爾可夫過程及其數學表述第5節馬爾可夫過程及其數學表述分析：若第m次取值為i，則第m+1次取值樣本空間為{1,2,…i},設取值為j，則有：第5節馬爾可夫過程及其數學表述思考：從上面的例子可以看出，用條件概率可以很直觀地表示馬爾可夫過程，那為什么要用條件分布函數(而不是條件概率)來定義馬爾可夫過程呢？條件概率只存在于離散情況，而條件分布函數可以總括連續和離散隨機過程。1、馬爾可夫鏈的定義時間和狀態都離散的馬爾可夫過程稱為馬爾可夫鏈。記作：{Xn=X(n),n=0,1,…}第6節馬爾可夫鏈的定義及數學表述2、馬爾可夫鏈的表示表示馬氏鏈在m時刻處于狀態ai的條件下，在m＋1時刻轉移到狀態aj的概率。稱為在以m為起始點的1步轉移概率。第6節馬爾可夫鏈的定義及數學表述（1）1步轉移概率。馬爾可夫鏈的遺忘特性通常以條件概率來表述。1）1步轉移(2)1步轉移概率矩陣第6節馬爾可夫鏈的定義及數學表述(3)狀態轉移圖第6節馬爾可夫鏈的定義及數學表述123第6節馬爾可夫鏈的定義及數學表述設一醉漢Q在如圖所示的直線點集I={1,2,3,4,5}上作隨機游動，且僅在1秒、2秒等時刻發生游動。游動的規律是：如果Q現在在點i(1<i<5)，則下一秒各以1/3的概率向左或向右移動一格，或以1/3的概率留在原處；如果Q現在位于1(或5)這點上，則下一時刻就以概率1移動到2(或4)點。分別以三種方式描述該隨機事件。12345第6節馬爾可夫鏈的定義及數學表述1)1步轉移概率表示第6節馬爾可夫鏈的定義及數學表述2)1步轉移概率矩陣表示第6節馬爾可夫鏈的定義及數學表述3)狀態轉移圖表示35412第6節馬爾可夫鏈的定義及數學表述在很多時候，我們需要在知道m時刻隨機過程狀態的條件下，m+n時刻隨機過程在各種不同狀態下的概率，我們稱之為以m為起始點的n步轉移。n步轉移情況可以用m為起始點的n步轉移概率表示，記做2）n步轉移同樣，以m為起始點的n步轉移也可以用以m為起始點的n步轉移概率矩陣描述，或者是用狀態轉移圖表示。第6節馬爾可夫鏈的定義及數學表述例如在已知今天下雨的條件下，10天之后下雨的概率，稱之為以10步轉移，可以用今天（m）為起始點的10步轉移概率表示。假設相繼的兩天之間是否下雨存在一定的概率關系，下雨用0表示，不下雨用1表示。則有初始時刻0時刻u時刻u+v第6節馬爾可夫鏈的定義及數學表述3、C-K方程第6節馬爾可夫鏈的定義及數學表述C-K方程：第6節馬爾可夫鏈的定義及數學表述第6節馬爾可夫鏈的定義及數學表述4、馬氏鏈在時刻n的一維概率分布（絕對分布）設在n時刻，馬氏鏈處于狀態aj的概率為pj(n)，則有：因為在n時刻馬氏鏈總處于馬氏鏈各種狀態中的一種，第6節馬爾可夫鏈的定義及數學表述一維分布表示為向量的形式為：第6節馬爾可夫鏈的定義及數學表述5、馬氏鏈一維概率分布與轉移概率之間的關系2、齊次馬氏鏈的n步轉移概率及n步轉移概率矩陣1、齊次馬爾可夫鏈的定義當轉移概率pij(m,m+n)只與時間間隔n相關，即：pij(m,m+n)＝pij(n)稱轉移概率具有平穩性，此時的隨機過程稱為齊次馬爾可夫鏈。第7節齊次馬爾可夫鏈n步轉移概率矩陣第7節齊次馬爾可夫鏈3、齊次馬氏鏈的1步轉移概率和1步轉移概率矩陣第7節齊次馬爾可夫鏈說明：齊次馬氏鏈n步轉移概率矩陣等于1步轉移概率矩陣的n次方。4、齊次馬氏鏈的1步轉移概率矩陣與n步轉移概率矩陣的關系第7節齊次馬爾可夫鏈由C—K方程知：對于其次馬氏鏈有則可得例：p373T1第7節齊次馬爾可夫鏈第7節齊次馬爾可夫鏈分析：若第m次取值為i，則第m+1次取值樣本空間為{1,2,…i},設取值為j，則有：第7節齊次馬爾可夫鏈5、齊次馬氏鏈一維狀態分布向量與狀態轉移概率矩陣的關系即馬氏鏈在n時刻的一維狀態分量等于初始時刻狀態分量與n步轉移概率矩陣的乘積。第7節齊次馬爾可夫鏈又因為對于齊次馬氏鏈有：其中：所以有:第7節齊次馬爾可夫鏈例：p374T7第7節齊次馬爾可夫鏈分析：第7節齊次馬爾可夫鏈第7節齊次馬爾可夫鏈第7節齊次馬爾可夫鏈10第7節齊次馬爾可夫鏈1、馬氏鏈遍歷性定義第8節馬爾可夫鏈的遍歷性馬氏鏈無論哪種狀態出發，經過有限步，總可能到達其它各種狀態。1010設齊次馬爾可夫鏈{Xn,n1}的狀態空間為I＝{a1,a2,a3…aj,…}，P是它的1步轉移概率矩陣，如果存在正整數m，使得對于任意的ajI，都有pij(m)>0則此鏈為具有遍歷性。2、遍歷性證明第8節馬爾可夫鏈的遍歷性3、如果齊次馬氏鏈具有遍歷性，則有以下性質：我們稱＝（1，2，3，…，j，…）為馬氏鏈的平穩分布第8節馬爾可夫鏈的遍歷性設齊次馬氏鏈的狀態空間為I，如果對于所有的aj，ajI，轉移概率pij