隨機過程第一章概率論基礎1.1概率空間1.2隨機變量及其分布1.3隨機變量的數字特征1.4特征函數、母函數1.5n維正態分布1.6條件期望31.1概率空間隨機試驗事件A事件B事件AB概率樣本空間（可能結果的集合）隨機試驗：可重復、可預見、不確定樣本點：基本事件e;樣本空間：隨機試驗所有可能結果的集合;事件：A;必然事件：;不可能事件：;事件運算：并、交、差、(上、下)極限4實例1：拋擲一枚硬幣，觀察正面向上還是反面向上。Ω={正面，反面}實例2：連續拋擲兩次硬幣的實驗。Ω={(正面,正面)，(正面,反面)，(反面,正面)，(反面,反面)}注意:兩次拋擲硬幣的實驗只能作為一次試驗。若事件A表示“第一次出現正面”，則A={(正面,正面),(正面,反面)}事件B表示“兩次出現同一面”，B={(正面,正面),(反面,反面)}5實例3：拋擲一枚硬幣，若出現反面，可以再拋擲一次。實驗過程可以用樹狀圖表示：于是樣本空間為：Ω={正面，(反面,反面)，(反面,正面)}正面反面正面反面6實驗4：連續投擲一枚硬幣，直到出現正面為止。若用“0”表示出現反面，“1”表示出現正面來記錄每次投擲的結果，則這個試驗的可能結果有：

(第一次出現正面)

(第一次出現反面,第二次正面)

……………

(前n-1次出現反面,第n次正面)……………這個試驗有無窮多個可能結果,樣本空間:

7實驗5：若檢查燈泡的使用壽命(小時),那么[0,+∞)中的每一個實數都有可能是某一個燈泡的壽命，因而如果事件A=[1500,+∞),則事件A表示：“使用壽命超過1500小時”。1.1概率空間定義1.1-代數(事件域)集合的某些子集組成集合族F（1）F（必然事件）（2）若AF,則\AF

（對立事件）（3）若AiF,i=1,2…，則F

（可列并事件）

稱F為-代數，（，F）為可測空間例投擲一次骰子試驗，ei表示出現i點，={e1,e2,e3,e4,e5,e6}F

={，{e1,e2,e3}，{e4,e5,e6}，}F為-代數，（，F）為可測空間1.1概率空間

例：連續投擲兩次硬幣試驗={正正，正反，反正，反反}1.1概率空間F1={，{正正}，{正反，反正，反反}，

}

F2={，{正正}，{正反}，{正正，正反}，{反正，反反}，{正反，反正，反反}，{正正，反正，反反}，{正正，正反，反正，反反}}F3={，{反正}，{反反}，{反正，反反}，{正正，正反}，{正正，正反，反反}，{正正，正反，反正}，{正正，正反，反正，反反}}F4={，{正反}，{正正，反正，反反}，

}Fi為-代數，（，Fi）為可測空間F={，{正正}，{正反}，{反正}，{反反}，{正正，正反}，{正正，反正}，{正正，反反}，{正反，反正}，{正反，反反}，{反正，反反}，{正正，正反，反正}，{正正，正反，反反}，{正正，反正，反反}，{正反，反正，反反}，{正正，正反，反正，反反}}

為可測空間，（，F）為-代數1.1概率空間可測空間的性質設（，F）為可測空間,則（4）F（不可能事件）（5）若A,BF,則A\BF

（差事件）（6）若AiF,則F（有限并，有限交，可列交事件）定義1.2概率空間：設(,F)為可測空間,映射P：F

R，A|P(A)滿足(1)任意AF，0

P(A)1(2)P()=1(3)稱P是(,F)上的概率,(,F,P)為概率空間，P(A)為事件A的概率。概率空間的性質設(,F,P)為概率空間，則(4)P()=0(5)P(B\A)=P(B)-P(A),(AB)(6)16例1給擲一枚硬幣的試驗建立概率模型。解：擲一枚硬幣，有兩個可能的結果：正面和反面。若用表示正面，表示反面，則樣本空間為：事件為：根據定義和性質，得到概率實例：17如果硬幣是均勻的，正面和反面出現的機會相同，于是由可加性和歸一性知由此可得：于是概率為顯然，這樣建立的概率滿足三條公理。18例2為依次拋擲三枚硬幣的試驗建立概率模型。解用“1”表示正面向上，“0”表示反面向上，樣本空間為：

W={(1,1,1),(1,1,0),(1,0,1),(1,0,0),(0,1,1),(0,1,0),(0,0,1),(0,0,0)}如果上述8種結果出現的可能性相同，根據可加性和歸一性，每個結果的概率為1/8.現利用三條公理建立概率：例如事件A表示“只有一次正面向上”，則A={(1,0,0),(0,1,0),(0,0,1)}，19于是

P(A)=P({(1,0,0),(0,1,0),(0,0,1)})=P({(1,0,0)})+P({(0,1,0)})+P({(0,0,1)}相似的，任何事件的概率等于1/8乘上該事件中包含的結果的個數。20例3有一枚骰子，偶數點出現的概率比奇數點出現的概率大一倍，而不同偶數點出現的概率相同，不同奇數點出現的的概率也相同。將這枚骰子投擲一次，為這個試驗建立概率模型，并求點數小于4的概率。解設Ai表示“出現i點”,i=1,2，...，6，則樣本空間為

根據可加性和歸一性，有又根據題意，21得出點數小于4的概率為：22例4若A發生的概率為0.6,A與B都發生的概率為0.1,A與B都不發生的概率為0.15，求(1)A發生但B不發生的概率;(2)B發生但A不發生的概率;(3)A與B至少有一個發生的概率。解：樣本空間可以用下面四個結果表示23由A發生的概率為0.6，得：A與B都發生的概率為0.1，得：A與B都不發生的概率為0.15，得：結合歸一化公式：得到：24于是：（1）A發生B不發生的概率為：（2）B發生A不發生的概率為：（3）A與B至少有一個發生的概率為：條件概率、乘法公式、全概率公式和貝葉斯公式條件概率：條件概率滿足概率三條公理，所以概率的一切性質條件概率都適用。乘法公式:

全概率公式：其中是完備事件族貝葉斯公式：26例1

十個人中有4個女生，從中任挑兩名，若已知兩人中有一人是女生，求另一人也是女生的概率。解：所求概率為：故：27例2

有兩個設計團隊，一個比較穩重，記做C,另一個具有創新性,記做N。要求他們在一個月內做一個新設計，從過去經驗知:a)C成功的概率為2/3;b)N成功的概率為1/2;c)兩個團隊中至少有一個成功的概率為3/4.已知兩個團隊中只有一個團隊完成了任務。問這個任務是N完成的概率有多大？解：共有四種可能的結果:SS：雙方成功FF：雙方失敗SF：C成功，N失敗FS：N成功，C失敗28將a),b),c)寫成概率等式:P(SS)+P(SF)=2/3,

P(SS)+P(FS)=1/2,P(SS)+P(SF)+P(FS)=3/4結合歸一化公理：P(SS)+P(SF)+P(FS)+P(FF)=1得：P(SS)=5/12;P(SF)=1/4;P(FS)=1/12;故所求條件概率為29例3

假設在空戰中，若甲機先向乙機開火，則擊落乙機的概率為0.2，若乙機未被擊落，就進行還擊，擊落甲機的概率為0.3；若甲機亦未被擊落，再次進攻乙機，擊落乙機的概率為0.4，在這幾個回合中，分別計算甲、乙被擊落的概率。解：樣本空間用樹狀圖表示：擊落乙0.2未擊落乙0.8擊落甲0.3未擊落甲0.7未擊落乙0.6擊落乙0.430設則設A={甲擊落乙}，B={乙擊落甲}，顯然擊落乙0.2未擊落乙0.8擊落甲0.3未擊落甲0.7未擊落乙0.6擊落乙0.4練習：袋中有2個紅球，3個白球，從中不放回的接連取出兩個球。求第二次取出紅球的概率。解：設A1表示第一次取出紅球，A2表示第一次取出白球，B表示第二次取出紅球。那么P（B）=P（BA1）+P（BA2）=P（B|A1）P(A1)+P（B|A2）P(A2)

=1/4*2/5+2/4*3/5

=2/52/51/42/43/532例一個袋內裝有10個球，其中有4個白球，6個黑球，采取不放回抽樣，每次任取一個，若已知第二次取到白球，求第一次取到白球的概率。解：設A=“第一次取到白球”，B=“第二次取到白球”，求P(A|B)則A與構成完備事件組獨立事件設(,F,P)為概率空間，F1F，若對任意A1,A2,,AnF1，n=2,3,，有則稱F1為獨立事件族,或稱F1中的事件相互獨立。事件A,B獨立，有P(AB)=P(A)P(B)事件A,B,C相互獨立，有P(AB)=P(A)P(B)P(AC)=P(A)P(C)P(BC)=P(B)P(C)P(ABC)=P(A)P(B)P(C)35例：某班50名學生，女生20名。第一組10名，其中4名女生。從中任選一名，A=“學生是第一組”，B=“女學生”，問事件A、B是否獨立？分析：顯然故A，B獨立。注：若第一組的女生數量發生改變，比如有5名女生，則A，B不獨立。361.2隨機變量及其分布定義1.4設(,F,P)為概率空間，映射X：

R，eX(e)滿足

任意xR，{e:X(e)x}F，則稱X(e)是F上的隨機變量，簡記X。對xR，稱F(x)=P{e:X(e)x}為隨機變量X的分布函數。37例投擲兩枚硬幣試驗，={正正，正反，反正，反反}F={，{正正}，{正反}，{反正}，{反反}，{正正，正反}，{正正，反正}，{正正，反反}，{正反，反正}，{正反，反反}，{反正，反反}，{正正，正反，反正}，{正正，正反，反反}，{正正，反正，反反}，{正反，反正，反反}，{正正，正反，反正，反反}}

為可測空間，(，F

)為-代數P{}=0，P{正正}=P{正反}=P{反正}=P{反反}=1/4…，P{}=1，(,F,P)為概率空間38映射X：

R，X(正正)=2，X(正反)=X(反正)=1，X(反反)=0(1)x<0，{e:X(e)x}=F(2)0

x<1，{e:X(e)x}={反反}F(3)1

x<2，{e:X(e)x}={正反,反正,反反}F(4)x≥2，{e:X(e)x}={正正，正反,反正,反反}FX為隨機變量分布函數為即分布函數的性質：(1)單調性：若x1<x2，則F(x1)F(x2)(2)，(3)F(x)右連續，F(x+0)=F(x)

這三個性質完全刻劃了分布函數414)當X為離散型隨機變量時，F(x)是階梯函數當X為連續型隨機變量是，F(x)為連續函數5)當X是離散型隨機變量且取整數時，分布函數和分布列可以利用求和或差分互求6)當X為連續型隨機變量時，分布函數和概率密度函數可以通過積分或微分互求。密度函數表示“概率的變化率”：隨機變量：離散型，連續型離散型隨機變量X的概率分布用分布律(列)描述：P(X=xk)=pk，k=1,2,分布函數常見離散型隨機變量X及其分布律(1)0-1分布P(X=1)=p，P(X=0)=q，0<p<1，p+q=1(2)二項分布

P(X=k)=，0<p<1,p+q=1,k=0,1,2,,n(3)泊松分布P(X=k)=

，>0，k=0,1,2,(4)幾何分布P(X=k)=，0<p<1,p+q=1,k=1,2,連續型隨機變量X的概率分布用概率密度函數f(x)描述分布函數

常見連續型隨機變量X及其概率密度(1)均勻分布(2)正態分布(3)指數分布46例1設X是[a,b]上的幾何概型，則X的分布函數為：如果x<a,顯然F(x)=P(X≤x)=0;如果a≤x≤b,F(x)=P(X≤x)=(x-a)/(b-a);如果x>b,F(x)=P(X≤x)=1.于是，分布函數為：密度函數為：47例假設X和Y都服從區間[0,1]上的均勻分布，并且彼此相互獨立，問隨機變量Z=Y/X的概率密度函數是什么？解根據下圖，時，當時，當48例設隨機變量X和Y相互獨立，Y的概率密度為記Z=X+Y,（1）求（2）求Z的概率密度。X的分布列為解（1）49（2）先求Z的分布函數：故Y的密度函數為50n維隨機變量及其概率分布(1)n維隨機變量及其分布的定義(2)n維離散型隨機變量和連續性隨機變量

----聯合分布列和聯合分布密度(3)邊緣分布----邊緣分布函數，邊緣分布列，邊緣分布密度(4)獨立性n維隨機變量及其概率分布定義1.5設(,F,P)為概率空間，X=X(e)=(X1(e),X2(e),,Xn(e))是定義在上的n維空間Rn中取值的向量函數,如果對任意的x=(x1,x2,,xn)Rn，{e:X1(e)x1,X2(e)x2,,Xn(e)xn}F，則稱X(e)是F上的n維隨機變量，簡記為X=(X1,X2,,Xn)。例投擲兩枚硬幣試驗，={正正，正反，反正，反反}F={，{正正}，{正反}，{反正}，{反反}，{正正，正反}，{正正，反正}，{正正，反反}，{正反，反正}，{正反，反反}，{反正，反反}，{正正，正反，反正}，{正正，正反，反反}，{正正，反正，反反}，{正反，反正，反反}，{正正，正反，反正，反反}}

為可測空間，(，F

)為-代數P{}=0，P{正正}=P{正反}=P{反正}=P{反反}=1/4…，P{}=1，(,F,P)為概率空間映射X1：

R，X1(正正)=1,X1(正反)=1,X1(反正)=0,X1(反反)=0;映射X2：

R，X2(正正)=0,X2(正反)=0,X2(反正)=1,X2(反反)=1;X1,X2為隨機變量,(X1,X2)為隨機向量。對x=(x1,x2,,xn)

Rn，稱F(x)=F(x1,x2,,xn)=P{e:X1(e)x1,X2(e)x2,,Xn(e)xn}為n維隨機變量X=(X1,X2,,Xn)的聯合分布函數54n維聯合分布函數F(x1,x2,,xn)的性質對于每個變元xi

(i=1,2,,n)，F(x1,x2,,xn)是非降函數(2)對于每個變元xi

(i=1,2,,n)，F(x1,x2,,xn)是右連續的(3)對于Rn的區域(a1,b1;a2,b2;;an,bn)，其中aibi(i=1,2,,n),F(b1,b2,

,bn)-+++(-1)n

F(a1,a2,

,an)0對于n=2F(b1,b2)-F(a1,b2)-F(b1,a2)+F(a1,a2)0

yb2a2

xa1b1對于n=3F(b1,b2,b3)-F(a1,b2,b3)-F(b1,a2,b3)-F(b1,b2,a3)+F(a1,a2,b3)+F(a1,b2,a3)+F(b1,a2,a3)-F(a1,a2,a3)0(4)(1)n維隨機變量及其分布的定義(2)n維離散型隨機變量和連續性隨機變量

----聯合分布列和聯合分布密度(3)邊緣分布----邊緣分布函數，邊緣分布列，邊緣分布密度(4)獨立性n維隨機變量及其概率分布n維離散型隨機變量X=(X1,X2,,Xn)Xi都是離散型隨機變量(i=1,2,,n)X=(X1,X2,,Xn)的聯合分布律為P(X1=x1,X2=x2,,Xn=xn)=其中xiIi是離散集，i=1,2,,nX=(X1,X2,,Xn)的聯合分布函數為(y1,y2,,yn)

Rn二維隨機變量(X,Y)的分布律也可表示為:二維離散型隨機變量的分布律離散型隨機變量(X,Y)

的分布函數為n維連續型隨機變量X=(X1,X2,,Xn)聯合概率密度f(x1,x2,,xn)X=(X1,X2,,Xn)的聯合分布函數為(y1,y2,,yn)

Rn二維連續型隨機變量的分布函數n維隨機變量及其概率分布(1)n維隨機變量及其分布的定義(2)n維離散型隨機變量和連續性隨機變量

----聯合分布列和聯合分布密度(3)邊緣分布----邊緣分布函數，邊緣分布列，邊緣分布密度(4)獨立性二維隨機變量的邊緣分布函數為隨機變量

(X,Y)關于Y

的邊緣分布函數.離散型隨機變量的邊緣分布律因此得離散型隨機變量關于X和Y的邊緣分布函數分別為例1

已知下列分布律求其邊緣分布律.注意聯合分布邊緣分布解連續型隨機變量的邊緣分布同理可得Y的邊緣分布函數Y的邊緣概率密度.(1)n維隨機變量及其分布的定義(2)n維離散型隨機變量和連續性隨機變量

----聯合分布列和聯合分布密度(3)邊緣分布----邊緣分布函數，邊緣分布列，邊緣分布密度(4)獨立性n維隨機變量及其概率分布隨機變量的獨立性定義1.6設{Xt,tT}是一族隨機變量，若對任意n2和t1,t2,,tnT，x1,x2,,xnR，有則稱{Xt,tT}是獨立的。若{Xt,tT}是一族離散型隨機變量，則獨立性等價于其中xi是Xti的任意可能值(I=1,2,,n)例如，二維隨機變量獨立性等價于pij=pi.p.j其中pij=p(X=xi,Y=yj),pi.=p(X=xi),p.j=p(Y=yj),若{Xt,tT}是一族連續型隨機變量，則獨立性等價于其中是n維隨機變量的聯合概率密度,

是隨機變量的概率密度(i=1,2,,n)2.說明

(1)若離散型隨機變量(X,Y)的聯合分布律為79例1：X和Y是否相互獨立？(X,Y)具有概率密度連續型隨機變量X,Y相互獨立，其密度函數有如下特征：

X和Y的邊緣概率密度分別為：1.3隨機變量的數字特征數學期望定義1.7設隨機變量X的分布函數為F(x)，若則稱為X的數學期望(均值)對離散型隨機變量X，分布律P(X=xk)=pk，k=1,2,數學期望對連續型隨機變量X，概率密度f(x)的數學期望方差定義1.8設X是隨機變量，若EX2<，則稱DX=E[(X-EX)2]為X的方差協方差定義1.9設X,Y是隨機變量，若EX2<,EY2<，則稱BXY=E[(X-EX)(Y-EY)]為X,Y的協方差BXY=EXY-EXEY1.3隨機變量的數字特征相關系數稱為X,Y的相關系數

☆若XY=0，則稱X,Y不相關。☆相關系數表示X,Y之間的線性相關程度的大小隨機變量的數學期望和方差的性質(1)E(aX+bY)=aE(X)+bE(Y)(2)若X,Y獨立，則E(XY)=E(X)E(Y)(3)若X,Y獨立，則D(aX+bY)=a2D(X)+b2D(Y)(4)(Schwarz不等式)若EX2<,EY2<，則

(E

XY)2

E(X2)E(Y2)隨機變量的函數的期望若n維隨機變量X=(X1,X2,,Xn)的聯合分布函數為F(x1,x2,,xn)，g(X)=g(X1,X2,,Xn),g(x1,x2,,xn)是n維連續函數，則例如一維離散型一維連續型1.4特征函數、母函數

常見隨機變量的數學期望、方差、特征函數和母函數分布期望方差特征函數母函數0-1分布ppqq+ps二項分布npnpq(q+ps)n泊松分布幾何分布1.4特征函數、母函數常見隨機變量的數學期望、方差、特征函數和矩母函數分布期望方差特征函數矩母函數均勻分布指數分布1.4特征函數、母函數特征函數定義1.10設隨機變量X的分布函數為F(x)，稱為X的特征函數。分布律為P(X=xk)=pk，k=1,2,的離散型隨機變量X，特征函數為概率密度為f(x)的連續型隨機變量X，特征函數為例設X服從二項分布B(n,p)，求X的特征函數g(t)

。解X的分布律為P(X=k)=，q=1-p，k=0,1,2,,n

例設X~N(0,1)，求X的特征函數。解

常見隨機變量的數學期望、方差、特征函數和母函數分布期望方差特征函數母函數0-1分布ppqq+ps二項分布npnpq(q+ps)n泊松分布幾何分布常見隨機變量的數學期望、方差、特征函數和矩母函數分布期望方差特征函數矩母函數均勻分布指數分布隨機變量的特征函數的性質(1)(2)g(t)在(-，

)上一致連續(3)若隨機變量X的n階矩EXn存在，則

g(k)(0)=ikEXk，kn

當k=1時，EX

=

g(1)(0)/i；當k=2時，DX

=-g(2)(0)-(g(1)(0)/i)2。

例設X服從二項分布B(n,p)，求X的特征函數g(t)及EX、EX2、DX。解X的分布律為P(X=k)=，q=1-p，k=0,1,2,,n(4)g(t)是非負定函數(5)若X1,X2,,Xn是相互獨立的隨機變量，則X=X1+X2++Xn的特征函數g(t)=g1(t)g2(t)

gn(t)(6)隨機變量的分布函數由特征函數唯一確定1.4特征函數、母函數

例

設隨機變量X的特征函數為gX(t)，Y=aX+b，其中a,b為任意實數，證明Y的特征函數gY(t)為證n維隨機變量的特征函數定義1.11設X=(X1,X2,,Xn)是n維隨機變量，t=(t1,t2,,tn)Rn，則稱為X的特征函數。1.4特征函數、母函數矩母函數定義1.12設隨機變量X的分布函數為F(x)，稱為X的矩母函數

☆

m(k)(0)=Exk

，m(it)=g(t)母函數設X是非負整數值隨機變量，分布律P{X=k}=pk，k=0,1,則稱為X的母函數母函數的性質(1)非負整數值隨機變量的分布律pk由其母函數P(s)唯一確定(1)證(2)設P(s)是X的母函數，若EX存在，則EX=P(1)若DX存在，則DX=P(1)+P(1)-[P(1)]2(2)證(3)獨立隨機變量之和的母函數等于母函數之積(4)若X1,X2,是相互獨立同分布的非負整數值隨機變量，N是與X1,X2,獨立的非負整數值隨機變量，則的母函數H(s)=G(P(s)),EY=ENEX1其中G(s),P(s)分別是N,X1的母函數例：某商店一天到達的顧客總數N服從均值λ的泊松分布，用X1,X2,…,XN表示各顧客購買商品的情況，Xi=1表示第i個顧客購買了商品，Xi=0表示第i個顧客沒有購買商品，P(Xi=1)=p,P(Xi=0)=1-p=q,

i=1,2,…,N。X1,X2,…,XN相互獨立且和N獨立。用Y表示購買商品的顧客數，求Y的分布，及EY。1.4特征函數、母函數

1.4特征函數、母函數

1.4特征函數、母函數設相互獨立離散型非負整數隨機變量X,Y的分布律分別為P{X=k}=pk，P{Y=k}=qk，k=0,1,，則Z=X+Y的分布律為P{Z=k}=ck,其中ck=p0

qk+p1qk-1

++pkq0

設X,Y,Z的母函數分別為PX(s),PY(s),PZ(s)，即有卷積的母函數：1.4特征函數、母函數1.5n維正態分布若n維隨機變量X=(X1,X2,,Xn)的聯合概率密度函數為式中，是常向量是對稱矩陣則稱X為n維正態隨機變量，X~N(,)特征函數g(t)=t=(t1,t2,…,tn)1.5n維正態分布二維正態分布X=(X1,X2)~N(,)

X1~N(1

,

1),X2~N(2

,

2),X1與X2相關系數為1.5n維正態分布二維正態分布聯合概率密度1.5n維正態分布特別地，當ρ=0時，多維正態分布的性質設X~N(μ,Σ),Y=XA+b，若A’ΣA正定，則，Y~N(μA+b,A’ΣA),即正態分布隨機變量的線性變換仍是正態隨機變量。特別的，對于一維正態隨機變量X~N(μ,σ2),

Y=aX+b,則Y~N(aμ+b,a2σ2)1.4特征函數、母函數例

X~N(μ,σ2),Y=aX+b,則Y~N(aμ+b,a2σ2)

證：1.6條件期望設X,Y是離散型隨機變量，對一切使P{Y=y}>0的y