1、第五章 概率與概率分布 概率的三種定義1. 古典定義：如果某一隨機試驗的結果有限，而且各個結果出現的可能性相對，則某一A發生的概率為該所包含的基本個數m與樣本空間中所包含的基本個數n的比值，記為P(A)。古典模型特點：其一，結果有限，即基本空間中只含有限個元素；其二，各個結果出現的可能性被認為是相同的 。A出現m次(𝑚 𝑛)，則m/n2.統計定義：在相同條件下隨機試驗n次，某稱為A發生的概率。隨著n的增大，該頻率某一常數p上下波動，且波動的幅度逐漸減小，趨于穩定，這個頻率的穩定值即為該的概率，記為：𝑃(𝐴) = 𝑚

2、 = 𝑝𝑛3.息對該定義：一個決策者根據跟人對某個是否發生以及本人掌握的信發生的可能性的。二 概率運算（這部分大量習題可以從數學三種找到）這部分是最基礎的概率知識，在數學三的概率板塊復習中會掌握，都包括：加法法則、條件概率、乘法公式、全概率公式、斥。公式、與互三 期望與方差(這個是基礎，的統計學配備資料上有習題)離散和連續形式類似，這里只介紹連續形式設連續隨量X的密度函數為p(x)，若：+ |𝑥|𝑝(𝑥)𝑑𝑥 <+ 則稱+ 𝐸(𝑥) = 

3、9909;𝑝(𝑥)𝑑𝑥 為x的數學期望。稱：+ 𝐷(𝑥) = (𝑥 𝐸(𝑥)2𝑝(𝑥)𝑑𝑥 為x的方差。如果隨量方差存在，則期望一定存在；但是期望存在，方差不一定存在。另外，掌握期望和方差的運算性質。四概率分布（注意離散與連續、概率密度函數與分布函數的區別，這里要記住一句話：同一連續分布的不同密度函數在不等處點組成集合的概率為0）1.單點分布（或分布）：隨量X只取一個值c0,⻔

4、3; < 𝑐𝐹(𝑋) =1,𝑋 𝑐2.分布函數：它是一個沒有期望和方差的分布函數()12𝐹(𝑋) =𝑎𝑟𝑐𝑡𝑎𝑛𝑋 + < 𝑥 <+ 3.切比雪夫不等式：（這個2013年復試考過證明題）設隨量X的數學期望和方差都存在，則對任意常數 > 0，有𝑃(|𝑋 𝐸𝑋| ) 

5、9863;𝑋2切比雪夫不等式給出了大偏差發生概率的上屆，這個上界與方差呈正比。推論：若隨量X的方差存在，則DX=0X幾乎處處為常數a，即P(X=a)=14.幾何分布與指數分布的無記憶性𝑃(𝑋 > 𝑠 + 𝑡𝑋 > 𝑠) = 𝑃(𝑋 > 𝑡)𝑃(𝑋 = 𝑠 + 𝑡𝑋 > 𝑠) = 𝑃(𝑋

6、= 𝑡)5.負二項分布：在試驗序列中，記每次中A發生的概率為p，如果X為A第r次出現時的試驗次數，則X取值為r，r+1,···，r+m，···.則稱X服從負二項分布。記為XNb(r, p) (X r)；當r=1時為幾何分布Ge(p).𝑃(𝑋 = 𝑘) = 𝐶𝑟 1𝑝𝑟(1 𝑝)𝑘 𝑟 ,𝑘 = 𝑟,𝑟 + 1,&#

7、119896; 1𝐸𝑋 = 𝑟,𝐷𝑋 = 𝑟(1 𝑝)𝑝𝑝2𝑋𝑖𝐺𝑒(𝑝)𝑋 = 𝑋1 + 𝑋2 + + 𝑋𝑟𝑁𝑏(𝑟,𝑝)6.正態分布：是最重要的分布，必須全面掌握。若𝑋(,2)，則其密度函數:212(ү

8、09; ) 22𝑓(𝑥) =exp , < 𝑥 <+ (,1) ± 2密度函數圖像在處取得拐點，分布函數圖像在處取得拐點。在復習時，將正態分布和二元正態分布結合起來梳理。（復試考到二元正態分布）7.指數分布： X Exp() ，概率密度函數是：ìe -x , x ³ 0p(x) = íî(> 0)0, x < 0Ex = 1 , Dx =12若某設備在任何長為t的時間0,t發生故障的次數N(t)服從參數為t的泊松分布，則相繼兩次故障之間的時間間隔T服從參數為的指數分布。分布

9、： X Ga(,)8.+¥ò函數： G() =xe dx ，-1 - x函數具有的性質（需要記住）：01（1） G(1) = 1, G( ) = ；2（2） G(+ 1) = × G() ；（3） 當n Î N +時，G(n + 1 = n!；分布的密度函數：ìp(x) = ïxe, x ³ 00, x < 0-1 - xíG()ïîEx = = , Dx2分布密度函數圖像隨變化而變化，>2時，p(x)是單峰函數，且越大，P(x)近似于正態密度函數圖像。注：（1）=1時， Ga(1,

10、) = Exp() ；（2） Ga( n , 1 ) = 2 (n) ；（3）若 X Ga(,) ，則Y = kX Ga( ,)(k > 0) ；（42 2）任一k分布可以轉化為卡方分布：X Ga(,) Þ 2X Ga( 1, ) = 2 (2)2電子失效常由外界的“沖擊”引起，若在(0,t)內發生沖擊的次數N(t)P(t)，則第n次沖擊到來的時間 Sn Ga(n,) .9.分布： X Be(a, b)1ò函數： B(a, b) =，函數具有的性質：0（1） B(a, b) = B(b, a) ；（2） B(a, b) = G(a) × G(b)G(a +

11、b)分布的密度函數：ìG(a) × G(b)< 1p(x) = ïíïîG(a + b)0, 其他注：當a=b=1時，Be(1,1)=U(0,1)（0-1均勻分布）aab1Ex =, Dx =××a + ba + b a + b a + b + 1不10、維修率、市場占有率和射擊中率選用分布合適。對數正態分布： Y LN (,2 ) ，設隨量 X N (,2 ) ，則Y = ex 的概率密度函數可以求出對數正態分布的密度函數。（這個留給讀者練筆）。另外，家中兩個小孩的差服從 LN (,2 ) 。11.超幾何分

12、布：XH(N,n,M)，設有N件，其中M件次品，現從中任取n件(n £ N ) ，則n件中所含次品數X是一個隨量：Cm × Cn-m= m) = MN -M P( XCnN× N - M × N - nEX = n × M , DX = n × MNNN - 1N泊松分布（泊松定理）、幾何分布和二項分布（二項分布的正態近似）這些簡單知識點便不在此累述。五 求連續隨量函數的分布這一部分參見數學三復習全書，主要有公式法和分布函數法。這部分如果出題，則會很難，所以要多做各種習題。（數學三復習全書和卯詩松的概論對應課后習題）六 分布的其他特征

13、數1.矩估計量X和Y均為隨量， k, l Î N + ： = E( X k ) Þ X的k階原點矩；kvk = E( X - Ex) Þ X的k階中心矩；kE( X kY l ) Þ X與Y的k+l階混合原點矩；E( X - Ex)k (Y - EY )l Þ X與Y的k+l階混合中心矩；2.協方差與相關系數COV ( X ,Y ) = E( X - Ex)(Y - EY ) = EXY - EX × EYX與Y相互是COV（X,Y）=0的充分不必要條件。COV ( X ,Y )=DX ×DY根據的范圍，可得不等式：COV

14、( X ,Y )2 £ DX × DY量，ij = COV ( X i , X j ) 則稱下列矩陣B為協方差矩設n 為隨陣：é11ê2112 22M1n ùLLOL2n úB = êúúêMMêúënn ûn1n2其中矩陣B是對稱的非負定矩陣，協方差矩陣將在多元回歸和多元正態分布中用到。3.偏度與峰度（2013年考過）設X的三階矩存在，則v3 =Þ X分布的偏度13v221 >0：稱分布正偏或右偏； 1 =0：稱分布對稱； 1 <0

15、：稱分布左偏或負偏。設X的四階矩存在，則：v4 =- 3 Þ X分布的峰度22v22 <0，則標準化后的分布形狀比標準正態分布更平坦，稱為低峰度；2 =0，則標準化后的分布形狀與標準正態分布相當；2 >0，則標準化后的分布形狀比標準正態分布更尖峭，稱為低峰度；4.特征函數與函數（函數12年考過）設X為隨量，其分布函數為F(x)，f(x)為密度函數，則X的特征函數和矩母函數分別定義為：+¥òf (t) = E(e ) =ef (x)dx, t ³ 0 ，i為虛數；itxitx-¥+¥M (t) = E(etx ) =etx

16、f (x)dx, t ³ 0òX-¥（1）函數原點總存在，且 M X (0) = 1；（2）有二個分布函數，若它們的函數相同，則 F1 (x) = F2 (x) ；（3）k階原點矩= M (k) (0), k = 1,2,L .其中 EX = M ' (0) ；kXXnn（4） X = å X i ， Xi 相互，則： M X (t) = Õ M Xi (t) ；i =1i=1（5） Y = aX + b ，則 MY (t) = e M (ta) ；btX（6）若隨量為常數c，則MC (t) = E(e ) = e ；ctct（7）若X

17、B(n,p)，則 M X (t) = ( pe + q) .tn七1.后，看分布均勻分布，多項分布，超幾何分布，多元正態分布都只需了解。然隨量分布密度函數參看卯詩松概論第三章，這部分難點多，不必全部掌握。時注重結合例題，然后課后習題結合2.二元正態分布如果隨量（X，Y）的密度函數為：(x - )211p(x, y) = exp-12(1 - 2 )221 - 211 2(x - )( y - )(x - )2- 2+2,-¥ < x, y < +¥1221 22則稱（X,Y）服從二元正態分布，記為( X ,Y ) N (, ,2 ,2 ,) .其中五個參1212

18、數的取值范圍分別為：- ¥ < 1 ,2 < +¥1 ,2 > 0;-1 £ £ 1.二元正態密度函數的圖象很像一頂四周無限延伸的草帽，其中心點在(1 ,2 ) 處，其等高線是橢圓。另外，多項分布的邊際分布仍為是多項分布，二維正態分布的邊際分布是一維正態分布。3.隨量分布的可加性（復試考過）（1）泊松分布： X i P()(i = 1,2,L, n) ， X i 之間相互，則nX = å X i P(1 + 2 +L + n ) ；注： X ii=1- X j從泊松分布。nn（2）二項分布： X i B(ni , p) ， X

19、 i 之間相互，則 X = å X i B(å ni , p) .i=1i=1（3）正態分布： X N (,2 ) ， X 之間相互，iiiinnnX = å Xi=1åi å i N (, ) .i=1i=12i分布： X Ga(1 ,),Y Ga(2 ,) ，且X與Y相互（4），則Z = X + Y Ga(1 +2 ,) 。由此，我們也可以證明卡方分布也是具有類似的可加性的，因為前面提到任一分布可以轉化成卡方分布。思考題：（1）X與Y相互，請問X+Y與X-Y是否？（2）X與Y均服從指數分布且相互，請問X-Y服從什么分布？4.最大、小值分布最

20、大值分布：設n 是相互的n個隨量，若Y = max(n ), Z = min(n ) 且每個 X i 服從同分布F(x)，則：最大值分布：F ( y) = F ( y)nY最小值分布：F (z) = 1 -1 - F (z)nZ若在特殊情況下，當 X i Exp(i = 1,2,L, n) 則：最大值分布：F ( y) = (1 - e-y )n ( y ³ 0)Y最小值分布：F (z) = 1 - e-nz (z ³ 0)Z思考題：卯詩松概論P179例3.4.11第六章 統計量及其分布 大數定律1.收斂依概率收斂：設n 是一個隨量序列，X為隨量，若對">

21、0 ，- X< = 1，則稱： lim P X nn 依概率收斂n®¥于X，記作： X n ¾¾® X .P弱收斂:設隨量n 的分布函數分別為： F1 (x), F2 (x),L, Fn (x)： lim Fn (x) = F (x) ，則稱Fn (x)弱收斂于F(x)，若對F(x)的任意連續點x，n®¥記作： F (x) ¾¾W ® F (x) .n2.n 之間相互，并且都服從參數為p的大數定律：量0-1分布，則對"> 0 ，有：1nnåiX - p< =

22、 1lim Pn®¥i =13.切比雪夫大數定律：設X n 為一列兩兩不相關的隨量序列，若每個 X i 的方差存在，且有公共上界，即DXi £ c, i = 1,2,L, 則X n 服從大數定律，對"> 0 ，有：1nn1 n-åå< = 1lim PXEXiinn®¥i=1i=14.大數定律1nn 2åi條件：D(X ) ® 0i=1條件成立，則X n 服從大數定律，即對"> 0 ，有：若1nn1 n-åå< = 1lim PXEXiinn

23、®¥i=1i=1可以發現切比雪夫大數定律是大數定律的特殊化。5.大數定律：設X n 為同分布的隨量序列，若 EXi 存在，則X n 服從大數定律，對"> 0 ，有：n1 n-å1nåi< = 1lim PXEXinn®¥i=1i=1可以發現，各種大數定律共同點，其實都源自條件。二 中心極限定理1.-勒維中心極限定理（同分布條件下）設X n 為同分布的隨量序列，并且EXi = , DXi = > 0,即方差有限, 記"x Î R ，恒有：當2x - n ® ¥時， N

24、(0,1)/n2.棣-拉斯定理（二項分布條件下）設Yn 服從二項分布B(n,p)， 記"x Î R ，則有：Yn - np£ x = F(x)lim Pnp(1 - p)n®¥其F(x) 為正態分布。當用正態分布來作為二項分布的近似計算時，需要作出修正， P(L £ n £ U ) = P(L - 0.5 £ n £ U + 0.5)三 統計量1.統計量定義：設n 是從總體X中抽取的容量為n的一個樣本，若由此樣本構造一個函數T (n ) 不依賴于任何未知參數，則稱函數T (n ) 是一個統計量。2.經驗分

25、布函數：設(n ) 為總體樣本(n ) 的一個觀測值，若將樣本觀測值 xi 由小到大進行排列，為數：(n) ，對任意實數，稱函0, x < x(1)ìï kF (x) =, k = 1,2,L, n - 1í n(k +1)nïî1, x ³ x(n)為樣本(n ) 的經驗分布函數。3.n 是取自總體分布函數為F(x)的樣本， Fn (x) 為其紋科定理：設經驗分布函數，當n ® ¥ 時，有：Fn (x) - F (x)® 0 = 1P SUP-¥< x<+¥表明：當

26、n相當大時，經驗分布函數是總體分布F(x)的近似。四 重要統計量分布統計推斷的三個中心內容：抽樣分布、參數估計和假設檢驗。在總體分布已知時，對"n Î N + ，都能導出T (n ) 的分布的數學表，這種分布稱為精確的抽樣分布。21.樣本均值：若總體分布為正態分布 N (, ) 時，樣本均值 x N (2,) ，這n表明用樣本均值 x 去估計總體均值時，平均來說是無偏差的。當然，這只是中心極限定理的特殊情況。另外，樣本均值的性質：n（1）若把 xi 與 x 的差稱為偏差，則å(xi - x) = 0 ；i=1（2）在形如å(xi - c) 的函數中， &

27、#229;(x - x)最小。22in 是來自總體分布為正態分布 N (, ) 的樣本，則：22.樣本方差：若n= 1 å(x - x)2 稱為樣本方差， å(s 22 - nx 2 。樣本方差的分n - 1iii=1(n - 1)s 2 (n - 1)2布：2 N (,(1 -)p樣本比例：設總體比例是，則樣本比例3.n4.兩樣本均值之差：若 X N (,2 ) ，其樣本均值為 X ，樣本個數為n ，11111X N ( ,2 ) ，其樣本均值為 X ，樣本個數為n ，則：2222222X - X N ( - , 1 + 2 )1212nn12一般的當n1 ， n2 &#

28、179; 30 時，可用正態分布近似。來自 N (,2 ) ， Y ,Y ,L,Y 來自 N (,2 ) ，5.兩樣本方差比：若n1112n22X i 與Yi 相互，則：S 2 /2 x1 F (n - 1, n - 1)12S 2 /2y26.兩樣本比例之差：設分別從1和2 的二項總體中抽取n1 ， n2 ³ 30 的，則兩個樣本比例之差：樣本 (1- ) (1- )p - p N ( - ,+1122)1212nn127.次序統計量：設n 是取自總體X的的樣本， x(i ) 稱為該樣本的第i個次序統計量，它的取值是樣本觀測值由小到大的排列后得到的第i個觀測值。設總體X的密度函數為

29、 p(x) ，分布函數為F(x)，則第k個次序統計量 x(k ) 分布的密度函數為：n!p (x) =×F (x)k-1 ×1 - F (x)n-k × p(x)k(k - 1)!×(n - k )!由此可得：最小值分布密度函數為： p (x) = n ×1 - F (x)n-1 × p(x)1n-1最大值分布密度函數為： p2 (x) = n ×F (x)× p(x)另外，中位數，四分位數，內距，全距都是次序統計量。8.充分統計量：統計量是把樣本中的信息進行處理的結果，不損失信息的統計量就是充分統計量。統計量是否

30、為充分統計量的方法是因子分解定理因子分解定理（僅作了解）：設總體概率函數為 f (x;) ，n 是取自總體X的的樣本， T = T (n ) 是充分統計量等價于：存在兩個函數g(t,)和h(n ) 使得對"和一組觀測值n 有：n ;) = gT (n ), × h(f (n )其中， g(t,) 是通過統計量T的取值而依賴于樣本的。值得注意的是，上面所有的抽樣分布都是基于重復抽樣方式，當抽樣分布為不重復抽樣時，標準差都要乘上修正系數。例如：重復抽樣方式下，樣本均值分布的標準差為，在不重復抽樣方式下，樣本均值分布的標準差為nN - n ×2。可以看出，不同抽樣方式下

31、，抽樣分布的離散程度會不同，前者N - 1n更大。五 統計三大分布1. 2 分布（右偏分布）設同分布于標準正態分布N(0,1)，則n2=2 的分布稱為自由度為n的卡方分布，記2 2 (n) .nE2 = n, D2 = 2n .當n ® +¥ 時， 2 分布的極限分布是正態分布；當n很大時， 22 (n) N ( 2n - 1,1) ；1當n>45時， (n) »(u +2n - 1)2 （ u 為正態p分位數）2ppp22.t分布X量X與Y， X N (0,1),Y 2 (n) ，則稱t =設隨的分布為自Y / n由度為n的t分布，記為： t t(n) .

32、t分布的密度函數是偶函數。當n=1時：t分布即分布，它的均值不存在；當n ³ 2 時：Et=0；n當n ³ 3 時： Dt =（當n增大時，Dt不斷減小）；n - 23.F分布（右偏分布）量Y與Z相互，且Y與Z分別服從自由度為m和n的2 分布，則設隨：X = Y / m F (m, n)Z / n2n 2 (m + n - 2)nEX =(n > 2), DX =(n > 4)n - 2m(n - 2)(n - 4)1F (m, n) =pF(n, m)1- p量 X t(n) ，則2 F (1, n) ，這在回歸分析的回歸系數檢驗中有若隨用。4.重要結論n 是

33、來自 N (, ) 的樣本，其樣本均值和樣本方差分別為：2設nx = 1 ån= 1 å(x - x)2 ，則有：x ， s 2iin - 1ni=1i=1（1） x 與s2 相互；2（2） x N (,) ；n(n - 1)s 2 (n - 1) ；2（3）2（4） n (x - ) t(n - 1) .s是來自 N (,2 ) 的樣本， y , y ,L, y 來自 N (,2 ) 的樣本設m1112n22m1nåi=12) ， sy =2( y - y) ，其2，且此兩樣本相互，記 sn - 1ii=11mm1nnåi=1åi=1中： x

34、 =x ， y =y ，則：ii2 /2sF = x1 F (m - 1, n - 1)2 /2sy2(m - 1)s 2 + (n - 1)s 2xy當2 = 2 = 2 時：令s 2 =，則：12wm + n - 2= (x - y) - (1 - 2 ) t(m + n - 2)T1 + 1mns ×w第七章 參數估計ì統計描述ïïï數理統計íì統計檢驗ïïì非參數估計ï統計推斷í統計估計ïì點估計í參數估計íï

35、9;îïïîïîî區間估計參數估計：用樣本統計量去估計總體的參數；估計量：用來估計總體參數的統計量(n ) ；估計值：一個具體樣本觀測值計算出來的估計量數值(n ) . 矩法估計與極大似然估計1.點估計之矩法估計矩法估計是值用樣本矩去替換總體矩（原點矩和中心矩均可），或者是用樣本矩的函數去替換相應的總體矩的函數。根據大數定律可知：樣本矩、樣本矩的函數依概率收斂于相應的總體矩、總體矩的連續函數。所求的估計量稱為矩估計量，相應的觀測值稱為矩估計值。實質：用經驗分布函數去替換總體分布。理論基礎：紋科定理+¥ò-

36、¥第一步：計算總體X的前k階原點矩： ul = EX l =x f (x;l, ,L, )dx ，12kl = 1,2,L, k第二步：令樣本矩等于總體矩，則：n1 å= EX l Þ 可得含k個未知參數, ,L, 的矩法方程X li12kni=1第三步：求解矩法方程，可得 = ()lln條件：矩法估計不要求總體服從什么分布，只須 EX l 存在即可。約定：用矩法方程求總體未知參數估計量時，矩一般從低階開始。2.點估計之極大似然估計（復試考過）設總體的概率函數為 p(x;),Î Q ，其中是一個未知參數或幾個未知參數組成的參數向量， Q 是參數可能取值的

37、參數空間，n 是來自總體的樣本，則將樣本的概率密度函數看成為的函數，即：nn ;) = Õ f (xi ;),Î Qi=1L() = L(稱 L() 為樣本的似然函數。若某統計量 =(n ) 滿足 L() = max L() 則稱(n ) 為ÎQ的極大似然估計值（MLE），(n ) 為的極大似然估計量。條件：要求MLE 需要知道總體的概率分布或密度函數。中心思想：取的估計值使得發生的概率最大。極大似然估計不變性：設 是總體X的概率密度或分布律中未知參數的極大似然估計，的函數u = u() 具有單值反函數= (u) ，則u = u() 是u() 的 最大似然估計。二

38、 點估計與區間估計比較注意的是，用于參數估計的統計量不是唯一的。在區間估計中，由樣本統計量所構造的總體參數的估計區間稱為置信區間。一般地，如果構造置信區間的步驟重復多次，置信區間中包含總體參數真值的次數所占的比例稱為置信水平。注：（1）樣本量一定時，置信系數增大，區間寬度也增大，可靠性上升，區間估計：是在點估計的基礎上，給出總體參數的一個區間范圍，該區間通常由樣本統計量加減估計誤差得到。區間估計三要素：點估計值，抽樣平均度，估計的可靠度參數估計點估計：就是用樣本統計量的某個取值直接作為總體參數的估計值。（一個點估計值的可靠性由抽樣標準誤差來衡量），但計算時不考慮抽樣誤差及可靠程度。但是精度下降；置信水平固定時，樣本量增大，區間寬度的下降，可靠性和精度均上升。（2）注意把握對置信水平的理解。一個特定的區間總是包含或絕對不包含參數真值，在多次抽樣得到的區間中有95%的區間包含參數真值。而不是以多大的概率包含參數真值。三 點估計的評價標準1.相合性（大樣本）參數， = (設Î Q) 是的一個估計量，n為樣本容nnn量，若對"> 0 ，有：lim P( - ³ ) = 0nn®¥則稱 為參數的相合估計。相合性是對估計的一個最基本的要求（一般由大n數定律或定義來證）。n 是來自 N (, )