1、1第五章：隨機變量的收斂性n隨機樣本：iid樣本 ，n統計量：對隨機樣本的概括為隨機變量， 的分布稱為統計量的采樣分布n如：樣本均值、樣本方差、樣本中值12(,.,)nyt xxx=12,.,nxxxixf2收斂性n主要討論兩種收斂性3例1：依概率收斂n概率的頻率解釋：隨著觀測次數 的增加，頻率將會逐漸穩定到概率 pa pan nafann0 0n nn nfap lim?nnfap limnnfapp 010nnfapp 0nfa nfa4例2：依分布收斂n考慮隨機序列 ，其中n直觀： 集中在0處， 收斂到0n但2 0nnxxvp 0,1nxnn nx（chebyshev不等式）210n n

2、x12,.,nxxx5兩種收斂的定義n5.1 定義：令 為隨機變量序列， 為另一隨機變量，用表示的cdf，用 表示 的cdfn1、如果對每個 ，當 時，n則依概率收斂于 ，記為 。n2、如果對所有12,.,nxxx0en()0nxxe-ppnxx揪nxx()()limnnf tf t=同教材上 6兩種收斂的定義n當極限分布為點分布時，表示為1, , ppnnxcand xx then xcp 1, , nnxcand xx then xcp7其他收斂n還有一種收斂：均方收斂（2收斂， converge to in quadratic mean） n對證明概率收斂很有用n當極限分布為點分布時，記

3、為2 0, , qmnnifxxasthen xxe qmnxc 1 0, , lnnifxxasthen xxe 2lim0nnxxelim0nnxxe8n依概率收斂n隨機變量序列 ，當對任意 ，n則稱隨機變量序列 幾乎處處依概率收斂到（converge almost surely to ） ，記為： n幾乎處處收斂：比依概率收斂更強其他收斂0lim0nnxxp. .a snxx12,.,nxxx :lim0nnxxp或12,.,.nxxxlim0nnxxp lim:0nnxxp或9各種收斂之間的關系n點分布， 為實數l1almost surely(l2) 1xcp反過來不成立！quadra

4、tic meanprobabilitydistributionpoint-mass distribution10例：伯努利大數定律n設在一次觀測中事件 發生的概率為 ，如果觀測了 次，事件 發生了 次，則當 充分大時， 在次觀測中發生的頻率 逐漸穩定到概率 。0 lim0annpnp pa pan nafannann11例：5.3n令n直觀： 集中在0處， 收斂到02 0nnxxvp 0,1nxnn nx（chebyshev不等式）21 n nx lim00nnxp12例：續n依分布收斂：令 表示0處的點分布函數， 表示標準正態分布的隨機變量 0,1 n0,1nnxnnxn 0, nnnftx

5、tnxntzntas nppp 0,for t 1, nnnftxtnxntzntas nppp 0,for t , 0 0nnftf tfor all tx0tf但是 不是 的連續點 1 0, 001 2nfor tff 0010tf tt13收斂的性質( )( )( )( )( )( )5.5,. nnpppnnnnqmqmqmnnnnnnnnpppnnnnnnnnpnxx y ygaxxyyxyxybxxyyxyxycxxycxyxcdxxyyx yxyexxycx ycxfxxg揪井+揪 揪井+揪 換+揪井揪換揪定理：是機量， 是函如果，那么 如果，那么 如果，那么 如果，那么 如果，

6、那么 如果，那么 設隨變連續數，()( )( )()( ).pnnnxg xgxxg xg x揪換如果，那么 14弱大數定律（wlln）n獨立同分布（iid）的隨機變量序列 ， 方差 ，則樣本均值 依概率收斂于期望 ，即對任意n稱 為 的一致估計（一致性）n在定理條件下，當樣本數目 無限增加時，隨機樣本均值將幾乎變成一個常量n對樣本方差呢？依概率收斂于方差 ixeniinxnx11lim0nnxp0nx2ixv 12,.,nxxx222 0, nnxxasn vp證明：根據cheyshev不等式215()2222221111111111nnnnnnniiiiiinnsxxxnxxxnnnnn=

7、驏驏鼢瓏=-=-=-鼢瓏鼢瓏鼢-桫桫邋 根據大數定律，()2211npiiixxn=揪e 又1, 1nas nn- 所以()22111npiiinxxnn=驏揪-桫e （如果,ppnnxx yy揪井，則pnnx yxy揪） 同樣，根據大數定律，pnxm揪，由于( )2g yy=為連續函數， 所以22pnxm揪， 221pnnxnm揪- 所以()2222pnisxms= 揪 =e 樣本方差依概率收斂于分布的方差16強大數定律（slln）n獨立同分布（iid）的隨機變量序列 ， 方差 ，則樣本均值 幾乎處處收斂于期望 ，即對任意ixeniinxnx11lim0nnxp2ixv 12,.,nxxx0

8、17例：大數定律n考慮拋硬幣的問題，其中正面向上的概率為 ，令 表示單次拋擲的輸出（0或1）。因此n若共拋擲 次，正面向上的比率為 。根據大數定律，n但這并不意味著 在數值上等于n而是表示當 很大時， 的分布緊圍繞n令 ，若要求 ，則 至少為多少？n解：ix1iipxxpenxpnxp nxnx1 2p nxpnnxxpp21 2, 11 4nnxpxnppnnev21 2, 1iixpxppev212510.1110.740.1nxnn p1 250.7 84nn18中心極限定理(central limit theorem, clt)n獨立同分布（iid）

9、的隨機變量序列 , ，則樣本均值 近似服從期望為 方差為 的正態分布 ，即其中 為標準正態分布或也記為 221lim2zxnnp zzzedx 2nnnn xzz2,nxnn niinxnx112, iixxev 12,.,nxxx19中心極限定理中心極限定理試驗 http:/:8080/skills/portal/resources/65995/67826/entryfile/swf/zhongxinjixian.htm20例：中心極限定理n每個計算機程序的錯誤的數目為 ，n現有125個程序，用 表示各個程序中的錯誤的數目，求 的近似值n解： ,5xpoisson12125,.,xxx5.5

10、nxp5.55.5nnn xnxpp2115,5xxev2.50.9938zp1255.555zp21中心極限定理的應用之一二項概率的近似計算 n設 是 重貝努里試驗中事件 發生的次數，則 ，對任意 ，有 n當 很大時，直接計算很困難。這時 如果不大（即 0.1，5）或 不大，則可用poisson分布來近似計算n,nbinomial n pab1n kkknna k babc pp pnp1np1!xn kkknc ppex ,npoissonnp22中心極限定理的應用之一二項概率的近似計算（續） n當 不太接近于0或1時，可根據clt，用正態分布來近似計算n根據clt，111nnnpanpn

11、npabnppnppnpppp11bnpanpnppnpp 11, 1nnnniiixbernoulli pxxxpxppnnev1nnniixnx,1,1nnxn pppnn np npp德莫弗拉普拉斯定理 23中心極限定理的應用之一二項概率的近似計算（續） n例：已知紅黃兩種番茄雜交的第二代結紅果的植株與結黃果的植株的比率為3:1，現種植雜交種400株，求結黃果植株介于83到117之間的概率。 n由題意：任意一株雜交種或結紅果或結黃果，只有兩種可能性，且結黃果的概率 n種植雜交種400株，相當于做了400次貝努里試驗，記為400株雜交種結黃果的株數，則 n當 =400較大時，根據clt，4

12、001 4p 400117400 1 483400 1 483117400 1 4 3 4400 1 4 3 4 p400400,1 4binomial1.961.96 21.9612 0.975 10.95 24中心極限定理的應用之一二項概率的近似計算（續） n例：某單位內部有260架電話分機，每個分機有4%的時間要用外線通話。可以認為各個電話分機用不同外線是相互獨立的。問：總機需備多少條外線才能以95%的把握保證各個分機在使用外線時不必等候？ n一個分機使用外線的概率 n260個分機中同時使用外線的分機數 n設總機確定的最少外線條數為 ,n則根據clt，0.04p 260260 0.040

13、.95260 0.04 0.961xnpxxnpp p260260,0.04binomial 16x25中心極限定理n標準差 通常不知道，可用樣本標準差代替，中心極限定理仍成立，即n其中()22111nnniisxxn=-nnn xzss26中心極限定理n無論隨機變量 為何種類型的分布，只要滿足定理條件，其樣本均值就近似服從正態分布n但近似的程度與原分布有關31x e()( )31333sup4nzxzzznms- fep27多元分布的中心極限定理n令 為iid隨機向量，其中n協方差矩陣為 ，令樣本均值向量為n則 。，均值向量為，其中12,.,nxxx12.iiikixxxx1122.iikk

14、ixxxeee12.kxxxx11njjiixxn 0,n xn28delta方法n隨機變量的變換的中心極限定理n假定 ，且 可導，n則n換句話說，()()0,1nn ynms-( )0gm( )( )()( )()0,1nn g ygngmm s-( )( )( )()222,nnyng ynggnnssmmm驏驏鼢瓏鼢晦瓏鼢瓏鼢瓏桫桫29n令 為iid，n其均值和方差（有限）分別為 n則根據clt：n假設 n則利用delta方法，有例：12,.,nxxx2, , snnwg xg se sgse()0,1nxnms-驏-桫()22,nwn eenmms30delta方法n多元變量情況n假設 為隨機向量序列，n且 ，n令 且n令 表示 時 的 值，假設 中的元素非0，則12,.,nnnkyyyyy g:kgrr()()0,nn ynm-誨( )( )()()0,tnn g ygnmmm-逖( )1.kgyg ygy驏 = 桫31例：n令 為iid隨機向量，n其均值為 ，方差為n令 ，根據clt：n定義 ，其中n所以則t12, 12121111, nniiiixxxxnn121 2,g s