1、7.1 矩估計(jì)法矩估計(jì)法7.2 最大似然估計(jì)最大似然估計(jì)7.3 評價(jià)點(diǎn)估計(jì)量的準(zhǔn)則評價(jià)點(diǎn)估計(jì)量的準(zhǔn)則7.4 * * 一致一致最最小方差無偏估計(jì)小方差無偏估計(jì)7.5 * * 貝葉斯估計(jì)貝葉斯估計(jì) 7.6 區(qū)間估計(jì)區(qū)間估計(jì) 7.1.1 點(diǎn)估計(jì)問題點(diǎn)估計(jì)問題 22( ,), ,;( ),;XNunkown XPunkown 一般常用一般常用 表示表示參數(shù)參數(shù)，參數(shù)，參數(shù) 所有可能取值所有可能取值組成的集合稱為組成的集合稱為參數(shù)空間，參數(shù)空間，常用常用 表示。參表示。參數(shù)估計(jì)問題就是根據(jù)樣本對上述各種未知參數(shù)估計(jì)問題就是根據(jù)樣本對上述各種未知參數(shù)作出估計(jì)。數(shù)作出估計(jì)。參數(shù)估計(jì)的形式有兩種：參數(shù)估計(jì)的形

2、式有兩種：點(diǎn)估計(jì)與區(qū)間估計(jì)點(diǎn)估計(jì)與區(qū)間估計(jì)。點(diǎn)估計(jì)問題的一般提法點(diǎn)估計(jì)問題的一般提法: :1212( ; ).,.,.,1,.1nnXF xXXXXx xx定設(shè)總體的分布函數(shù)的形式為已知是待估參數(shù)是的一個(gè)樣本為相應(yīng)的一個(gè)義樣本值71212(,),( ,).nnXXXx xx點(diǎn)估計(jì)問題就是要構(gòu)造一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量用它的觀察值來估計(jì)未知參數(shù)12(,).nX XX稱為 的估計(jì)量(estimator)12( ,).nx xx稱為 的估計(jì)值(estimate),.通稱估計(jì)簡記為例例7.1.1 設(shè)總體設(shè)總體X服從參數(shù)為服從參數(shù)為的泊松分布，的泊松分布，為未知參為未知參數(shù)，現(xiàn)有以下樣本值數(shù)，現(xiàn)有以下樣本值 3

3、 4 1 5 6 3 8 7 2 0 1 5 7 9 8試求未知參數(shù)試求未知參數(shù)的估計(jì)值的估計(jì)值解：解：11511()1;111(3 48)4.6.1515niiniiiiE XXXnxxxn 在這里如何構(gòu)造統(tǒng)計(jì)量在這里如何構(gòu)造統(tǒng)計(jì)量 并沒有明確的規(guī)定，只要并沒有明確的規(guī)定，只要它滿足一定的合理性即可。這就涉及到兩個(gè)問題：它滿足一定的合理性即可。這就涉及到兩個(gè)問題： 其一其一 是是如何給出估計(jì)如何給出估計(jì)，即估計(jì)的方法問題，即估計(jì)的方法問題( (常常用方法有：矩法，最大似然法，最小二乘法，用方法有：矩法，最大似然法，最小二乘法，BAYESBAYES方法等）；方法等）； 其二其二 是是如何對不同

4、的估計(jì)進(jìn)行評價(jià)如何對不同的估計(jì)進(jìn)行評價(jià)，即估，即估計(jì)的好壞判斷標(biāo)準(zhǔn)（常用有無偏性，有效性，相計(jì)的好壞判斷標(biāo)準(zhǔn)（常用有無偏性，有效性，相合性等）。合性等）。7.1.2 矩估計(jì)法矩估計(jì)法 矩估計(jì)法矩估計(jì)法是基于一種簡單的是基于一種簡單的“替替換換”思想建立起來的一種估計(jì)方思想建立起來的一種估計(jì)方法法 . .英國統(tǒng)計(jì)學(xué)家英國統(tǒng)計(jì)學(xué)家K.皮爾遜皮爾遜(K.Pearson)1894年提出的年提出的 .矩法估計(jì)矩法估計(jì) : :用樣本的數(shù)字特征去用樣本的數(shù)字特征去替換替換總體的相應(yīng)數(shù)字總體的相應(yīng)數(shù)字特征，從而得到參數(shù)估計(jì)的一種方法。特征，從而得到參數(shù)估計(jì)的一種方法。 即用樣本即用樣本( (原點(diǎn)，中心原點(diǎn)，中

5、心) )矩及其函數(shù)去矩及其函數(shù)去替換替換相應(yīng)的相應(yīng)的總體總體( (原點(diǎn)，中心原點(diǎn)，中心) )矩及其函數(shù)，從而得到參數(shù)估計(jì)量矩及其函數(shù)，從而得到參數(shù)估計(jì)量的方法的方法. . 比如比如：（1）用樣本原點(diǎn)矩估計(jì)相應(yīng)的總體原點(diǎn)矩，）用樣本原點(diǎn)矩估計(jì)相應(yīng)的總體原點(diǎn)矩， 即即 ； （2）用樣本中心點(diǎn)矩估計(jì)相應(yīng)的總體中心矩；）用樣本中心點(diǎn)矩估計(jì)相應(yīng)的總體中心矩； （3）用事件）用事件A出現(xiàn)的頻率估計(jì)其概率，出現(xiàn)的頻率估計(jì)其概率， 即即（4）用樣本的）用樣本的 p 分位數(shù)估計(jì)總體的分位數(shù)估計(jì)總體的 p 分位數(shù)，分位數(shù)， 即即,()kkAE XX特別( )( );nP AfA0.50.5;.ppxMxM特別例例

6、7.1.2 設(shè)從某次考試成績中，隨機(jī)抽取了設(shè)從某次考試成績中，隨機(jī)抽取了8位同學(xué)位同學(xué)的成績?nèi)缦拢旱某煽內(nèi)缦拢?94 89 85 78 75 71 65 63 試求總體均值、標(biāo)準(zhǔn)差和中位數(shù)的矩估計(jì)值試求總體均值、標(biāo)準(zhǔn)差和中位數(shù)的矩估計(jì)值解：解：8182.0.510 517581()12.14;876.5.iiiixxxxmx；矩法估計(jì)矩法估計(jì)其其基本思想基本思想是是替換原理替換原理:用樣本矩替換（估計(jì)）總體相應(yīng)矩用樣本矩替換（估計(jì)）總體相應(yīng)矩 . . 理論依據(jù)理論依據(jù): : 大數(shù)定律；大數(shù)定律；矩法估計(jì)的實(shí)質(zhì)是用經(jīng)驗(yàn)分布函數(shù)去替換總體矩法估計(jì)的實(shí)質(zhì)是用經(jīng)驗(yàn)分布函數(shù)去替換總體分布，其理論基礎(chǔ)是格

7、里紋科定理分布，其理論基礎(chǔ)是格里紋科定理1212,nkkkknXXX iid XXXXiid X樣本樣本()(),1,2,kkikE XE Xin11.nPkkikiAXn 則有：11nkkiikkXn當(dāng)n充分大時(shí)，可以用樣本的k階原點(diǎn)矩A作為=E(X )的估計(jì).即：即：1(),1,1, 2,.;kknkkkiikXkE XAXknA若總體的 階原點(diǎn)矩存在樣本的k階原點(diǎn)矩則有：11(.,),:(.,).kkgg AA如果，得矩法估計(jì)量， 理論依據(jù)之二理論依據(jù)之二: : 矩法估計(jì)的實(shí)質(zhì)是用經(jīng)驗(yàn)分布函矩法估計(jì)的實(shí)質(zhì)是用經(jīng)驗(yàn)分布函數(shù)去替換總體分布，其理論基礎(chǔ)數(shù)去替換總體分布，其理論基礎(chǔ)是格里紋科定理

8、是格里紋科定理.1( )( ),()( ),1( ),.nkkkRnkkkiniRkkF xF xE Xx dF xAXx dF xnA22122,.nXX XX設(shè)總體的均值 和方差都存在且有但 和均為未知 又設(shè)是一個(gè)樣本 求 和的矩估計(jì)量解解1(),E X替換得到矩估計(jì)量分別為替換得到矩估計(jì)量分別為1,AX222222211111().nniiniiAAXXXXSnn例：例：222221() (),E XE X 設(shè)總體具有已知的概率函數(shù)設(shè)總體具有已知的概率函數(shù) p(x；1, , k)， X1, X2 , , Xn 是樣本，假定總體的是樣本，假定總體的i 階原點(diǎn)矩階原點(diǎn)矩 i i 存在，若存在

9、，若1, , k 能夠表示成能夠表示成 1, , k 的的函數(shù)函數(shù)i = i( 1, , k)，則可給出諸，則可給出諸i 的矩法估的矩法估計(jì)為計(jì)為 1( ,),1,2, ,iikAAik12()( ; ,)diiikE Xx p xx (X為連續(xù)型為連續(xù)型)12()( ; ,),iiikE Xx p x 或(X為離散型為離散型)1, 2,ik1111221(,.,)(,.,):.(,.,)1kkkkkstep 求1112211(,.,)(,.,).(,.)2:.,kkkkkstep解出1111:(.,),.,(.,).kkkkAAAA: 替換得矩法估計(jì)，t量s ep3，11( ,).kkg=g

10、( , ,)矩法估計(jì)為:120,(0),(,),.nXX XXX設(shè)總體 在（）上服從均勻分布其中未知是來自總體 的樣本求 的矩估計(jì)量解解11 ( ),22 ,E X因?yàn)楦鶕?jù)矩估計(jì)法根據(jù)矩估計(jì)法, ,122,AX 2.X所以為所求 的矩估計(jì)量例：例：例例7.1.3 X1, X2, , Xn是來自是來自(1,2)上的均勻分布上的均勻分布U(1,2)的樣本，的樣本，21均是未知參數(shù)，這里均是未知參數(shù)，這里k=2，由于，由于 得到得到 12122221122( ),2()()() .122E XE X12122211222,()().122不難推出不難推出 122112212,12-(). 21121

11、221213(),3().解方程組得到解方程組得到1, 2的分別為的分別為由此即可得到由此即可得到1, 2的矩估計(jì)：的矩估計(jì)：123,3nnXSXS即：21121221213(),3().AAAAAA略解略解: : 例例 設(shè)總體設(shè)總體X的概率密度為的概率密度為1,( ; , )0,xexp x 其它是未知參數(shù)是未知參數(shù), ,其中其中0, 求參數(shù)求參數(shù) 的矩估計(jì)的矩估計(jì).12222( )( ; , ),()( ; , )().E Xx p xdxE Xx p xdx 2121221,.2121221,.nnAAAXSAAS解解: : 1101()(1)2E Xxx dx11211從中得從中得21

12、,1XX的矩估計(jì)量的矩估計(jì)量. .即為即為 例例7.1.4 設(shè)總體設(shè)總體X的概率密度為的概率密度為(1),01( ; )0,xxp x其它是未知參數(shù)是未知參數(shù), ,其中其中1 求參數(shù)求參數(shù) 的矩估計(jì)的矩估計(jì).20.6010.600.5.10.6x例例7.1.5 設(shè)總體服從參數(shù)設(shè)總體服從參數(shù)的的POISSON分布，由于分布，由于E(X)= ， 即即 = E(X)，故，故 的矩法估計(jì)為的矩法估計(jì)為 另外，由于另外，由于Var(X)= ，因此，從替換原理來看，因此，從替換原理來看， 的的矩法估計(jì)也可取為矩法估計(jì)也可取為 這說明這說明矩估計(jì)可能是不唯一的矩估計(jì)可能是不唯一的，這是矩法估計(jì)的一，這是矩法

13、估計(jì)的一個(gè)缺點(diǎn)，此時(shí)通常應(yīng)該個(gè)缺點(diǎn)，此時(shí)通常應(yīng)該盡量采用低階矩盡量采用低階矩給出未知參給出未知參數(shù)的估計(jì)。數(shù)的估計(jì)。X21nS(0).XP Xee此外， 矩法的矩法的優(yōu)點(diǎn)優(yōu)點(diǎn)是簡單易行；是簡單易行； 缺點(diǎn)缺點(diǎn)是是:當(dāng)總體類型已知時(shí)，沒有充分利用分當(dāng)總體類型已知時(shí)，沒有充分利用分布提供的信息布提供的信息 . 一般場合下一般場合下,矩估計(jì)量不具有唯一矩估計(jì)量不具有唯一性性 . 最大似然法最大似然法是在總體分布類型已知條件是在總體分布類型已知條件下使用的一種參數(shù)估計(jì)方法下使用的一種參數(shù)估計(jì)方法 . . 它首先是由德國數(shù)學(xué)家它首先是由德國數(shù)學(xué)家高斯高斯在在18211821年年提出的提出的 , ,然而，

14、這個(gè)方法常歸功于英國然而，這個(gè)方法常歸功于英國統(tǒng)計(jì)學(xué)家統(tǒng)計(jì)學(xué)家費(fèi)歇費(fèi)歇. . 費(fèi)歇在費(fèi)歇在19121912年重新發(fā)現(xiàn)了這一方法，年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì)并首先研究了這種方法的一些性質(zhì) . .GaussFisher1.最大似然估計(jì)原理最大似然估計(jì)原理 最大似然估計(jì)法，是建立在最大似然原理的基最大似然估計(jì)法，是建立在最大似然原理的基礎(chǔ)上的求點(diǎn)估計(jì)量的方法。礎(chǔ)上的求點(diǎn)估計(jì)量的方法。最大似然原理是：在試最大似然原理是：在試驗(yàn)中概率最大的事件最有可能出現(xiàn)驗(yàn)中概率最大的事件最有可能出現(xiàn). 反過來應(yīng)用（合情推理）：反過來應(yīng)用（合情推理）：一個(gè)試驗(yàn)的結(jié)果一個(gè)試驗(yàn)的結(jié)果A,如有若干個(gè)

15、可能導(dǎo)致其發(fā)生的條件如有若干個(gè)可能導(dǎo)致其發(fā)生的條件C1,C2 ,Ck。若。若在一次試驗(yàn)中結(jié)果在一次試驗(yàn)中結(jié)果A發(fā)生了，則認(rèn)為發(fā)生了，則認(rèn)為A發(fā)生的發(fā)生的條件條件是使是使P（A）達(dá)到最大的條件）達(dá)到最大的條件. 或者說在試驗(yàn)的很多可能條件中，認(rèn)為應(yīng)該或者說在試驗(yàn)的很多可能條件中，認(rèn)為應(yīng)該是使事件是使事件A A發(fā)生的概率為最大的那種條件存在發(fā)生的概率為最大的那種條件存在. . 如：有如：有1010個(gè)射手同時(shí)向一目標(biāo)射擊，其中一個(gè)射手同時(shí)向一目標(biāo)射擊，其中一人為運(yùn)動(dòng)員射手。現(xiàn)在目標(biāo)被射中一次。則認(rèn)人為運(yùn)動(dòng)員射手。現(xiàn)在目標(biāo)被射中一次。則認(rèn)為：為：目標(biāo)是運(yùn)動(dòng)員射手射中的目標(biāo)是運(yùn)動(dòng)員射手射中的。 再如：盒

16、中有黑白兩種球。比例為再如：盒中有黑白兩種球。比例為99：1，但不知那種顏色的球多。現(xiàn)從中任取一球，結(jié)但不知那種顏色的球多。現(xiàn)從中任取一球，結(jié)果為白球。則認(rèn)為：果為白球。則認(rèn)為：盒中白球多盒中白球多。例如：例如：該方法這樣用于參數(shù)估計(jì)：該方法這樣用于參數(shù)估計(jì)：( )( ),.,( )( )( )maxP AfAP Aff 現(xiàn)在 發(fā)生了 應(yīng)估計(jì) 為，它使得12102881001(1) ,01154()( ).5maxAXXXP AL 則現(xiàn)在=1,=0,.,=0發(fā)生了,P(A)=L( )（）應(yīng)估計(jì) 為，它使得L( )=12101210(1, ),(,XBx xxXXX： 設(shè))=(1,0,0,0,0

17、,0,1,0,0,0)為相應(yīng)于樣本（） 的引一個(gè)樣本值例10.2OL()2. 最大似然估計(jì)求法最大似然估計(jì)求法(1)X設(shè)總體屬離散型( ; ),P Xxp x 設(shè)總體X的分布列為待估參數(shù)其中是 可能的取值范圍12,nXXXX是來自總體的樣本1212,.nnx xxX XX又設(shè)為相應(yīng)于樣本的一個(gè)樣本值1212,nnX XXx xx則樣本取到觀察值的概率1122,nnXx XxXx即事件發(fā)生的概率為121( )( ,; )( ; ),nniiLL x xxp x( ).L稱為樣本似然函數(shù)12,( )nx xxL得到樣本值時(shí)選取使似然函數(shù),取得最大值的作為未知參數(shù)的估計(jì)值( )max ( ).LL即

18、1212,( ,),nnx xxx xx這樣得到的 與樣本值有關(guān)記為12(,)nXXX ,參數(shù)的最大似然估計(jì)值 .參數(shù)的最大似然估計(jì)量12(,),nx xx(2)X設(shè)總體屬連續(xù)型( ; ),p x 設(shè)總體X的分布密度函數(shù)為待估參數(shù)其中是可能的取值范圍12,nXXXX是來自總體的樣本1212,.nnx xxX XX又設(shè)為相應(yīng)于樣本的一個(gè)樣本值121212(,)( ,)(d ,d ,d)nnnX XXx xxxxxn則隨機(jī)點(diǎn)落在點(diǎn)的鄰域 邊長分別為的 維立方體 內(nèi)的概率近似地為111(;)d(;)dniiinniiiip xxp xx121( )(,; )( ; ),nniiLL x xxp x(

19、 ).L稱為樣本的似然函數(shù)( )max ( ).LL若 ,參數(shù)的最大似然估計(jì)值 .參數(shù)的最大似然估計(jì)量12(,),nx xx12(,)nXXX定義定義7.2.1 設(shè)總體的概率函數(shù)為設(shè)總體的概率函數(shù)為p(x; )， 是參數(shù)是參數(shù)可可能取值的參數(shù)空間，能取值的參數(shù)空間，X1, X2 , , Xn 是樣本，其觀測是樣本，其觀測值為：值為： 則稱下列函數(shù)為樣本的則稱下列函數(shù)為樣本的似然函數(shù)似然函數(shù) .1211( )(,; )( ; )(;( ; ),.)(; )ninniLL xxp xp xp xp x 12,.nx xx 如果如果 滿滿 足足 則稱則稱 是是 的的最（極最（極)大似然估計(jì)值大似然估

20、計(jì)值，則稱則稱 是是 的的最（極最（極)大似然估計(jì)量大似然估計(jì)量，兩者統(tǒng)稱為最大似然估計(jì)（兩者統(tǒng)稱為最大似然估計(jì)（Maximum Likelihood Estimate，MLE），并簡記為），并簡記為 1(,)nxx1( , , )nxx ( )max( )LL1(,)nXX. lnln ( )LLL由于與（ ）在同一點(diǎn)處達(dá)最大值，故為了方便有時(shí)求的極大值點(diǎn)。 oln()L( )L人們通常更習(xí)慣于由人們通常更習(xí)慣于由對數(shù)似然函數(shù)對數(shù)似然函數(shù)lnL( )出發(fā)尋出發(fā)尋找找 的極大似然估計(jì)的極大似然估計(jì). .當(dāng)當(dāng)L( )是可微函數(shù)時(shí)是可微函數(shù)時(shí), ,求導(dǎo)求導(dǎo)是求極大似然估計(jì)最是求極大似然估計(jì)最常用的

21、方法，對常用的方法，對lnL( )求導(dǎo)更加簡單些求導(dǎo)更加簡單些. .求最大似然估計(jì)量的步驟如下求最大似然估計(jì)量的步驟如下: :121() ( )(,; )( ; );nniiLL x xxp x二寫出似然函數(shù)3. 最大似然估計(jì)法步驟最大似然估計(jì)法步驟() ( ; );Xp x一寫出總體的概率函數(shù)() ()ln()lL三取 對 數(shù)dln ( )dln ( )( ) ,0,dd.LL四 對求導(dǎo)并令解方程即得未知（注：駐點(diǎn)唯一，一般為最大值點(diǎn)參數(shù) 的最大似然，一般不估計(jì)值用驗(yàn)證！） 最大似然估計(jì)法也適用于分布中含有多個(gè)最大似然估計(jì)法也適用于分布中含有多個(gè)未知參數(shù)的情況未知參數(shù)的情況. . 此時(shí)只需令

22、此時(shí)只需令ln0,1,2, .iLik, (1,2, ).iikik解出由個(gè)方程組成的方程組 即可得各未知參數(shù)的最大似然估計(jì)值解：解：似然函數(shù)為似然函數(shù)為11111( ),0,1,2,niiixnxiniLeexin例例7.2.1 設(shè)設(shè)X1,X2,Xn是取自指數(shù)總體是取自指數(shù)總體X的一個(gè)樣本的一個(gè)樣本1,0,( ; )0,0.xexXp xx求求 的極大似然估計(jì)的極大似然估計(jì). .0其中未知其中未知 1ln( )10niidLnxd 求導(dǎo)并令其為求導(dǎo)并令其為0 0從中解得從中解得11,niixxn 的的MLE 為：為：對數(shù)似然函數(shù)為對數(shù)似然函數(shù)為11ln( )lnniiLnx 11.niiXX

23、n如果樣本值為：如果樣本值為：1067 919 1196 785 1126 936 918 1156 920 948 有有1011997.1.10iix例例7.2.2 設(shè)一個(gè)試驗(yàn)有三種可能結(jié)果，其發(fā)生概率設(shè)一個(gè)試驗(yàn)有三種可能結(jié)果，其發(fā)生概率分別為分別為 現(xiàn)做了現(xiàn)做了n次試驗(yàn)，觀測到三種結(jié)果發(fā)生的次數(shù)分次試驗(yàn)，觀測到三種結(jié)果發(fā)生的次數(shù)分別為別為 n1 , n2 , n3 (n1+ n2+ n3 = n)，求，求 的的MLEMLE。22123,2 (1),(1)ppp22,1,( ;)2 (1),2,(1,3.)xpxXxx1232232212212( )() 2 (1) (1) )2(1)( ;

24、nnnnnnniinnLp x解解: : 12322ln ( )(2)ln(2)ln(1)ln2Lnnnnn將之關(guān)于將之關(guān)于 求導(dǎo)，并令其為求導(dǎo)，并令其為0得到似然方程得到似然方程解之，得解之，得 1235,6,9,2560.4.220nnn 當(dāng)12322201nnnn1212123222()2nnnnnnnn解：解：似然函數(shù)為似然函數(shù)為1( )(1)niiLx1(1) () ,01,1,2, .nniiixxin例例7.2.3 設(shè)設(shè)X1,X2,Xn是取自總體是取自總體X的一個(gè)樣本的一個(gè)樣本(1),01,( ; )0,xxXp x其它.求求 的極大似然估計(jì)的極大似然估計(jì). .1 其中其中 1l

25、n ( )ln01niidLnxd求導(dǎo)并令其為求導(dǎo)并令其為0 0從中解得從中解得1ln1niinx 的的MLE 為：為：對數(shù)似然函數(shù)為對數(shù)似然函數(shù)為1ln ( )ln(1)lnniiLnx1ln1.niinX 例例7.2.4 對正態(tài)總體對正態(tài)總體N( , 2)，=( , 2)是二維是二維參數(shù)，求參數(shù)，求 =( , 2)的的MLE。 22()221( ;,)2:,xXp xeSolutnxio 設(shè)有樣本值設(shè)有樣本值x1, x2 , , xn，則似然函數(shù)及其對數(shù)分別為，則似然函數(shù)及其對數(shù)分別為 22212/2221222211()( ,)exp221(2)exp(),2,1,2, .1ln ( ,

26、)()lnln(2 )222niinniiiniixLxxinnnLx 將將 lnL( , 2) 分別關(guān)于兩個(gè)分量求偏導(dǎo)并令其為分別關(guān)于兩個(gè)分量求偏導(dǎo)并令其為0, 即得到似然方程組即得到似然方程組 221ln ( ,)1()0niiLx 222421ln ( ,)1()022niiLnx 解此方程組，可得解此方程組，可得 的極大似然估計(jì)為的極大似然估計(jì)為 2的極大似然估計(jì)的極大似然估計(jì) 利用二階導(dǎo)函數(shù)矩陣的非正定性可以說明上述利用二階導(dǎo)函數(shù)矩陣的非正定性可以說明上述估計(jì)使得似然函數(shù)取極大值。估計(jì)使得似然函數(shù)取極大值。 11niixxn2211()niixxn可得可得 的極大似然估計(jì)量為的極大似

27、然估計(jì)量為得出得出 2的極大似然估計(jì)量為的極大似然估計(jì)量為11;niiXXn22211()niniXXSn 注：雖然求導(dǎo)函數(shù)是求極大似然估計(jì)最常用的方注：雖然求導(dǎo)函數(shù)是求極大似然估計(jì)最常用的方法，但并不是在所有場合求導(dǎo)都是有效的。法，但并不是在所有場合求導(dǎo)都是有效的。12121212( ,),) . .,. , X 7 2 5 設(shè)總體在上服從均勻分布其中未知(求的最大似然估計(jì)例1112121221(1)( )22(1)1)1(11()(1(,1,2,., ,),)min ,., ,max ,., ( ;)nninnninniLxinxxwherepxxxxxxx 121221:,1(;),Xp

28、 xSolutnxio 要使要使L()達(dá)到最大，必須是達(dá)到最大，必須是1/(n盡可能大。盡可能大。亦即亦即的取值應(yīng)盡可能小，須的取值應(yīng)盡可能小，須盡可能小，須盡可能小，須盡可能大，由于，盡可能大，由于， 由此給出由此給出的極大似然估計(jì)：的極大似然估計(jì)： 給出給出 的極大似然估計(jì)量：的極大似然估計(jì)量：1121(1)( )min,.,max,.,.nnnXXXXXX12(1)( ),nxx1(1)( )2,nxx(0, ),.X設(shè)總體在上服從均勻分布 其中未知 求的最大似單情形：然估計(jì)邊( )12max,.nnXXXX2()1(1)2,( ; )min,.,.,0 xMLnEexXp xXX：總體

29、X其它未知，則再補(bǔ)充一例 極大似然估計(jì)有一個(gè)簡單而有用的性質(zhì)：如果極大似然估計(jì)有一個(gè)簡單而有用的性質(zhì)：如果 是是 的極大似然估計(jì)，則對任一函數(shù)的極大似然估計(jì)，則對任一函數(shù) g( )，其極大似然估計(jì)為其極大似然估計(jì)為 。該性質(zhì)稱為。該性質(zhì)稱為極大似然極大似然估計(jì)的估計(jì)的不變性不變性，從而使一些復(fù)雜結(jié)構(gòu)的參數(shù)的從而使一些復(fù)雜結(jié)構(gòu)的參數(shù)的極大似然估計(jì)的獲得變得容易了。極大似然估計(jì)的獲得變得容易了。 ( )g 例例 設(shè)設(shè) X1 , X2 , , Xn是來自正態(tài)總體是來自正態(tài)總體N( , 2) 的樣本，則的樣本，則 和和 2的極大似然估計(jì)為的極大似然估計(jì)為 于是由不變性可得如下參數(shù)的極大似然估計(jì)，它于是

30、由不變性可得如下參數(shù)的極大似然估計(jì)，它們是們是: 3(3)P X22, nXSnS 標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差 的的MLE是是 ；概率概率 的的MLE是是 . .3nSX定義定義7.3.1 設(shè)設(shè) 是是 的一個(gè)估計(jì)，的一個(gè)估計(jì)， 的參數(shù)空間為的參數(shù)空間為，若對任意的，若對任意的 ，有，有 則稱則稱 是是 的的無偏估計(jì)無偏估計(jì)，否則稱為否則稱為有偏估計(jì)有偏估計(jì)。 1(,)nXX( )E7.3.1 無偏估計(jì)無偏估計(jì)無偏估計(jì)的實(shí)際意義無偏估計(jì)的實(shí)際意義: : 無系統(tǒng)誤差無系統(tǒng)誤差. .定義定義7.3.1續(xù)續(xù) 設(shè)設(shè) 是是 的一個(gè)估計(jì)，的一個(gè)估計(jì)， 的參數(shù)空間為的參數(shù)空間為，若對任意的，若對任意的 ，有，有 則稱則稱

31、是是 的的漸近漸近無偏估計(jì)無偏估計(jì). 1(,)nXXlim( )nE( )( ).BE偏差(系統(tǒng)：誤差）例例7.3.1 對任一總體而言，樣本均值是總體均值的無偏估計(jì)。對任一總體而言，樣本均值是總體均值的無偏估計(jì)。當(dāng)總體當(dāng)總體k階矩存在時(shí)，樣本階矩存在時(shí)，樣本k階原點(diǎn)矩階原點(diǎn)矩Ak是總體是總體k階原點(diǎn)矩階原點(diǎn)矩 k的無偏估計(jì)。的無偏估計(jì)。 但對中心矩則不一樣，譬如，由于但對中心矩則不一樣，譬如，由于 ，樣本，樣本方差方差Sn2不是總體方差不是總體方差 2的無偏估計(jì)，對此，有如下兩點(diǎn)說的無偏估計(jì)，對此，有如下兩點(diǎn)說明：明： (1) 當(dāng)樣本量趨于無窮時(shí)，有當(dāng)樣本量趨于無窮時(shí)，有E(Sn2) 2， S

32、n2 為為 2的的漸近無偏估計(jì)漸近無偏估計(jì)。 (2) 若對若對Sn2的的修正：修正： 則則 S2 是總體方差的無偏估計(jì)。是總體方差的無偏估計(jì)。221()nnE Sn22211()11nniinSSXXnn例例7.3.3 設(shè)總體為設(shè)總體為N( , 2)，X1 , X2 , , Xn是樣本，是樣本，則則S2是是 2的無偏估計(jì)，且可求出的無偏估計(jì)，且可求出 這說明這說明 S 不是不是 的無偏估計(jì)的無偏估計(jì). . 利用修正技術(shù)可得利用修正技術(shù)可得 cn S 是是 的無偏估計(jì)的無偏估計(jì)，其中，其中 是修偏系數(shù)是修偏系數(shù). . 可以證明，當(dāng)可以證明，當(dāng)n時(shí)時(shí), , 有有cn1. . 這說明這說明 S 是是

33、 的漸近無偏估計(jì)的漸近無偏估計(jì)。 2( / 2)( )1(1) / 2)nnE Snnc1(1)/2)2( /2)nnncn解解2221(1),nYSn由第由第6章第章第4節(jié)節(jié)FISHER定理知定理知112210211edy122nynnSEyyn122102212edy,11222ynnnynn22( ),112nE Snn ,S故不是的無偏估計(jì)量112 .22nnSn是的無偏估計(jì)量定義定義7.3.2 設(shè)設(shè) 是是 的兩個(gè)無偏估計(jì)，如的兩個(gè)無偏估計(jì)，如果對任意的果對任意的 , 有有 且至少有一個(gè)且至少有一個(gè) 0使得上述不等號嚴(yán)格使得上述不等號嚴(yán)格成立，則稱成立，則稱 比比 有效。有效。 12,

34、 12Var()Var(),127.3.2 有效估計(jì)有效估計(jì) 例例7.3.4 設(shè)設(shè) X1, X2 , , Xn 是取自某總體的樣本，記總是取自某總體的樣本，記總體均值為體均值為 ，總體方差為，總體方差為 2，則，則 都是都是 的無偏估計(jì)，但的無偏估計(jì)，但 顯然，只要顯然，只要 n1， 比比 有效。這表明用全部數(shù)據(jù)有效。這表明用全部數(shù)據(jù)的平均估計(jì)總體均值要比只使用部分?jǐn)?shù)據(jù)更有效。的平均估計(jì)總體均值要比只使用部分?jǐn)?shù)據(jù)更有效。 121,XX2212Var()/ ,Var()n1211=,0,1nniiiiiiXXX一般地,在 的無偏估計(jì)量類：中，最有效.例例7.3.5 設(shè)設(shè) X1, X2 , , X

35、n 是取正態(tài)總體的樣本，總是取正態(tài)總體的樣本，總體均值為體均值為 0已知已知 ，總體方差為，總體方差為 2 未知未知，則，則 _2222200112422222000212_4222222122011()()12( )12(1)1nniiiiniiniiSXSXXnnnXSnE SVar SnnXXSnE SVar SnSS考慮 的兩個(gè)無偏估計(jì)量：，；，。比 有效。例例7.3.6 均勻總體均勻總體U(0, )中中 的兩個(gè)無偏估計(jì)是的兩個(gè)無偏估計(jì)是：試比較其有效性。試比較其有效性。 12( )12nnXXn，1221( )2 ( )2 ( )2= ,244Var( )4Var( )Var( ).

36、123EE XE XXXnnn 由次序統(tǒng)計(jì)量的分布，我們知道由次序統(tǒng)計(jì)量的分布，我們知道 X(n) 的分布密度函的分布密度函數(shù)為數(shù)為 p(y)=n y n-1/ n, 0y 0，有，有 ( (7.3.6) ) 則稱則稱 為為 參數(shù)的參數(shù)的相合估計(jì)（一致估計(jì)）量相合估計(jì)（一致估計(jì)）量。 1(,)nnnXXlim(|)0nnPn 相合性被認(rèn)為是對估計(jì)的一個(gè)最基本要求相合性被認(rèn)為是對估計(jì)的一個(gè)最基本要求, 如果一個(gè)估計(jì)量如果一個(gè)估計(jì)量, 在樣本量不斷增大時(shí)，它都不在樣本量不斷增大時(shí)，它都不能把被估參數(shù)估計(jì)到任意指定的精度能把被估參數(shù)估計(jì)到任意指定的精度, 那么這個(gè)那么這個(gè)估計(jì)是很值得懷疑的。估計(jì)是很

37、值得懷疑的。 通常，不滿足相合性要通常，不滿足相合性要求的估計(jì)一般不予考慮。求的估計(jì)一般不予考慮。 若把依賴于樣本量若把依賴于樣本量n的估計(jì)量的估計(jì)量 看作一個(gè)隨看作一個(gè)隨機(jī)變量序列，相合性就是機(jī)變量序列，相合性就是 依依概率收斂于概率收斂于 , 所所以證明估計(jì)的相合性可以證明估計(jì)的相合性可應(yīng)用依概率收斂的定義應(yīng)用依概率收斂的定義 性質(zhì)及大數(shù)定律和下面的定理性質(zhì)及大數(shù)定律和下面的定理。 nnn()ng定理定理7.3.1 若若 是是 的相合估計(jì)，的相合估計(jì)，g( ) 是是 連續(xù)函數(shù)，連續(xù)函數(shù)，則則 是是g( )的相合估計(jì)。的相合估計(jì)。0,0,|,( )( ) |;|)( ) |.1lim(|)l

38、im()( ) |)1lim()( ) |Pr:)1.nnnnnnnngxxggPPgfPgoo由函數(shù) 的連續(xù)性，當(dāng)|有|g| g(|g(|g(1,nkn1(,)nkng定理定理7.3.2 若若 分別是分別是1, , k 的相合估的相合估計(jì)，計(jì)，g(1 , , xk) 是是1, , k 的連續(xù)函數(shù)，則的連續(xù)函數(shù)，則 是是 g(1 , , k ) 的相合估計(jì)。的相合估計(jì)。1110 ,0 ,|,1, 2 , .,.(, .,)(, .,) |;, .,00 ,(|),1, 2 , . .P r. ,:jjnnnk njnjgjkgvNnNvPjkokof由 函 數(shù)的 連 續(xù) 性 ，當(dāng) |有| g又

39、 由的 相 合 性 ， 對 給 定 的，正 整 數(shù)， 使 得時(shí) ， 有 ：|111111(,.,)(,.,) |)(|)(|),(,.,)(,.,).nknkkjnjjkjnjjPnknkPgPPvg |g|即g222 2 S S A nnkkXSS （ 1） 樣 本 均 值 是 總 體 均 值 的 相 合 估 計(jì) 量 ;（） 樣 本 方 差及都 是 總 體 方 差的 相 合 估 計(jì) 量 ;（ 3） 樣 本 標(biāo) 準(zhǔn) 差 及 都 是 總 體 標(biāo) 準(zhǔn) 差 的 相 合 估 計(jì) 量 ;（ 4） 樣 本 原 點(diǎn) 矩是 總 體 原 點(diǎn) 矩 的 相 合 估 計(jì) 量 .例例7.3.8 設(shè)設(shè) X1, X2 ,

40、, Xn 是取自某總體的樣本，總是取自某總體的樣本，總體各階矩存在。記總體均值為體各階矩存在。記總體均值為 ，總體方差為，總體方差為 2。注：注： 由該題，我們可以看到由該題，我們可以看到, ,矩估計(jì)一般都具有相合性。矩估計(jì)一般都具有相合性。證明證明（1 1）由）由辛欽大數(shù)定律辛欽大數(shù)定律知知, , 0,11 lim1,niniPXn有11 .niiXXn所以是的相合估計(jì)量22221111(2) S()nnniiiiXXXXnn222,() AXA是樣本二階原點(diǎn)矩由辛欽大數(shù)定律知由辛欽大數(shù)定律知, , 22211(), niiAXE Xn依概率收斂于11( ), niiXXE Xn依概率收斂于

41、222 SnAX故222() (),E XE X依概率收斂于22 S . n所以是的相合估計(jì)量 lim1, 1nnn又222 S . 1nnSn所以也是的相合估計(jì)量; , S . PPnnSSS (3) 由定理7.3.1知：所以均為的相合估計(jì)量k1k1(), . nkkikikAXE XnA(4)由辛欽大數(shù)定律知,依概率收斂于所以是的相合估計(jì)量定理定理7.3.3 設(shè)設(shè) ，是，是 的一個(gè)估計(jì)量，的一個(gè)估計(jì)量，若若 則則 是是 的相合估計(jì)。的相合估計(jì)。1(,)nnnXXlim(),lim()0nnnnEVarn22220 ,(| )0(|)()()0P r:nnnnb yM a rk o vin

42、e q u a lityw e h a v eEPV a rEo o f|例例7.3.9 設(shè)設(shè) X1, X2 , , Xn 是來自均勻總體是來自均勻總體U(0, ) 的樣本，證明的樣本，證明 的極大似然估計(jì)是相合估計(jì)。的極大似然估計(jì)是相合估計(jì)。證明證明: 的極大似然估計(jì)是的極大似然估計(jì)是X(n)。故由例。故由例7.3.6有有 由定理由定理7.3.3可知，可知，X(n)是是 的相合估計(jì)。的相合估計(jì)。22(),1V a r ()0 , (1) (2 )nEnnnn定理定理7.3.4 設(shè)總體設(shè)總體X有概率函數(shù)有概率函數(shù) p(x; )， ， 為非退化區(qū)間，假定為非退化區(qū)間，假定 (1) 對任意的對任意

43、的x，偏導(dǎo)數(shù)，偏導(dǎo)數(shù) ， 和和 對所有對所有 都存在；都存在； (2) , 有有 ， 其中函數(shù)其中函數(shù)F1(x) , F2(x), F3(x)可積可積. .ln p22ln p33ln p2312323ln( ),( ),( )pppF xF xF x7.3.5 其它準(zhǔn)則（其它準(zhǔn)則（ (3) , 若若 X1, X2 , , Xn 是來自該總體的樣本，則存在是來自該總體的樣本，則存在未知參數(shù)未知參數(shù) 的極大似然估計(jì)的極大似然估計(jì) ，且，且 具具有有相合性和漸近正態(tài)性相合性和漸近正態(tài)性: : 1,( )nNnI2ln0( )( ; )dpIp xx1(,)nnnXXn 定義定義6.4.2 對參數(shù)估

44、計(jì)問題，設(shè)對參數(shù)估計(jì)問題，設(shè) 是是 的一個(gè)無的一個(gè)無 偏估計(jì)，如果對另外任意一個(gè)偏估計(jì)，如果對另外任意一個(gè) 的無偏估計(jì)的無偏估計(jì) ， 在參數(shù)空間在參數(shù)空間上都有上都有 則稱則稱 是是 的的一致最小方差無偏估計(jì)，一致最小方差無偏估計(jì)，簡記為簡記為 UMVUE。Var ( )Var ( )7.4.1 一致最小方差無偏估計(jì)一致最小方差無偏估計(jì) 介紹介紹UMVUE的概念，找的概念，找UMVUE的三種方法。的三種方法。 定理定理7.4.1 設(shè)設(shè) (X1, X2 , , Xn) 是來自某總體的一個(gè)樣是來自某總體的一個(gè)樣本，本， 是是 的一個(gè)無偏估計(jì)，的一個(gè)無偏估計(jì)， 則則 是是 的的UMVUE的的充要條件

45、充要條件是：是： 如果對任意如果對任意一個(gè)滿足一個(gè)滿足 E( )=0，Var( )0, 用條件期望構(gòu)造一個(gè)新的隨機(jī)用條件期望構(gòu)造一個(gè)新的隨機(jī)變量變量 （Y），其定義為），其定義為 則有則有 ( )(|)yE X Yy( ( ),( ( )(),EYVarYVar XXY等號成立和（ ）幾乎處處相等。7.4.2 充分性原則充分性原則 以下定理說明：以下定理說明：好的無偏估計(jì)都是充分統(tǒng)計(jì)量的函好的無偏估計(jì)都是充分統(tǒng)計(jì)量的函數(shù)數(shù)。 定理定理7.4.3 設(shè)總體概率函數(shù)是設(shè)總體概率函數(shù)是 p(x; )， X1, X2 , , Xn 是其樣本是其樣本，T=T(X1, X2 , , Xn )是是 的的充分充

46、分統(tǒng)計(jì)統(tǒng)計(jì)量，則量，則 對對 的任一無偏估計(jì)的任一無偏估計(jì) ，令令 ， 則則 也是也是 的無偏估計(jì)，且的無偏估計(jì)，且 1(,)nXX(| )ETVar( )Var( ) 定理定理7.4.3說明說明：如果無偏估計(jì)不是充分統(tǒng)計(jì)如果無偏估計(jì)不是充分統(tǒng)計(jì) 量的函數(shù)，則將之對充分統(tǒng)計(jì)量求條件期量的函數(shù)，則將之對充分統(tǒng)計(jì)量求條件期 望可以得到一個(gè)新的無偏估計(jì)，該估計(jì)的望可以得到一個(gè)新的無偏估計(jì)，該估計(jì)的 方差比原來的估計(jì)的方差要小，從而降低方差比原來的估計(jì)的方差要小，從而降低 了無偏估計(jì)的方差。換言之，考慮了無偏估計(jì)的方差。換言之，考慮 的估的估 計(jì)問題只需要在基于充分統(tǒng)計(jì)量的函數(shù)中計(jì)問題只需要在基于充分

47、統(tǒng)計(jì)量的函數(shù)中 進(jìn)行即可，該說法對所有的統(tǒng)計(jì)推斷問題進(jìn)行即可，該說法對所有的統(tǒng)計(jì)推斷問題 都是正確的，這便是所謂的都是正確的，這便是所謂的充分性原則充分性原則。 例例7.4.2 設(shè)設(shè) X1, X2 , , Xn 是來自是來自B(1, p)的樣本，則的樣本，則 是是p 的充分統(tǒng)計(jì)量。為估計(jì)的充分統(tǒng)計(jì)量。為估計(jì) =p(1- p)，可令可令 由于由于 ，所以，所以 是是 的的無偏估計(jì)。這個(gè)只使用了兩個(gè)觀測值的估計(jì)并不無偏估計(jì)。這個(gè)只使用了兩個(gè)觀測值的估計(jì)并不好好. .下面我們用下面我們用Rao- -Blackwell定理對之加以改進(jìn)：定理對之加以改進(jìn)：求求 關(guān)于充分統(tǒng)計(jì)量關(guān)于充分統(tǒng)計(jì)量 的條件期望，

48、的條件期望，得得TnX1211,00XX， 其它12( )(1,0)(1)EP XXpp 1niiTX()()(1)(|)(1)(1)(1).t ntT nTnXXETtn nn nn n 定理定理7.4.4 設(shè)總體概率函數(shù)是設(shè)總體概率函數(shù)是 p(x; )， X1, X2 , , Xn 是其樣本，是其樣本，T=T(X1, X2 , , Xn )是是 的的充分完備充分完備統(tǒng)計(jì)統(tǒng)計(jì)量，則量，則 對對 的任一無偏估計(jì)：的任一無偏估計(jì)： 令令 則則 是是 的唯一的唯一UMVUE。 1(,)nXX( | )ET 例例7.4.3 設(shè)設(shè) X1, X2 , , Xn 是來自是來自B(1, p)的樣本，則的樣本

49、，則 是是p 的的充分完備充分完備統(tǒng)計(jì)量。由于統(tǒng)計(jì)量。由于1niiTX1(|)(|)niipE p TE XXpXXpUMVUE是p的常用無的偏估計(jì)，是。定義定義7.4.2 設(shè)總體設(shè)總體 X 的概率函數(shù)的概率函數(shù) p(x; ), , ，則稱，則稱 為總體分布的為總體分布的費(fèi)希爾費(fèi)希爾(Fisher) 信息量。信息量。 2( )ln ( ; )IEp X7.4.3 Cramer-Rao不等式不等式定義定義7.4.2 設(shè)總體的概率函數(shù)設(shè)總體的概率函數(shù) p(x; ), 滿足下列條件：滿足下列條件： (1) 參數(shù)空間參數(shù)空間是直線上的一個(gè)開區(qū)間；是直線上的一個(gè)開區(qū)間； (2) 支撐支撐 S=x: p(

50、x; )0與與 無關(guān)；無關(guān)； (3) 導(dǎo)數(shù)導(dǎo)數(shù) 對一切對一切 都存在；都存在； (4) 對對p(x; )，積分與微分運(yùn)算積分與微分運(yùn)算可交換次序；可交換次序； (5) 期望期望 存在；則稱存在；則稱 為總體分布的為總體分布的費(fèi)希爾費(fèi)希爾(Fisher) 信息量。信息量。 ( ; )p x2ln(; )Ep X2( )ln ( ; )IEp X 費(fèi)希爾信息量是數(shù)理統(tǒng)計(jì)學(xué)中一個(gè)基本概念，費(fèi)希爾信息量是數(shù)理統(tǒng)計(jì)學(xué)中一個(gè)基本概念，很多的統(tǒng)計(jì)結(jié)果都與費(fèi)希爾信息量有關(guān)。如極很多的統(tǒng)計(jì)結(jié)果都與費(fèi)希爾信息量有關(guān)。如極大似然估計(jì)的漸近方差，無偏估計(jì)的方差的下大似然估計(jì)的漸近方差，無偏估計(jì)的方差的下界等都與費(fèi)希爾

51、信息量界等都與費(fèi)希爾信息量I( )有關(guān)。有關(guān)。I( )的種種的種種性質(zhì)顯示，性質(zhì)顯示，“I( )越大越大”可被解釋為總體分布可被解釋為總體分布中包含未知參數(shù)中包含未知參數(shù) 的信息越多。的信息越多。例例7.4.4 設(shè)總體為泊松分布設(shè)總體為泊松分布P( )分布，則分布，則 于是于是ln( ; )lnln( !)p xxxln( ; )1xp x21( )XIE例例7.4.5 設(shè)總體為指數(shù)分布，其密度函數(shù)為設(shè)總體為指數(shù)分布，其密度函數(shù)為 1( ; )exp,0, 0 xp xx221ln( ; )xxp x2242Var()1( )XXIE定理定理7.4.5（Cramer-Rao不等式）不等式） 設(shè)

52、定義設(shè)定義7.4.2的條件滿足，的條件滿足，X1, X2 , , Xn 是來自該是來自該總體的樣本，總體的樣本，T=T(X1, X2 , , Xn )是是g( )的任的任 一個(gè)無偏估計(jì)，一個(gè)無偏估計(jì)， 存在，且對存在，且對 中一切中一切 ，微分可在積分號下進(jìn)行，則有，微分可在積分號下進(jìn)行，則有 ()()gg2Var( ) ( )( )TgnI證明證明以連續(xù)總體為例加以證明以連續(xù)總體為例加以證明.(; )1,1,2,iip xdxin 0(; )iip xdx ln (; ) (; )iiip xp xdx ln (; )iEp X 11=ln(; )ln (; )nniiiiZp Xp X 1

53、ln (; )0niiEZEp X 2()()E ZVar Z 1ln (; )niiVarp X 21ln (; )( )niiEXnIp ( )()( )gE TZE TgZ 又又222( )( ) ()gE TgE Z ( )()Var T Var Z 2Var( ) ( )( )TgnI 上式稱為上式稱為克拉美克拉美-羅（羅（C-R）不等式）不等式; g()2/(nI( )稱為稱為g( )的無偏估計(jì)的方差的無偏估計(jì)的方差 的的C-R下界，下界，簡稱簡稱g( )的的C-R下界。下界。 特別，對特別，對 的無偏估計(jì)的無偏估計(jì) ,有有 ;1Var( ) ( ( )nI 如果等號成立，則稱如果

54、等號成立，則稱 T=T(X1, , Xn) 是是 g( )的的優(yōu)效估計(jì)優(yōu)效估計(jì)，一般，一般優(yōu)效估計(jì)一定是優(yōu)效估計(jì)一定是 UMVUE。例例7.4.6 設(shè)總體分布列為設(shè)總體分布列為p(x, )= x(1- - )1- -x, , x=0,1，它滿足定理，它滿足定理7.4.5的所有條件，可以算得的所有條件，可以算得該分布的費(fèi)希爾信息量為該分布的費(fèi)希爾信息量為 ，若，若 X1, X2, , Xn 是該總體的樣本，則是該總體的樣本，則 的的C- -R下界下界為為(nI( )- -1= (1- - )/n。因?yàn)椤Ｒ驗(yàn)?是是 的無偏估計(jì)，的無偏估計(jì)，且其方差等于且其方差等于 (1- - )/n，達(dá)到，達(dá)到C

55、- -R 下界，所以下界，所以 是是 的有效估計(jì)，它也是的有效估計(jì)，它也是 的的UMVUE。 1()(1)IXX例例7.4.7 設(shè)總體為指數(shù)分布設(shè)總體為指數(shù)分布Exp(1/ )，它滿足定理，它滿足定理7.4.5的所有條件，例的所有條件，例6.4.4中已經(jīng)算出該分布的費(fèi)中已經(jīng)算出該分布的費(fèi)希爾信息量為希爾信息量為I( ) = - -2，若，若X1, X2, , Xn 是樣本，是樣本，則則 的的C- -R下界為下界為(nI( )- -1=2/n。而。而 是是 的無偏估計(jì)，且其方差等于的無偏估計(jì)，且其方差等于2/n，達(dá)到了，達(dá)到了C- -R下界，所以，下界，所以， 是是 的有效估計(jì)，它也是的有效估計(jì)

56、，它也是 的的UMVUE。XX能達(dá)到能達(dá)到C- -R下界的無偏估計(jì)不多下界的無偏估計(jì)不多: :例例7.4.8 設(shè)總體為設(shè)總體為N(0, 2 )，滿足定理，滿足定理7.4.5的條件，的條件，且費(fèi)希爾信息量為且費(fèi)希爾信息量為 ，令，令 , , 則則 的的C- -R下界為下界為 , , 而而 的的UMVUE為為 其方差大于其方差大于C- -R下界。這表明所有下界。這表明所有 的無偏估計(jì)的的無偏估計(jì)的方差都大于其方差都大于其C- -R下下界。界。 241()2I22()g2222()()2gnIn21( / 2)12(1) / 2)niinnXnn7.5.1 統(tǒng)計(jì)推斷的基礎(chǔ)統(tǒng)計(jì)推斷的基礎(chǔ) 經(jīng)典學(xué)派經(jīng)典

57、學(xué)派的觀點(diǎn)：的觀點(diǎn)：統(tǒng)計(jì)推斷是根據(jù)樣本信息統(tǒng)計(jì)推斷是根據(jù)樣本信息對總體分布或總體的特征數(shù)進(jìn)行推斷，這里對總體分布或總體的特征數(shù)進(jìn)行推斷，這里用到兩種信息：用到兩種信息：總體信息總體信息和和樣本信息樣本信息；貝葉斯學(xué)派貝葉斯學(xué)派的觀點(diǎn)：除了上述兩種信息以外，的觀點(diǎn)：除了上述兩種信息以外，統(tǒng)計(jì)推斷還應(yīng)該使用第三種信息：統(tǒng)計(jì)推斷還應(yīng)該使用第三種信息：先驗(yàn)信息。先驗(yàn)信息。 （1）總體信息總體信息: :總體分布提供的信息。總體分布提供的信息。（2）樣本信息樣本信息: :抽取樣本所得觀測值提供的信息。抽取樣本所得觀測值提供的信息。（3）先驗(yàn)信息先驗(yàn)信息: :人們在試驗(yàn)之前對要做的問題在經(jīng)人們在試驗(yàn)之前對要

58、做的問題在經(jīng) 驗(yàn)上和資料上總是有所了解的，這些信息對驗(yàn)上和資料上總是有所了解的，這些信息對 統(tǒng)計(jì)推斷是有益的。先驗(yàn)信息即是抽樣（試統(tǒng)計(jì)推斷是有益的。先驗(yàn)信息即是抽樣（試 驗(yàn)）之前有關(guān)統(tǒng)計(jì)問題的一些信息。一般說驗(yàn)）之前有關(guān)統(tǒng)計(jì)問題的一些信息。一般說 來，先驗(yàn)信息來源于經(jīng)驗(yàn)和歷史資料。先驗(yàn)來，先驗(yàn)信息來源于經(jīng)驗(yàn)和歷史資料。先驗(yàn) 信息在日常生活和工作中是很重要的。信息在日常生活和工作中是很重要的。 基于上述三種信息進(jìn)行統(tǒng)計(jì)推斷的統(tǒng)計(jì)學(xué)稱為基于上述三種信息進(jìn)行統(tǒng)計(jì)推斷的統(tǒng)計(jì)學(xué)稱為貝葉斯統(tǒng)計(jì)學(xué)。貝葉斯統(tǒng)計(jì)學(xué)。它與經(jīng)典統(tǒng)計(jì)學(xué)的差別就在于它與經(jīng)典統(tǒng)計(jì)學(xué)的差別就在于是否利用先驗(yàn)信息。貝葉斯統(tǒng)計(jì)在重視使用總是否

59、利用先驗(yàn)信息。貝葉斯統(tǒng)計(jì)在重視使用總體信息和樣本信息的同時(shí)，還注意先驗(yàn)信息的體信息和樣本信息的同時(shí)，還注意先驗(yàn)信息的收集、挖掘和加工，使它數(shù)量化，形成先驗(yàn)分收集、挖掘和加工，使它數(shù)量化，形成先驗(yàn)分布，參加到統(tǒng)計(jì)推斷中來，以提高統(tǒng)計(jì)推斷的布，參加到統(tǒng)計(jì)推斷中來，以提高統(tǒng)計(jì)推斷的質(zhì)量。忽視先驗(yàn)信息的利用，有時(shí)是一種浪費(fèi)，質(zhì)量。忽視先驗(yàn)信息的利用，有時(shí)是一種浪費(fèi)，有時(shí)還會(huì)導(dǎo)出不合理的結(jié)論。有時(shí)還會(huì)導(dǎo)出不合理的結(jié)論。 貝葉斯學(xué)派的基本觀點(diǎn)：貝葉斯學(xué)派的基本觀點(diǎn)：任一未知量任一未知量 都可看都可看作隨機(jī)變量，作隨機(jī)變量，可用一個(gè)概率分布去描述，這個(gè)可用一個(gè)概率分布去描述，這個(gè)分布稱為分布稱為先驗(yàn)分布先驗(yàn)

60、分布；在獲得樣本之后，總體分在獲得樣本之后，總體分布、樣本與先驗(yàn)分布通過貝葉斯公式結(jié)合起來布、樣本與先驗(yàn)分布通過貝葉斯公式結(jié)合起來得到一個(gè)關(guān)于未知量得到一個(gè)關(guān)于未知量 新的分布新的分布后驗(yàn)分布后驗(yàn)分布；任何關(guān)于任何關(guān)于 的統(tǒng)計(jì)推斷都應(yīng)該基于的統(tǒng)計(jì)推斷都應(yīng)該基于 的后驗(yàn)分的后驗(yàn)分布進(jìn)行。布進(jìn)行。 （1）總體的條件分布：）總體的條件分布：總體依賴于參數(shù)總體依賴于參數(shù) 的概率的概率函數(shù)在貝葉斯統(tǒng)計(jì)中記為函數(shù)在貝葉斯統(tǒng)計(jì)中記為p (x | )，它表示在隨機(jī)，它表示在隨機(jī)變量變量取某個(gè)給定值時(shí)總體取某個(gè)給定值時(shí)總體X的的條件概率函數(shù)；條件概率函數(shù)； （2）參數(shù)）參數(shù)根據(jù)參數(shù)根據(jù)參數(shù) 的先驗(yàn)信息的先驗(yàn)信息