1、 常用的幾條標準是：常用的幾條標準是：2無偏性無偏性3有效性有效性1相合性相合性 估計量的評選標準估計量的評選標準6.3 最小方差無偏估計最小方差無偏估計0)(lim nnP定義定義 設設 是總體參數是總體參數 )(21nnnX,X,X 則稱則稱n是總體參數是總體參數 的一致的一致(或相合或相合)估計量估計量.的估計量的估計量. 若對于任意的若對于任意的 , 當當n 時時, n依概率收斂于依概率收斂于 , 即即,0相合估計量僅在樣本容量 n 足夠大時,才顯示其優越性.1、相合性、相合性2、無偏性、無偏性 )(E則稱則稱 為為 的的無偏估計無偏估計 . ),(1nXX 設設是未知參數是未知參數

2、的估計量，若的估計量，若 ),(2111nXXX都是總體參數都是總體參數 的無偏估計量的無偏估計量, 且且)Var()Var(21 則稱則稱 比比 更有效更有效.1 定義定義 設設),(2122nXXX3、有效性、有效性2 .立立使得上述不等號嚴格成使得上述不等號嚴格成且至少有一個且至少有一個 6.3 最小方差無偏估計最小方差無偏估計一個自然想法，希望估計量的方差越小越好。一個自然想法，希望估計量的方差越小越好。能夠小到什么程度？能夠小到什么程度？有沒有下界？什么條件下方差的下界存在？有沒有下界？什么條件下方差的下界存在？1、Cramer-Rao 不等式不等式定義定義1 1( ; ),p x

3、設總體概率函數是滿足下列條件：；是是直直線線上上的的一一個個開開區區間間參參數數空空間間 (1)無無關關；與與支支撐撐集集 0);(:(2) xpxS都都存存在在；對對一一切切導導數數 );(3)xp換換次次序序，即即，積積分分與與微微分分運運算算可可交交對對);(4) xp dxxpdxxp);();( 2(5)ln( ; )Ep X期望存在CR(1)-(5).稱該分布族為正則分布族，稱為正則條件2ln( ; )Ep X若期望存在，則稱2);(ln)I( XpE .(Fisher)信信息息量量為為總總體體分分布布的的費費希希爾爾定義定義2、Fisher 信息量信息量Fisher 信息量是統計

4、學中的一個基本概念，信息量是統計學中的一個基本概念，很多的統計結果都與很多的統計結果都與Fisher信息量信息量 有關。有關。( )I( )I( )I 的種種性質顯示，的種種性質顯示，“ 越大越大 ”可被可被解釋為總體分布中包含參數解釋為總體分布中包含參數 的信息越多的信息越多22( ; )p x若亦存在，且進一步有 22);(ln)( XpEI證證明明 22);(lnXpExxpxpxpd);();();(1 xxpxpd );();(ln22 dxxpdxxp);();(22 則則Fisher 信息量的一個重要性質信息量的一個重要性質xxpxpxpxpxpxpd );();();(1);(

5、);();(1222 2221( ; )( ; )( ; )dd( ; )p x p x p x xxp x xxpxxpxpd);(d );();(ln222 )();(2 IXplnE 22);(ln)( XpEIxxpxpxpxpxpxpd );();();(1);();();(1222 .P信信息息量量計計算算設設總總體體為為泊泊松松分分布布例例Fisher),( 解解的的分分布布列列為為)( P,x,xx;px10e!)( ，且且可可以以看看出出正正則則條條件件滿滿足足,xxx;p) !(lnln)(ln .xx;p1)(ln 于于是是.XEI 1)(2 .Exp信信息息量量計計算算

6、設設總總體體為為指指數數分分布布例例Fisher),1( 總總體體的的密密度度函函數數為為解解.,x,xx;p00exp1)( 且且可可以以驗驗證證正正則則條條件件滿滿足足 ,xxx;p221)(ln 于于是是.XXEI24221)Var()( 定理定理4 4) Rao-(Cramer不等式不等式是是來來自自該該總總體體，設設正正則則條條件件滿滿足足，nX,XX21的的任任一一個個無無偏偏是是的的樣樣本本，)(),(21 gX,XXTTn ，對對存存在在，且且對對估估計計， )()(ggnniindxdx;xpx,xxTg1121)(),()( 行行，即即的的微微分分可可在在積積分分號號下下進

7、進nniindxdx;xpx,xxTg1121)(),()( .求求和和等等式式成成立立對對離離散散總總體體，積積分分改改為為nniiniindxdx;xp;xplnx,xxT11121)()(),( )I()(g)Var(2 n/T 則則有有不不等等式式，上上式式稱稱為為Rao-Cramer.n/下下界界下下界界，簡簡稱稱無無偏偏估估計計的的方方差差的的稱稱為為RCRC)I()(g2 -1)()Var( nI ，有有的的無無偏偏估估計計特特別別對對.)g(),T(TR-C1的的有有效效估估計計是是稱稱不不等等式式中中等等號號成成立立，則則若若 nXX .,N下下界界的的信信息息量量及及計計算

8、算滿滿足足正正則則條條件件，設設總總體體為為例例R-CFisher),(02 解解由由于于,xxp/- 2221222exp)(2);( 注注意意到到,X(1)222 故故2222);(ln)( XEI224221-2 XE)/Var(41224X ,421 令令,g22)( 下下界界為為的的則則RC ,n/n/nI2)2()2(1)()(g242222 的的無無偏偏估估計計為為.Xnnn/ nii 1211)/2)()2(2nCR可以證明，其方差大于下界，C-R這表明并不是任何 的無偏估計的方差都能達到下界。必須研究這樣兩個問題：必須研究這樣兩個問題：問題問題1：如果知道一個無偏估計，能否構

9、造一：如果知道一個無偏估計，能否構造一個新的無偏估計，其方差比原來的方差小。個新的無偏估計，其方差比原來的方差小。問題問題2：一個無偏估計雖不是有效估計，但：一個無偏估計雖不是有效估計，但是可考察它的方差在一切無偏估計中能達是可考察它的方差在一切無偏估計中能達到最小的條件到最小的條件Rao-Blackwell 定理定理最小方差無偏估計最小方差無偏估計例例 設總體設總體 X 的密度函數為的密度函數為 0001)(x,xe;xfx 0 為常數為常數)(21nX,X,X為為 X 的一個樣本的一個樣本X與與21nX,X,Xminn都是都是的無偏的無偏估計估計X比21nX,X,Xminn更有效.X是充分

10、統計量例例 設總體設總體 X，且，且 E( X )= , Var( X )= 2 )(21nX,X,X為總體為總體 X 的一個樣本的一個樣本證明證明iniiXc 11 是是 的無偏估計的無偏估計(2) 證明證明X 比比iniiXc 11 更有效更有效. 11niic., 2 , 11ninci(1) 設常數設常數X是充分統計量好的無偏估計都是充分統計量2、Rao-Blackwell 定理定理.)(幾幾乎乎處處處處相相等等和和要要條條件件是是其其中中等等號號成成立立的的充充分分必必YX 定理定理1 1定義定義是兩個隨機變量，是兩個隨機變量，和和設設0.)Var( X,EXYX ) blackwe

11、ll-(Rao定理定理),|()(yYXEy 則則有有),Var()(Var(,)(XYYE )|()(yYXEy dxyxxh)|( dxypyxpxY)(),(證證明明：.r.vYX都都是是連連續續和和設設)(y|xhXyY的的條條件件密密度度下下給給定定 ),(yxpYX的聯合密度為的聯合密度為和和設設)( yE ( )( )Yy py dy EXdydxyxxp),(2)()()Var( YYXEX22)()( YEYXE+2 ()()EXYY)()( YYXE dxdyyxpyyx),()()( dxdyyxhypyyxY)|()()()( dyypdxyxhyyxY)()|()()

12、( 0 )Var( X)(Var()(2YYXE 10)( YXP )(Var()Var(YX 定理定理2 2的充分統計量，的充分統計量，是是是其樣本，是其樣本，設總體概率密度函數是設總體概率密度函數是 )(),;(2121nnX,X,XTTX,X,Xxp 令令的任一無偏估計的任一無偏估計則對則對,X,X,Xn)(21 的的無無偏偏估估計計，且且也也是是則則 TE),|( )Var()Var( .p.pXpbX,X,Xn的無偏估計的無偏估計求求的充分統計量的充分統計量是是的樣本，則的樣本，則是來自是來自設設例例221)(1,1 構造估計構造估計 .0,1;1,1,211其他其他XX ppxxP

13、E 1)1,()(211 )|(1tTE )|1(1tTP niiXT1)()1,1,(21tTPtTXXP )(2)1,1,(321tTPtXXXPnii 解解)(2)1,1,(321tTPtXXXPnii tnttntpptnpptnpp )-(1)-(1222 tntn221)(1)( nntt1)(1)(11 nnXXniinii 新新的的估估計計)Var()Var(,)(1 E 且且3、最小方差無偏估計最小方差無偏估計，在參數，在參數的無偏估計的無偏估計個個計，如果對另外任意一計，如果對另外任意一的一個無偏估的一個無偏估是是對于參數估計問題，設對于參數估計問題，設 定義定義1 1上上

14、都都有有空空間間 )Var()Var( .,UMVUE簡記為簡記為計計的一致最小方差無偏估的一致最小方差無偏估是是則稱則稱 UMVUE.注：1) 若存在，則它一定是充分統計量 的函數C-RUMVUE2） 特別對 的無偏估計 ，若方差能達到下界，則 是 的。UMVUE.10)(1);(-1得得求求設設總總體體分分布布列列為為例例 ,x,xpxx UMVUE.),1(得得求求設設總總體體分分布布為為例例 Exp.,N下下界界的的信信息息量量及及計計算算滿滿足足正正則則條條件件，設設總總體體為為例例R-CFisher),(02 解解由由于于,xxp/- 2221222exp)(2);( 注注意意到到

15、,X(1)222 故故2222);(ln)( XEI224221-2 XE)/Var(41224X ,421 令令,g22)( 下下界界為為的的則則RC ,n/n/nI2)2()2(1)()(g242222 的的無無偏偏估估計計為為.Xnnn/ nii 1211)/2)()2(2n.下下界界都都大大于于其其的的無無偏偏估估計計的的方方差差下下界界，這這表表明明所所有有，且且其其方方差差大大于于的的可可以以證證明明，這這是是R-CRCUMVUE 定理定理3 3如果對如果對的一個無偏估計，的一個無偏估計，是是是來自某總體的一個是來自某總體的一個設設.)Var()()(21 XX,X,XXn，都都有

16、有的的任任意意一一個個滿滿足足)(0)(XXE ,0,)(Cov ,.UMVUE的的是是則則 證明證明,的任意一個無偏估計的任意一個無偏估計為為設設 ，則，則令令 0)( EEE2)()Var( E2)()( E),2Cov()Var()(2 E )Var( 的的一一個個準準則則判判斷斷UMVUE00, 01);(xxexfx0為常數為常數例例 設總體設總體 X 的密度函數為的密度函數為UMVUE.的的是是證明證明 X充充分分性性原原則則.數數一一定定是是充充分分統統計計量量的的函函不不一一定定存存在在，若若存存在在則則、任任一一參參數數的的 UMVUE1.的的函函數數中中尋尋找找只只需需要要在在充充分分統統計計量量、考考慮慮參參數數的的估估計計時時，2定理定理5 5區區間間，假假定定為為非非退退化化有有密密度度函函數數設設總總體體 ,),;( xpX;ln,ln,ln,(1)3322都都存存在在對對所所有有偏偏導導數數對