1、12.3 最小方差無(wú)偏估計(jì)最小方差無(wú)偏估計(jì) 2一、最小方差無(wú)偏估計(jì)一、最小方差無(wú)偏估計(jì) 由定義由定義2.4知，最小方差無(wú)偏估計(jì)（知，最小方差無(wú)偏估計(jì)（MVUE）是在）是在無(wú)偏估計(jì)類中，使均方誤差達(dá)到最小的估計(jì)量，即在無(wú)偏估計(jì)類中，使均方誤差達(dá)到最小的估計(jì)量，即在均方誤差最小意義下的最優(yōu)估計(jì)。它是在應(yīng)用中，人均方誤差最小意義下的最優(yōu)估計(jì)。它是在應(yīng)用中，人們希望尋求的一種估計(jì)量。們希望尋求的一種估計(jì)量。 3證證 明明 設(shè)設(shè))(1X 是是 的的 任任 一一 無(wú)無(wú) 偏偏 估估 計(jì)計(jì) ， 記記)()()(1XXXL ，則則)(XL為為 0 的的無(wú)無(wú)偏偏估估計(jì)計(jì)，由由于于 )()()()(2 )()( )

2、()()(1XEXXELXLEXDXDLXXLDXD )()()(XDXDXDL ， 故故)(X 是是 的的 MVUE。 4證明證明 設(shè)設(shè))(XL滿足滿足0)( XEL，則有，則有 上上式式關(guān)關(guān)于于 求求導(dǎo)導(dǎo)，得得 0)(21exp)(1221dxxxLniinii ， 5故故有有 0)( XXLE， 所以所以X是是 的的 MVUE。 0)(21exp)(12221dxxxLniinii 6利利用用21212)()()( xnxxxniinii，可可得得 0)(21exp)(12221dxxxxLniinii , 故有故有 0)(2 nSXLE 所以所以2 nS是是2 的的 MVUE。 7 定

3、理定理2.7給出了最小方差無(wú)偏估計(jì)的一種判別方法，給出了最小方差無(wú)偏估計(jì)的一種判別方法，但由上例可見，該判別法使用并不方便，而且還只是一但由上例可見，該判別法使用并不方便，而且還只是一個(gè)充分條件。為了尋求更好的方法，需要借助充分統(tǒng)計(jì)個(gè)充分條件。為了尋求更好的方法，需要借助充分統(tǒng)計(jì)量甚至充分完備統(tǒng)計(jì)量的概念。量甚至充分完備統(tǒng)計(jì)量的概念。 8定理定理2.8的說(shuō)明的說(shuō)明：如果無(wú)偏估計(jì)不是充分統(tǒng)計(jì)量如果無(wú)偏估計(jì)不是充分統(tǒng)計(jì)量的函數(shù)，則將之對(duì)充分統(tǒng)計(jì)量求條件期望可以的函數(shù)，則將之對(duì)充分統(tǒng)計(jì)量求條件期望可以得到一個(gè)新的無(wú)偏估計(jì)，該估計(jì)的方差比原來(lái)得到一個(gè)新的無(wú)偏估計(jì)，該估計(jì)的方差比原來(lái)的估計(jì)的方差要小，從

4、而降低了無(wú)偏估計(jì)的方的估計(jì)的方差要小，從而降低了無(wú)偏估計(jì)的方差。差。 換言之，考慮換言之，考慮的估計(jì)問(wèn)題只需要在基于的估計(jì)問(wèn)題只需要在基于充分統(tǒng)計(jì)量的函數(shù)中進(jìn)行即可，充分統(tǒng)計(jì)量的函數(shù)中進(jìn)行即可，該說(shuō)法對(duì)所有該說(shuō)法對(duì)所有的統(tǒng)計(jì)推斷問(wèn)題都是正確的，這便是所謂的的統(tǒng)計(jì)推斷問(wèn)題都是正確的，這便是所謂的充充分性原則分性原則。 91011且且 11)|( DTED ， 22)|( DTED 。 1213(|)E XTX， 222(|)nnE STS。 分分別別是是和和2惟惟一一的的最最小小方方差差無(wú)無(wú)偏偏估估計(jì)計(jì)。 14解解 樣本的聯(lián)合分布為樣本的聯(lián)合分布為 12111, 0,( )( )0, ,nnni

5、iix xxLf x其他 (1)( )(0, )( )1, 0(),0, ,nnnxxIx其他 15其中其中(1)x、( )nx為最小、最大次序統(tǒng)計(jì)量的取值，為最小、最大次序統(tǒng)計(jì)量的取值，(0, )( )Ix為為示性函數(shù)，即示性函數(shù)，即 (0, )1 0( )0 ,xIx其他 16易驗(yàn)證該分布族是完備的， 因而易驗(yàn)證該分布族是完備的， 因而( )nX是是的充分完的充分完備統(tǒng)計(jì)量。備統(tǒng)計(jì)量。 又因又因 ( )0,1nnnnnEXx dxn ( )( )( )11|nnnnnEXXXnn 是是的最小方差無(wú)偏估計(jì)。的最小方差無(wú)偏估計(jì)。 17 2. 要直接驗(yàn)證某個(gè)估計(jì)量是最小方差無(wú)偏估計(jì)要直接驗(yàn)證某個(gè)

6、估計(jì)量是最小方差無(wú)偏估計(jì)量量是困難的是困難的. 若能求出無(wú)偏估計(jì)中方差的下界若能求出無(wú)偏估計(jì)中方差的下界, 而且又而且又能說(shuō)明參數(shù)能說(shuō)明參數(shù) 的的一切無(wú)偏估計(jì)中一切無(wú)偏估計(jì)中存在某個(gè)估計(jì)存在某個(gè)估計(jì) 的的方差能達(dá)到這個(gè)下界方差能達(dá)到這個(gè)下界，那么，那么 就是就是 的最小方差無(wú)的最小方差無(wú)偏估計(jì)偏估計(jì). 下面給出一個(gè)判別準(zhǔn)則：下面給出一個(gè)判別準(zhǔn)則： 1.最小方差無(wú)偏估計(jì)提供了一種優(yōu)良的估計(jì)，最小方差無(wú)偏估計(jì)提供了一種優(yōu)良的估計(jì)，然而一個(gè)更深入的問(wèn)題是：無(wú)偏估計(jì)的方差是否可然而一個(gè)更深入的問(wèn)題是：無(wú)偏估計(jì)的方差是否可以任意小？如果不可以，那么它的下界是多少？這以任意??？如果不可以，那么它的下界是多

7、少？這個(gè)下界等否達(dá)到？個(gè)下界等否達(dá)到？定理定理2.10 (Cramer-Rao不等式不等式)設(shè)設(shè)X1,X2,Xn是是從密度函數(shù)為從密度函數(shù)為 的總體抽取的樣本的總體抽取的樣本, 是是 的一個(gè)無(wú)偏估計(jì)的一個(gè)無(wú)偏估計(jì), 若若集合集合 與與 無(wú)關(guān)無(wú)關(guān);對(duì)對(duì) 積分與微分可交換且積分與微分可交換且 存在，即存在，即(3) (1) ( ; )f x1( , , )nTXX( )g : ( ; ) 0Ax f x( ; )f x( )g111( )( )( ,)( ; )nniniE TgT xxf xdxdx 22ln ( ; )0ln ( ; )( ; ),f xEf Xf xdx則有則有2( )( )

8、,( )gD TnI( )g( )I其中其中常稱常稱為為Fisher信息量信息量. 特別當(dāng)特別當(dāng) , 有有1( )( )D TnI( )I常用的另一個(gè)表達(dá)式常用的另一個(gè)表達(dá)式22( )ln ( ; )IEf X( )D T常稱為常稱為C-R不等式不等式.2( )ln(; )IEf X 費(fèi)希爾信息量是數(shù)理統(tǒng)計(jì)學(xué)中一個(gè)基本概念，很費(fèi)希爾信息量是數(shù)理統(tǒng)計(jì)學(xué)中一個(gè)基本概念，很多的統(tǒng)計(jì)結(jié)果都與費(fèi)希爾信息量有關(guān)。如極大似多的統(tǒng)計(jì)結(jié)果都與費(fèi)希爾信息量有關(guān)。如極大似然估計(jì)的漸近方差，無(wú)偏估計(jì)的方差的下界等都然估計(jì)的漸近方差，無(wú)偏估計(jì)的方差的下界等都與費(fèi)希爾信息量與費(fèi)希爾信息量I( )有關(guān)。有關(guān)。I( )的種種

9、性質(zhì)顯示，的種種性質(zhì)顯示，“I( )越大越大”可被解釋為總體分布中包含未知參可被解釋為總體分布中包含未知參數(shù)數(shù) 的信息越多。的信息越多。例例2.22 設(shè)總體服從泊松分布設(shè)總體服從泊松分布 ， X1,X2,Xn 是來(lái)是來(lái)自總體的一個(gè)樣本，試求參數(shù)自總體的一個(gè)樣本，試求參數(shù) 的無(wú)偏估計(jì)的下的無(wú)偏估計(jì)的下界？界？( )P解解: (1) : (1) 寫出密度函數(shù)寫出密度函數(shù) (2) (2) 求密度函數(shù)對(duì)數(shù)、再求導(dǎo)求密度函數(shù)對(duì)數(shù)、再求導(dǎo) (3) (3) 計(jì)算計(jì)算fisherfisher信息量信息量 (4) (4) 代入代入C-RC-R不等式求方差下界不等式求方差下界1. 寫出密度函寫出密度函數(shù)，求對(duì)數(shù)數(shù)

10、，求對(duì)數(shù)2. 計(jì)算計(jì)算fiser信息量信息量3.代入代入C-R不等不等式求方差下界式求方差下界例例2.23 設(shè)設(shè) X1,X2,Xn 是取自總體是取自總體 X 的一個(gè)的一個(gè)樣本樣本, 求求 的無(wú)偏估計(jì)的方差下界的無(wú)偏估計(jì)的方差下界. 解解: (1) 寫出密度函數(shù)寫出密度函數(shù) (2) 求密度函數(shù)對(duì)數(shù)、再求導(dǎo)求密度函數(shù)對(duì)數(shù)、再求導(dǎo) (3) 計(jì)算計(jì)算 (4) 代入代入C-R不等式求方差下界不等式求方差下界 最后尋找無(wú)偏估計(jì)中滿足方差下界的估計(jì)量最后尋找無(wú)偏估計(jì)中滿足方差下界的估計(jì)量.2( ,)N 2, ( )I2( ; ,)f x 2()I1. 寫出密度函數(shù)寫出密度函數(shù)2. 求密度函數(shù)對(duì)數(shù)求密度函數(shù)對(duì)

11、數(shù)3. 計(jì)算計(jì)算fiser信息量信息量4.代入代入C-R不等不等式求方差下界式求方差下界2. 求密求密度函數(shù)度函數(shù)對(duì)數(shù)的對(duì)數(shù)的導(dǎo)數(shù)導(dǎo)數(shù)3. 計(jì)算計(jì)算fiser信息量信息量4.代入代入C-R不等不等式求方差下界式求方差下界5. 計(jì)算最小方差計(jì)算最小方差無(wú)偏估計(jì)的方差無(wú)偏估計(jì)的方差262、有效估計(jì)、有效估計(jì)1) 定義定義2.8 P57的有效估計(jì)量的有效估計(jì)量為為則稱則稱即即下界下界的方差達(dá)到的方差達(dá)到的一個(gè)無(wú)偏估計(jì)量的一個(gè)無(wú)偏估計(jì)量若若 )(1)( ,nIDCR 的的效效率率為為稱稱的的任任意意一一個(gè)個(gè)無(wú)無(wú)偏偏估估計(jì)計(jì)量量若若 )( )(1)(,DnIe 的的有有效效估估計(jì)計(jì)是是時(shí)時(shí)且且從從而而 ,1)( , 1)(0 ee的的漸漸近近有有效效估估計(jì)計(jì)是是則則稱稱的的效效率率滿滿足足的的無(wú)無(wú)偏偏估估計(jì)計(jì)量量若若 1)(lim en 例例2.24 設(shè)設(shè) X1, X2,