1、精選課件1 第二章 參數估計精選課件2參數估參數估計問題計問題假設檢假設檢驗問題驗問題點點 估估 計計區間估區間估 計計統計統計推斷推斷 的的基本基本問題問題精選課件3什么是參數估計？什么是參數估計？參數參數是刻畫總體某方面的概率特性的數量是刻畫總體某方面的概率特性的數量.當這個數量是未知的時候，從總體抽出一個當這個數量是未知的時候，從總體抽出一個樣本，用某種方法對這個未知參數進行估計樣本，用某種方法對這個未知參數進行估計就是就是參數估計參數估計.例如，例如，X N ( , 2), 點估計點估計區間估計區間估計若若 , 2未知，通過構造樣本的函數未知，通過構造樣本的函數, 給出它給出它們的估計

2、值或取值范圍就是參數估計的內容們的估計值或取值范圍就是參數估計的內容.精選課件4參數估計的類型參數估計的類型點估計點估計 估計未知參數的值估計未知參數的值區間估計區間估計 估計未知參數的取值范圍，估計未知參數的取值范圍， 使得這個范圍包含未知參數使得這個范圍包含未知參數 真值的概率為給定的值真值的概率為給定的值.精選課件5一、點估計的思想方法一、點估計的思想方法設總體X 的分布函數的形式已知，但它含有一個或多個未知參數：1,2, ,k設 X1, X2, Xn為總體的一個樣本構造 k 個統計量：),(),(),(21212211nknnXXXXXXXXX隨機變量第一節第一節 參數的點估計參數的點

3、估計精選課件6當測得一組樣本值(x1, x2, xn)時，代入上述統計量，即可得到 k 個數：),(),(),(21212211nknnxxxxxxxxx數值稱數k,21為未知參數k,21的估計值估計值問題問題如何構造統計量？對應的統計量為未知參數k,21的估計量估計量精選課件71、矩方法；（矩估計矩估計）2、極大似然函數法（極大似然估計極大似然估計）.二二. .點估計的方法點估計的方法q 1. 矩方法矩方法方法方法用樣本的樣本的 k 階矩作為總體的階矩作為總體的 k 階矩階矩的 估計量, 建立含待估計參數的方程建立含待估計參數的方程，從而可解出待估計參數精選課件8一般地，不論總體服從什么分布

4、，總體期望 與方差 2 存在，則根據矩估計法它們的矩估計量矩估計量分別為XXnnii112122)(1nniiSXXn2211()1niiXXSn 是無偏矩估計注注: 矩估計不唯一矩估計不唯一精選課件9事實上，按矩法原理，令11niiXXn22211E XniiAXn是 ()的估計X)()(222XEXE22 A2121XXnnii212)(1nniiSXXn精選課件10設待估計的參數為k,21設總體的總體的 r 階矩階矩存在，記為),()(21krrXE設 X1, X2, Xn為一樣本，樣本的樣本的 r 階矩階矩為nirirXnB11令kr, 2 , 1),(21krniriXn11 含未知

5、參數 1,2, ,k 的方程組精選課件11解方程組，得 k 個統計量：),(),(),(21212211nknnXXXXXXXXX未知參數1,2, ,k 的矩估計量矩估計量),(),(),(2121222111nkknnxxxxxxxxx未知參數1,2, ,k 的矩估計值矩估計值代入一組樣本值得k個數:精選課件12例例1 1 有一批零件，其長度有一批零件，其長度XNXN( ( , , 2 2) )，現，現從中任取從中任取4 4件，測的長度件，測的長度( (單位：單位：mm)mm)為為12.6,13.4,12.8,13.212.6,13.4,12.8,13.2。試估計。試估計 和和 2 2的值。

6、的值。解：解： 由由 13)2 .138 .124 .136 .12(41x222221(12.6 13)(13.4 13)(12.8 13)4 1 (13.2 13) 0.133s 得得 和和 2 2的估計值分別為的估計值分別為13(mm)13(mm)和和0.133(mm)0.133(mm)2 2精選課件13例例2 2 設總體X的概率密度為 其它,010,);(1xxxf X1,X2,Xn為來自于總體X的樣本,x1,x2, ,xn為樣本值,求參數的矩估計。解：解： 先求總體矩 11111000()11E Xxxdxx dxx()1()E XE X解之：精選課件14XX1為的矩估計量, xx1

7、為的矩估計值.令 111niiAXXn精選課件15例例3 3 設總體X的概率密度為102 ( , ),xf xex 求的矩估計量 解法一解法一 雖然 中僅含有一個參數，但因 102xE Xxedx 不含,不能由此解出,需繼續求總體的二階原點矩22222011322( )xxEXxedxx edx ( , )f x 精選課件16 解法二解法二 01122( )xxE Xxedxx edx 即 | XE用niiXn11替換XE即得的另一矩估計量為11niiXn得的矩估計量為2211 1/2 ,02niiXAn用2211niiAXn替換2EX222112niiAXn即精選課件17 矩估計的優點矩估計

8、的優點不依賴總體的分布，簡便易行不依賴總體的分布，簡便易行只要只要n n充分大，精確度也很高。充分大，精確度也很高。 矩估計的缺點矩估計的缺點矩估計的精度較差；矩估計的精度較差；要求總體的某個要求總體的某個k k階矩存在；階矩存在；要求未知參數能寫為總體的原點矩的函數形要求未知參數能寫為總體的原點矩的函數形式式精選課件18注意注意：1. 總體不一定存在適當階的矩。總體不一定存在適當階的矩。例例 考慮考慮Cauchy分布，其密度函數為分布，其密度函數為,)(1(1),(2xxxf 其各階矩均不存在。其各階矩均不存在。2. 對相同的參數對相同的參數 ，存在多個矩估計。，存在多個矩估計。)( q例如

9、，考慮總體是參數為例如，考慮總體是參數為 的的Poisson分布，分布， 總總體體的的方方差差。既既是是總總體體的的均均值值，又又是是 精選課件19你就會想,只發一槍便打中,獵人命中的概率一般大于這位同學命中的概率.看來這一槍是獵人射中的.先看一個簡單的例子: 某位同學與一位獵人一起外出打獵,一只野兔從前方竄過.只聽到一聲槍響,野兔應聲倒下.如果要你推測,是誰打中的呢？你會如何想呢？ 這個例子所作的推斷已經體現了極大似然法的基本思想.2 2、極大似然函數法、極大似然函數法例例: : 設袋中裝有許多白球和黑球。只知兩種球的數目之比為3:1，試判斷是白球多還是黑球多。 分析分析: : 從袋中有放回

10、的任取3只球.設每次取到黑球的概率為p (p=1/4或3/4)設取到黑球的數目為X,則X服從B(3,p)33()(1)0,1,2,3 kkP Xkppkk 分別計算p=1/4,p=3/4時，PX=x的值，列于表1/ 4 ,0,1 ( )3 / 4 ,2,3xp xx結論結論: :X X0 01 12 23 3p=1/4p=1/4時時27/6427/6427/6427/649/649/641/641/64p=3/4p=3/4時時1/641/649/649/6427/6427/64 27/6427/64精選課件22 定義定義1 1:(1)設隨機變量X的概率密度函數為f(x,), 其中為未知參數(f

11、為已知函數). 121( )(,; )( ; )nniiLL x xxf x 若X是離散型隨機變量，似然函數定義為121( ,; )()nniiiL x xxP Xx12,nxxx12,nXXX稱 為 X關于樣本觀察值 的似然函數似然函數。 12( ,; )nL x xx12,nx xx的樣本觀察值,為樣本精選課件23);,()(21nxxxLL 定義2 如果似然函數似然函數 在 時達到最大值時達到最大值,則稱 是參數的極大似然估計極大似然估計。 例例1 1 設總體X 服從參數為的指數分布，即有概率密度 ,0( , ), (0)0,0 xexf xx 又x1,x2, ,xn為來自于總體的樣本值

12、，試求的極大似然估計.精選課件24解解 ：第一步 似然函數為1211( ,; )exp()innxnnniiiLL x xxex于是 1lnlnniiLnx11ln( ln)nniiiidLdnnxxdd 第二步第三步 11niinxx經驗證，)(lnL在x1處達到最大，所以是的極大似然估計。0ln1niixndLd令精選課件25例例2 2： 設X服從(01)分布，PX=1=p, 其中p未知， x1,x2, ,xn為來自于總體的樣本值求p的極大似然估計。解解:X01P1-pp101(1),0,11xxP XpP XxppxP Xp 得得(0(01)1)分布之分布律的另一種表達形式分布之分布律的

13、另一種表達形式121(,; )()nniiiL x xxP Xx11(1)iinxxipp111ln()ln()lnniiiLxpxp11101ln()iidLxxdpppxp 令令110 ()()iiipxpxnpx精選課件27例例3 3：設總體X服從參數為的泊松分布，即X有分布列(分布律) ,2, 1 ,0,!);(kekkXPkpk 是未知參數，(0,+)，試求的極大似然估計。解：解： 樣本的似然函數為);,()(21nxxxLL );();();(21nxpxpxp1212!nxxxneeexxx 112!niixnnexxx nixi, 2 , 1, 2 , 1 , 0 精選課件28

14、);,(ln)(ln21nxxxLL niniiixxn11) !ln(ln)(niinxnxxxL1211)();,(ln 從0lnL可以解出niixxn11 1211( ,)nniix xxxn是的極大似然估計。因此因此精選課件29 極大似然估計的優點極大似然估計的優點 利用了分布函數形式利用了分布函數形式, 得到的估計量的精度一般較高。得到的估計量的精度一般較高。 極大似然估計的缺點極大似然估計的缺點 要求必須知道總體的要求必須知道總體的分布函數形式分布函數形式精選課件30其中k,21為未知參數，nxxx,21 nikiknxfxxxL1212121),;(),;,(12( ;,)kfx

15、若總體X的概率密度為：為樣本觀察值, 此時似然函數為： 求解方程組求解方程組 12ln ( ,)0,1,2,kiLik 即可得到極大似然估計12,k多參數情形的極大似然估計多參數情形的極大似然估計精選課件31 數學上可以嚴格證明，在一定條件下，只要樣本容量n足夠大，極大似然估計和未知參數的真值可相差任意小。精選課件32例例4 4：設 為正態總體 的一個樣本值，求: 和 的極大似然估計.nxxx,21 ),(2N2解解 ：似然函數為niinxxxL12221)(21exp21),;,()(21exp2121222niinxniixnL1222)(21)2ln(2ln精選課件33 解方程組 niiniixnLxL12422120)(212ln0)(1ln得 xxnnii11 niixn122)(1niixxn12)(1這就是和2的極大似然估計,),(max), (22LL即 例例5 5 設X為離散型隨機變量,其分布律如下(01/2)X X0 01 12 23 3P P 2 22(2( - - 2 2) ) 2 21-21-2 隨機抽樣得3，1，3，0，3，1，2，3，分別用矩方法和極大似然法估計參數。解解：81113484iiEXx8222241281(,)(2)(12 )iiL x xxP Xx