第七章參數估計7-1參數估計問題假設檢驗問題點估計區間估計統計推斷

DE基本問題7-2

總體樣本統計量描述作出推斷研究統計量的性質和評價一個統計推斷的優良性，完全取決于其抽樣分布的性質.隨機抽樣

現在我們來介紹一類重要的統計推斷問題

參數估計問題是利用從總體抽樣得到的信息來估計總體的某些參數或者參數的某些函數.參數估計估計廢品率估計新生兒的體重估計湖中魚數……估計降雨量在參數估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數.這類問題稱為參數估計.參數估計問題的一般提法X1,X2,…,Xn要依據該樣本對參數作出估計，或估計的某個已知函數.現從該總體抽樣，得樣本設有一個統計總體，總體的分布函數向量).為F(x,)，其中為未知參數(可以是參數估計的類型點估計——估計未知參數的值區間估計——估計未知參數的取值范圍，并使此范圍包含未知參數真值的概率為給定的值.（假定身高服從正態分布）設這5個數是:1.651.671.681.781.69估計為1.68，這是點估計.這是區間估計.估計在區間[1.57,1.84]內，假如我們要估計某隊男生的平均身高.現從該總體選取容量為5的樣本，我們的任務是要根據選出的樣本（5個數）求出總體均值的估計.而全部信息就由這5個數組成.一、點估計概念及討論的問題例1

已知某地區新生嬰兒的體重X~隨機抽查100個嬰兒…得100個體重數據10,7,6,6.5,5,5.2,

…呢?據此,我們應如何估計和而全部信息就由這100個數組成.§7.1點估計方法

為估計

,我們需要構造出適當的樣本的函數T(X1,X2,…Xn)，每當有了樣本，就代入該函數中算出一個值，用來作為的估計值.把樣本值代入T(X1,X2,…Xn)

中，得到的一個點估計值

.T(X1,X2,…Xn)稱為參數的點估計量，請注意，被估計的參數

是一個未知常數，而估計量T(X1,X2,…Xn)是一個隨機變量，是樣本的函數,當樣本取定后，它是個已知的數值,這個數常稱為

的估計值.二、尋求估計量的方法1.矩估計法2.極大似然法3.最小二乘法4.貝葉斯方法……這里我們主要介紹前面兩種方法.1.矩估計法其基本思想是用樣本矩估計總體矩.理論依據:或P160-1結論它是基于一種簡單的“替換”思想建立起來的一種估計方法.是英國統計學家K.皮爾遜最早提出的.大數定律記總體k階矩為樣本k階矩為用相應的樣本矩去估計總體矩的估計方法就稱為矩估計法.記總體k階中心矩為樣本k階中心矩為設總體的分布函數中含有k個未知參數都是這k個參數的函數,記為：,那么它的前k階矩一般i=1,2,…,k從這k個方程中解出j=1,2,…,k那么用諸的估計量Ai分別代替上式中的諸,即可得諸的矩估計量：j=1,2,…,k

例2

設總體X在[a,b]上服從均勻分布,a,b未知.是來自X

的樣本,試求a,b

的矩估計量.解即解得于是a,b的矩估計量為樣本矩總體矩解

例3

設總體X的均值和方差都存在,未知.是來自X

的樣本,試求的矩估計量.解得于是的矩估計量為樣本矩總體矩例設總體X~N(,2),X1,X2,…,Xn為總體的樣本,求,2的矩法估計量.例

設總體X~E(

),X1,X2,…,Xn為總體的樣本,求

的矩法估計量.7-13一般,不論總體服從什么分布,總體期望

與方差

2存在,則它們的矩估計量分別為例4設從某燈泡廠某天生產的燈泡中隨機抽取10只燈泡，測得其壽命為(單位:小時)1050,1100,1080,1120,12001250,1040,1130,1300,1200試用矩法估計該廠這天生產的燈泡的平均壽命及壽命分布的方差.解7-14例

設總體X~U(a,b),a,b未知,求參數a,b

的矩法估計量.7-15

方法用樣本

k

階矩作為總體

k

階矩的估計量,建立含有待估參數的方程,從而解出待估參數7-9

矩法2種常用的點估計方法

矩法的優點是簡單易行,并不需要事先知道總體是什么分布.

缺點是，當總體類型已知時，沒有充分利用分布提供的信息

.一般場合下,矩估計量不具有唯一性.其主要原因在于建立矩法方程時，選取那些總體矩用相應樣本矩代替帶有一定的隨意性.

2.極大似然法是在總體類型已知條件下使用的一種參數估計方法.它首先是由德國數學家高斯在1821年提出的,GaussFisher然而，這個方法常歸功于英國統計學家費歇.費歇在1922年重新發現了這一方法，并首先研究了這種方法的一些性質.

極大似然法的基本思想先看一個簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應聲倒下.下面我們再看一個例子,進一步體會極大似然法的基本思想.你就會想，只發一槍便打中,獵人命中的概率一般大于這位同學命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經體現了極大似然法的基本思想.

例

設X~B(1,p),p未知.設想我們事先知道p只有兩種可能:問:應如何估計p?p=0.7或p=0.3如今重復試驗3次,得結果:0,0,0由概率論的知識,3次試驗中出現“1”的次數k=0,1,2,3

將計算結果列表如下：應如何估計p?p=0.7或p=0.3k=0,1,2,3p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 出現估計出現出現出現估計估計估計0.3430.4410.4410.343

以上這種選擇一個參數使得實驗結果具有最大概率的思想就是極大似然法的基本思想.例設總體X服從0-1分布,且P(X=1)=p,

用極大似然法求

p

的估計值.7-18L(p)=f(X1,X2,…Xn;p)解：似然函數為:對數似然函數為：對p求導并令其為0，=0得即為p

的MLE.對于不同的p,L(p)不同,見右下圖現經過一次試驗，發生了，事件則

p

的取值應使這個事件發生的概率最大.7-19在容許范圍內選擇

p，使L(p)最大注意到，lnL(p)是L的單調增函數,故若某個p

使lnL(p)最大,則這個p必使L(p)最大。7-20所以為所求p的估計值.

(4)在最大值點的表達式中,用樣本值代入就得參數的極大似然估計值.求極大似然估計(MLE)的一般步驟是：(1)由總體分布導出樣本的聯合概率函數

(或聯合密度);(2)把樣本聯合概率函數(或聯合密度)中自變量看成已知常數,而把參數看作自變量,

得到似然函數L();(3)求似然函數L()的最大值點(常常轉化為求lnL()的最大值點)，即

的MLE;一般,設X為離散型隨機變量,其分布律為則樣本X1,X2,…,Xn的概率分布為7-21或稱L()為樣本的似然函數稱這樣得到的為參數

的極大似然估計值稱統計量為參數

的極大似然估計量7-22

MLE簡記

mle簡記選擇適當的=,使取最大值,即L()極大似然法的思想若X

連續,取f(xi,

)為Xi

的密度函數似然函數為7-23注1注2未知參數可以不止一個,如

1,…,

k

設X

的密度(或分布)為則定義似然函數為若關于

1,…,

k可微,則稱為似然方程組若對于某組給定的樣本值x1,x2,…,xn，參數使似然函數取得最大值,即則稱為

1,…,

k

的極大似然估計值7-24顯然，稱統計量為

1,

2,…,

k

的極大似然估計量7-25例設總體X~N(

,

2),x1,x2,…,xn是

X

的樣本值,求

,

2的極大似然估計.7-26極大似然估計方法1）寫出似然函數L2）求出,使得7-28可得未知參數的極大似然估計值然后,再求得極大似然估計量.7-29L是的可微函數,解似然方程組若

L不是的可微函數,需用其它方法求極大似然估計值.請看下例：若例設X~U(a,b),x1,x2,…,xn是

X

的一個樣本值,求

a,b的極大似然估計值與極大似然估計量.解X的密度函數為似然函數為7-30似然函數只有當a<xi<b,i=1,2,…,n時才能獲得最大值,且a越大,b越小,L越大.令xmin=min{x1,x2,…,xn}xmax=max{x1,x2,…,xn}取則對滿足的一切a<b,7-31都有故是a,b的極大似然估計值.分別是a,b的極大似然估計量.7-32極大似然估計的不變性設是

的極大似然估計值,u(

)(

)是

的函數,且有單值反函數=(u),uU則是u(

)的極大似然估計值.7-35不變性如在正態總體N(

,

2)中,

2的極大似然估計值為是

2的單值函數,且具有單值反函數，故

的極大似然估計值為lg

的極大似然估計值為7-36這一講，我們介紹了參數點估計，給出了尋求估計量最常用的矩法和極大似然法.參數點估計是用一個確定的值去估計未知的參數.看來似乎精確，實際上把握不大.為了使估計的結論更可信，需要引入區間估計.這是下一講的內容.例4：設

X

～U(a,b)，求a,b的極大似然估計。

解：因所以由上式看到：L(a,b)作為a和b的二元函數