第七章參數估計第一節 參數的點估計第二節 估計量的評選標準第三節 區間估計第四節 正態總體均值與方差的區間估計第一節參數的點估計點估計概念求估計量的方法課堂練習小結

引言上一章，我們介紹了總體、樣本、簡單隨機樣本、統計量和抽樣分布的概念，介紹了統計中常用的三大分布，給出了幾個重要的抽樣分布定理.它們是進一步學習統計推斷的基礎.

總體樣本統計量描述作出推斷研究統計量的性質和評價一個統計推斷的優良性，完全取決于其抽樣分布的性質.隨機抽樣

現在我們來介紹一類重要的統計推斷問題參數估計問題是利用從總體抽樣得到的信息來估計總體的某些參數或者參數的某些函數.參數估計估計廢品率估計新生兒的體重估計湖中魚數……估計降雨量在參數估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數.這類問題稱為參數估計.參數估計問題的一般提法X1,X2,…,Xn要依據該樣本對參數作出估計,或估計的某個已知函數.現從該總體抽樣，得樣本設有一個統計總體,總體的分布函數為F(x,)，其中為未知參數(可以是向量).

參數估計點估計區間估計（假定身高服從正態分布）設這5個數是:1.651.671.681.781.69估計為1.68，這是點估計.這是區間估計.估計在區間[1.57,1.84]內，例如我們要估計某隊男生的平均身高.現從該總體選取容量為5的樣本，我們的任務是要根據選出的樣本（5個數）求出總體均值的估計.而全部信息就由這5個數組成.一、點估計概念隨機抽查100個嬰兒,…得100個體重數據10,7,6,6.5,5,5.2,

…呢?據此,我們應如何估計和而全部信息就由這100個數組成.例1

已知某地區新生嬰兒的體重,未知

為估計:我們需要構造出適當的樣本的函數T(X1,X2,…Xn)

，每當有了樣本，就代入該函數中算出一個值，用來作為的估計值.把樣本值代入T(X1,X2,…Xn)

中，估計值

.T(X1,X2,…Xn)

稱為參數的點估計量，得到

的一個點我們知道,若,由大數定律,自然想到把樣本體重的平均值作為總體平均體重的一個估計.樣本體重的平均值則.用樣本體重的均值估計.類似地，用樣本體重的方差估計.使用什么樣的統計量去估計？可以用樣本均值;也可以用樣本中位數;還可以用別的統計量.問題是:二、尋求估計量的方法1.矩估計法2.極大似然法3.最小二乘法4.貝葉斯方法……這里我們主要介紹前面兩種方法.1.矩估計法矩估計法是英國統計學家K.皮爾遜最早提出來的.由辛欽定理,若總體的數學期望有限,則有其中為連續函數.

這表明

,當樣本容量很大時

,在統計上,可以用用樣本矩去估計總體矩.這一事實導出矩估計法.定義用樣本原點矩估計相應的總體原點矩,又用樣本原點矩的連續函數估計相應的總體原點矩的連續函數,這種參數點估計法稱為矩估計法

.理論依據:大數定律矩估計法的具體做法如下設總體的分布函數中含有k個未知參數,那么它的前k階矩,一般都是這k個參數的函數,記為：i=1,2,…,k從這k個方程中解出j=1,2,…,kj=1,2,…,k那么用諸的估計量Ai分別代替上式中的諸,即可得諸的矩估計量：矩估計量的觀察值稱為矩估計值

.例2

設總體X在[a,b]上服從均勻分布,a,b未知.是來自X

的樣本,試求a,b

的矩估計量.解

即

解得于是a,b的矩估計量為樣本矩總體矩解

例3

設總體X的均值和方差都存在,未知.是來自X

的樣本,試求的矩估計量.解得于是的矩估計量為樣本矩總體矩

矩法的優點是簡單易行,并不需要事先知道總體是什么分布.缺點是，當總體類型已知時，沒有充分利用分布提供的信息.一般場合下,矩估計量不具有唯一性.其主要原因在于建立矩法方程時，選取那些總體矩用相應樣本矩代替帶有一定的隨意性.

2.最大似然法它是在總體類型已知條件下使用的一種參數估計方法.它首先是由德國數學家高斯在1821年提出的.GaussFisher然而,這個方法通常歸功于英國統計學家費歇爾.費歇爾在1922年重新發現了這一方法，并首先研究了這種方法的一些性質.最大似然法的基本思想先看一個簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應聲倒下.你就會想，只發一槍便打中,獵人命中的概率一般大于這位同學命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經體現了極大似然法的基本思想.

最大似然估計原理：當給定樣本X1,X2,…Xn時，定義似然函數為：設X1,X2,…Xn是取自總體X的一個樣本，樣本的聯合密度(連續型）或聯合分布律(離散型)為f(x1,x2,…,xn

;).f(x1,x2,…,xn;

)這里x1,x2,…,xn

是樣本的觀察值.似然函數：

最大似然估計法就是用使達到最大值的去估計.稱為的最大似然估計值.看作參數的函數，它可作為將以多大可能產生樣本值x1,x2,…,xn

的一種度量.

f(x1,x2,…,xn;)而相應的統計量稱為的最大似然估計量.兩點說明：

1、求似然函數L(

)

的最大值點，可以應用微積分中的技巧。由于ln(x)是

x的增函數,lnL()與L()在

的同一值處達到它的最大值，假定是一實數，且lnL()是的一個可微函數。通過求解方程：可以得到的MLE.若是向量，上述方程必須用方程組代替.

2、用上述求導方法求參數的MLE有時行不通，這時要用最大似然原則來求.L(p)=f(x1,x2,…,xn;p)下面舉例說明如何求最大似然估計

例5

設X1,X2,…Xn是取自總體X~B(1,p)的一個樣本，求參數p的最大似然估計量.解：似然函數為:對數似然函數為：即為p

的最大似然估計值

.對p求導并令其為0，=0得從而

p

的最大似然估計量為

(4)在最大值點的表達式中,用樣本值代入就得參數的最大似然估計值

.求最大似然估計(MLE)的一般步驟是：

(1)由總體分布導出樣本的聯合分布率(或聯合密度);

(3)求似然函數L()的最大值點(常常轉化為求ln

L()的最大值點)，即

的MLE;

(2)把樣本聯合分布率(或聯合密度)中自變量看成已知常數,而把參數看作自變量,得到似然

函數L();

例6

設總體X~N(),未知.是來自X

的樣本值,試求的最大似然估計量.似然函數為解X的概率密度為于是令解得的最大似然估計量為解：似然函數為例7

設X1,X2,…Xn是取自總體X的一個樣本其中>0,求的最大似然估計.i=1,2,…,n對數似然函數為解：似然函數為i=1,2,…,n對分別求偏導并令其為0,=0(2)由(1)得=0

(1)對數似然函數為用求導方法無法最終確定用最大似然原則來求.對是故使達到最大的即的MLE于是

取其它值時，即為的MLE.且是的增函數第二次捕出的有記號的魚數X是r.v,X具有超幾何分布：為了估計湖中的魚數N，第一次捕上r條魚，做上記號后放回.隔一段時間后,再捕出S

條魚

,結果發現這S條魚中有k條標有記號.根據這個信息，如何估計湖中的魚數呢？最后，我們用最大似然法估計湖中的魚數應取使L(N;k)達到最大的N，作為N的極大似然估計.但用對N求導的方法相當困難,我們考慮比值：把上式右端看作N的函數，記作L(N;k).經過簡單的計算知，這個比值大于或小于1，或而定.由經過簡單的計算知，這個比值大于或小于1，或而定.由這就是說，當N增大時，序列P(X=k;N)先是上升而后下降;當N為小于的最大整數時,達到最大值.故N的極大似然估計為

例1

設總體X的概率密度為其中是未知參數,X1,X2,…,Xn

是取自X的樣本,求參數

的矩估計.三、課堂練習

例1

設總體X的概率密度為其中是未知參數,X1,X2,…,Xn

是取自X的樣本,求參數的矩估計.解

樣本矩總體矩解得的矩估計量為故解由密度函數知例

2

設X1,X2,…Xn是取自總體X的一個樣本其中>0,求的矩估計.具有均值為的指數分布即E(X-)=

D(X-)=

E(X)=

D(X)=故解得也就是

E(X)=

D(X)=的矩估計量為于是解似然函數為對數似然函數為例3設X1,X2,…Xn是取自總體X的一個樣本求的最大似然估計值.其中

>0,求導并令其為0=0從中解得即為的最大似然估計值

.對數似然函數為這一節，我們介紹了參數點估計,給出了尋求估計量最常用的矩法和極大似然法.參數點估計是用一個確定的值去估計未知的參數.看來似乎精確，實際上把握不大.四、小結第二節估計量的評選標準無偏性有效性相合性小結樣本均值是否是的一個好的估計量？(2)怎樣決定一個估計量是否比另一個估計量“好”？樣本方差是否是的一個好的估計量？這就需要討論以下幾個問題:(1)我們希望一個“好的”估計量具有什么特性？(3)如何求得合理的估計量？X~N()估計量的評選標準在介紹估計量的評選標準之前，我們必須強調指出：評價一個估計量的好壞，不能僅僅依據一次試驗的結果，而必須由多次試驗結果來衡量.這是因為估計量是樣本的函數,是隨機變量.因此，由不同的觀測結果，就會求得不同的參數估計值.因此一個好的估計，應在多次試驗中體現出優良性.

常用的幾條標準是：1．無偏性2．有效性3．相合性這里我們重點介紹前面兩個標準.估計量是隨機變量，對于不同的樣本值會得到不同的估計值.我們希望估計值在未知參數真值附近擺動，而它的期望值等于未知參數的真值.這就導致無偏性這個標準.一、無偏性則稱為的無偏估計

.設是未知參數的估計量，若例如，用樣本均值作為總體均值的估計時，雖無法說明一次估計所產生的偏差，但這種偏差隨機地在0的周圍波動，對同一統計問題大量重復使用不會產生系統偏差.無偏性是對估計量的一個常見而重要的要求.無偏性的實際意義是指沒有系統性的偏差.例1

設總體X服從參數為的指數分布

,

其概率密度為為未知,X1,X2,…Xn是取自總體的一個樣本,試證

和都是參數的無偏估計量

.證所以是參數的無偏估計量

.而具有概率密度故知即也是參數的無偏估計量

.所以無偏估計以方差小者為好,這就引進了有效性這一概念.的大小來決定二者誰更優.和一個參數往往有不止一個無偏估計,若和都是參數

的無偏估計量，我們可以比較由于二、有效性D()≤D()則稱較有效.都是參數

的無偏估計量，若對任意，設和且至少對于某個上式中的不等號成立，故較有效.例2(續例1)

試證

當n>1時的無偏估計量較有效.證故有而故有當n>1時,三、相合性任意，當時依概率收斂于,則稱為的相合估計量.設是參數

的估計量，若對于為的相合估計量對于任意,有由辛欽定理若總體的數學期望有限,則有其中為連續函數.故為的相合估計量.

若為連續函數,為的相合估計量.則有四、小結對于一個未知參數可以提出不同的估計量,因此自然提出比較估計量的好壞的問題，這就需要給出評定估計量好壞的標準.在本節中,介紹了評定估計量好壞的三個標準:無偏性、有效性、和相合性.第三節區間估計置信區間定義置信區間的求法單側置信區間課堂練習小結

引言前面，我們討論了參數點估計.它是用樣本算得的一個值去估計未知參數.但是，點估計值僅僅是未知參數的一個近似值，它沒有反映出這個近似值的誤差范圍，使用起來把握不大.區間估計正好彌補了點估計的這個缺陷.

譬如，在估計湖中魚數的問題中，若我們根據一個實際樣本，得到魚數N的極大似然估計為1000條.若我們能給出一個區間，在此區間內我們合理地相信N的真值位于其中.這樣對魚數的估計就有把握多了.實際上，N的真值可能大于1000條，也可能小于1000條.也就是說，我們希望確定一個區間，使我們能以比較高的可靠程度相信它包含真參數值.湖中魚數的真值[]這里所說的“可靠程度”是用概率來度量的，稱為置信度或置信水平.習慣上把置信水平記作，這里是一個很小的正數.例如，通常可取置信水平=0.95或0.9等.根據一個實際樣本，由給定的置信水平，我小的區間，使們求出一個盡可能置信水平的大小是根據實際需要選定的.置信區間.稱區間為

的置信水平為的一、置信區間定義滿足設是一個待估參數，給定X1,X2,…Xn確定的兩個統計量則稱區間是的置信水平（置信度)為的置信區間.和分別稱為置信下限和置信上限.若由樣本這里有兩個要求:可見，對參數作區間估計，就是要設法找出兩個只依賴于樣本的界限(構造統計量).一但有了樣本，就把估計在區間內.可靠度與精度是一對矛盾，一般是在保證可靠度的條件下盡可能提高精度.1.要求以很大的可能被包含在區間內，就是說，概率要盡可能大.即要求估計盡量可靠.

2.估計的精度要盡可能的高.如要求區間長度盡可能短，或能體現該要求的其它準則.在求置信區間時，要查表求分位點.二、置信區間的求法設,對隨機變量X，稱滿足的點為X的概率分布的上分位點.定義若X為連續型隨機變量,則有所求置信區間為所求置信區間為標準正態分布的上分位點分布的上分位數自由度為n的F分布的上分位數自由度為n1,n2的~N(0,1)選

的點估計為,求參數的置信度為的置信區間.

例1

設X1,…Xn是取自

的樣本，明確問題,是求什么參數的置信區間?置信水平是多少？尋找未知參數的一個良好估計.解

尋找一個待估參數和統計量的函數，要求其分布為已知.有了分布，就可以求出U取值于任意區間的概率.對給定的置信水平查正態分布表得對于給定的置信水平,根據U的分布，確定一個區間,使得U取值于該區間的概率為置信水平.使為什么這樣取？從中解得對給定的置信水平查正態分布表得使也可簡記為于是所求的置信區間為從例1解題的過程，我們歸納出求置信區間的一般步驟如下:1.明確問題,是求什么參數的置信區間?置信水平

是多少?2.尋找參數的一個良好的點估計T(X1,X2,…Xn)

3.尋找一個待估參數和估計量T

的函數U(T,),且其分布為已知.

5.對“a<S(T,)<b”作等價變形,得到如下形式:即于是就是的100(

)％的置信區間.

4.對于給定的置信水平

，根據U(T,)的分布，確定常數a,b，使得P(a<U(T,)<b)=可見，確定區間估計很關鍵的是要尋找一個待估參數和估計量T的函數U(T,),且U(T,)的分布為已知,不依賴于任何未知參數.而這與總體分布有關，所以，總體分布的形式是否已知，是怎樣的類型，至關重要.

需要指出的是，給定樣本，給定置信水平，置信區間也不是唯一的.對同一個參數，我們可以構造許多置信區間.例如，設X1,…,Xn

是取自

的樣本，求參數的置信水平為的置

~N(0,1)信區間.由標準正態分布表，對任意a、b，我們可以求得P(a<U<b).~N(0,1)例如，由P(-1.96≤U≤1.96)=0.95我們得到均值的置信水平為的置信區間為由P(-1.75≤U≤2.33)=0.95這個區間比前面一個要長一些.置信區間為我們得到均值的置信水平為的我們總是希望置信區間盡可能短.類似地，我們可得到若干個不同的置信區間.任意兩個數a和b，只要它們的縱標包含f(u)下95%的面積，就確定一個95%的置信區間.在概率密度為單峰且對稱的情形，當a=-b時求得的置信區間的長度為最短.a=-b即使在概率密度不對稱的情形，如分布，F分布，習慣上仍取對稱的分位點來計算未知參數的置信區間.我們可以得到未知參數的的任何置信水平小于1的置信區間，并且置信水平越高，相應的置信區間平均長度越長.也就是說，要想得到的區間估計可靠度高，區間長度就長，估計的精度就差.這是一對矛盾.實用中應在保證足夠可靠的前提下，盡量使得區間的長度短一些.三、單側置信區間上述置信區間中置信限都是雙側的，但對于有些實際問題，人們關心的只是參數在一個方向的界限.

例如對于設備、元件的使用壽命來說，平均壽命過長沒什么問題，過短就有問題了.這時,可將置信上限取為+∞，而只著眼于置信下限，這樣求得的置信區間叫單側置信區間.于是引入單側置信區間和置信限的定義：滿足設是一個待估參數，給定若由樣本X1,X2,…Xn確定的統計量則稱區間是的置信水平為的單側置信區間.定義稱為的置信水平為的單側置信下限.對于任意,滿足若由樣本X1,X2,…Xn確定的統計量則稱區間是的置信水平為的單側置信區間.稱為的置信水平為的單側置信上限.對于任意,設燈泡壽命服從正態分布.求燈泡壽命均值的置信水平為0.95的單側置信下限.

例2

從一批燈泡中隨機抽取5只作壽命試驗，測得壽命X（單位：小時）如下：1050，1100，1120，1250，1280方差未知解的點估計取為樣本均值,對給定的置信水平

，確定分位點使即于是得到的置信水平為的單側置信區間為

將樣本值代入得的置信水平為0.95的單側置信下限是1065小時的置信水平為的單側置信下限為即請自己畫一張表，將各種情況下的區間估計加以總結.四、課堂練習隨機地取炮彈10發做試驗，得炮口速度的標準差,炮口速度服從正態分布.求這種炮彈的炮口速度的標準差的置信水平為0.95的置信區間.由解隨機地取炮彈10發做試驗，得炮口速度的標準差,炮口速度服從正態分布.求這種炮彈的炮口速度的標準差的置信水平為0.95的置信區間.于是得到的置信水平為的置信區間為這里可得到的置信水平為的置信區間為同學們可通過練習，掌握各種求未知參數的

置信區間的具體方法.這一節，我們介紹了區間估計.五、小結

第四節正態總體均值與方差的區間估計單個總體的情況兩個總體的情況課堂練習小結一、單個總體的情況并設為來自總體的樣本,分別為樣本均值和樣本方差.均值的置信區間為已知可得到的置信水平為的置信區間為或為未知可得到的置信水平為的置信區間為此分布不依賴于任何未知參數由或

例1

有一大批糖果.現從中隨機地取16袋,稱得重量(以克計)如下:506508499503504510497512514505493496506502509496設袋裝糖果的重量近似地服從正態分布,試求總體均值的置信水平0.95為的置信區間.解這里于是得到的置信水平為的置信區間為即方差的置信區間由可得到的置信水平為的置信區間為由可得到標準差的置信水平為的置信區間為

例2

有一大批糖果.現從中隨機地取16袋,稱得重量(以克計)如下:506508499503504510497512514505493496506502509496設袋裝糖果的重量近似地服從正態分布,試求總體標準差的置信水平0.95為的置信區間.解這里于是得到的置信水平為的置信區間為即二、兩個總體的情況設已給定置信水平為,并設是來自第一個總體的樣本,是來自第二個總體的樣本,這兩個樣本相互獨立.且設分別為第一、二個總體的樣本均值,為第一、二個總體的樣本方差

.兩個總體均值差的置信區間為已知因為相互獨立,所以相互獨立.故或于是得到

的置信水平為的置信區間為為已知其中于是得到

的置信水平為的置信區間為其中例3