第六章點估計矩法估計極大似然估計克拉默-拉奧不等式充分統計量拉奧-勃拉克維爾定理和一致最小方差無偏估計理解參數的點估計的概念，掌握矩估計法與極大似然值估計法了解估計量的無偏性，有效性，一致性了解估計的概念，會求單個正態總體的均值與方差的置信區間，會求兩個正態總體的均值及方差比的置信區間學習目的重點和難點點估計中的矩估計法、極大似然估計法估計量的性質置信區間引言上一章，我們介紹了總體、樣本、簡單隨機樣本、統計量和抽樣分布的概念，介紹了統計中常用的三大分布，給出了幾個重要的抽樣分布定理.它們是進一步學習統計推斷的基礎.研究統計量的性質和評價一個統計推斷的優良性，完全取決于其抽樣分布的性質.

總體樣本統計量描述作出推斷隨機抽樣參數估計問題假設檢驗問題點估計區間估計統計推斷的基本問題什么是參數估計？參數是刻畫總體某方面概率特性的數量.參數的類型有:1、分布中所含的未知參數.

例如，X~N(,2),若

,2未知,通過構造統計量,給出它們的估計值或取值范圍就是參數估計的內容.區間估計參數估計的兩種類型點估計這是區間估計.估計在區間[1.57,1.84]內，（假定身高服從正態分布）假如我們要估計某隊男生的平均身高.設這5個數是:1.651.671.681.781.69現從該總體選取容量為5的樣本，我們的任務是要根據選出的樣本（5個數）求出總體均值的估計.而全部信息就由這5個數組成.估計為1.68，這是點估計.3、分布的各種特征數例如：EX，VarX,分布中位數等。2、分布中所含的未知參數

的函數.例如：X~N(,2),其中

,2未知，對于某定值a,要估計,即為,的函數.參數估計問題是利用從總體抽樣得到的樣本,通過估計量來估計上述各種參數.估計量就是估計總體參數的統計量.在參數估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數.一般地，用（可以是向量）來表示參數，它的所有可能取值組成的集合稱為參數空間，用Θ表示.參數估計問題的一般提法現從該總體抽樣，得樣本要依據該樣本對參數作出估計，或估計的某個已知函數.這類問題稱為參數估計.設有一個統計總體，總體的分布函數為，其中為未知參數(可以是向量).尋求估計量的方法1.矩估計法2.極大似然法3.最小二乘法4.貝葉斯方法這里我們主要介紹前面兩種方法.6.1矩估計法其基本思想是用樣本矩估計總體矩.理論依據：大數定律或格列汶科定理它是基于一種簡單的“替換”思想建立起來的一種估計方法.是英國統計學家K.皮爾遜最早提出的.記總體k階矩為樣本k階矩為用相應的樣本矩去估計總體矩的估計方法就稱為矩估計法.記總體k階中心矩為樣本k階中心矩為那么用諸的估計量Ai分別代替上式中的諸,即可得諸的矩估計量：j=1,2,…,k設總體的分布函數中含有k個未知參數,那么它的前k階矩一般都i=1,2,…,k.從這k個方程中解出j=1,2,…,k是這k個參數的函數,記為：解:由矩法,樣本矩總體矩從中解得的矩估計.即為數學期望是一階原點矩

例1設總體

的概率密度為是未知參數,其中

是取自

的樣本,求參數的矩估計.解:由密度函數知具有均值為的指數分布即

例2設

是取自總體

的一個樣本其中,求的矩估計.解得令用樣本矩估計總體矩解得于是a,b的矩估計量為總體矩表示解:

例3

設總體,a,b未知,

為取自該總體的樣本，求參數a,b的矩法估計量.解得于是的矩估計量為樣本矩表示解:總體矩表示

例4設總體

的均值和方差都存在,未知.是來自

的樣本,試求的矩估計量.總體分布為一般情形(包括分布未知)時的矩法估計方法:用樣本均值來估計總體均值EX用樣本方差來估計總體方差VarX.用樣本的p分位數來估計總體的p分位數.用事件A出現的頻率來估計事件A發生的概率.

矩法的優點是簡單易行,并不需要事先知道總體是什么分布.缺點是，當總體類型已知時，沒有充分利用分布提供的信息.一般場合下,矩估計量不具有唯一性.其主要原因在于建立矩法方程時，選取哪些總體矩用相應樣本矩代替帶有一定的隨意性.我們知道,服從正態分布根據矩法估計，我們可以用樣本均值用樣本方差.估計的優良性樣本均值是否是的一個好的估計量？樣本方差是否是的一個好的估計量？那么要問:這就需要討論以下幾個問題:(1)我們希望一個“好的”估計量具有什么特性？(2)怎樣決定一個估計量是否比另一個估計量“好”？(3)如何求得合理的估計量？估計量的優良性準則這是因為估計量是樣本的函數，是隨機變量.因此，由不同的觀測結果，就會求得不同的參數估計值.因此一個好的估計，應在多次試驗中體現出優良性.在介紹估計量優良性的準則之前，我們必須強調指出：評價一個估計量的好壞，不能僅僅依據一次試驗的結果，而必須由多次試驗結果來衡量.常用的幾條標準是：2．無偏性3．有效性1．相合性這節我們重點介紹前面兩個標準.相合性則稱為的相合估計.設總體具有概率函數為未知參數，為的一個估計量，為樣本容量.若對任意一個，有相合性樣本均值為總體均值的相合估計.樣本原點矩為總體原點矩的相合估計.樣本方差為總體方差的相合估計.

估計量是隨機變量，對于不同的樣本值會得到不同的估計值.我們希望估計值在未知參數真值附近擺動，而它的期望值等于未知參數的真值.這就導致無偏性這個標準.無偏性則稱為的無偏估計

.設是未知參數的估計量，若無偏性樣本均值為總體均值的無偏估計.樣本原點矩為總體原點矩的無偏估計.樣本方差不是總體方差的無偏估計.是總體方差的無偏估計.一般的，二階或二階以上樣本中心矩不是總體中心矩的無偏估計.注意：若是參數的無偏估計，函數不一定是的無偏估計若的一個估計不是無偏估計，但當時，.則稱為的漸進無偏估計.6.2極大似然法極大似然法是在總體類型已知條件下使用的一種參數估計方法.它首先是由德國數學家高斯在1821年提出的,然而，這個方法常歸功于英國統計學家費歇.費歇在1922年重新發現了這一方法，并首先研究了這種方法的一些性質.GaussFisher是誰打中的呢？例子：某位同學與一位獵人一起外出打獵.一只野兔從前方竄過.只聽一聲槍響，野兔應聲倒下.如果要你推測，你會如何想呢?極大似然法的基本思想下面我們再看一個例子,進一步體會極大似然法的基本思想.你就會想，只發一槍便打中,獵人命中的概率一般大于這位同學命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經體現了極大似然法的基本思想.

例5設X~B(1,p),p未知.設想我們事先知道p只有兩種可能:問:應如何估計p?p=0.7或p=0.3如今重復試驗3次,得結果:0,0,0由概率論的知識,3次試驗中出現“1”的次數k=0,1,2,3應如何估計p?p=0.7或p=0.3k=0,1,2,3出現估計出現出現出現估計估計估計

將計算結果列表如下：p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 0.3430.4410.4410.343如果有p1,p2,…,pm可供選擇,又如何合理地選p呢?i=1,2,…,m則估計參數p為時Qi

最大,比方說,當從中選取使Qi最大的pi作為p的估計.若重復進行試驗n次,結果“1”出現k次(0≤k≤n),我們計算一切可能的P(Y=k;pi

)=Qi，

i=1,2,…,m如果只知道0<p<1,并且實測記錄是Y=k(0≤k≤n),又應如何估計p呢?注意到是p的函數,可用求導的方法找到使f(p)達到極大值的p.但因f(p)與lnf(p)達到極大值的自變量相同,故問題可轉化為求lnf(p)的極大值點.這時,對一切0<p<1,均有將lnf(p)對p求導并令其為0,便得

p(n-k)=k(1-p),從而

以上這種選擇一個參數使得實驗結果具有最大概率的思想就是極大似然法的基本思想.這時,對一切0<p<1,均有則估計參數p為當給定樣本

時，定義似然函數為：極大似然估計原理設

是取自總體

的一個樣本，樣本的聯合密度(連續型）或聯合概率函數(離散型)為極大似然估計法就是用使達到最大值的去估計.稱為的極大似然估計（MLE）.似然函數：

看作參數的函數，它可作為將以多大可能產生樣本值

的一種度量.(4)在最大值點的表達式中,用樣本值代入就得參數的極大似然估計值.求極大似然估計(MLE)的一般步驟是：(1)由總體分布導出樣本的聯合概率函數(或聯合密度);(3)求似然函數

的最大值點(常常轉化為求

的最大值點)，即

的MLE;(2)把樣本聯合概率函數(或聯合密度)中自變量看成已知常數,而把參數看作自變量,得到

似然函數

；兩點說明：1、求似然函數

的最大值點，可以應用微積分中的技巧。由于是

的增函數，與

在的同一值處達到它的最大值，假定是一實數，且是的一個可微函數。通過求解所謂“似然方程”：可以得到的MLE.若是向量，上述方程必須用似然方程組代替.2、用上述求導方法求參數的MLE有時行不通，這時要用極大似然原則來求.兩點說明：解：似然函數為:下面舉例說明如何求極大似然估計

例6設

是取自總體的一個樣本，求參數p的極大似然估計.對數似然函數為：對p求導并令其為0，得即為p的MLE.對數似然函數為解：似然函數為例7

設

是取自總體

的一個樣本求的極大似然估計.其中

求導并令其為0從中解得即為的MLE.對數似然函數為解：似然函數為i=1,2,…,n

例8設

是取自總體

的一個樣本其中,求的極大似然估計.對數似然函數為似然函數i=1,2,…,n(2)由(1)得(1)對分別求偏導并令其為0,對數似然函數為故使達到最大的即的MLE，是于是即為的MLE.對取其它值時，且是的增函數由于極大似然估計的一個性質可證明極大似然估計具有下述性質：設的函數是上的實值函數,且有唯一反函數.如果是的MLE，則也是的極大似然估計.

例9一罐中裝有白球和黑球，有放回地抽取一個容量為n的樣本，其中有k個白球，求罐中黑球與白球之比R的極大似然估計.先求p的MLE：解:設

為所取樣本，則

是取自B(1,p)的樣本，p是每次抽取時取到白球的概率，p未知.p的MLE為在前面例4中,我們已求得由前述極大似然估計的性質不難求得的MLE是例如，用樣本均值作為總體均值的估計時，雖無法說明一次估計所產生的偏差，但這種偏差隨機地在0的周圍波動，對同一統計問題大量重復使用不會產生系統偏差.無偏性是對估計量的一個常見而重要的要求.無偏性的實際意義是指沒有系統性的偏差.6.3

克拉默-拉奧不等式所以無偏估計以方差小者為好,這就引進了有效性這一概念.由于的大小來決定二者和一個參數往往有不止一個無偏估計,若和都是參數的無偏估計量，我們可以比較誰更優.有效性則稱較有效

.都是參數的無偏估計量，若有設和在數理統計中常用到最小方差無偏估計.若滿足：設是取自總體

的一個樣本，是未知參數的一個估計量，（1），即為的無偏估計；是的任一無偏估計.則稱為的最小方差無偏估計(最佳無偏估計).（2）

例10總體服從均勻分布，為的無偏估計為的漸進無偏估計為的無偏估計，比較和的有效性.比有效.設

為具有概率函數

的母體的樣本，為已知常數.又是的一個無偏估計，滿足正則條件：（1）集合與無關Rao---Cramer不等式（2）與存在，對一切

（3）令稱為信息量，則其等式成立的充要條件為存在一個不依賴于但可能依賴于的，使得下列等式以概率1成立.特別當時，不等式可化為該不等式稱為克拉默-拉奧不等式，也稱為信息不等式.證明：或時，不等式顯然成立.由的無偏性由正則條件（1），（2）知由于為密度函數，而且有由Schwarz不等式知：定義隨機變量：則計算信息若則證明：例11

則的方差達到克拉默-拉奧不等式下界.證明:得證！例12

則的方差拉默-拉奧不等式下界.證明:得證！有效估計成立，則稱為的有效估計.若的無偏估計量使克拉默-拉奧不等式中的等式有效率若是的一個無偏估計量，且克拉默-拉奧不等式下界存在，則稱下界與的比為估計的有效率，這里漸進有效估計若當時，一個估計量的有效率，則稱為參數的漸進有效估計.正態總體中參數的極大似然估計是漸進正態、漸進有效、漸進無偏的.“充分統計量”——沒有損失樣本所包含的總體未知參數的任何信息。6.4充分統計量統計量

是對原始樣本的加工，實際上是對數據進行壓縮。這種數據壓縮可能會出現兩種情況，一是樣本包含總體未知參數的信息經加工后損失一部分，另一種情況是樣本加工成統計量后保留了樣本包含總體未知參數的全部信息.

例13假定總體有N

個個體，其中M

個具有某種屬性，從總體中采用有放回、無放回兩種方式抽取n

個樣本

.可以證明，統計量

是總體比例p=M/N

的充分統計量.

定義假定有統計量，如果給定

時樣本的條件分布與總體參數

無關，則稱

是一個關于

充分統計量.所以

是充分統計量.樣本比例t/n

也是未知的總體比例p

的充分統計量.考慮有放回時的情形總體服從,

服從這個例子里充分統計量的意義在于：如果我們希望抽取部分樣本得到一批產品的次品率，(或者調查一部分人了解全體群眾的觀點等)，無論采用有放回還是不放回的抽樣方法，我們只需要知道抽取出的產品里究竟有幾個次品！沒有必要了解抽取的過程中，第一個是否是次品，第二個是否是次品，…因子化導入為Rao-Cramer不等式中等號成立條件.兩端對求積分，得即其中由定義設是取自具有概率函數的總體的一個容量為的樣本.設是一個統計量，有概率函數.若成立，且當取一固定值時，發生條件下的條件概率函數不依賴于，則稱為的一個充分統計量.例14設母體有密度函數證明是充分統計量.證明：的密度函數為當時，上式不依賴于，且的值域也不依賴于，從而是的充分統計量.例15設母體有密度函數從中取得樣本，其觀測值為.問是否的充分統計量?解：當時，，而時的概率函數由充分統計量的定義知，不是的充分統計量.充分統計量的判斷—Neyman因子分解定理定理6.2設為取自具有概率函數的總體的一個樣本，則統計量是一個充分統計量的充要條件是存在兩個非負函數和，使得等式成立，并且當取定值時，函數不依賴于.證明：必要性若是的一個充分統計量,設其概率函數為，則由定義且在取一定值時不依賴于，令必要性得證.充分性令則是連續型隨機變量，且與均為連續函數.補充個連續函數且均連續，使點到為一一變換.其逆變換雅可比行列式為J由條件可知：的聯合概率密度的邊際密度函數由于與均不依賴于參數，且非負.令當時，有當時，