極大似然估計

二、尋求估計量的方法1.矩估計法2.極大似然法3.最小二乘法4.貝葉斯方法……這里我們主要介紹第二兩種方法.2.極大似然法是在總體類型條件下使用的一種參數估計方法.

極大似然法的根本思想

先看一個簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應聲倒下.下面我們再看一個例子,進一步體會極大似然法的根本思想.

你就會想，只發一槍便打中,獵人命中的概率一般大于這位同學命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經表達了極大似然法的根本思想.

例4

設X~B(1,p),p未知.設想我們事先知道p只有兩種可能:問:應如何估計p?p=0.7或p=0.3如今重復試驗3次,得結果:0,0,0由概率論的知識,3次試驗中出現“1〞的次數k=0,1,2,3

將計算結果列表如下：應如何估計p?p=0.7或p=0.3k=0,1,2,3p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 出現估計出現出現出現估計估計估計0.3430.4410.4410.343如果有p1,p2,…,pm可供選擇,又如何合理地選p呢?從中選取使Qi最大的pi作為p的估計.i=1,2,…,m那么估計參數p為時Qi

最大,比方說,當假設重復進行試驗n次,結果“1〞出現k次(0≤k≤n),我們計算一切可能的

P(Y=k;pi

)=Qi

，

i=1,2,…,m

如果只知道0<p<1,并且實測記錄是Y=k(0≤k≤n),又應如何估計p呢?注意到是p的函數,可用求導的方法找到使f(p)到達極大值的p.但因f(p)與lnf(p)到達極大值的自變量相同,故問題可轉化為求lnf(p)的極大值點.=f(p)將lnf(p)對p求導并令其為0,這時,對一切0<p<1,均有從中解得=0便得

p(n-k)=k(1-p)以上這種選擇一個參數使得實驗結果具有最大概率的思想就是極大似然法的根本思想.這時,對一切0<p<1,均有那么估計參數p為

極大似然估計原理：

當給定樣本X1,X2,…Xn時，定義似然函數為：

設X1,X2,…Xn是取自總體X的一個樣本，樣本的聯合密度(連續型）或聯合概率函數(離散型)為f(X1,X2,…Xn;).f(X1,X2,…Xn;)

似然函數：

極大似然估計法就是用使達到最大值的去估計.稱為的極大似然估計（MLE）.

看作參數的函數，它可作為將以多大可能產生樣本值X1,X2,…Xn的一種度量.f(X1,X2,…Xn;)(4)在最大值點的表達式中,用樣本值代入就得參數的極大似然估計值.求極大似然估計(MLE)的一般步驟是：(1)由總體分布導出樣本的聯合概率函數

(或聯合密度);(2)把樣本聯合概率函數(或聯合密度)中自變量看成已知常數,而把參數看作自變量,

得到似然函數L();(3)求似然函數L()的最大值點(常常轉化為求lnL()的最大值點)，即

的MLE;兩點說明：1、求似然函數L()的最大值點，可以應用微積分中的技巧。由于ln(x)是x的增函數，lnL()與L()在的同一值處達到它的最大值，假定是一實數，且lnL()是的一個可微函數。通過求解所謂“似然方程”：可以得到的MLE.

若是向量，上述方程必須用似然方程組代替.2、用上述求導方法求參數的MLE有時行不通，這時要用極大似然原那么來求.

下面舉例說明如何求極大似然估計L(p)=f(X1,X2,…Xn;p)

例5

設X1,X2,…Xn是取自總體X~B(1,p)的一個樣本，求參數p的極大似然估計.解：似然函數為:對數似然函數為：對p求導并令其為0，=0得即為p

的MLE.求正態分布,指數分布的極大似然估計，見書P188-189，要求掌握。有時微積分中的極大值方法在求極大似然估計時不使用，如均勻分布.解：似然函數為

例7

設X1,X2,…Xn是取自總體X的一個樣本其中>0,求的極大似然估計.i=1,2,…,n對數似然函數為解：似然函數為i=1,2,…,n=0(2)由(1)得=0(1)對分別求偏導并令其