1、極大似然估計法極大似然估計法 極大似然原理的直觀想法是極大似然原理的直觀想法是: :一個隨機試一個隨機試驗如有若干個可能的結果驗如有若干個可能的結果A,B,C,A,B,C,. .若在一次若在一次試驗中試驗中, ,結果結果A A出現出現, , 則一般認為則一般認為A A出現的概出現的概率最大率最大, ,也即試驗條件對也即試驗條件對A A出現有利出現有利. .或者說或者說在試驗的很多可能條件中，認為應該是使事在試驗的很多可能條件中，認為應該是使事件件A A發生的概率為最大的那種條件存在發生的概率為最大的那種條件存在. . 極大似然估計的基本思想極大似然估計的基本思想kkkppCkXP33)1 ()

2、(X0123P=1/4 時 PX=k27/6427/649/641/64P=3/4 時 PX=k1/649/6427/6427/54例：假若一個盒子里有許多白球和紅球例：假若一個盒子里有許多白球和紅球, ,而且已知而且已知它們的數目之比是它們的數目之比是3:1,3:1,但不知是白球多還是紅球多但不知是白球多還是紅球多. .設隨機地在盒子中取一球為白球的概率是設隨機地在盒子中取一球為白球的概率是p.p.如果有如果有放回地從盒子里取放回地從盒子里取3 3個球個球, ,那么白球數目那么白球數目X X服從二項服從二項分布分布如果樣本中白球數為如果樣本中白球數為0,0,則應估計則應估計p=1/4,p=1

3、/4,而不估計而不估計p=3/4.p=3/4.因為具有因為具有X=0X=0的樣本來自的樣本來自p=1/4p=1/4的總體的可的總體的可能性比來自能性比來自p=3/4p=3/4的總體的可能性要大的總體的可能性要大. .一般當一般當X=0,1X=0,1時時, ,應估計應估計p=1/4;p=1/4;而當而當X=2,3X=2,3時時, ,應估計應估計p=3/4.p=3/4.極大似然估計法的思想極大似然估計法的思想：設總體設總體X的密度函數為的密度函數為f(x, )， 為未知參數，則為未知參數，則樣本（樣本（X1,X2,Xn）的聯合密度函數為）的聯合密度函數為121( , )( , )nniif x x

4、xf x121( )( , )( , )nniiLf x xxf x令令 參數參數 的估計量的估計量 ，使得樣本（，使得樣本（X1,X2,Xn）落在觀測）落在觀測值值 的鄰域內的概率的鄰域內的概率L( )達到最大，即達到最大，即12( ,)nx xx1212( , )max ( , )nnL x xxL x xx則稱則稱 為參數為參數 的極大似然估計值。的極大似然估計值。 0)(Ldd令求極大似然估計的一般步驟歸納如下： ,.2 , 1 , 0,!kkekXPk),.,;()(21nxxxLLniniiixxnL11) !ln(ln)(ln 例例:設隨機變量X服從泊松分布:其中0是一未知參數,

5、求的極大似然估計.解解 設(x1,x2,xn)是樣本 (X1,X2,Xn)的一組觀測值.于是似然函數兩邊取對數得)!(1exniixinniixexnii1101)(ln1niixndLd令0)(ln22xdLdx且X從而得出的極大似然估計量為 解這一方程得解解 總體X服從參數為的指數分布，則有 000);(xxexfx所以似然函數為 niixneL1)(取對數 niixnL1ln)(ln令 0)(ln1niixnLdd解得的極大似然估計值為 xxnnii11極大似然估計量為 XXnnii11)x(21exp)2(1)x,.,x,x;,(LLn1i2i22/n2n212例例:設(X1,X2,X

6、n)是來自正態總體N(,2)的一個樣本,其中,2是未知參數,參數空間=- 0.求與2的極大似然估計.解解 正態分布的似 然函數為n1i2i22)x(21lnn2)2ln(2nLln兩邊取對數得由微積分知識易驗證以上所求為與2的極大似然估計.niiniixnLxL12422120)(212ln0)(1ln分別求關于與2的偏導數,得似然方程組2n1ii2n1ii)xx(n1xxn1解這一方程組得0, 00,1);(其他xxpnixxxxLinn,.,2 , 1,0 ,1),.,;(21n,.,2 , 1i ,xmaxxx0ini1)n(imax1inixmax),.,(121ininXXXX例例:

7、設總體X具有均勻分布,其概率密度函數為求未知參數的極大似然估計.解解 設 (X1,X2,Xn)是來自總體X的一個樣本.似然函數為 要使L(; x1,x2,xn)達到最大,就要使達到最小,由于所以的極大似然估計值為：參數的極大似然估計量為：例例 假設（假設（X1，X2，Xn）是取自正態總體）是取自正態總體N( , 2)的樣本，求的樣本，求 和和 2的極大似然估計量。的極大似然估計量。解解 構造似然函數構造似然函數 22()211( )2ixniLe取對數取對數 22()211ln ( )ln2ixniLe221()ln2ln2niix求偏導數，并令其為求偏導數，并令其為0 1221()2()( 1)ln02niniiixxL222221()ln11022niixL解得解得 11niixxn2211()niixxn所以所以， 2的極大似然估計量為的極大似然估計量為 11niiXXn2211()niiXXn與矩估計量與矩估計量 相同相同例例 設總體 X N (, 2), x1, x2, xn 是 X 的樣本值, 求 , 2 的極大似然估計.解解),;,(221nxxxLniixnne1222)(222)()2(1)ln(2)2ln(22)(ln2122nnxLnii222)(121ixnie7