1、第七章 參數估計1 點估計三、三、 極大似然法極大似然法例例1如果一個射手擊中目標的概率可能是如果一個射手擊中目標的概率可能是.54,158,51 p現在讓他打三發子彈，在不同的命中目標的次數現在讓他打三發子彈，在不同的命中目標的次數下，我們應該如何取下，我們應該如何取 p 的估計值的估計值? p解解：用用 X 表示命中目標的次數，表示命中目標的次數， 則則 X B(3, p),即即).;()1()33pxPppCxXPxxx 計算結果列表如下：計算結果列表如下：第七章 參數估計1 點估計x命命中中次次數數0123)51;(xP)158;(xP)54;(xP337517283375129633

2、7532433752733753433375117633751344337551233752733753243375129633751728),54; 0()158; 0()51; 0(PPP 因為因為這表明，這表明，.051的的概概率率最最大大數數為為使使得得打打三三發發子子彈彈命命中中次次 p由實際推斷原理知，由實際推斷原理知，.51 p此時應取此時應取例例1（續）（續）第七章 參數估計1 點估計x命命中中次次數數0123)51;(xP)158;(xP)54;(xP337517283375129633753243375273375343337511763375134433755123375

3、2733753243375129633751728因此，由上表可得下面的結論：因此，由上表可得下面的結論：打三發命中次數打三發命中次數 x=1 時，命中率時，命中率 p 的合理估計的合理估計;51 p打三發命中次數打三發命中次數 x=2 時，命中率時，命中率 p 的合理估計的合理估計;158 p打三發命中次數打三發命中次數 x=3 時，命中率時，命中率 p 的合理估計的合理估計.54 p例例1（續）（續）屬屬離離散散型型，其其分分布布律律若若總總體體X)1 niixp1);( ),;(xpxXP可可能能取取值值的的范范圍圍。是是為為待待估估參參數數，的的形形式式為為已已知知， 的的聯聯合合分分

4、布布律律：則則的的樣樣本本是是來來自自設設nnXXXXX,11第七章 參數估計1 點估計的的概概率率，亦亦即即取取易易知知樣樣本本nnxxXX,11,11的的一一個個樣樣本本值值是是又又設設nnXXxx第七章 參數估計);,()(1 nxxLL .)(.稱稱為為樣樣本本的的似似然然函函數數的的函函數數它它是是 L使使得得：的的估估計計值值，即即取取，作作為為的的參參數數達達到到最最大大挑挑選選使使概概率率固固定定 );,(,11nnxxLxx極大似然法原理：極大似然法原理：1 點估計發發生生的的概概率率為為：事事件件,11nnxXxX );,(max);,(11 nnxxLxxL );,(,1

5、1nnxxxx 有有關關，記記為為與與。極極大大似似然然估估計計值值的的稱稱其其為為參參數數 ., );(1 niixp第七章 參數估計。極極大大似似然然估估計計量量的的稱稱為為參參數數 ),(1nXX的的方方法法稱稱為為極極大大似似然然法法這這種種求求未未知知參參數數 1 點估計.),;()2為為待待估估參參數數的的形形式式已已知知，屬屬連連續續型型，其其概概率率密密度度若若總總體體 xfX的的聯聯合合密密度度：則則nXX,1 niixf1);( 似似為為：維維立立方方體體）內內的的概概率率近近的的別別為為的的鄰鄰域域（邊邊長長分分落落在在機機點點的的一一個個樣樣本本值值，則則隨隨是是相相應

6、應設設ndxdxxxXXXXxxnnnnn,),(),(,11111 );(1iniidxxf ix)(ixf第七章 參數估計 應當選取使得應當選取使得的前提下，自然的前提下，自然，在得到觀測值在得到觀測值nxxx21的估計值的估計值值作為未知參數值作為未知參數達到最大的達到最大的 );(1iniidxxf 大大樣樣本本觀觀測測值值的的可可能能性性最最定定的的那那個個等等于于這這個個值值時時，出出現現給給因因為為當當未未知知參參數數 而變，故只需考慮：而變，故只需考慮：不隨不隨但但 iidx , );();,()(11 niinxfxxLL 。似似然然函函數數稱稱為為樣樣本本的的的的最最大大值

7、值，這這里里)( L1 點估計第七章 參數估計);,(max);,( 11 nnxxLxxL 若若。極極大大似似然然估估計計值值的的為為則則稱稱 ),(1nxx 。極極大大似似然然估估計計量量的的為為稱稱 ),(1nXX );(),;(可由下式求得：可由下式求得：可微，故可微，故關于關于一般，一般， xfxp0)( ddL也也可可從從下下述述方方程程解解得得：大大似似然然估估計計的的極極處處取取到到極極值值，因因此此在在同同一一與與又又因因 )(ln)(LL0)(ln Ldd1 點估計-對數似然方程對數似然方程-似然方程似然方程第七章 參數估計個個參參數數，若若總總體體的的分分布布中中包包含含

8、多多kiLi, 1, 0 即即可可令令的極大似然估計值。的極大似然估計值。個方程組求得個方程組求得解解kk ,1的的極極大大似似然然估估計計量量。即即可可得得k ,1能能地地使使用用極極大大似似然然估估計計應應用用中中，我我們們應應當當盡盡可可計計優優于于矩矩估估計計，因因而而在在一一般般來來講講，極極大大似似然然估估1 點估計kiLi, 1, 0ln 或或-對數似然方程組對數似然方程組-似然方程組似然方程組第七章 參數估計1 點估計極大似然法求估計量的步驟：極大似然法求估計量的步驟：(一般情況下一般情況下):)()1 L構造似然函數構造似然函數,()()(1 niixPL離離散散型型） ni

9、ixfL1;()()(連連續續型型） );(ln)2 L取取對對數數：; 0ln)3 dLd令令.)4 的的極極大大似似然然估估計計量量解解似似然然方方程程得得說明：若似然方程（組）無解，或似然函數不可導，說明：若似然方程（組）無解，或似然函數不可導， 此法失效，改用其它方法。此法失效，改用其它方法。第七章 參數估計的的一一個個樣樣本本，是是來來自自設設XXXpBXn,);, 1(1試求參數試求參數 p 的極大似然估計量。的極大似然估計量。解解：; 1 , 0,)1(1 xppxXPxx故似然函數為故似然函數為 nixxiipppL11)1()()(lnpL而而例例21 點估計,)1(11 n

10、iiniixnxpp).1ln()(ln)(11pxnpxniinii 的的分分布布律律為為：是是一一個個樣樣本本值值。設設Xxxn,1第七章 參數估計的極大似然估計值的極大似然估計值解得解得p的極大似然估計量為的極大似然估計量為p-它與矩估計量是相同的。它與矩估計量是相同的。即即令令, 0)(ln pLdpd1 點估計xxnpnii 11 XXnpnii 11 )1ln()(ln)()(ln11pxnpxpLniinii . 0111 pxnpxniinii例例2（續）（續）第七章 參數估計:似似然然函函數數為為 niinx1222221exp2 例例31 點估計的的一一個個樣樣本本值值，是

11、是來來自自為為未未知知參參數數，已已知知，設設XxxNXn,);,(122 .2的的極極大大似似然然估估計計量量求求 解解： niixL1222)(21exp21)( Lln)ln(22 n niix122)(21 )2ln(2 n )(21exp21);(222 xxf的的概概率率密密度度為為：X第七章 參數估計1 點估計 ，解解此此方方程程，得得 niixn1221 的的極極大大似似然然估估計計量量為為因因此此 niiXn12221 ，令令：0ln2 dLd得得似似然然方方程程例例3（續）（續） 02121242 niixn niixndLd12422212ln Lln)ln(22 n n

12、iix122)(21 )2ln(2 n 第七章 參數估計的的一一個個樣樣本本值值，是是來來自自為為未未知知參參數數，設設XxxNXn,);,(122 .,2的的極極大大似似然然估估計計量量求求 解解：)(21exp21),;(222 xxf似然函數為：似然函數為： niixL1222)(21exp21),( Lln1 點估計例例4)ln(22 n niix122)(21 )2ln(2 n 2122)(22)2( niixne的的概概率率密密度度為為：X第七章 參數估計 0ln0ln2 LL令令, 11xxnnii 解得：解得：:,2的極大似然估計量為的極大似然估計量為故故 1 點估計)2ln(

13、2ln nL )ln(22 n niix122)(21 即：即： .)(1 11221 niiniiXXnXXn 0)(1 12 niix0)(212-2142 niixn niixxn122)(1 例例4（續）（續）似似然然函函數數為為的的密密度度函函數數為為設設總總體體 X解解： ,11 niinxL niixnL1ln1lnln ., 0, 10,1其其它它xxxf 的的極極大大似似然然估估計計的的一一個個樣樣本本試試求求是是從從該該總總體體抽抽取取，未未知知，其其中中 nXX11 例例5第七章 參數估計1 點估計得得似似然然方方程程為為 dLd ln，令：令：0ln dLd, 0ln1

14、 niixn 解得解得,ln1 niixn 的的極極大大似似然然估估計計量量為為因因此此 .ln1 niiXn 例例5（續）（續）第七章 參數估計1 點估計 niixnL1ln1lnln niixn1ln 第七章 參數估計是一個樣本值，是一個樣本值，未知，未知，設設nxxbabaUX,;,1的的極極大大似似然然估估計計量量。求求：ba,X 的概率密度為：的概率密度為： 其其它它 , 0;,1),;(bxaabbaxf1 點估計 nabbaL)(1, ),ln(,lnabnbaL nibxai，21 ;0,ln abnbaLa例例6分析：分析：似然函數為似然函數為 , 0,ln abnbaLb

15、但這不能說明不存在極但這不能說明不存在極大似然估計量，只是不能由似然方程組求解。大似然估計量，只是不能由似然方程組求解。顯然，似然方程組無解，顯然，似然方程組無解，第七章 參數估計1 點估計 其它其它 , 0;,)(1),()()1(bxxaabbaLnn解：解：有有的的任任意意對對于于滿滿足足babxxan,)()1( nnnxxabbaL)(1)(1),()1()( 例例6（續）（續）按按從從小小到到大大順順序序排排列列成成將將nxx,1,)()2()1(nxxx 則則第七章 參數估計時，時，在在即：即：)()1(,),(nxbxabaL 的的極極大大似似然然估估計計值值為為：故故ba,m

16、ax,min)()1(inixxbxxa 的的極極大大似似然然估估計計量量為為：故故ba,.max,miniiXbXa 1 點估計nnxx)()1()( 取最大值取最大值例例6（續）（續）第七章 參數估計設罐中裝有設罐中裝有 a 只黑球只黑球 b 只白球，則只白球，則.baR ., 1.0, 1niiiXi 次次摸摸到到白白球球，第第次次摸摸到到黑黑球球；第第設設,), 1(,1的樣本的樣本是總體是總體則則pbXXXn1 iXPp其中其中例例7 一個罐子里裝有黑球和白球，有放回地抽取一個罐子里裝有黑球和白球，有放回地抽取 n 個球，發現有個球，發現有 k 個黑球。試求罐子里黑球數與白球個黑球。

17、試求罐子里黑球數與白球數之比數之比 R 的極大似然估計量。的極大似然估計量。1 點估計baa .1RR 解：解：第七章 參數估計 niixpRL1)()(似似然然函函數數 nixxiiRRRR11)11()1(,)11()1(11 niiniixnxRRRR)11(ln)()1(lnln11RxnRRxLniinii 則則RRp 1 nixxiipp11)1(則則令令, 0ln dRLd011)()111(11 RxnRRxniinii niiniixnxR11解出解出.knk )1ln(ln1RRxnii )1ln()(1Rxnnii 第七章 參數估計的極大似然估計；的極大似然估計；是是具有單值反函數，具有單值反函數，的函數的函數設設 ),( uu,)(12122的的極極大大似似然然估估計計是是例例： niiXXn)0( ,)(2222 uuuu 有有單單值值反反函函數數. )(1122的的極極大大似似然然估估計計是是