1、最大似然估計的原理及其應(yīng)用摘要：了解最大似然估計的原理，并通過其原理來解決生活中的某些概率與統(tǒng)計的問題。引言：似然函數(shù)&國，或島）是。的函數(shù)，表示由參數(shù)。產(chǎn)生樣本值了3,色舟第的“可能性，大小。將樣本觀察看成“結(jié)果”。是產(chǎn)生結(jié)果的“原因” ，偵;4, %, ,）則是度量產(chǎn)生該結(jié)果的各種 “原因”的機會。因此，。的一個合理的 估計應(yīng)使這種機會（即瑚也）達(dá)到最大的那個值。關(guān)鍵詞：似然函數(shù)，最大似然估計，最大似然估計值。（1）似然函數(shù)設(shè)描述總體的隨機變量x的概率密度函數(shù)為了（皿島島），其中狀2，.,。都是 總體的未知參數(shù)（若x是離散型的，則約定川&表示概率分布 血島時，總體的樣本x，x，x的測量值為

2、xi，七，七，也可以12n理解為是n維獨立隨機向量（x，x，x ）的一個測量值。即是說，對一維隨機變量進(jìn)行n次測量得到的n個測量1值可以看成是對n維獨立的隨機向量進(jìn)行一次測量得到的 n個測量值。由于n維隨機向量的聯(lián)合概率密度為i=1H f (x ;6 ,6 ,.e )顯然，對于樣本的一個測量值，它是61，62，.，6k的函數(shù)，記為并稱它為似然函數(shù)，簡記為L。對于離散型隨機變量。應(yīng)該注意，似然函數(shù)與參數(shù)61，62，6k有關(guān)，對于給定的樣本值，它是這些參數(shù)的函 數(shù)。（2）最大似然估計值設(shè)總體含未知參數(shù)61，6 2，6 k，對于給定的樣本值如有i 12 ki 12 ki=1i=1Hf (x ;6，6

3、，.，6 ) Hf (x ;6，6 .6)甘土6，6，.，6山士左至粉6，6，6處朋甘 亦活 =6，6 .6山其中12 k為未知參數(shù)12 k可能取的某一組值，而12 k為6 666 666，6， 6，61，626k的一切其他可能取值，此時，我們可認(rèn)為61，62，.，6k，比6 1，6 26 k作為6 66 6 666 66U ，U ，. . .，U 由4任 巾/ 上 曰 匚口口口 U，U ，.，U 下川 U ，U ，.，U rL_Lzg 不土 M -41 2 k的估值要好些。這是因為小寺式說明，1 2 k取1 2 k時得到樣本 TOC o 1-5 h z X ，X，. . .，X /、,，r

4、、. I、，t t、I JM、n 6 ，6，. . .，6 r/_r z,.r f I、I ，一i , I r t r值1 2 n的可能性最大，這樣的估計值就是1 2 k的最大似然估計值。因此，可6 666 6 6以有定義：如果似然函數(shù)L在61，62，.，6k分別取1，2，.，k時達(dá)到最大值，則稱6 666 66，U ， ，U 八 m i=t U，U ，. ，U （ i=t r . t. k / t,、i /t-1 2 k分別是1 2 k的最大似然估計值。（3）求最大似然估計值的方法我們認(rèn)為，如果在一次測量中一個事件出現(xiàn)了，那么就可以認(rèn)為此事件出現(xiàn)的可能性最 大。在這里，3/%,七)作為n維隨

5、機向量的一個測量值出現(xiàn)了，那么就認(rèn)為只有似然 函數(shù)為最大才有可能。因為似然函數(shù)為最大，對應(yīng)事件出現(xiàn)的可能性才最大。所以求似然函 數(shù)L的最大值問題也就是求總體的未知參數(shù)的最大似然估計值的問題了。A A A AA A在L關(guān)于Ai，A2,Ak可微時，要使L取最大值，Ai，A2,Ak必須滿足方程組dL .- - - 0鴻如A A AA A A由此方程組解得A1，A2,Ak的值，即為最大似然估計值2,k。顯然，最大似然估計 一一 一一 一一建 “、八；一 1 C 7,/士 I_. J.V. I . rt.l 曰 /士 X , X , . . . , x A，,八 ir |-、,、r . A (x , x

6、 ,., X ), J 1,2, . . . , k, 八 、r . f I值與樣本測量值12n的取值有關(guān)，故可記為J 1 2 n并稱為估值。由于似然函數(shù)式是多個因子的乘積，利用對數(shù)ln L進(jìn)行計算比較方便，并且因為 lnX是x的單調(diào)上升函數(shù)，故L與ln L有相同的極大點，從而。近,%的最大似然估計 值還可由下列方程組(稱為似然方程組)求得31nZ 一、=八如1些=0I I IainZ n=0 _/在實際問題中，常常由于似然函數(shù)很復(fù)雜，而無法由解方程組(4-7)求出最大 似然估計的解析表達(dá)式。只有利用適當(dāng)?shù)慕朴嬎惴椒ㄇ笏迫环匠探M的近似解，或者利用計 算數(shù)學(xué)中尋求函數(shù)極值點的最優(yōu)化技術(shù)，在計算

7、機上進(jìn)行優(yōu)選計算，搜索出使似然函數(shù)最大A A AAA AL-, 4、/士 U,U,U/心、r .4、”_ U,U,l/rr 曰 I . r / 一、I /士的參數(shù)值12k，作為參數(shù)1 2 k的最大似然估計值。最大似然估計法具有下述性質(zhì)：個A,A ,.,Af (x;A ,A ,.,A )山添斷白勺曰十們欽仕、+祐 深斷右12 k為 12 k中參數(shù)的最大似然估計值，又函數(shù)u = u(A A A)u = u (A ,A ,. ,A )U u , ,1 2 k具有單值反函數(shù)，貝12 k 。因此，當(dāng)已知ib= Yb2有單值反函數(shù)時，則有上式即是。的最大似然估計。最大似然估計的應(yīng)用例 設(shè)有外形完全相同的兩

8、個箱子,甲箱有99個白球1個黑球，乙箱有1個白球99個黑球.今 隨機地抽取一箱，然后再從這箱中任取一球，結(jié)果發(fā)現(xiàn)是白球.問這個箱子是甲箱還是乙箱？ 分析我們這里做的是統(tǒng)計推斷而不是邏輯推斷。所謂統(tǒng)計推斷，就是根據(jù)已知的部分?jǐn)?shù)據(jù) 對總體的進(jìn)行估計的一種推斷方法。從部分推斷總體，必然伴隨著一定的犯錯誤的概率。因 此從邏輯上認(rèn)起死理來，統(tǒng)計推斷似乎因為不太嚴(yán)謹(jǐn)而被排斥在“科學(xué)推斷”之外了。但是 在實際生活中，如果都要按照邏輯推斷來思考，那么將會給你的生活帶來很大的麻煩。比如 出門，則難免會有一定的概率出一定的意外，因此所謂“安全回家”在邏輯上便不再是絕對 可靠的，故而你只能選擇閉門不出?，F(xiàn)在的問題是

9、，僅僅從取出的球是白球這一點是無法從邏輯上嚴(yán)格加以判定該箱究竟是 甲箱還是乙箱的。但是如果現(xiàn)在一定要我們做出選擇，那么我們只能這樣來考慮：從箱中取 出的球是白球這一點來看，甲箱和乙箱哪個看上去更像是真正從中取球的箱子？我們這樣來分析：如果該箱是甲箱，則取得白球的概率為0.99；如果該箱是乙箱,則取得 白球的概率0.01.因此，用“該箱是甲箱”來解釋所取的球是白球這一事件更有說服力一些， 從而我們判定甲箱比乙箱更像一些。最后我們做出推斷，這球是從甲箱取出的.其實，如果我們從“最大似然”的原文maximum likelihood來看，就會發(fā)現(xiàn)這個名稱的 原始含義就是“看起來最像”的意思。“看起來最

10、像”，在很多情況下其實就是我們決策時的依據(jù)。一個總體往往都有若干個重要的參數(shù)。比如，對于正態(tài)總體來說，均值和方差就是兩個 非常重要的參數(shù)。但是在很多情況下，這些參數(shù)往往是不知道的，這就需要我們利用抽樣所 得的部分?jǐn)?shù)據(jù)來做統(tǒng)計推斷。假設(shè)我們現(xiàn)在獲得了一組數(shù)據(jù)，記為x，我們需要做的是，利用x中所包含的信息來推 斷總體中的未知參數(shù)值。顯然，未知參數(shù)是有其取值的范圍的，我們現(xiàn)在要做的是，在參數(shù) 可能的取值范圍內(nèi)尋找到一個“看起來最像”的那個值來作為未知參數(shù)的估計值。現(xiàn)在，假設(shè)有甲乙兩支足球隊要進(jìn)行比賽，某老漢很認(rèn)真地看了這兩支足球隊的相關(guān)資 料，并作了細(xì)致的分析，得出了甲隊?wèi)?zhàn)勝乙隊的概率為p。但是在第二天被朋友問及此事時， 該老漢一時犯昏把數(shù)字給記混了。他只知道甲隊?wèi)?zhàn)勝乙隊的概率p只可能取如下幾個值0， 0.1，0.3, 0.5, 0.75, 0.9，但一點也記不清到底哪個數(shù)字才是真實的。也就是說，在這個時 候，這五個數(shù)字沒有哪一個看上去更像是真實的p。于是他開始翻看隨身攜帶的一些資料， 發(fā)現(xiàn)與這兩支足球隊有關(guān)的資料只有一條，這就是他們在