最大可能性估計_第1頁
最大可能性估計_第2頁
最大可能性估計_第3頁
最大可能性估計_第4頁
最大可能性估計_第5頁
已閱讀5頁，還剩10頁未讀， 繼續免費閱讀

付費下載

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

模式識別

——最大可能性估計mqy_mail@163.com上節課內容假定知道了先驗概率p(ωi)和類條件概率密度p(x|ωi)。這節課介紹的內容是：在知道類條件概率密度服從某種分布的前提下，估算該分布的參數。比如在知道類條件概率密度服從正態分布的前提下，估算正態分布的參數μ和Σ。一基本原理設：有c個類別。每一個類別有一些屬于這個類別的訓練樣例：D1,…,Dc。第j個類別的參數向量(比如均值，方差)表示為θj。一個類別的參數向量只與屬于這個類別的訓練樣例有關，而與其它類別的訓練樣例無關。問題：怎么使用每個類別的訓練樣例Di來估算這個類別的參數向量θi。下面分別使用每個訓練樣例Di來估算這個類別的參數向量θi。因為每個類別的參數向量的求解方式都是一樣的。下面就忽略i。只考慮根據一個特定類別的訓練樣例集合D，來估算這個類別的參數向量θ。設樣例集合D里面有n個訓練樣例，x1,…,xn。設這些樣例抽取的時候是獨立的，那么這么多樣例一起出現的概率可以寫成：因為目前這個類別的參數向量θ還沒有確定，所以在參數向量是θ的情況下，這些樣例一起出現的概率是：參數向量θ中的參數是可變的。在這些參數的取值范圍內，使得這些樣例一起出現的概率最大的值，就是最合理的參數。就是說使得p(D|θ)取最大值的θ值就是最合理的θ值。這就轉換成了一個求極值的問題。求p(D|θ)的極值點，等價于求它的自然對數lnp(D|θ)的極值點，等價于對lnp(D|θ)的梯度等于0的點：前面求最合理的θ值的公式：p(xk|θ)就是正態分布的概率密度函數。因此進行公式帶入：三求正態分布的參數μ和Σ假定知道當前類別中的樣例服從正態分布，但是不知道正態分布的參數μ和Σ。單變量正態分布

此時θ=(μ,σ2)多變量正態分布

此時θ=(μ,Σ)四偏差上面使用n個(有限個)樣本估算出來的方差經常會有偏差，總是發現估算的值小了：因此使用n個(有限個)樣本估算方差的時候：原因：n個

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論