任課教師：劉瓊自動化學院,模式識別,條件概率密度函數的最大似然估計MaximumLikelihoodEstimationofClass-conditionalProbabilityDensityFunction,教材：模式識別（第三版）張學工編著清華大學出版社,講授提綱,問題提出最大似然估計基于最大似然估計的模式分類實例,2,講授提綱,問題提出貝葉斯決策論貝葉斯公式最大似然估計基于最大似然估計的模式分類實例,3,問題提出（1/4）,4,80條鮭魚，20條多寶魚,問題提出（2/4）,5,第一種情況：不知曉這條魚的任何信息，判決依據P(i)的大小；結論：第二種情況：給你這條魚的寬度值x，判決依據P(i|x)；,貝葉斯決策論,？,鮭魚,問題提出（3/4）,貝葉斯公式用非正式的英語表述,6,后驗概率,類條件概率密度,先驗概率根據領域知識或大量樣本中計算各類樣本所占的比例得到,總體密度所有樣本關于特征x的概率密度,問題提出（4/4）,7,講授提綱,問題提出最大似然估計假設條件主要思想求解方法及解的分析正態分布參數的最大似然估計基于最大似然估計的模式分類實例,8,最大似然估計的假設條件,假設條件：類條件概率密度p(x|i)的函數形式是已知的，但是其中的某些參數是未知的待估計參數是確定性的未知量按類別將樣本劃分c類，第i樣本都是從類條件概率密度p(x|i)的總體中獨立地抽取出來的第i類的樣本不包含有關j(ij)的信息。不同類別的函數在參數上相互獨立，每一類樣本可以獨立進行處理,9,函數形式已知,參數確定但未知,樣本獨立同分布,類類互不干擾,設i類樣本集有N個樣本它們是獨立地按照概率密度p(x|i，)抽取出來的（獨立同分布樣本）似然函數可以表示為：含義：從總體中抽取x1,xN這樣N個樣本的聯合概率（可能性）,10,最大似然估計的主要思想,最大似然估計的主要思想：如果在一次觀察中一個事件出現了，則我們可以認為這一事件出現的可能性很大。現在，樣本集（x1,xN）在一次觀察（從概率總體中抽取一組樣本）中居然出現了，則我們認為似然函數l()應該達到最大值為了便于分析，可以取似然函數的對數，即對數函數是單調增函數，H()與l()的最大值點相同,11,求最大似然估計量的方法,如果H()滿足連續可微的數學性質，可以直接應用高等數學的知識來求最大值點，即求梯度（偏導數）,并令其等于零，解線性或者非線性方程組得到估計量假設：有s個參數梯度算子,12,求解過程：,13,從中求解出的最大似然估計量,最大似然估計結果的分析,可能存在多個解解決方法：使得似然函數最大的解才是最大似然估計量,14,有可能求不出正確的解（比如均勻分布）,15,例：正態分布函數的最大似然估計,單變量正態分布的概率密度函數要求的未知參數（均值與方差）已知，利用最大似然估計法，針對上述樣本集，求出均值與方差的估計值,16,17,對數似然函數,求偏導數,18,解釋：正態分布總體均值的最大似然估計量是樣本屬性值的算術平均（無偏）正態分布總體方差的最大似然估計量是樣本方差的算術平均（漸進無偏）推廣到多元正態分布,（無偏）,講授提綱,問題提出最大似然估計基于最大似然估計的模式分類實例,19,基于最大似然估計的模式分類實例,20,已知條件：80條鮭魚，20條多寶魚對于寬度特征，兩類魚均服從正態分布箱中這條魚的寬度為10cm問題：對箱中的魚進行貝葉斯分類決策,？,Step1：數據準備,數據獲取：對80條鮭魚和20條多寶魚分別測得他們的寬度值數據預處理：剔除野值數據（如發育不正常的個例）特征形成：每一條魚有兩個數據：類別標識寬度（特征）,21,+16.2+15.7-18.9-19.5.,Step2：類條件概率密度函數估計,22,兩類樣本分別滿足各自的正態分布，利用最大似然估計方法分別求出鮭魚和多寶魚關于寬度特征的均值和方差的最大似然估計量為鮭魚關于寬度特征的均值和方差的最大似然估計結果：多寶魚關于寬度特征的均值和方差的最大似然估計結果：,Step3：后驗概率計算,23,關于寬度特征的類條件概率密度曲線,關于寬度特征的后驗概率曲線,Step4：分類決策,當黑箱中魚的寬度為10cm時,24,決策結果：該魚為多寶魚,小結,概率密度函數估計的目的與基本概念目的：用于最小錯誤率貝葉斯決策分類概念：某類關于特征x的概率分布，依據分布函數形式是否已知，可將估計方法分為兩類最大似然函數參數估計方法,并應用于正態分布中的參數