1、模模式識別式識別Pattern Classification第三章第三章: Bayes決策方法決策方法3Bayes決策方法決策方法原理根據Bayes決策理論，由先驗知識來推斷后驗概率保證錯誤概率最小或風險最小4Bayes決策方法決策方法先驗知識先驗概率P(i )類概率密度P( X / i ) 1)(1ciiP1)/(dxXPi5Bayes決策方法決策方法根據考慮問題的角度Bayes決策法最小錯誤概率的Bayes決策法最小風險的Bayes決策法6最小錯誤概率的最小錯誤概率的Bayes決策決策一維二類情況設兩類模式分別1 和2，其類概率密度分別為P(x / 1)和 P(x / 2),先驗概率為P(

2、1)和 P(2)P ( x / 1 )P ( x / 2 ) x 7最小錯誤概率的Bayes決策一維二類情況顯然：由Bayes公式（聯合概率密度知）：1)/(1)/(21dxxPdxxP)()/()()/(),(1111xPxPPxPxP8一維二類情況則后驗概率同理可得 其中最小錯誤概率的Bayes決策)()()/()/(111xPPxPxP)()()/()/(222xPPxPxP)()/()()/()(2211PxPPxPxP9最小錯誤概率的Bayes決策一維二類情況合理的決策為：對待識樣本x 若P( 1 / x ) P( 2 / x ) ，則判x1類若P( 2 / x ) P( 1 / x

3、 ) ，則判x類10最小錯誤概率的Bayes決策一維二類情況上述決策等價于：對待識樣本x 若P(x / 1) P( 1 ) P( x / 2 ) P( ) ，則判x1類若P(x / 2) P( 2 ) P( x / 1 ) P( 1 ) ，則判x類即由先驗知識推斷后驗概率11最小錯誤概率的Bayes決策一維二類情況或： ，則判 x1 類上述分類準則稱為Bayes決策準則)()()/()/(1221PPxPxP似然比似然比12最小錯誤概率的Bayes決策特殊情況下，若P( 1 ) = P( ) ，則分類決策完全由類概率密度函數決定。 即： 若P( x / 1) P( x / 2 ) ， 則判x1

4、類 若P( x / 2) P( x / 1 ) ， 則判x類13最小錯誤概率的Bayes決策以魚自動分類為例，假設僅選取魚的長度作為特征，則兩類魚的類概率密度函數P(x / 1) 和 P( x / 2 ) 如下：14最小錯誤概率的Bayes決策類概率密度來源來統計直方圖類概率密度來源來統計直方圖鱸鱸 魚魚鮭鮭 魚魚15最小錯誤概率的Bayes決策兩條曲線描述了兩類魚的長度區別概率密度函數已歸一化，因此每條曲線下的面積為，即：1)/(1)/(21dxxPdxxP16最小錯誤概率的Bayes決策若先驗概率P( 1 ) =2/3，P( )=1/3，則其后驗概率P( 1 / x ) 和 P( 2 /

5、x )如下圖所示特征值特征值x=14的模式如何分的模式如何分類？類？0.920.0817最小錯誤概率的Bayes決策錯誤概率最小？錯誤概率P ( x / 1 ) P ( 1 )P ( x / 2 ) P ( 2 ) x R1R221)()/()()/(1122RRedxPxPdxPxPP18最小錯誤概率的Bayes決策錯誤概率最小？無論判別從哪個方向調整，均導致錯誤概率的增加！P ( x / 1 ) P ( 1 )P ( x / 2 ) P ( 2 ) x R1R219最小錯誤概率的Bayes決策多類多維情況 設= 1， 2， ， c 是 C 個類別狀態的有限集合，X = x1， x2， ，

6、xd T 是 d 維特征向量， P( x / i ) 為第 i 類的類概率密度函數，P( i ) 為第 i 類的先驗概率，則有： 其中)()()/()/(XPPXPXPiiiCiiiPXPXP1)()/()(20最小錯誤概率的Bayes決策多類多維情況Bayes決策準則為：類則判其中或若ijjiiji：CjPXPPXPXPXP , 2 , 1,)()/(max)()/(:)/(max)/(:21最小錯誤概率的Bayes決策舉例 設某地區細胞識別中正常(1)和異常(2) 兩類的先驗概率分別為： P(1)=0.9 P(2)=0.1 且知1和2 兩類的類概率密度函數為P(x/1)和P(x/2) 現有

7、一待識細胞其特征值為x，從概率密度函數曲線查得： P(x/1)=0.2 P(x/2)=0.4 試用Bayes決策準則對待識樣本進行分類。22最小錯誤概率的Bayes決策解：P(x/1) P(1)=0.20.9=0.18P(x/2) P(2)=0.10.4=0.04可見： P(x/1) P(1 P(x/2) P(2)由Bayes決策準則得： x 1 類，為正常細胞23最小風險（損失）的Bayes決策損失的概念基于最小錯誤概率的Bayes決策，僅考慮如何保證錯誤概率最小，而未考慮決策所帶來的損失。例如： 自動滅火系統，乙肝診斷，魚的分類等，則應考慮錯判造成的損失。可利用決策論的理論和方法來解決上述

8、問題。24最小風險（損失）的Bayes決策損失的概念設=1， 2， ， c 表示 c 個有限的類別狀態的集合， A=a1， a2， ， ak 表示 k 個有限的決策（行為）的集合則定義 為模式自然狀態為j 時，采取決策 ai 所造成的損失)/(jia25最小風險（損失）的Bayes決策損失的概念例如，對于細胞正常或異常的分類問題，可得如下損失表自然狀態自然狀態損失損失決策決策26最小風險（損失）的Bayes決策風險函數（損失函數）設P(j)是自然狀態為j的先驗概率， X為d維特征向量，則由Bayes決策理論知，后驗概率：由于每一類后驗概率P( X )均相同，可將其視為一標量因子)()/()()

9、()/()/(jjjjjPXPXPPXPXP27最小風險（損失）的Bayes決策風險函數（損失函數）假定我們觀測某個特定模式 X 并且采取行為 ai ，如果真實的類別狀態為j ，通過定義我們將有損失 (ai /j)顯然，與行為 ai 相關的總的損失為)()/()/()/()/()/(11jcjjjicjjjiiPXPaXPaXaR28最小風險（損失）的Bayes決策風險函數（損失函數）上式稱為作出決策ai 的風險函數，簡記為：cjjjiiXPaXaR1)/()/()/(cjXPXRcjjjii,.,2 , 1)/()(129最小風險（損失）的Bayes決策決策過程當待識樣本 X 到來時，將其判

10、為各類所帶來的風險分別為R1(X)， R2(X) ， ， Rc(X) 則基于最小風險的Bayes決策準則為： 類則判其中或若ijjijiji：CjPXPXRXRXR , 2 , 1,)()/(min)(:)(min)(:30最小風險（損失）的Bayes決策問題：如何合理、科學、準確地定義ij ?帶有主觀因素31最小風險（損失）的Bayes決策特殊情況：兩類問題 則基于最小風險（損失）的Bayes決策為： 若R1(X) R2(X)，則 判 X 1 類)()/()()/()()()/()()/()(222211212221211111PXPPXPXRPXPPXPXR32最小風險（損失）的Bayes

11、決策特殊情況：兩類問題上述決策等價于：對待識樣本x若：，則判 x1 類 aPPXPXP)()()()()/()/(111212221221似然比似然比33最小風險（損失）的Bayes決策34最小風險（損失）的Bayes決策特殊情況：兩類問題 若： 12 -22 = 21 -11，即對稱損失，則最小風險Bayes決策與最小錯誤概率Bayes決策是等價的。 35最小風險（損失）的Bayes決策例： 1(乙肝) 2(健康) P(1)=0.05 P(2)=0.95 P(x/1) =0.5 P(x/2) =0.2 11 = 22 =0， 12 = 1，21 =10 試分別用最小風險和最小錯誤概率Baye

12、s決策對模式X分類36最小風險（損失）的Bayes決策解：最小錯誤概率Bayes決策 P(x/1) P(1)=0.050.5=0.025 P(x/2) P(2)=0.20.95=0.19 可見： P(x/1) P(1） gj(x) j i則判待識樣本 x 屬于 i類43分類器、判別函數與判別界對最小錯誤概率Bayes決策 gi(x) = P( i / x) 或 gi(x) = P(x / i) P( i) gi(x) = ln P(x / i) + ln P( i) 對最小風險Bayes決策 gi(x) = - R(i / x)44分類器、判別函數與判別界基于判別函數的分類器基于判別函數的分類

13、器45分類器、判別函數與判別界上述判別函數將特征空間劃分為c 個判別區域 R1 , R2 , , Rc 各個判別區域滿足： 如果 gi(x) gj(x) j i 則 x 位于判別區域 Ri46分類器、判別函數與判別界R1R2R3R4g1(X)g4(X)g3(X)g2(X)47分類器、判別函數與判別界兩類情況分類器僅需考慮兩個判別函數g1(x)和 g2 (x) 定義：g(x) g1(x) g2(x)= P(x / 1) P( 1) - P(x / 2) P( 2 ) 基于判別函數的決策為： 如果 g(x) 0，則 x 屬于 1 類; 若 g(x) 0， 則 x 屬于 2 類 48分類器、判別函數

14、與判別界兩類情況g(X)0g(X)049正態分布條件下的Bayes決策 一維正態分布 均值： 方差： 一維正態分布可以簡寫為： 221exp 21)(xxPdxxxpxE)(dxxpxxE)()()(222),()(2Nxp50正態分布條件下的Bayes決策一維正態分布的統計特性 95%的樣本落在 2 范圍內99%的樣本落在 3 范圍內越小，樣本分布越集中，反之越發散1)(dxxp51正態分布條件下的Bayes決策一維正態分布一維正態分布52正態分布條件下的Bayes決策多維正態分布 設 d 維特征向量 則 d 維正態分布定義為：簡記為：TdxxxX,21)()(21exp)2(1)(1212

15、XXXpTd),()(NXp53正態分布條件下的Bayes決策多維正態分布其中： 稱為均值向量，反映了樣本在d維特征空間的重心位置。 21XEd54正態分布條件下的Bayes決策多維正態分布 i 反映了樣本在特征空間第 i 個方向的重心位置iiiiidxxpxxE)(diiidxdxdxdxdxXpxp1121)()(邊緣概率分布邊緣概率分布55正態分布條件下的Bayes決策多維正態分布 稱為協方差矩陣。)(222212222222121212211TddddddXXE56正態分布條件下的Bayes決策jijijjiijjiiijdxdxxxpxxxxE),()()(2多維正態分布 當i=j時

16、， ij反映樣本在d維特征空間各方向的發散程度；當ij時， ij反映各特征間的統計相關性。 57正態分布條件下的Bayes決策設各類樣本的類概率密度均滿足正態分布，即根據最小錯誤概率Bayes決策準則有：若判別函數 則判 x i )()(21exp)2(1)/(1212iiTiidiXXXp)()/(max)()/()(jjiiipXppXpXg58正態分布條件下的Bayes決策 為了分析方便，現取判別函數的自然對數（單調增函數），即令： 下面分三種情況進行討論)(ln)()(21ln212ln2)(ln)/(ln)()/(ln)(1iiiTiiiiiiipXXdpXppXpXg59正態分布條

17、件下的Bayes決策情況一各類協方差矩陣相同， i j 各特征統計獨立，即：， ij且，i=j 即02ij22ij22200000060正態分布條件下的Bayes決策情況一此時，且其中：I2I211100010001I單位矩陣單位矩陣61正態分布條件下的Bayes決策情況一則判別函數：此時的Bayes決策等價為：若要將待識樣本X進行分類，則只需計算X到各類樣本均值向量i 的歐氏距離，再將X歸類到距離最近的類別，此時的分類器稱為最小距離分類器。)(ln2)(ln2)()()(222iiiiTiipXpXXXg歐氏距離歐氏距離62正態分布條件下的Bayes決策情況一均值向量均值向量 均值向量均值向

18、量 2 待識樣本待識樣本 最小距離分類器最小距離分類器63正態分布條件下的Bayes決策022 )(ln)2(21 )(ln2)()()(iTiiiTiTiTiiTiiXpXXXpXXXg情況一由于：XXTiTi21與類別與類別無關，無關，可不考可不考慮慮0i64正態分布條件下的Bayes決策情況一故：稱gi(x)為線性判別函數，相應的分類器為線性分類器。0)(iTiiXXg65正態分布條件下的Bayes決策情況一)()(jipp66情況一)()(jipp67正態分布條件下的Bayes決策情況二各類方差相同，即 則 其中 稱為樣本X與正態分布模式類的馬氏距離（Mahalanobis距離）。 當待識別的樣本X到來時，分別計算樣本X與各個模式類的馬氏距離，并將X分類到馬氏距離最近的模式類中。 ji)(ln)()(21)(1iiTiipXXXg)()(1iTiXX68正態分布條件下的Bayes決策情況二可以證明，此時判別函數仍滿足線性關系，即：分類器仍為線性分類器0)(iTiiXxg69正態分布條件下的Bayes決策情況三各類協方差矩陣各不相同，即：分類器為非線性分類器（二次型分類器）01)(ln)()(21ln21)(iTiiTiiiTiiiXXAXpXXXg70影響模式識別的關鍵因素