第3章Bayes決策理論

3.1最小錯(cuò)誤概率的Bayes決策3.2最小風(fēng)險(xiǎn)的Bayes決策3.3Neyman-Pearson決策3.4最小最大決策3.5Bayes分類器和判別函數(shù)3.6正態(tài)分布時(shí)的Bayes決策法則3.7離散情況的Bayes決策在上一章，我們介紹了線性判別函數(shù)，作了一個(gè)假設(shè)——抽取到的模式樣本的邊界是“整齊”而不混雜的，而且以后遇到的待分類模式基本上不超過學(xué)習(xí)樣本的分布范圍，從而利用這些樣本得到的分類邊界是無誤差的。但是實(shí)際上因?yàn)樵囼?yàn)的樣本是從總體中隨機(jī)抽取的，不能保證用過去的抽取的樣本訓(xùn)練得到的分類邊界對新的模式樣本也能較好地分類。因此，考慮樣本不確定性的模式識別方法是非常重要的。另外，還有特征選擇不完善所引起的不確定性，模式數(shù)據(jù)采集和預(yù)處理和特征抽取過程中干擾和噪聲引起的不確定性。綜上，我們引出統(tǒng)計(jì)決策的方法。返回本章首頁對模式識別的主要統(tǒng)計(jì)方法是Bayes決策理論，它是用概率論的方法研究決策問題，要求（1）各類別先驗(yàn)概率以及條件概率密度均為已知，即各類別總體的概率分布是已知的；（2）要決策分類的類別是一定的；返回本章首頁3.1最小錯(cuò)誤概率的Bayes決策在模式識別問題中，感興趣的往往是盡量減小分類錯(cuò)誤的概率。為此，我們可以建立一個(gè)能得到最小錯(cuò)誤率的決策方法。看一個(gè)簡單的例子。假設(shè)某工廠生產(chǎn)兩種大小，外形都相同的螺絲釘，一種是銅的，一種是鐵的。兩種產(chǎn)品混在一起，要求對它們自動分類。分兩種情況討論：（1）先驗(yàn)概率已知；（2）先驗(yàn)概率和條件概率密度函數(shù)均已知。返回本章首頁先驗(yàn)概率已知鐵螺絲出現(xiàn)的概率——銅螺絲出現(xiàn)的概率——它們反映了我們在下一個(gè)樣品出現(xiàn)前對它的類別可能性的先驗(yàn)知識，稱這種先于事件的概率為先驗(yàn)概率。合理的決策規(guī)則：決策錯(cuò)誤的概率：返回本章首頁先驗(yàn)概率和條件概率密度函數(shù)均已知鐵螺絲出現(xiàn)的概率——銅螺絲出現(xiàn)的概率——鐵螺絲出現(xiàn)的概率——銅螺絲出現(xiàn)的概率————螺絲背光源照射后反射光的亮度特征求取后驗(yàn)概率：返回本章首頁對待分類模式的特征我們得到一個(gè)觀察值，合理的決策規(guī)則：決策錯(cuò)誤的條件概率（隨機(jī)變量的函數(shù)）：模式特征是一個(gè)隨機(jī)變量，在應(yīng)用Bayes法則時(shí)，每當(dāng)觀察到一個(gè)模式時(shí)，得到特征，就可利用后驗(yàn)概率作出分類的決策，同時(shí)也會帶來一定的錯(cuò)誤概率。若觀察到大量的模式，對它們作出決策的平均錯(cuò)誤概率應(yīng)是的數(shù)學(xué)期望。返回本章首頁平均錯(cuò)誤概率從式可知，如果對每次觀察到的特征值，是盡可能小的話，則上式的積分必定是盡可能小的這就證實(shí)了最小錯(cuò)誤率的Bayes決策法則。下面從理論上給予證明。以兩類模式為例。返回本章首頁返回本章首頁返回本章首頁結(jié)束放映3.2最最小小風(fēng)險(xiǎn)險(xiǎn)的Bayes決策策在上一一節(jié)我我們介介紹了了最小小錯(cuò)誤誤率的的Bayes決決策，，并且且證明明了應(yīng)應(yīng)用這這種決決策法法則時(shí)時(shí)，平平均錯(cuò)錯(cuò)誤概概率是是最小小的。。但實(shí)實(shí)際上上有時(shí)時(shí)需要要考慮慮一個(gè)個(gè)比錯(cuò)錯(cuò)誤率率更為為廣泛泛的概概念———風(fēng)風(fēng)險(xiǎn)，，舉例例說明明。毋毋庸置置疑，，任何何風(fēng)險(xiǎn)險(xiǎn)都會會帶來來一定定損失失。看看一個(gè)個(gè)一般般的決決策表表。返回本本章首首頁返回本本章首首頁返回本本章首首頁——觀觀察或或測量量到的的d維模式式特征征向量量；——狀狀態(tài)或或模式式類空空間——決決策空空間——損損失函函數(shù)，，表示示真實(shí)實(shí)狀態(tài)態(tài)為而而所采采取的的決策策為時(shí)時(shí)所帶帶來的的某種種損失失。根據(jù)Bayes公式式，后后驗(yàn)概概率為為：返回本本章首首頁對于剛剛才的的決策策表考考慮如如下的的一個(gè)個(gè)條件件期望望損失失，即即給定定，，我我們采采取決決策情情況下下的條件期期望損損失（（條件件風(fēng)險(xiǎn)險(xiǎn)）：采取那那種決決策呢呢？最小風(fēng)風(fēng)險(xiǎn)Bayes決策策規(guī)則則：返回本本章首首頁綜上，，可知知該規(guī)規(guī)則的的進(jìn)行行步驟驟為：：（1））根據(jù)據(jù)已知，計(jì)算算出后后驗(yàn)概概率；；（2））利用用計(jì)算算出的的后驗(yàn)驗(yàn)概率率及決決策表表（專專家根根據(jù)經(jīng)經(jīng)驗(yàn)確確定）），計(jì)計(jì)算條條件風(fēng)風(fēng)險(xiǎn)（3））最小小風(fēng)險(xiǎn)險(xiǎn)決策策返回本本章首首頁這樣按按最小小風(fēng)險(xiǎn)險(xiǎn)的Bayes決策策規(guī)則則，采采取的的決策策將隨隨的的取取值而而定，，引入入函數(shù)數(shù)，，表示示對的的決策策。對對整個(gè)個(gè)特征征空間間上所所有的的取值值采取取相應(yīng)應(yīng)的決決策所所帶帶來的的平均均風(fēng)險(xiǎn)險(xiǎn)顯然，，我們們對連連續(xù)的的隨機(jī)機(jī)模式式向量量按最最小風(fēng)風(fēng)險(xiǎn)Bayes決策策規(guī)則則采取取的一一系列列決策策行動動可以以使平平均風(fēng)風(fēng)險(xiǎn)最最小。。到此為為止，，我們們已經(jīng)經(jīng)分析析了兩兩種分分別使使錯(cuò)誤誤率和和風(fēng)險(xiǎn)險(xiǎn)達(dá)到到最小小的Bayes決策策規(guī)則則，下下面分分析一一下兩兩種決決策規(guī)規(guī)則的的關(guān)系系。返回本本章首首頁兩類情情況下下的最最小風(fēng)風(fēng)險(xiǎn)Bayes決策策返回本本章首首頁在兩類類問題題中，，若有有，，決策策規(guī)則則變?yōu)闉檫@時(shí)最最小風(fēng)風(fēng)險(xiǎn)的的Bayes決決策和和最小小錯(cuò)誤誤率的的Bayes決決策規(guī)規(guī)則是是一致致的。。返回本本章首首頁一般的的多類類問題題中，，設(shè)損損失函函數(shù)為為0-1損損失函函數(shù)返回本本章首首頁3.3Neyman—Pearson決策策Neyman——Pearson決決策即即限定定一類類錯(cuò)誤誤率條條件下下使另另一類類錯(cuò)誤誤率為為最小小的兩兩類別別決策策。返回本章章首頁返回本章章首頁用Lagrange乘乘子法建建立其數(shù)數(shù)學(xué)模型型返回本章章首頁返回本章章首頁返回本章章首頁取得極小小值的邊邊界條件件與最小錯(cuò)錯(cuò)誤率的的Bayes決決策的比比較3.4最最小小最大決決策有時(shí)我們們必須設(shè)設(shè)計(jì)在整整個(gè)先驗(yàn)驗(yàn)概率范范圍上都都能很好好的進(jìn)行行操作的的分類器器。比如如，在我我們的有有些分類類問題中中可能設(shè)設(shè)想盡管管模式的的有些物物理屬性性恒定不不變，然然而先驗(yàn)驗(yàn)概率可可能變化化范圍很很大，并并且以一一種不確確定的方方式出出現(xiàn)。或或者，我我們希望望在先驗(yàn)驗(yàn)概率不不知道的的情況下下使用此此分類器器，那么么一種合合理的設(shè)設(shè)計(jì)分類類器的方方法就是使先先驗(yàn)概率率取任何何一種值值時(shí)所引引起的總總風(fēng)險(xiǎn)的的最壞的的情況盡盡可能小小，也就就是說，，最小化化最大可可能的總總風(fēng)險(xiǎn)。以二類類模式識識別問題題為例，，進(jìn)行討討論。返回本章章首頁返回本章章首頁以兩類情情況下的的最小風(fēng)風(fēng)險(xiǎn)Bayes決策為為例進(jìn)行行討論總風(fēng)險(xiǎn)公公式返回本章章首頁假定決策策域已經(jīng)經(jīng)確定，，我們以以表表示示分類器器判為時(shí)時(shí)的特征征空間中中的區(qū)域域，同樣樣有和和，，于是總總風(fēng)險(xiǎn)用用條件風(fēng)風(fēng)險(xiǎn)的形形式表示示為返回本章章首頁返回本章章首頁一旦和和確確定，風(fēng)風(fēng)險(xiǎn)就就是先先驗(yàn)概率率的的線性函函數(shù)，可可表示為為決策閥值值返回本章章首頁一旦和和確確定，風(fēng)風(fēng)險(xiǎn)就就是先先驗(yàn)概率率的的線性函函數(shù)，可可表示為為決策閥值值返回本章章首頁返回本章章首頁返回本章章首頁綜上所述述，可以以得出：：在作最最小風(fēng)險(xiǎn)險(xiǎn)Bayes決決策時(shí)，，若考慮慮有有可能改改變或?qū)ο闰?yàn)概概率毫無無所知，，則應(yīng)選選擇使最最小Bayes風(fēng)險(xiǎn)為為最大值值時(shí)的來來設(shè)設(shè)計(jì)分類類器，它它相對于于其它的的為為最大大，但能能保證在在不管如如何何變化時(shí)時(shí)，使最最大風(fēng)險(xiǎn)險(xiǎn)將為最最小，我我們稱其其為最小最大大決策。。其任務(wù)就就是尋找找使Bayes風(fēng)險(xiǎn)為為最大時(shí)時(shí)的決策策域和和，它對應(yīng)應(yīng)于下式式然后確定定3.5Bayes分類器器和判別別函數(shù)返回本章章首頁前面我們們介紹了了四種決決策規(guī)則則，這里里結(jié)合第第二章中中介紹的的判別函數(shù)數(shù)和決策策面的概概念來設(shè)計(jì)分分類器。。對于n維空間中中的c個(gè)模式類類別各給給出一個(gè)個(gè)由n個(gè)特征組組成的單單值函數(shù)數(shù)，這叫叫做判別別函數(shù)。。在c類的情況況下，我我們共有有c個(gè)判別函函數(shù)，記記為判別函數(shù)數(shù)的性質(zhì)質(zhì)假如一個(gè)個(gè)模式X屬于第i類，則有有而如果這這個(gè)模式式在第i類和第j類的分界界面上，，則有返回本章章首頁1多類情況況最小錯(cuò)誤誤率的Bayes決策策規(guī)則：：可設(shè)判別別函數(shù)為為：返回本章章首頁最小風(fēng)險(xiǎn)險(xiǎn)的Bayes決策策規(guī)則，，可設(shè)判別別函數(shù)為為決策面方方程分類器器框圖圖返回本本章首首頁返回本本章首首頁返回本本章首首頁2兩類情情況可設(shè)判判別函函數(shù)為為：可將其其任意意分類類，或或拒絕絕3.6正正態(tài)態(tài)分布布時(shí)的的Bayes決決策法法則返回本本章首首頁在前面面我們們提到到設(shè)計(jì)計(jì)Bayes分分類器器的兩兩個(gè)先先決已已知條條件：：（1））先驗(yàn)驗(yàn)概率率；；（2））條件件概率率密度度函數(shù)數(shù)。。先驗(yàn)概概率的的估計(jì)計(jì)并不不困難難，關(guān)關(guān)鍵是是條件件概率率密度度函數(shù)數(shù)。這里我我們以以正態(tài)態(tài)分布布概率率密度度函數(shù)數(shù)為主主進(jìn)行行討論論，因因?yàn)棰裨趯?shí)際際問題題中，，大量量的隨隨機(jī)變變量都都服從從或近近似地地服從從正態(tài)態(tài)分布布；Ⅱ即使統(tǒng)統(tǒng)計(jì)總總體不不服從從正態(tài)態(tài)分布布，但但是它它的許許多重重要的的樣本本特征征可能能是漸漸進(jìn)正正態(tài)分分布的的；Ⅲ正態(tài)分分布分分析起起來比比較方方便。。返回本本章首首頁正態(tài)分分布概概率密密度函函數(shù)的的定義義及性性質(zhì)（1））單變變量正正態(tài)分分布單變量量正態(tài)態(tài)分布布概率率密度度函數(shù)數(shù)，，有兩兩個(gè)參參數(shù)和和完全決決定，，常簡簡記為為。。期望方差返回本本章首首頁（2））多維維變量量正態(tài)態(tài)分布布均值向向量協(xié)方差差矩陣陣返回本本章首首頁多維變變量正正態(tài)分分布密密度函函數(shù)的的性質(zhì)質(zhì)（1））多維維變量量正態(tài)態(tài)分布布密度度函數(shù)數(shù)由均均值向向量和和協(xié)協(xié)方差差矩陣陣完完全全確定定，包包含的的參數(shù)數(shù)個(gè)數(shù)數(shù)為。。（2））等密密度點(diǎn)點(diǎn)的軌軌跡為為一超超橢球球面，，且它它的主主軸方方向由由陣的特特征向向量所所確定定，主主軸的的長度度與相相應(yīng)的的協(xié)方方差矩矩陣的的本本征值值成正正比。。返回本本章首首頁返回本本章首首頁設(shè)在在超超橢球球上，，到到超橢橢球中中心的的距離離為，，求求主軸軸長度度即是是求其其條件件極值值，構(gòu)構(gòu)造Lagrange函函數(shù)返回本本章首首頁所以，，第i個(gè)主軸軸的長長度與與的的第i個(gè)特征征值的的平方方根成成正比比，如圖圖所示示。定定義為向量量到到均均值向向量的的馬氏距距離。等概率密度度點(diǎn)的軌跡跡是一個(gè)到到均值向量量的馬馬氏距離為為常數(shù)的超超球體。（3）不相關(guān)性等等價(jià)于獨(dú)立立性。（4）邊緣緣分布和條條件分布的的正態(tài)性。。（5）線性性變換的正正態(tài)性。（6）線性性組合的正正態(tài)性。返回本章首首頁多維變量正正態(tài)概率型型下的最小小錯(cuò)誤率Bayes判別函數(shù)數(shù)和決策面面返回本章首首頁下面根據(jù)上上式對以下下三種情況況進(jìn)行討論論。……………………決策策面方程返回本章首首頁（1），，即每類的協(xié)協(xié)方差矩陣陣都相等，，而且類內(nèi)內(nèi)各特征間間相互獨(dú)立立，具有相相等的方差差Ⅰ如果先驗(yàn)概概率不等，，那么平方方距離（歐歐氏距離））必須通過過方差進(jìn)行行歸一化，，并通過增增加進(jìn)進(jìn)行修正正。返回本章首首頁Ⅱ如果先驗(yàn)概概率相等稱其為最小小距離分類類器。對以以上兩類情情況進(jìn)行化化簡返回本章首首頁下面來看線線性分類器器的決策面面方程返回本章首首頁對其，我們們用一個(gè)二二維二類模模式例子，，設(shè)先驗(yàn)概率率相等，從幾何上上表示其關(guān)關(guān)系（不相相等的情況況請參照教教材P32）返回本章首首頁（2），，即各類的協(xié)協(xié)方差矩陣陣都相等如果先驗(yàn)概概率相等，，只要計(jì)算到到各類類的均值點(diǎn)點(diǎn)的的馬馬氏距離平平方，然后后把歸歸于于距離離平方最小小的類別。。返回本章首首頁對以上兩類類情況進(jìn)行行化簡返回本章首首頁決策面方程程返回本章首首頁對其，我們們用一個(gè)二二維二類模模式例子，，設(shè)先驗(yàn)概率率相等，從幾何上上表示其關(guān)關(guān)系返回本章首首頁（2）各類的協(xié)方方差矩陣不不相等返回本章首首頁3.7離離散情況況的Bayes決策策返回本章首首頁前面我們我我們介紹都都是連續(xù)情情況的Bayes決決策理論，，這里我們們看一下的的離散情況況。設(shè)是是離離散型隨機(jī)機(jī)變量，從從而Bayes決策策法則就是是：這時(shí)Bayes決策策規(guī)則仍然然不變，最最小錯(cuò)誤概概率的Bayes決決策法則仍仍為：返回本章首首頁最小風(fēng)險(xiǎn)的的Bayes決策法法則仍為：：這里著重討討論最小錯(cuò)錯(cuò)誤率的Bayes決策法則則。等價(jià)的的判別函數(shù)數(shù)有以下幾幾種形式：：對二類模式式的分類問問題，判別別函數(shù)可采采用以下的的形式：返回本章首首頁設(shè)模模式式特特征征向向量量為為且各各特特征征相相互互獨(dú)獨(dú)立立。。并并令令：：返回回本本章章首首頁頁從而而似似然然比比：：將其其改改寫寫為為線線性性判判別別函函數(shù)數(shù)的的形形式式：：返回回本本章章首首頁頁式中中：：可將將其其任任意意分分類類，，或或拒拒絕絕課后后習(xí)習(xí)題題（（一一））返回回本本章章首首頁頁設(shè)五五維維空空間間的的線線性性方方程程為為試求求出出其其權(quán)權(quán)向向量量與與樣樣本本向向量量點(diǎn)點(diǎn)積積的的表表達(dá)達(dá)式式中中的的，，