1、word 模式識別實驗 題目： Bayes分類器的設計 學 院 計算機科學與技術 專 業 計算機科學與技術 學 號 2012436034 姓 名 顧文遠 指導教師 李凱 .word2022年 10 月14日.word實驗一 Bayes分類器設計一、教學要求理解基于Bayes決策理論的隨機模式分類的原理和方法，掌握基于最小錯誤率的貝葉斯決策和基于最小風險的貝葉斯決策，并能夠對貝葉斯規那么給出具體的實現。二、知識點提示知識點：錯誤率、風險、先驗概率、概率密度函數、最小錯誤率貝葉斯決策規那么、最小風險貝葉斯決策規那么。重點：最小錯誤率貝葉斯決策規那么和最小風險貝葉斯決策規那么的實現。難點：最小風險貝

2、葉斯決策規那么的實現。三、教學內容Bayes分類器的根本思想是依據類別先驗概率和條件概率密度，按照某種準那么使分類結果從統計上講是最正確的。換言之，根據類別先驗概率和條件概率密度將模式空間劃分成假設干個子空間，在此根底上形成模式分類的判決規那么。準那么函數不同，所導出的判決規那么就不同，分類結果也不同；使用哪種準那么或方法應根據具體問題來確定。1產生二維正態分布模式，并將產生的樣本集隨機地分為訓練集和測試集；2分別設計最小錯誤率的Bayes分類器和最小風險Bayes分類器，并對測試集進行分類，觀察代價函數的設置對分類結果的影響；3統計錯分概率。四、實驗原理以Bayes公式為根底，利用測量到的對

3、象特征配合必要的先驗信息，求出各種可能決策情況分類情況的后驗概率，選取后驗概率最大的,或者決策風險最小的決策方式(分類方式)作為決策分類的結果。也就是說選取最有可能使得對象具有現在所測得特性的那種假設，作為判別的結果。五、實驗步驟1、首先產生二維正態分布模式的數據，設定產生均值為2，標準差為0.5的100個隨機數據和均值為-2，標準差為2的100個隨機數據，其中一個產生的正態密度曲線圖如下：2、設計最小錯誤率的Bayes分類器，將兩類數據分別根據先驗概率和類條件概率密度計算后驗概率，選擇后驗概率大的為一類，得出測試集正確率和錯誤率為其中worng1是將第一類錯分到第二類的錯誤率，worng2是

4、將第二類錯分到第一類的錯誤率：rightRate1 = 0.9800worng1 = 0.0200rightRate2 = 0.9200worng2 = 0.08003、設計最小風險Bayes分類器，根據前面計算的后驗概率，利用決策表計算出條件風險R，決策選擇風險小的，即對于第一類數據如果算出的R1風險小根據分類器設定選擇第一類分類，那么分類正確，對于第二類數據如果算出的R2風險小即選擇第二類分類，分類正確，否那么分類錯誤，根據這一標準計算分類決策的正確率和錯誤率。決策表決策12104220這里worng3是最小風險Bayes分類器將第一類錯分到第二類的錯誤率，worng4是將第二類錯分到第一

5、類的錯誤率：rightRate3 = 0.9500worng3 = 0.0500rightRate4 = 0.9400worng4 =0.0600 當改變代價函數，分類結果也隨之改變，這里僅僅將12的值和21的值互換，分類結果就不同了。21增大，即將第一類數據錯分到第二類里面的風險就變大了，一些數據因為風險大了所以會分到第一個類別中去，相應的第一類的數據分類錯誤率減小，當然同時第二類的數據分類錯誤率增加了。rightRate3 = 1worng3 = 0rightRate4 = 0.8700worng4 = 0.1300六、思考題1.如何獲得類條件概率密度？類條件概率是的，也就是這里是自己設定

6、的,pw1=pw2=0.5.2.按照最小錯誤率的貝葉斯決策規那么和最小風險的貝葉斯決策規那么對測試集中的樣本分類，結果一致嗎？不一致，最小錯誤率的貝葉斯決策規那么關心的是讓出現的錯誤最小，而最小風險的貝葉斯決策規那么關心的是決策結果帶來的損失最小。最小風險的貝葉斯決策的決策表是人為給定的，決策表不同導致的結果不同。當決策與狀態相同時損失為0，不同時損失為1時最小風險等于最小錯誤率貝葉斯決策。七、附錄cleare1=2;a1=0.5;e2=-2;a2=2;pw1=0.5;pw2=0.5;%最小錯誤率貝葉斯分類s1=normrnd(e1,a1,1,100);%產生二維正態分布100個數據histf

7、it(s1);s2=normrnd(e2,a2,1,100);%產生二維正態分布100個數據p1=zeros(1,100);p2=zeros(1,100);p3=zeros(1,100);p4=zeros(1,100);right1=0;right2=0;%對第一類進行分類for i=1:100 p1(i)=(pw1*normpdf(s1(i),e1,a1)/(pw1*normpdf(s1(i),e1,a1)+pw2*normpdf(s1(i),e2,a2); p2(i)=(pw2*normpdf(s1(i),e2,a2)/(pw1*normpdf(s1(i),e1,a1)+pw2*normp

8、df(s1(i),e2,a2); if p1(i)>p2(i) right1=right1+1; endend%對第二類進行分類for i=1:100 p3(i)=(pw1*normpdf(s2(i),e1,a1)/(pw1*normpdf(s2(i),e1,a1)+pw2*normpdf(s2(i),e2,a2); p4(i)=(pw2*normpdf(s2(i),e2,a2)/(pw1*normpdf(s2(i),e1,a1)+pw2*normpdf(s2(i),e2,a2); if p3(i)<p4(i) right2=right2+1; endend%對第一類分類的正確率r

9、ightRate1=right1/100%對第一類分類的錯誤率worng1=1-rightRate1%對第二類分類的正確率rightRate2=right2/100%對第二類分類的錯誤率worng2=1-rightRate2%最小風險貝葉斯分類R1=zeros(1,100);R2=zeros(1,100);right3=0;right4=0;r11=0;r12=4;r21=2;r22=0;for i=1:100 R1(i)=r11*p1(i)+r12*p2(i); R2(i)=r21*p1(i)+r22*p2(i); if R1(i)<R2(i) right3=right3+1; endendfor i=1:100 R1(i)=r11*p3(i)+r12*p4(i); R2(i)=r21*p3(i)+r22*p4(i); if R1(i)>R2(i) ri