實驗一安裝并使用模式識別工具箱（2學時）一、實驗目的掌握安裝模式識別工具箱的技巧，能熟練使用工具箱中的各項功能；熟練使用最小錯誤率貝葉斯決策器對樣本分類；熟練使用感知準則對樣本分類；熟練使用最小平方誤差準則對樣本分類；了解近鄰法的分類過程，了解參數(shù)K值對分類性能的影響（選做）；了解不同的特征提取方法對分類性能的影響（選做）。二、實驗內容1.安裝模式識別工具箱；用最小錯誤率貝葉斯決策器對呈正態(tài)分布的兩類樣本分類；用感知準則對兩類可分樣本進行分類，并觀測迭代次數(shù)對分類性能的影響;用最小平方誤差準則對云狀樣本分類，并與貝葉斯決策器的分類結果比較;用近鄰法對雙螺旋樣本分類，并觀測不同的K值對分類性能的影響（選做）;觀測不同的特征提取方法對分類性能的影響（選做）。三、實驗儀器、設備PC機一系統(tǒng)最低配置512M內存、P4CPU；Matlab仿真軟件一7.0/7.1/2006a等版本的Matlab軟件。四、實驗原理1.模式識別工具箱模式識別工具箱是學習模式識別基本原理、靈活應用既有的模式識別方法、開發(fā)研制新的識別方法、提高學生分析和解決問題能力的一個良好平臺。本實驗采用的模式識別工具箱是由EladYom-Tov，HilitSerby和DavidG.Storka等人開發(fā)的。最小錯誤率貝葉斯決策器在模式識別領域，貝葉斯決策通常利用一些決策規(guī)則來判定樣本的類別。最常見的決策規(guī)則有最大后驗概率決策和最小風險決策等。設共有K個類別，各類別用符號七(kg..,K)代表。假設七類出現(xiàn)的先驗概率p(c^)以及類條件概率密度p(x|c)是已知的，那么應該把X劃分到哪一類才合適呢？若采用最大后驗概率決策規(guī)則，首先計算X屬于匕類的后驗概率P(|x)_P(ck)P(xIck)_P(ck)P(xIck)P"X=*P(x)'=^P(c)P(xlc)kkk=1然后將x判決為屬于c類，其中?kk=argmaxP(cIx)k1<k<K若采用最小風險決策，則首先計算將x判決為ck類所帶來的風險R(x,ck)，再將x判決為屬于c類，其中?k?k=minR(x,c)kk可以證明在采用0-1損失函數(shù)的前提下，兩種決策規(guī)則是等價的。貝葉斯決策器在先驗概率P)以及類條件概率密度P(xIck)已知的前提下，利用上述貝葉斯決策規(guī)則確定分類面。貝葉斯決策器得到的分類面是最優(yōu)的，它是最優(yōu)分類器。但貝葉斯決策器在確定分類面前需要預知P(ck)與P(xIc)，這在實際運用中往往不可能，因為P(xIck)一般是未知的。因此貝葉斯決策器只是一個理論上的分類器，常用作衡量其它分類器性能的標尺。感知準則設有一組樣本氣,x2，...,xN，其中xn是規(guī)范化增廣樣本向量。現(xiàn)欲尋找一個解向量a，使得a『xn>0。感知準則通過使J(a)=Z(aTx)>0PxeR最小而求出向量a，其中R是被解向量a錯分的樣本集。上式一般用梯度下降法求解。最小平方誤差準則設有一組樣本xi,x2,.,xN，其中xn是規(guī)范化增廣樣本向量。現(xiàn)欲尋找一個解向量a，使得ar>0。最小平方誤差準則通過使jq。x-b）snnn=1最小而求出向量a。上式一般用最小二乘法求解。近鄰法原理近鄰法是一種經典的模式識別方法。正如其名所示，近鄰法在分類時運用如下“最近鄰分類規(guī)則”對測試樣本X進行分類：在X的周圍找出離其最近的k個近鄰樣本，該k個樣本中最頻繁出現(xiàn)的那一類樣本所對應的類別就是X所屬的類別。以圖1-1為例，圖中存在兩類樣本，第一類記為匕并用黑點表示，第二類記為c2并用方框表示。現(xiàn)欲用NN判決x是屬于匕類還是匕類。假設取k=5，則可找出x的5個近鄰樣本并用圓圈圍住，圓圈中有3個樣本屬于匕類（目標值,=1，n=1,2,3），2個樣本屬于c2類（目標值t=-1，n=4,5），那么X根據(jù)規(guī)則應屬于匕類。圖1-1近鄰法的分類原理示意圖特征提取特征提取是模式識別中的關鍵一環(huán)。因為原始的特征數(shù)量可能很大，或者說樣本處于一個高維空間中，因此可以通過映射或變換的辦法在低維空間中來表示樣本，這個過程就是特征提取。常見的特征提取方法有主成分分析（？。人）與主曲線等。更詳細的內容可參見教材第8章。五、實驗步驟安裝模式識別工具箱。首先將工具箱文件拷貝至指定文件夾里，然后在MATLAB環(huán)境下將該文件夾設置成“currentdirectory”（即當前文件夾）；最后在MATLAB命令行狀態(tài)下，鍵入Classifier并按回車鍵；則可得到如圖1-2所示主界面。在該主界面上，可以裝入樣本文件（見界面“Filename”處），可以選擇特征提取方式（見界面“preprocessing"處），可以選擇不同的模式識別方法（見界面“algorithms”處），識別結果（識別錯誤率）顯示在界面“classificationerrors”處。圖1-2模式識別工具箱主界面用最小錯誤率貝葉斯決策器對呈正態(tài)分布的兩類樣本分類。首先點擊界面“Filename"處的下拉式菜單，在文件列表中選擇雙螺旋樣本文件XOR.mat；然后在界面“preprocessing"處下拉式菜單中選擇“None”，在界面“Algorithm”處下拉式菜單中選擇“None”，最后點擊界面上的“Start”按鈕，得到如圖1-3所示的分類結果。使用屏幕拷貝方式將該分類結果保存于WORD文檔里，并如實記錄界面“classificationerrors”處顯示的分類錯誤率。

圖1-3最小錯誤率貝葉斯決策器的分類結果用感知準則對兩類可分樣本進行分類。首先點擊界面“Filename”處的下拉式菜單，在文件列表中選擇可分樣本文件Seperable.mat；然后在界面“preprocessing”處下拉式菜單中選擇“None”，在界面“Algorithm”處下拉式菜單中選擇“Perceptron”，在界W“Numofiteration”處填入數(shù)字“300”，最后點擊界面上的“Start”按鈕，得到如圖1-4所示的分類結果。使用屏幕拷貝方式將該分類結果保存于WORD文檔里，并如實記錄界面“classificationerrors”處顯示的分類錯誤率。圖1-4用感知準則對兩類可分樣本分類后的結果現(xiàn)在界面“Numofiteration”處重新填入數(shù)字“10000”，然后點擊界面上的“Start”按鈕，可得到新的分類結果。使用屏幕拷貝方式將該分類結果保存于WORD文檔里，并如實記錄界面“classificationerrors”處顯示的分類錯誤率。最后比較不同迭代次數(shù)情形下分類效果的異同。用最小平方誤差準則對兩類樣本進行分類。首先點擊界W“Filename^處的下拉式菜單，在文件列表中選擇可分樣本文件Clouds.mat；然后在界面“preprocessing”處下拉式菜單中選擇“None”，在界面“Algorithm”處下拉式菜單中選擇“LS”，最后點擊界面上的“Start”按鈕，得到如圖1-5所示的分類結果，其中黑線為最小平方誤差準則的分類結果，紅線為貝葉斯決策器的分類結果。將這兩種分類結果的比較（分類效果好壞，能否將樣本完全分開等）記錄下來，并使用屏幕拷貝方式將分類結果保存于WORD文檔里，最后如實記錄界面“classificationerrors”處顯示的分類錯誤率。圖1-5用最小平方誤差準則對兩類可分樣本分類后的結果用近鄰法對雙螺旋樣本進行分類。首先點擊界面“Filename”處的下拉式菜單，在文件列表中選擇雙螺旋樣本文件Spiral.mat；然后在界面“preprocessing”處下拉式菜單中選擇“None”，在界面“Algorithm”處下拉式菜單中選擇“NearestNeighbor”，在界面“Numofnearestneighbor”處填入數(shù)字“3”，最后點擊界面上的“Start”按鈕，得到如圖1-6所示的分類結果。使用屏幕拷貝方式將該分類結果保存于WORD文檔里，并記錄界面“classificationerrors”處顯示的分類錯誤率。圖1-6近鄰法對雙螺旋樣本分類后的結果在界面“Numofnearestneighbor”處重新填入數(shù)字“12”，然后點擊界面上的“Start”按鈕，可得到新的分類結果。使用屏幕拷貝方式將該分類結果保存于WORD文檔里，并如實記錄界面“classificationerrors”處顯示的分類錯誤率。最后比較“k=3”與咔=12”兩種情形下分類效果的異同。特征提取方法對分類效果的影響。用感知準則對兩類可分樣本進行分類。首先點擊界面“Filename”處的下拉式菜單，在文件列表中選擇可分樣本文件XOR.mat；然后在界面“preprocessing”處下拉式菜單中選擇“PCA”，在界面“Newdatadimension”處填入數(shù)字2，在界面“Algorithm”處下拉式菜單中選擇“NearestNeighbor”，在界面“Numofnearestneighbor”處填入數(shù)字“3”，最后點擊界面上的“Start，按鈕，得到如圖1-7(a)所示的分類結果。使用屏幕拷貝方式將該分類結果保存于WORD文檔里，并如實記錄界面“classificationerrors”處顯示的分類錯誤率。現(xiàn)在界面“Newdatadimension”處重新填入數(shù)字1，其它條件不變，然后點擊界面上的“Start”按鈕，可得到新的分類結果如圖1-7(b)所示。使用屏幕拷貝方式將該分類結果保存于WORD文檔里，并如實記錄界面“classificationerrors”處顯示的分類錯誤率。最后比較提取的特征數(shù)目不同的情形下分類效果(即圖1-7(a)(b)兩個圖)的異同。

(a)主成分分析［提取2(a)主成分分析［提取2個特征］(b)主成分分析［提取1個特征］六、實驗報告要求按照固定格式(見附錄1)撰寫實驗報告；在實驗報告中，必須對實驗指導書中所列思考題給予回答；詳細寫出實驗總結與心得體會，可以根據(jù)自己的實驗情況，在實驗設置等方面給出合理化建議。七、實驗注意事項1.在實驗中如遇到問題，可仔細閱讀該工具箱自帶的用戶指南(Userguide)。八、思考題1.在圖1-7中使用主成分分析進行特征提取