1、模式識別(m sh sh bi)實驗(shyn)教學大綱(jio xu d n)(實驗課程)課程編號：091042課程英文名稱：Pattern Recognition課程類型： 通識通修 通識通選 學科必修 學科選修 跨學科選修 專業核心 專業選修（學術研究） 專業選修（就業創業）適用年級專業（學科類）：計算機科學與技術、網絡工程、軟件工程 四年級先修課程：高等數學、線性代數、概率與數理統計、程序設計語言總學分：1總學時：32一、課程簡介與教學目標模式識別實驗是配合計算機科學與技術、網絡工程和軟件工程專業課程模式識別開設的實驗課程。要求學生在理解模式識別理論及方法的基礎上，應具有設計、實現、分

2、析和維護模式識別等方面的能力。通過本實驗課程的訓練，使學生熟練掌握模式識別的基本原理和方法，加深對各方法涉及的基礎知識的認識，強化編程技能，培養創新能力。二、教學方式與方法教學方式：學生動手實驗為主，輔以適當的提問、小組討論及實驗點評等。教學方法：探討式教學、啟發式教學、實驗教學相結合；嘗試包括實驗設計、研究設計、答辯、總結等環節的教學。三、教學重點與難點 （一）教學重點理解模式識別系統的基本原理，掌握模式識別中Bayes分類器、Parzen窗估計與KN近鄰估計、最近鄰方法和C均值聚類算法等，學會使用相應工具進行模式識別方法的設計與實現，從而進一步理解模式識別課程中所講授的理論知識。（二）教學

3、難點H-K算法、基于K-L變換的實現。四、學時分配計劃序號實驗項目名稱實驗要求實驗類型學時一Bayes分類器設計必修設計研究性4二最大似然估計必修設計研究性4三Parzen窗估計與KN近鄰估計必修設計研究性4四H-K算法選修設計研究性4五最近鄰方法必修設計研究性4六基于K-L變換的特征提取必修設計研究性4七c-均值算法必修設計研究性2八層次聚類算法選修設計研究性6合計32五、教材(jioci)與教學參考書（一）教材(jioci)1.模式識別(m sh sh bi)（第2版），邊肇祺，張學工等，清華大學出版社，2000。（二）教學參考書1模式識別導論，齊敏、李大健、郝重陽，清華大學出版社，200

4、9；2模式識別原理，孫亮，北京工業大學出版社，2009；3模式識別（第3版），張學工，清華大學出版社，2010；4模式識別(英文版第3版)(經典原版書庫)，(希臘)西奧多里迪斯 等著，機械工業出版社，2006。六、課程考核與成績評定【考核類型】 考試 考查【考核方式】 開卷（Open-Book） 閉卷（Close-Book） 項目報告/論文 其它： 實驗成績綜合評定 （填寫具體考核方式）【成績評定】平時成績占30-40%，實驗成績占60-70%七、課程內容概述實驗一 Bayes分類器設計（一）教學要求理解基于Bayes決策理論的隨機模式分類的原理和方法，掌握基于最小錯誤率的貝葉斯決策和基于最小

5、風險的貝葉斯決策，并能夠對貝葉斯規則給出具體的實現。（二）知識點提示知識點：錯誤率、風險、先驗概率、概率密度函數、最小錯誤率貝葉斯決策規則、最小風險貝葉斯決策規則。重點：最小錯誤率貝葉斯決策規則和最小風險貝葉斯決策規則的實現。難點：最小風險貝葉斯決策規則的實現。（三）教學內容Bayes分類器的基本思想是依據類別先驗概率和條件概率密度，按照某種準則使分類結果從統計上講是最佳的。換言之，根據類別先驗概率和條件概率密度將模式空間劃分成若干個子空間，在此基礎上形成模式分類的判決規則。準則函數不同，所導出的判決規則就不同，分類結果也不同；使用哪種準則或方法應根據具體問題來確定。1產生二維正態分布模式，并

6、將產生的樣本集隨機地分為訓練集和測試集；2分別設計最小錯誤率的Bayes分類器和最小風險Bayes分類器，并對測試集進行分類，觀察代價函數的設置對分類結果的影響；3統計錯分概率。（四）思考題1.如何獲得類條件概率密度？2.按照最小錯誤率的貝葉斯決策規則和最小風險的貝葉斯決策規則對測試集中的樣本分類，結果一致嗎？實驗(shyn)二 最大似然估計(gj)（一）教學要求理解(lji)概率密度函數的估計方法，掌握監督參數估計方法的基本原理，并能夠對最大似然估計給出具體的實現。（二）知識點提示知識點：概率密度函數的估計方法、監督參數估計、最大似然估計、似然函數。重點：似然函數、最大似然估計的實現。難點：

7、最大似然估計的實現。（三）教學內容最大似然估計的基本思想是已知某一類型的樣本集，且概率密度函數的形式已知，如何利用已知的樣本集估計概率密度函數中的參數。實驗內容包括：1產生二維正態分布模式；2用最大似然估計法估計模式的分布參數。（四）思考題1.如何產生服從正態分布的樣本？2.利用最大似然估計方法得到的結果與實際參數值一致嗎？ 實驗三 Parzen窗估計與KN近鄰估計（一）教學要求理解概率密度函數的估計方法，掌握非參數估計方法的基本原理，理解并能夠實現Parzen窗估計與KN近鄰估計。（二）知識點提示知識點：非參數估計方法的基本原理、Parzen窗估計與KN近鄰估計。重點：Parzen窗估計與K

8、N近鄰估計的實現。難點：Parzen窗估計的實現。（三）教學內容Parzen窗估計和KN近鄰估計是兩種非參數估計方法，主要通過樣本直接估計概率密度函數。實驗內容包括：1產生二維正態分布模式；2用Parzen窗法和KN近鄰法估計概率密度。（四）思考題1.如何產生服從正態分布的樣本？2.利用Parzen窗估計與KN近鄰估計得到的結果一致嗎？ 實驗四 H-K算法（一）教學要求掌握基于二次準則函數的梯度下降算法的基本思想，了解該算法的特點。編寫能對實際模式樣本正確分類的Ho-Kashyyap算法(簡稱H-K算法)程序。（二）知識點提示知識點：最小錯分樣本數準則、共軛梯度法。重點：掌握用程序設計語言實現

9、H-K算法。難點：H-K算法的實現。（三）教學內容梯度下降法的目標是通過迭代(di di)校正：wk=wk-1+xi，i=1,2,N，k=0,1,2，N為樣本個數，求解(qi ji)線性判決函數d(x)=wx的解矢量(shling)w。解通常不是唯一的，故解在解空間構成一個解區。H-K算法利用最小錯分樣本數準則解決訓練模式是否線性可分的情況，它是一種求判別域代數界面方程近似解的問題。首先引入分量均為正的余量矢量b, 顯然滿足wxb的解矢量將比滿足wx0的解矢量更趨于解區中心，也即解更可靠。其次采用二次準則函數J(X,w,b)=|Xw-b|2，X =（x1，x2，xN）為符號規范化后的增廣特征矢

10、量矩陣，使算法對線性可分情況和非線性可分情況都有效。對線性可分情況，求得的解使準則函數取最小值0；對非線性可分情況，使二次準則函數最小的解可使誤分模式數最少。H-K算法將準則函數視為w和b的函數，在迭代過程中修正w的同時，也對矢量b進行調整，并通過最小化技術可求得準則函數關于w和b的極小值點。在迭代求準則函數最小值過程中，可根據誤差矢量(Xw-b)的值判斷算法是否收斂，同時誤差矢量也反映模式是否線性可分。編寫H-K算法程序，要求針對不同的輸入樣本集，觀察算法的收斂性及收斂速度。（四）思考題1、使用H-K算法得到的解與其他方法有何不同？2、H-K算法適用于所有情形嗎？實驗五 k-近鄰方法（一）教

11、學要求通過實驗加深k-近鄰方法原理，編寫能對實際模式樣本正確分類的算法程序；掌握k-近鄰算法的基本思想；認識影響算法性能的因素，編寫對實際模式樣本正確分類的算法程序。（二）知識點提示知識點：判別函數、k-近鄰的決策規則。重點：掌握用程序設計語言實現k-近鄰法的程序。難點：k-近鄰法的實現。（三）教學內容對待識別模式x, 分別計算它與N(N=N1+N2+Nc)個已知類別樣本xj(i)i，i=1,2,c，的距離，取k個最近鄰樣本，這k個樣本中屬于哪一類的樣本最多, 就判x屬于哪一類。這里，c為類別數，Ni為第i類的樣本個數，N為樣本總數。編寫k-近鄰算法程序，要求能對實際模式樣本進行分類。要求：1

12、在程序注解中，列寫出程序的輸入、輸出、算法描述、變量說明；2將已知類別的樣本集分為參照集和測試集，對測試集進行分類；3統計錯分概率，分析產生錯分的原因。（四）思考題1使用k-近鄰法與最近鄰法得到的結果一致嗎？2如何計算錯分概率？實驗(shyn)六 基于(jy)K-L變換的特征提取（一）教學要求掌握(zhngw)離散K-L變換原理、特點，編寫基于離散K-L變換的特征提取程序。（二）知識點提示知識點：類間離散度、離散K-L變換、本征向量。重點：基于類間離散度準則的離散K-L變換。難點：矩陣的本征向量。（三）教學內容編寫基于類間離散度矩陣Sb的特征提取程序，要求： 1對c類問題，求輸入樣本x的類間離

13、散度矩陣Sb；2求Sb的本征值12d及其對應的本征向量T=( t1,t2,tn)，dc；3取d=2，做變換y=Tx，觀察y的分布情況。（四）思考題1是否存在使用其它準則的K-L變換？實驗七 c-均值算法（一）教學要求掌握動態聚類算法的基本思想；認識類別數、初始類中心的選擇對c-均值算法聚類結果的影響；編寫能對實際模式樣本正確分類的c-均值算法程序。（二）知識點提示知識點：相似性度量、評價聚類結果質量的準則函數、代表點的選擇方法、確定初始分類的方法。重點：理解并實現c均值算法。難點：c均值算法的實現。（三）教學內容設類別數為c，選取c個初始聚類中心，按最小距離原則將各模式分配到c類中的某一類，不

14、斷地計算類心和調整各模式的類別使每個模式特征矢量到其所屬類別中心的距離平方之和最小。編寫c-均值算法程序，要求：1改變初始類中心，觀察對聚類結果的影響；2改變類別數c，比較其對類內距離平方和的大小的影響。（四）思考題1c均值聚類算法一定收斂嗎？2c均值算法主要適應于何種類型數據？實驗八 層次聚類算法（一）教學要求掌握層次聚類算法的基本思想；認識類間距離的定義對層次聚類算法的影響；掌握距離遞推計算技巧；編寫能對實際模式樣本正確分類的層次聚類算法程序。（二）知識點提示知識點：層次聚類算法的基本思想、簇合并方法、相似性度量。重點：掌握并實現層次聚類算法。難點：層次聚類算法中簇的合并。（三）教學內容初始時，設各模式自成一類；然后計算類與類之間的距離，選擇距離最小的一對合并成一個新類；計算在新產生的類別(libi)劃分下各類之間的距離，再將距離最近的兩類合并；直至所有模式聚成兩類為止。編寫(binxi)層次聚類算法程序，要求：1改變停止條件，觀察(gunch)對聚類結果的影響；a. 以類間距離門限T作為停止條件，即當類間距離矩陣中最小陣元大于T時，聚類過程停止； b. 以預定的類別數目作為停止條件，當類別合并過程中，類數等于預定值時，聚類過程停止。2選擇不同的類間距離，觀察對聚類結果的影響；3要求類間距離以遞推方式計算。（四）思考題1在層次聚類中，如何確定數