1、學(xué) 號(hào)：1049721603719武漢理工大學(xué)模式識(shí)別及其在圖像處理中的應(yīng)用學(xué)院（系）： 自動(dòng)化學(xué)院課程名稱： 模式識(shí)別原理專業(yè)班級(jí)：控制科學(xué)與工程1603班任課教師： 張素文學(xué)生姓名： 王紅剛 2017年1月3日模式識(shí)別及其在圖像處理中的應(yīng)用摘要:隨著計(jì)算機(jī)和人工智能技術(shù)的發(fā)展, 模式識(shí)別在圖像處理中的應(yīng)用日益廣泛。 綜述了模式識(shí)別在圖像處理中特征提取、主要的識(shí)別方法(統(tǒng)計(jì)決策法、句法識(shí)別、模糊識(shí)別、神經(jīng)網(wǎng)絡(luò))及其存在的問(wèn)題, 并且對(duì)近年來(lái)模式識(shí)別的新進(jìn)展支持向量機(jī)與仿生模式識(shí)別做了分析和總結(jié), 最后討論了模式識(shí)別亟待解決的問(wèn)題并對(duì)其發(fā)展進(jìn)行了展望。關(guān)鍵詞:模式識(shí)別;圖像處理;特征提取;識(shí)別

2、方法Pattern Recognition and Its Application in Image ProcessingAbstract:With the development of computer and artificial intelli-gence , pattern recognition is w idely used in the image processing in-creasingly .T he feature extraction and the main methods of pattern recognition in the image processing

3、 , w hich include statistical deci-sion, structural method , fuzzy method , artificial neural netw ork aresummarized.T he support vector and bionic pattern recognition w hich are the new developments of the pattern recognition are also analyzed .At last, the problems to be solved and development tre

4、nds are discussed.Key words:pattern recognition ;image processing ;feature extrac-tion;recognition methods模式識(shí)別誕生于 20 世紀(jì) 20 年代, 隨著計(jì)算機(jī)的出現(xiàn)和人工智能的發(fā)展, 模式識(shí)別在 60 年代初迅速發(fā)展成一門學(xué)科。它所研究的理論和方法在很多學(xué)科和領(lǐng)域中得到廣泛的重視, 推動(dòng)了人工智能系統(tǒng)的發(fā)展, 擴(kuò)大了計(jì)算機(jī)應(yīng)用的可能性。圖像處理就是模式識(shí)別方法的一個(gè)重要領(lǐng)域, 目前廣泛應(yīng)用的文字識(shí)別(OCR)就是模式識(shí)別在圖像處理中的一個(gè)典型應(yīng)用。1 模式識(shí)別的基本框架模式識(shí)別在不同的文獻(xiàn)

5、中給出的定義不同。一般認(rèn)為, 模式是通過(guò)對(duì)具體的事物進(jìn)行觀測(cè)所得到的具有時(shí)間與空間分布的信息, 模式所屬的類別或同一類中模式的總體稱為模式類, 其中個(gè)別具體的模式往往稱為樣本。模式識(shí)別就是研究通過(guò)計(jì)算機(jī)自動(dòng)地(或者人為進(jìn)行少量干預(yù))將待識(shí)別的模式分配到各個(gè)模式類中的技術(shù)。模式識(shí)別的基本框架如圖 1 所示。分類器設(shè)計(jì)特征選擇與提取預(yù)處理樣本分類結(jié)果（識(shí)別結(jié)果）（）圖 1 模式識(shí)別的基本框架根據(jù)有無(wú)標(biāo)準(zhǔn)樣本, 模式識(shí)別可分為監(jiān)督識(shí)別方法和非監(jiān)督識(shí)別方法。監(jiān)督識(shí)別方法是在已知訓(xùn)練樣本所屬類別的條件下設(shè)計(jì)分類器, 通過(guò)該分類器對(duì)待識(shí)樣本進(jìn)行識(shí)別的方法。如圖 1 , 標(biāo)準(zhǔn)樣本集中的樣本經(jīng)過(guò)預(yù)處理、選擇與

6、提取特征后設(shè)計(jì)分類器, 分類器的性能與樣本集的大小、分布等有關(guān)。待檢樣本經(jīng)過(guò)預(yù)處理、選擇與提取特征后進(jìn)入分類器, 得到分類結(jié)果或識(shí)別結(jié)果。 非監(jiān)督模式識(shí)別方法是在沒(méi)有樣本所屬類別信息的情況下直接根據(jù)某種規(guī)則進(jìn)行分類決策。應(yīng)用于圖像處理中的模式識(shí)別方法大多為有監(jiān)督模式識(shí)別法, 例如人臉檢測(cè)、車牌識(shí)別等。無(wú)監(jiān)督的模式識(shí)別方法主要用于圖像分割、圖像壓縮、遙感圖像的識(shí)別等。模式識(shí)別過(guò)程可以看作從樣本空間到類別空間的一個(gè)映射過(guò)程。如果把一個(gè)具有 n 個(gè)特征作為參量的 n 維特征空間劃分為不同的區(qū)域, 那么每個(gè)區(qū)域與一類模式類相對(duì)應(yīng)。其中, 特征選擇與提取是模式識(shí)別的一個(gè)重要環(huán)節(jié), 如果所選取的特征能夠比

7、較全面反映類的本質(zhì)特征, 那么分類器就比較容易設(shè)計(jì)；否則, 分類器設(shè)計(jì)的難度就增加。因此特征選擇和提取是模式識(shí)別研究的一項(xiàng)重要內(nèi)容。2 特征提取和特征選擇原始樣本往往處于一個(gè)高維空間, 特征提取指的是通過(guò)映射的方法用低維空間來(lái)表示樣本的過(guò)程。 特征提取后樣本的可分性應(yīng)該更好, 分類器更易設(shè)計(jì)。常用的方法有主元分析法(PCA)、線性判別分析、核函數(shù)主元分析(Kernel PCA)、獨(dú)立主元分析法(ICA)、自組織映射(SOM)方法等。文獻(xiàn)2 對(duì)上述方法的性質(zhì)進(jìn)行了詳細(xì)的比較, 并指出各種方法適合解決的問(wèn)題。特征提取在圖像處理(例如圖像分割、圖像識(shí)別、圖像檢索等)中得到了廣泛的應(yīng)用, 文獻(xiàn)7 采用

8、 Kernel PCA 方法進(jìn)行人臉識(shí)別, 結(jié)果表明比直接的特征臉?lè)椒ǐ@得更小的錯(cuò)識(shí)率。在人臉識(shí)別或人臉認(rèn)證中, - 9 -文獻(xiàn)8采用了DCT變化降低原始特征的維數(shù)后進(jìn)一步利用 DCT 變換的一些系數(shù)作為特征向量進(jìn)行識(shí)別。另外在圖像壓縮中也廣泛應(yīng)用到 DCT 變換以去除圖像的空間冗余。文獻(xiàn) 9 采用基于分型的特征提取方法對(duì)手寫簽名進(jìn)行識(shí)別。以上文獻(xiàn)均說(shuō)明, 不同的模式識(shí)別問(wèn)題特征差別可能很大,因而特征提取方法也不盡相同。每一種特征提取方法只適合解決某些特定范圍的問(wèn)題, 例如對(duì)于服從高斯型分布的線性相關(guān)特征, 采用 PCA 方法比較好, 用其他方法提取特征結(jié)果可能不是“ 最優(yōu)” 。特征提取的優(yōu)劣

9、要根據(jù)一定的判據(jù)來(lái)衡量, 由于模式識(shí)別中沒(méi)有一個(gè)統(tǒng)一的衡量特征優(yōu)劣的判據(jù), 所謂的最優(yōu)是在特定準(zhǔn)則下取得的, 是相對(duì)的最優(yōu)。特征提取后的各個(gè)特征的物理意義有時(shí)不是很直觀, 往往很難看出各個(gè)特征對(duì)分類的影響, 有的特征可能無(wú)助于分類器的設(shè)計(jì), 甚至?xí)档头诸惼鞯男阅?。因此要在這些特征中選出最適合分類器設(shè)計(jì)的特征。換句話說(shuō), 特征選擇就是從一組特征 D 中挑選出一些對(duì)分類最有效特征d(D d)的過(guò)程。實(shí)際中特征選擇和提取往往結(jié)合使用。為了判斷提取和選擇的特征對(duì)分類的有效性, 人們提出各種衡量特征分類性能的判據(jù)。最直接最有效的判據(jù)是計(jì)算分類器錯(cuò)誤概率, 但一般情況下, 錯(cuò)誤概率的計(jì)算很復(fù)雜, 有時(shí)甚

10、至無(wú)法計(jì)算。 因此人們提出一些其他的判據(jù)。最簡(jiǎn)單的判據(jù)是用于可分性判據(jù)的類內(nèi)類間距離判據(jù), 其基本原則是類內(nèi)距離最小、類間距離最大的特征為最優(yōu)特征。一方面, 這一判據(jù)物理意義明顯, 計(jì)算方便, 但是距離的定義不同, 得到的特征不同;另一方面, 它和概率分布沒(méi)有直接關(guān)系。為此人們提出基于概率分布的可分性判據(jù)(例如 Bhattacharyya 距離、Chernoff 界限、散度), 這類判據(jù)計(jì)算比較復(fù)雜, 也很難得到和錯(cuò)誤概率的直接解析關(guān)系式。另外還有基于熵函數(shù)的可分性判據(jù)等, 這些判據(jù)在特征提取中都得到了廣泛的應(yīng)用。選定可分性判據(jù)后, 通過(guò)窮舉法可以得到特征選擇的最優(yōu)解, 但是當(dāng)特征個(gè)數(shù)比較多時(shí)

11、, 這種方法由于計(jì)算量太大而難以實(shí)現(xiàn)。常用的方法有分支和定界(branch and bound)算法、順序前進(jìn)法(SF S , sequential forward selection)、順序后退法(SBS , se-quential backw ard selection)等, 相對(duì)于窮舉法, 這些方法都不同程度地減小了計(jì)算量, 但是都不能保證得到最優(yōu)解, 往往得到的是次優(yōu)解。由于特征選擇是在進(jìn)行相應(yīng)的特征組合后判斷其分類能力的, 因此可以采用解決優(yōu)化問(wèn)題的方法來(lái)解決。常用的算法如遺傳算法、模擬退火算法, 但它們計(jì)算都比較復(fù)雜。以上提到的判據(jù)在大多情況下和錯(cuò)誤概率沒(méi)有直接關(guān)系,用以這些度量為

12、基礎(chǔ)的某個(gè)判據(jù)的最優(yōu)化對(duì)特征進(jìn)行變換后所設(shè)計(jì)的分類器的錯(cuò)誤概率未必最小;同一個(gè)問(wèn)題特征采用的判據(jù)不同得到最優(yōu)解也不完全相同;此外, 特征選擇結(jié)果的可靠性和訓(xùn)練樣本個(gè)數(shù)有關(guān)。如果樣本個(gè)數(shù)太少, 根據(jù)某種判據(jù)得出的最優(yōu)解和實(shí)際的最優(yōu)特征有時(shí)差別很大, 這是因?yàn)橛?xùn)練樣本集中包含的分類信息不足。由此可見, 選擇最優(yōu)特征需要具備 3 個(gè)條件:樣本個(gè)數(shù)足夠能夠覆蓋樣本集的分類信息 ;有一種比較好的分類判據(jù);一個(gè)切實(shí)可行的選擇算法。實(shí)際中, 這 3 個(gè)條件很難完全滿足。因此, 針對(duì)具體的模式識(shí)別問(wèn)題選擇最優(yōu)特征仍是一件比較困難的事, 這些問(wèn)題仍需要進(jìn)一步的研究。提取和選擇特征之后, 分類和識(shí)別效果的優(yōu)劣取決

13、于所設(shè)計(jì)的分類器的性質(zhì)。設(shè)計(jì)分類器的主要方法也就是模式識(shí)別的主要方法。3 模式識(shí)別的主要方法及其在圖像處理中的應(yīng)用模式識(shí)別方法大致可以分為 4 類:統(tǒng)計(jì)決策法、結(jié)構(gòu)模式識(shí)別方法、模糊模式識(shí)別方法與基于人工智能方法。其中基于人工智能的方法本文主要介紹人工神經(jīng)網(wǎng)絡(luò)模式識(shí)別方法。前兩種方法發(fā)展得比較早, 理論相對(duì)也比較成熟, 在早期的模式識(shí)別中應(yīng)用較多。后兩種方法目前的應(yīng)用較多, 由于模糊方法更合乎邏輯、神經(jīng)網(wǎng)絡(luò)方法具有較強(qiáng)的解決復(fù)雜模式識(shí)別的能力, 因此日益得到人們的重視。3.1統(tǒng)計(jì)決策法統(tǒng)計(jì)決策法以概率論和數(shù)理統(tǒng)計(jì)為基礎(chǔ), 它包括參數(shù)方法和非參數(shù)方法。p(x |i)P(i)參數(shù)方法主要以 Bay

14、es 決策準(zhǔn)則為指導(dǎo)。其中最小錯(cuò)誤率和最小風(fēng)險(xiǎn)貝葉斯決策是最常用的兩種決策方法。假定特征對(duì)于給定類的影響?yīng)毩⒂谄渌卣? 在決策分類的類別 N 已知與各類別的先驗(yàn)概率 P(i)及類條件概率密度 p(x|i)已知的情況下, 對(duì)于一特征矢量 x 根據(jù)式(1)計(jì)算待檢模式在各類中發(fā)生的后驗(yàn)概率 P(i|x), 后驗(yàn)概率最大的類別即為該模式所屬類別。在這樣的條件下, 模式識(shí)別問(wèn)題轉(zhuǎn)化為一個(gè)后驗(yàn)概率的計(jì)算問(wèn)題。 Np(x |i)P(i)i =1P(i|x)=（1）在貝葉斯決策的基礎(chǔ)上, 根據(jù)各種錯(cuò)誤決策造成損失的不同, 人們提出基于貝葉斯風(fēng)險(xiǎn)的決策, 即計(jì)算給定特征矢量 x 在各種決策中的條件風(fēng)險(xiǎn)大小,

15、 找出其中風(fēng)險(xiǎn)最小的決策。實(shí)際上對(duì)于具體的模式識(shí)別問(wèn)題, 先驗(yàn)概率和類條件概率密度很難精確知道。先驗(yàn)概率根據(jù)樣本總數(shù)可大致估計(jì), 類條件概率密度可采用統(tǒng)計(jì)學(xué)中的最大似然估計(jì)法、Bayes 估計(jì)法等進(jìn)行估計(jì)。 這類方法應(yīng)用于圖像分割、圖像復(fù)原以及圖像識(shí)別等方面。在圖像分割中, 假定圖中的數(shù)據(jù)是服從 K 個(gè)概率密度混合分布的樣本, 然后估計(jì)概率密度函數(shù)的參數(shù), 最后計(jì)算后驗(yàn)概率或風(fēng)險(xiǎn), 對(duì)像素進(jìn)行歸類, 從而達(dá)到分割圖像的目的。一般情況下, 往往假定概率密度函數(shù)是高斯型的, 這一方面很多情況下樣本的分布接近高斯分布, 另一方面是數(shù)學(xué)上處理相對(duì)比較簡(jiǎn)單。和圖像分割的原理類似, 圖像識(shí)別也是對(duì)圖像的某

16、些特征采用貝葉斯決策的方法設(shè)計(jì)分類器, 根據(jù)分類器對(duì)未知圖像的特征進(jìn)行識(shí)別。參數(shù)估計(jì)方法的理論基礎(chǔ)是樣本數(shù)目趨近于無(wú)窮大時(shí)的漸進(jìn)理論。在樣本數(shù)目很大時(shí), 參數(shù)估計(jì)的結(jié)果才趨近于真實(shí)的模型。然而實(shí)際樣本數(shù)目總是有限的, 很難滿足這一要求。另外參數(shù)估計(jì)的另一個(gè)前提條件是特征獨(dú)立性, 這一點(diǎn)有時(shí)和實(shí)際差別較大。實(shí)際上在樣本數(shù)量不是很大的情況下, 往往根據(jù)樣本直接設(shè)計(jì)分類器, 這就是非參數(shù)方法。 這類方法物理意義直觀, 但所得的結(jié)果和錯(cuò)誤率往往沒(méi)有直接聯(lián)系, 所設(shè)計(jì)的分類器不能保證最優(yōu)。比較典型的方法如線性分類器、最近鄰方法、K 均值聚類法等。在圖像壓縮領(lǐng)域的矢量量化編碼算法中, 碼書的訓(xùn)練就是一個(gè)典

17、型的聚類過(guò)程, 壓縮的效果和聚類的結(jié)果關(guān)系很大。在圖像分割中, 采用對(duì)像素或圖像的其他特征進(jìn)行聚類 , 達(dá)到圖像分割的目的。然而, 統(tǒng)計(jì)決策理論主要集中在數(shù)量的統(tǒng)計(jì)關(guān)系上而忽略了刻畫模式的結(jié)構(gòu)特征。圖像處理往往與圖像的結(jié)構(gòu)信息有關(guān), 對(duì)于很復(fù)雜的圖像, 要求的特征量非常巨大, 要把某一模式準(zhǔn)確分類很困難, 這時(shí)采用統(tǒng)計(jì)分類方法很難實(shí)現(xiàn), 因此設(shè)法分割出圖像的基元子模式, 將基元按照一定句法關(guān)系組合來(lái)代替原圖像進(jìn)行分類, 這就涉及到結(jié)構(gòu)模式識(shí)別的問(wèn)題。3.2 結(jié)構(gòu)模式識(shí)別結(jié)構(gòu)模式識(shí)別是利用模式的結(jié)構(gòu)描述與句法描述之間的相似性對(duì)模式進(jìn)行分類。每個(gè)模式由它的各個(gè)子部分(稱為子模式或模式基元)的組合來(lái)

18、表示。對(duì)模式的識(shí)別常以句法分析的方式進(jìn)行, 即依據(jù)給定的一組句法規(guī)則來(lái)剖析模式的結(jié)構(gòu)。當(dāng)模式中每一個(gè)基元被辨認(rèn)后, 識(shí)別過(guò)程就可通過(guò)執(zhí)行語(yǔ)法分析來(lái)實(shí)現(xiàn)。選擇合適的基元是結(jié)構(gòu)模式識(shí)別的關(guān)鍵?；獞?yīng)具有“結(jié)構(gòu)簡(jiǎn)單、含義明確、能方便地描述數(shù)據(jù)、易于抽取、結(jié)構(gòu)信息少” 等特點(diǎn)。 由于基元選擇的不確定性以及基元特征的多樣性, 實(shí)際應(yīng)用中有時(shí)很難同時(shí)滿足以上特點(diǎn) , 所以有必要在基元的復(fù)雜性和易識(shí)別性之間取一個(gè)恰當(dāng)?shù)恼壑?。結(jié)構(gòu)模式識(shí)別主要用于文字識(shí)別、遙感圖形的識(shí)別與分析、紋理圖像的分析中。該方法的特點(diǎn)是識(shí)別方便, 能夠反映模式的結(jié)構(gòu)特征 , 能描述模式的性質(zhì), 對(duì)圖像畸變的抗干擾能力較強(qiáng)。 如何選擇基元

19、是本方法的一個(gè)關(guān)鍵問(wèn)題, 尤其是當(dāng)存在干擾及噪聲時(shí), 抽取基元更困難, 且易失誤?；诮y(tǒng)計(jì)決策和結(jié)構(gòu)模式識(shí)別在早期的模式識(shí)別中應(yīng)用比較多, 隨著人們對(duì)模式識(shí)別要求的提高, 在解決一些復(fù)雜的模式識(shí)別問(wèn)題時(shí) , 上述方法的局限性越來(lái)越明顯。模糊邏輯思想和神經(jīng)網(wǎng)絡(luò)的提出, 為人們解決模式識(shí)別問(wèn)題提供了新的思路。3.3 模糊模式識(shí)別1965 年Zadeh 提出了他著名的模糊集理論, 使人們認(rèn)識(shí)事物的傳統(tǒng)二值 0, 1 邏輯轉(zhuǎn)化為 0 , 1 區(qū)間上的邏輯, 這種刻畫事物的方法改變了人們以往單純地通過(guò)事物內(nèi)涵來(lái)描述其特征的片面方式, 并提供了能綜合事物內(nèi)涵與外延性態(tài)的合理數(shù)學(xué)模型隸屬度函數(shù)。對(duì)于 A 、

20、B 兩類問(wèn)題, 傳統(tǒng)二值邏輯認(rèn)為樣本 C 要么屬于 A , 要么屬于 B, 但是模糊邏輯認(rèn)為 C 既屬于 A , 又屬于 B, 二者的區(qū)別在于 C 在這兩類中的隸屬度不同。所謂模糊模式識(shí)別就是解決模式識(shí)別問(wèn)題時(shí)引入模糊邏輯的方法或思想。同一般的模式識(shí)別方法相比較, 模糊模式識(shí)別具有客體信息表達(dá)更加合理, 信息利用充分, 各種算法簡(jiǎn)單靈巧, 識(shí)別穩(wěn)定性好, 推理能力強(qiáng)的特點(diǎn)。模糊模式識(shí)別在圖像處理中也被廣泛應(yīng)用, 文獻(xiàn) 15 還將模糊 K 近鄰(FKNN)方法用于盲圖像的反卷積, 實(shí)驗(yàn)結(jié)果證明了這種方法的有效性;文獻(xiàn) 16 將模糊技術(shù)同 K 均值聚類結(jié)合用于矢量量化編碼中, 這種方法消除了聚類初

21、始化對(duì)結(jié)果碼書的依賴性，提高了聚類結(jié)果的魯棒性，文獻(xiàn)17將模糊方法同K近鄰(K-NN)結(jié)合, 對(duì)圖像進(jìn)行分類, 取得比傳統(tǒng) K-NN方法更好的效果。 文獻(xiàn) 18 將模糊邏輯同 BP 神經(jīng)網(wǎng)絡(luò)相結(jié)合對(duì)手寫字符識(shí)別, 取得接近 100 %的效果。文獻(xiàn)以上方法在獲得比較好的效果的同時(shí), 往往增加一定的計(jì)算量, 但是有些算法本身比較簡(jiǎn)單, 在同其他算法的結(jié)合中, 模糊思想運(yùn)用引入的計(jì)算開銷有時(shí)同整個(gè)算法的計(jì)算量相比并不大, 計(jì)算速度通常是可以接受的。模糊模式識(shí)別的關(guān)鍵在隸屬度函數(shù)的建立, 目前主要的方法有模糊統(tǒng)計(jì)法、模糊分布法、二元對(duì)比排序法、相對(duì)比較法和專家評(píng)分法等。雖然這些方法具有一定的客觀規(guī)律性

22、與科學(xué)性, 但同時(shí)也包含一定的主觀因素, 準(zhǔn)確合理的隸屬度函數(shù)很難得到, 如何在模糊模式識(shí)別方法中建立比較合理的隸屬度函數(shù)是需要進(jìn)一步解決的問(wèn)題。3.4 人工神經(jīng)網(wǎng)絡(luò)模式識(shí)別早在 20 世紀(jì) 50 年代, 研究人員就開始模擬動(dòng)物神經(jīng)系統(tǒng)的某些功能, 他們采用軟件或硬件的辦法, 建立了許多以大量處理單元為結(jié)點(diǎn), 處理單元間實(shí)現(xiàn)(加權(quán)值的)互聯(lián)的拓?fù)渚W(wǎng)絡(luò), 進(jìn)行模擬。 稱之為人工神經(jīng)網(wǎng)絡(luò)。這種方法可以看作是對(duì)原始特征空間進(jìn)行非線性變換, 產(chǎn)生一個(gè)新的樣本空間, 使得變換后的特征線性可分。同傳統(tǒng)統(tǒng)計(jì)方法相比, 其分類器是與概率分布無(wú)關(guān)的。人工神經(jīng)網(wǎng)絡(luò)的主要特點(diǎn)在于其具有信息處理的并行性、自組織和自適

23、應(yīng)性、具有很強(qiáng)的學(xué)習(xí)能力和聯(lián)想功能以及容錯(cuò)性能等, 在解決一些復(fù)雜的模式識(shí)別問(wèn)題中顯示出其獨(dú)特的優(yōu)勢(shì)。近年來(lái), 在圖像處理中應(yīng)用也很多。有的采用自組織網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像進(jìn)行分割, 并能夠?qū)?CT 圖像中的病灶分割出來(lái)。 有的利用各種神經(jīng)網(wǎng)絡(luò)方法識(shí)別圖像的情況, 取得一些令人滿意的結(jié)果。人工神經(jīng)網(wǎng)絡(luò)是一種復(fù)雜的非線性映射方法, 其物理意義比較難解釋, 在理論上還存在一系列亟待解決的問(wèn)題。例如在設(shè)計(jì)上, 網(wǎng)絡(luò)層數(shù)的確定和節(jié)點(diǎn)個(gè)數(shù)的選取帶有很大的經(jīng)驗(yàn)性和盲目性, 缺乏理論指導(dǎo), 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)仍是一個(gè)尚未解決的問(wèn)題。在算法復(fù)雜度方面, 神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜度大, 在特征維數(shù)比較高時(shí), 樣本訓(xùn)練時(shí)間比較長(zhǎng);在

24、算法穩(wěn)定性方面 , 學(xué)習(xí)過(guò)程中容易陷入局部極小, 并且存在欠學(xué)習(xí)與過(guò)學(xué)習(xí)的現(xiàn)象, 范化能力不容易控制。這些也是制約人工神經(jīng)網(wǎng)絡(luò)進(jìn)一步發(fā)展的關(guān)鍵問(wèn)題。近些年來(lái)基于統(tǒng)計(jì)學(xué)習(xí)理論的支撐向量機(jī)在模式識(shí)別方法表現(xiàn)出出色的學(xué)習(xí)性能和范化能力, 同神經(jīng)網(wǎng)絡(luò)相比, 其可有效地克服局部極小、維數(shù)災(zāi)難等問(wèn)題, 因而成為目前模式識(shí)別領(lǐng)域中又一個(gè)研究熱點(diǎn)。4 模式識(shí)別的新進(jìn)展及其在圖像處理中的應(yīng)用4 .1 支撐向量機(jī)前面提到, 在有限樣本尤其是小樣本的情況下, 采用統(tǒng)計(jì)決策法中的很多方法都難以取得理想的效果。Vapnik 早在 20 世紀(jì) 60 年代開始研究有限樣本情況下的機(jī)器學(xué)習(xí)問(wèn)題, 直至 90年代才形成一個(gè)較完

25、善的理論體系統(tǒng)計(jì)學(xué)習(xí)理論。該理論定義了衡量函數(shù)集性能的指標(biāo)VC 維 , V C 維越大, 函數(shù)的推廣能力越差, VC 維越小, 函數(shù)的推廣能力越強(qiáng)。在該理論的框架下, 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則下學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)由兩部分組成nhR(w) Remp(w)+( )式中第一項(xiàng)為訓(xùn)練樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn);第二項(xiàng)為置信范圍 , 在訓(xùn)練樣本數(shù)目n一定的情況下, 函數(shù)集的 VC 維越大, 其置信范圍越大。因此, 在設(shè)計(jì)分類器時(shí), 不但要使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小, 同時(shí)也要使 VC 維盡量小, 縮小置信范圍, 從而提高分類器的預(yù)測(cè)能力。統(tǒng)計(jì)學(xué)習(xí)理論提出了結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則:即把函數(shù)集分解為一個(gè)函數(shù)集序列, 使各個(gè)子集能夠根據(jù) V

26、C 維的大小排列, 在每個(gè)子集中尋找最小經(jīng)驗(yàn)風(fēng)險(xiǎn)。選擇最小經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍之和最小的子集, 即達(dá)到期望風(fēng)險(xiǎn)最小, 這個(gè)子集中使期望風(fēng)險(xiǎn)最小的函數(shù)也即所求的最優(yōu)函數(shù)。 這種思想稱為結(jié)構(gòu)風(fēng)險(xiǎn)最小化 SRM(structural risk minimization), 如圖 2 所示。圖 2 結(jié)構(gòu)風(fēng)險(xiǎn)最小化示意圖實(shí)現(xiàn)結(jié)構(gòu)風(fēng)險(xiǎn)最小化有兩種方法:一是在函數(shù)集的每一子集中求最小經(jīng)驗(yàn)風(fēng)險(xiǎn), 然后選擇最小經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍最小的子集。這種方法類似窮舉法, 計(jì)算量比較大, 當(dāng)子集數(shù)目很大時(shí)幾乎無(wú)法實(shí)現(xiàn)。 另一種方法是設(shè)計(jì)函數(shù)集的某種結(jié)構(gòu), 使每個(gè)子集中都能取得最小的經(jīng)驗(yàn)風(fēng)險(xiǎn), 然后選擇適當(dāng)?shù)淖蛹怪眯欧秶钚?/p>

27、, 這個(gè)子集中使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的函數(shù)就是最優(yōu)函數(shù)。支撐向量機(jī) SVM(support vector machine)是結(jié)構(gòu)風(fēng)險(xiǎn)最小化的第二種實(shí)現(xiàn)方法的體現(xiàn)。其基本思想是:首先通過(guò)非線性變換將輸入空間變換到一個(gè)高維空間, 甚至是一個(gè)無(wú)限維空間,然后在這個(gè)高維空間求取最優(yōu)分類面, 其中非線性變換是通過(guò)核函數(shù)的方法來(lái)實(shí)現(xiàn)的。SV M 方法通過(guò)內(nèi)積計(jì)算比較有效地解決了維數(shù)災(zāi)難問(wèn)題, 通過(guò)在高維空間設(shè)計(jì)最優(yōu)分類面 , 比較好地實(shí)現(xiàn)了 VC 維最小的問(wèn)題;在數(shù)學(xué)上支撐向量機(jī)的訓(xùn)練問(wèn)題可轉(zhuǎn)化為一個(gè)求解受約束的二次型規(guī)劃(QP)問(wèn)題, 這個(gè)問(wèn)題存在惟一解, 避免了神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果不穩(wěn)定、容易陷入局部極小的問(wèn)題,

28、 因而 SVM 方法是一種比較好的模式識(shí)別方法。SVM 最初用來(lái)解決兩類問(wèn)題, 表現(xiàn)出優(yōu)越的性能, 一個(gè)很自然的想法就是將其推廣到多類識(shí)別問(wèn)題。多類 SVM 的分類和識(shí)別主要有兩種方法, 一是根據(jù)多類樣本集直接設(shè)計(jì)分類器,此時(shí)分類器的設(shè)計(jì)問(wèn)題可轉(zhuǎn)化為一個(gè)考慮所有樣本的優(yōu)化問(wèn)題。在樣本比較多時(shí), 這種方法求解比較復(fù)雜;另一種是分解法, 將多類樣本分類器的設(shè)計(jì)轉(zhuǎn)化為多個(gè)兩類問(wèn)題的分類器設(shè)計(jì)問(wèn)題, 由于這類方法比直接法求解簡(jiǎn)單, 在實(shí)際中應(yīng)用很廣。比較有代表性的訓(xùn)練和預(yù)測(cè)多類 SV M 的方法有一對(duì)一 OAO(one against one)、一對(duì)多OAA(one against all)和有向無(wú)回

29、路圖 DAG(directed acyclic graph)方法和決策樹(decisive tree)方法等。 SVM 的優(yōu)越性能引起人們極大的研究興趣, 它被越來(lái)越多的圖像處理研究者和工作者所應(yīng)用。由于 SVM 的范化能力比較好,因而常常獲得比其他方法更好的識(shí)別效果。4.2 仿生模式識(shí)別前面介紹的各種模式識(shí)別方法都是假定分類信息是完全包含在訓(xùn)練樣本內(nèi), 以兩類或多類樣本的最優(yōu)劃分為基礎(chǔ), 分類器的訓(xùn)練過(guò)程實(shí)際上可以看作對(duì)樣本的劃分過(guò)程。文獻(xiàn)21 提出把模式識(shí)別問(wèn)題看成是模式的“ 認(rèn)識(shí)” , 而不是分類劃分, 不是模式分類;是一類一類樣本的“認(rèn)識(shí)” , 而不是多類樣本的劃分。為了強(qiáng)調(diào)與傳統(tǒng)模式

30、識(shí)別在概念上的不同, 文獻(xiàn) 20 中采用“ 仿生模式識(shí)別” 這一概念,“ 仿生”的含義只是在模式識(shí)別的功能和數(shù)學(xué)模型上強(qiáng)調(diào)了“ 認(rèn)識(shí)”的概念 , 更接近于人類的認(rèn)識(shí)。傳統(tǒng)模式識(shí)別從特征空間中不同類樣本的劃分出發(fā)設(shè)計(jì)分類器。而仿生模式識(shí)別就在引入特征空間同類樣本的連續(xù)性規(guī)律, 對(duì)一類事物的“認(rèn)識(shí)” , 實(shí)際上是對(duì)這類事物的全體在特征空間中形成的無(wú)窮點(diǎn)集合的“ 形狀” 的分析和認(rèn)識(shí), 文中根據(jù)這種規(guī)律性建立起“ 多維空間中非超球復(fù)雜幾何形體覆蓋” 的識(shí)別原理。文獻(xiàn)21 根據(jù)這一思想, 采用神經(jīng)網(wǎng)絡(luò)覆蓋的方法訓(xùn)練樣本, 對(duì) 8 種實(shí)物模型進(jìn)行訓(xùn)練與識(shí)別, 取得了比較好的識(shí)別效果, 全部識(shí)別樣本沒(méi)有一

31、次誤識(shí)。文獻(xiàn)23 基于仿生模式識(shí)別的多鏡頭人臉身份確認(rèn)系統(tǒng)研究中, 采用多權(quán)值神經(jīng)網(wǎng)絡(luò)算法,同樣得到比較好的識(shí)別率。 這種高的識(shí)別率顯示了這一思想在模式識(shí)別方面的潛力。仿生模式識(shí)別提出了一種新的模式識(shí)別思想, 為模式識(shí)別的研究開辟了一個(gè)嶄新的研究方向。 文獻(xiàn) 21 23 采用神經(jīng)網(wǎng)絡(luò)覆蓋來(lái)實(shí)現(xiàn)該思想, 不可避免地遇到訓(xùn)練速度慢、網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)、節(jié)點(diǎn)個(gè)數(shù)選擇等選擇問(wèn)題, 因此這種思想的實(shí)現(xiàn)模型有待于進(jìn)一步的研究。以上的各種模式識(shí)別方法都有其特點(diǎn)和適用范圍。研究表明, 不同的分類器錯(cuò)誤率所覆蓋的范圍不同, 多個(gè)分類器之間既存在一定的冗余性, 同時(shí)也存在一定的信息互補(bǔ)性。多個(gè)分類器聯(lián)合應(yīng)用, 可以提高

32、正確識(shí)別率。 文獻(xiàn) 24 對(duì)多種分類器聯(lián)合的最終決策的多種方法進(jìn)行了分析和比較, 并且給出了各種決策方法的適用條件。文獻(xiàn) 25 采用了 7 個(gè)分類器, 用模式識(shí)別中常用的不同數(shù)據(jù)集對(duì)每一個(gè)分類器單獨(dú)做實(shí)驗(yàn), 然后根據(jù)各自的結(jié)果對(duì)分類器進(jìn)行組合決策, 從中選出效果最優(yōu)的組合作為最終分類器的組合, 結(jié)果表明這種識(shí)別效果比較理想。 當(dāng)然, 這種方法提高識(shí)別率的同時(shí), 犧牲了一部分計(jì)算代價(jià)。模式識(shí)別發(fā)展到今天, 已經(jīng)提出了 200 多種分類和識(shí)別方法, 如何進(jìn)行已有分類器的組合, 解決具體的模式識(shí)別問(wèn)題也是一個(gè)值得注意的問(wèn)題。5 展望隨著計(jì)算機(jī)和人工智能技術(shù)的發(fā)展, 人們對(duì)計(jì)算機(jī)圖像處理中自動(dòng)圖像處理

33、的要求越來(lái)越高, 因此對(duì)模式識(shí)別技術(shù)提出更高的要求。到目前為止, 雖然模式識(shí)別在圖像處理中的應(yīng)用取得了一些可喜的成就, 但是它還存在一系列亟待解決問(wèn)題, 例如支撐向量機(jī)中核函數(shù)的選擇問(wèn)題、VC 維的計(jì)算和估計(jì)問(wèn)題，神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)選擇和結(jié)構(gòu)設(shè)計(jì)問(wèn)題、仿生模式識(shí)別新思想的建模和實(shí)現(xiàn)問(wèn)題、多種方法綜合運(yùn)用中的分類器選擇問(wèn)題等, 這些問(wèn)題的解決將直接推動(dòng)模式識(shí)別領(lǐng)域的發(fā)展, 進(jìn)而推動(dòng)其在圖像處理領(lǐng)域的應(yīng)用。同時(shí), 模式識(shí)別是一門綜合性學(xué)科, 它涉及和利用到數(shù)學(xué)、計(jì)算機(jī)科學(xué)等多學(xué)科的知識(shí), 如何將這些學(xué)科的新方法新成就綜合應(yīng)用到模式識(shí)別中, 提出更加符合人類認(rèn)識(shí)的識(shí)別方法也是進(jìn)一步值得研究的問(wèn)題。參考文獻(xiàn)

34、1 邊肇祺, 張學(xué)工, 等.模式識(shí)別(第二版) M .北京:清華大學(xué)出版社, 2000 -01.2 Jain A K , Duin Robert P W , Mao Jianchang .Statistical pattern recog- nition :areview J .IEEE Trans actions on pattern analysis and ma- chine intelligence, 2000 , 22(1):4-37.3 沈清, 湯森.模式識(shí)別導(dǎo)論 M .長(zhǎng)沙:國(guó)防科技大學(xué)出版社, 1991 .4 戚飛虎.模式識(shí)別與圖象處理 M .上海:上海科學(xué)技術(shù)出版社,1989

35、.5 吳傳孫.汽車牌照自動(dòng)識(shí)別技術(shù)研究 D .江西師范大學(xué), 2003.6 黃寧.遙感圖像中模式分類技術(shù)的研究 D .中國(guó)科學(xué)院, 2003.7 Yang M H , Ahuja N .Kriegman D .Face recognition using kernel eigenfaces A .IEEE International Conference on Image Processing , 2000 -01 :37 -40 .8 Zobel M , Gebhard A , Paulus D , et al. Robust facial feature localizationby co

36、upled features, Proceedings A . Fourth IEEE International Conferenceon Automatic Faceand Gesture Recognition, 2000-03: 2-79 Tang Yuan Y , Tao Yu , Lam Ernest C M .New method for feature extraction based on fractal behavior J .Pattern Recognition , 2002.10 范昕煒.支持向量機(jī)算法的研究及其應(yīng)用 D .浙江大學(xué), 2003.11 吳艷冬.復(fù)雜背景

37、的人臉檢測(cè)與定位 D .大連理工大學(xué), 2002 .12 Using neu-ral networks A .Proceedings of IEEE International Conference on Image Processing , 1994 -03 :936 -939.13 Guo Guodong , Li S Z ,C han Kapluk .Face recognition by support vec-tor machines A .Proceedings of Fourth IEEE International Confer-ence on Automatic Face a

38、nd Gesture Recognition , 2000 , 196 -201.14 Machines :anapplication to face detection A .Proceedings of IEEE Computer So-iety Conference on Computer Vision and Pattern Recognition , 1997.15 Chen Li , Yap Kim-Hui .A fuzzy K-nearest-neighbor algorithm to blind image deconvolution A .IEEE International Conference on Systems , Man and Cybernetics , 2003 -03 :2049 -