1、(完整)模式識別文獻綜述(完整)模式識別文獻綜述 編輯整理：尊敬的讀者朋友們：這里是精品文檔編輯中心，本文檔內容是由我和我的同事精心編輯整理后發布的，發布之前我們對文中內容進行仔細校對，但是難免會有疏漏的地方，但是任然希望（(完整)模式識別文獻綜述）的內容能夠給您的工作和學習帶來便利。同時也真誠的希望收到您的建議和反饋，這將是我們進步的源泉，前進的動力。本文可編輯可修改，如果覺得對您有幫助請收藏以便隨時查閱，最后祝您生活愉快 業績進步，以下為(完整)模式識別文獻綜述的全部內容。模式識別文獻綜述摘要 自20世紀60年代以來，模式識別的理論與方法研究及在工程中的實際應用取得了很大的進展。本文先簡要

2、回顧模式識別領域的發展歷史和主要方法的演變，然后圍繞模式分類這個模式識別的核心問題，就概率密度估計、特征選擇和變換、分類器設計幾個方面介紹近年來理論和方法研究的主要進展，最后簡要分析將來的發展趨勢. 1. 前言 模式識別（pattern recognition）是對感知信號(圖像、視頻、聲音等）進行分析，對其中的物體對象或行為進行判別和解釋的過程。模式識別能力普遍存在于人和動物的認知系統，是人和動物獲取外部環境知識，并與環境進行交互的重要基礎.我們現在所說的模式識別一般是指用機器實現模式識別過程，是人工智能領域的一個重要分支。早期的模式識別研究是與人工智能和機器學習密不可分的，如 rosenb

3、latt 的感知機1和 nilsson的學習機2就與這三個領域密切相關。后來，由于人工智能更關心符號信息和知識的推理，而模式識別更關心感知信息的處理,二者逐漸分離形成了不同的研究領域.介于模式識別和人工智能之間的機器學習在 20 世紀 80 年代以前也偏重于符號學習，后來人工神經網絡重新受到重視，統計學習逐漸成為主流，與模式識別中的學習問題漸趨重合，重新拉近了模式識別與人工智能的距離。模式識別與機器學習的方法也被廣泛用于感知信號以外的數據分析問題（如文本分析、商業數據分析、基因表達數據分析等），形成了數據挖掘領域。 模式分類是模式識別的主要任務和核心研究內容.分類器設計是在訓練樣本集合上進行優

4、化(如使每一類樣本的表達誤差最小或使不同類別樣本的分類誤差最小）的過程，也就是一個機器學習過程。由于模式識別的對象是存在于感知信號中的物體和現象,它研究的內容還包括信號/圖像/視頻的處理、分割、形狀和運動分析等，以及面向應用(如文字識別、語音識別、生物認證、醫學圖像分析、遙感圖像分析等)的方法和系統研究.本文簡要回顧模式識別領域的發展歷史和主要方法的演變，介紹模式識別理論方法研究的最新進展并分析未來的發展趨勢。由于 jain 等人的綜述3已經全面介紹了 2000 年以前模式分類方面的進展,本文側重于 2000 年以后的研究進展.2. 歷史回顧 現代模式識別是在 20 世紀 40 年代電子計算機

5、發明以后逐漸發展起來的。在更早的時候，已有用光學和機械手段實現模式識別的例子，如在 1929 年 gustav tauschek 就在德國獲得了光學字符識別的專利.作為統計模式識別基礎的多元統計分析和鑒別分析4也在電子計算機出現之前提出來了。1957 年ibm 的c.k. chow 將統計決策方法用于字符識別5.然而，“模式識別”這個詞被廣泛使用并形成一個領域則是在 20 世紀 60 年代以后。1966 年由 ibm 組織在波多黎各召開了第一次以“模式識別”為題的學術會議6。nagy 的綜述7和 kanal 的綜述8分別介紹了 1968 年以前和19681974的研究進展。70年代幾本很有影響

6、的模式識別教材（如fukunaga 9, duda hart 10)的相繼出版和 1972 年第一屆國際模式識別大會（icpr）的召開標志著模式識別領域的形成。同時，國際模式識別協會(iapr）在 1974 年的第二屆國際模式識別大會上開始籌建，在 1978年的第四屆大會上正式成立。 統計模式識別的主要方法，包括 bayes 決策、概率密度估計（參數方法和非參數方法）、特征提取（變換）和選擇、聚類分析等,在 20 世紀 60 年代以前就已經成型。由于統計方法不能表示和分析模式的結構，70年代以后結構和句法模式識別方法受到重視。尤其是付京蓀（k。s. fu）提出的句法結構模式識別理論在 7080

7、 年代受到廣泛的關注。但是，句法模式識別中的基元提取和文法推斷（學習）問題直到現在還沒有很好地解決，因而沒有太多的實際應用。 20 世紀 80 年代 backpropagation (bp） 算法的重新發現和成功應用推動了人工神經網絡研究和應用的熱潮。神經網絡方法與統計方法相比具有不依賴概率模型、參數自學習、泛化性能 良好等優點，至今仍在模式識別中廣泛應用。然而,神經網絡的設計和實現依賴于經驗，泛化性能不能確保最優。90 年代支持向量機（svm)的提出吸引了模式識別界對統計學習理論和核方法(kernel methods）的極大興趣。與神經網絡相比,支持向量機的優點是通過優化一個泛化誤差界限自動

8、確定一個最優的分類器結構，從而具有更好的泛化性能。而核函數的引入使很多傳統的統計方法從線性空間推廣到高維非線性空間，提高了表示和判別能力。 結合多個分類器的方法從 90 年代前期開始在模式識別界盛行，后來受到模式識別界和機器學習界的共同重視。多分類器結合可以克服單個分類器的性能不足，有效提高分類的泛化性能。這個方向的主要研究問題有兩個：給定一組分類器的最佳融合和具有互補性的分類器組的設計。其中一種方法，boosting，現已得到廣泛應用，被認為是性能最好的分類方法。 進入 21 世紀，模式識別研究的趨勢可以概括為以下四個特點。一是 bayes 學習理論越來越多地用來解決具體的模式識別和模型選擇

9、問題，產生了優異的分類性能11.二是傳統的問題,如概率密度估計、特征選擇、聚類等不斷受到新的關注，新的方法或改進/混合的方法不斷提出。三是模式識別領域和機器學習領域的相互滲透越來越明顯，如特征提取和選擇、分類、聚類、半監督學習等問題成為二者共同關注的熱點.四是由于理論、方法和性能的進步，模式識別系統開始大規模地用于現實生活,如車牌識別、手寫字符識別、生物特征識別等。 模式識別方法的細節可以參考一些優秀的教材，比如 bishop （2006) 11, fukunaga (1990)12, duda, hart & stork (2001）13等。 3。 模式識別研究現狀 3.1 模式識別系統和方

10、法概述 模式識別過程包括以下幾個步驟：信號預處理、模式分割、特征提取、模式分類、上下文后處理。預處理通過消除信號/圖像/視頻中的噪聲來改善模式和背景間的可分離性；模式分割是將對象模式從背景分離或將多個模式分開的過程；特征提取是從模式中提取表示該模式結構或性質的特征并用一個數據結構（通常為一個多維特征矢量）來表示；在特征表示基礎上，分類器將模式判別為屬于某個類別或賦予其屬于某些類別的概率;后處理則是利用對象模式與周圍模式的相關性驗證模式類別的過程。 模式識別系統中預處理、特征提取(這里指特征度量的計算，即特征生成)和后處理的方法依賴于應用領域的知識.廣義的特征提取包括特征生成、特征選擇和特征變換

11、(維數削減） 。后兩個過程和分類器設計一樣,需要在一個樣本集上進行學習（訓練）：在訓練樣本上確定選用哪些特征、特征變換的權值、分類器的結構和參數。 由于句法和結構模式識別方法是建立在完全不同于特征矢量的模式表示基礎上且還沒有得到廣泛應用，本文與 jain等人3一樣,主要關注統計模式識別（廣義地，包括神經網絡、支持向量機、多分類器系統等)的進展。 bayes決策是統計模式識別的基礎。將模式表示為一個特征矢量x（多維線性空間中的一個點），給定 m 個類別的條件概率密度 p（|x )，i=1，,m, 則模式屬于各個類別的后驗概率可根據 bayesi公式計算：p(wi|x)= =其中p（ )是第 i

12、類的先驗概率。根據 bayes 決策規則,模式 x 被判別為后驗概率最大的類別(最小錯誤率決策）或期望風險最小的類別（最小代價決策)。后驗概率或鑒別函數把特征空間劃分為對應各個類別的決策區域. 模式分類可以在概率密度估計的基礎上計算后驗概率密度,也可以不需要概率密度而直接近似估計后驗概率或鑒別函數（直接劃分特征空間）。基于概率密度估計的分類器被稱為生成模型(generative model)，如高斯密度分類器、bayes網絡等;基于特征空間劃分的分類器又被稱為判別模型(discriminative model），如神經網絡、支持向量機等。生成模型每一類的參數在一類的訓練樣本上分別估計，當參數模

13、型符合樣本的實際分布或訓練樣本數比較少時，生成模型的分類性能優良。判別模型在訓練中直接調整分類邊界，以使不同類別的樣本盡可能分開，在訓練樣本數較多時能產生很好的泛化性能。但是，判別模型在訓練時每一類參數的估計要同時考慮所有類別的樣本，因而訓練的計算量較大。 3.2 概率密度估計 概率密度估計和聚類一樣，是一個非監督學習過程。研究概率密度估計主要有三個意義：分類、聚類（分割）、異常點監測（novelty detection）.在估計每個類別概率密度函數的基礎上，可以用 bayes 決策規則來分類。概率密度模型經常采用高斯混合密度模型（gaussian mixture model， gmm)，其中

14、每個密度成分可以看作是一個聚類。異常點監測又稱為一類分類（oneclass classification）,由于只有一類模式的訓練樣本，在建立這類模式的概率密度模型的基礎上，根據相對于該模型的似然度來判斷異常模式。 高斯混合密度估計常用的 expectationmaximization (em)算法14被普遍認為存在三個問題：估計過程易陷于局部極值點，估計結果依賴于初始化值，不能自動確定密度成分的個數。對于成分個數的確定，提出了一系列的模型選擇準則,如 bayes 準則15、最小描述長度(mdl)、bayesian information criterion （bic)、akaike info

15、rmation criterion （aic）、最小消息長度（mml)等16。figueiredo 和 jain 在一個擴展的 em 算法中引入密度成分破壞（annihilation）機制16，可以達到自動確定成分個數的目的。ueda 和 ghahramani 提出一種基于變分 bayes 的準則，并用分裂合并算法進行估計自動確定成分個數17.分裂合并算法還可以同時克服局部極值影響。 高斯混合密度用于高維數據時會造成密度函數的參數太多，用于分類時還會降低泛化性能。這個問題可以通過限制協方差矩陣（為對角矩陣或單位矩陣的倍數）、參數共享或特征降維來克服.在多類分類時，不同類別的概率密度要建立在相同

16、的特征空間.如果對不同類別或不同密度成分提取不同的子空間，則要將子空間的密度函數反投影到原來的特征空間18.moghaddam 和pentland的概率密度模型是主成分分析(pca)子空間內的混合高斯密度和補子空間中的高斯密度的結合19。 最近，bouguila 等人提出一種新的混合密度形式:dirichlet 混合密度2021。dirichlet 分布表示離散概率（介于 0 到1 之間且和等于 1）的聯合分布，可以用于直方圖、和歸一化特征矢量等的概率密度估計。dirichlet密度可以是非對稱的，比高斯密度函數更為靈活，但計算也更復雜。dirichlet混合密度可以用類似于 em 的隨機優化

17、算法進行估計,在模式分類和圖像聚類等應用中取得了優異的性能21。 概率密度估計的另一種新方法是稀疏核函數描述（支持向量描述）2223.scholkopf 等人采用類似支持向量機的方法,用一個核特征空間的超平面將樣本分為兩類，使超平面外的樣本數不超過一個事先給定的比例22。該超平面的函數是一個樣本子集（支持向量）的核函數的加權平均，可以像支持向量機那樣用二次規劃算法求得。tax 和 duin 的方法是用核空間的一個球面來區分區域內和區域外樣本23，同樣地可以用二次規劃進行優化。3。3 特征選擇 特征選擇和特征變換都是為了達到維數削減的目的，在降低分類器復雜度的同時可以提高分類的泛化性能。二者也經

18、常結合起來使用，如先選擇一個特征子集，然后對該子集進行變換。近年來由于適應越來越復雜(特征維數成千上萬,概率密度偏離高斯分布）的分類問題的要求，不斷提出新的特征選擇方法，形成了新的研究熱點24。 特征選擇的方法按照特征選擇過程與分類器之間的交互程度可以分為過濾式（filter）、 wrapper25、嵌入式、混合式幾種類型。過濾式特征選擇是完全獨立于分類器的,這也是最常見的一種特征選擇方式，選擇過程計算量小,但是選擇的特征不一定很適合分類。在 wrapper 方法中，特征子集的性能使用一個分類器在驗證樣本上的正確率來衡量，這樣選擇的特征比較適合該分類器，但不一定適合其他的分類器。由于在特征選擇

19、過程中要評價很多特征子集（子集的數量呈指數級增長），即使采用順序前向搜索,wrapper 的計算量都是很大的，只適合特征維數不太高的情況.wrapper 的另一個問題是當訓練樣本較少時會造成過擬合，泛化性能變差。 嵌入式方法是在分類器的訓練過程中包含了特征選擇功能,因此跟 wrapper 一樣也是依賴于分類器的。一個經典的方法是 lasso26。近來有代表性的兩種嵌入式方法是稀疏支持向量機27和boosting 特征選擇28。混合式特征選擇結合不同的方法以實現更好的計算復雜性分類性能的折衷，在初始特征數量非常大時經常使用，如29的方法在三個階段先后用三種方法削減特征個數:過濾、聚類、組合式選擇

20、.過濾方法和 wrapper 也經常結合使用。 特征選擇領域大部分的研究工作都集中在過濾式方法。模式識別領域早期的工作多把關注點放在搜索策略上3031，特征子集評價準則多采用基于高斯密度假設的距離準則,如 fisher 準則、mahalanobis距離等。其實，特征子集的評價準則更為重要,當準則較好地衡量特征子集的可分性且比較穩定時，簡單的搜索策略就能產生良好的分類性能.下面分析兩類比較有代表性的特征評價方法：基于間隔（margin）的方法和基于互信息的方法。relief32是一種被廣泛引用的過濾式特征選擇方法,基本思想是根據特征空間中每個樣本在正確類別和不同類別中的最近鄰距離之差迭代調整特征

21、的權值.這兩個距離之差即我們今天所說的間隔.不過 relief 并沒有對一個全局的目標函數進行優化。最近提出來的一種迭代 relief（irelief）方法設計一種基于間隔的全局目標函數，用類似 em 的算法對特征的權值進行優化33。另一種方法則對特征子集的空間中最近鄰分類的間隔進行優化34。 特征選擇的基本原則是選擇類別相關（relevant）的特征而排除冗余的特征。這種類別相關性和冗余性通常用互信息（mutual information, mi）來度量。特征與類別之間的互信息很好地度量了特征的相關性,而特征與特征之間的互信細則度量他們之間的相似性（冗余性）.因此，基于互信息的特征選擇方法一

22、般遵循這樣一種模式：在順序前向搜索中尋找與類別互信息最大而與前面已選特征互信息最小的特征35.36中提出的條件互信息用來度量在一個已選特征的條件下另一個新的候選特征對分類的相關性.37通過分析一種相關度,symmetrical uncertainty （su）與特征的markov blanket 之間的關系，設計一種快速的兩步特征選擇方法：先根據單個特征與類別之間的相關度選出相關特征，第二步對相關特征根據特征-類別相關度和特征-特征相關度進行篩選。3。4 特征變換 特征變換也常被稱為特征提取，指從原始信號經過變換得到特征量的過程。傳統的線性變換方法主要有主成分分析(pca）和線性鑒別分析(ld

23、a）,后者又叫 fisher 鑒別分析(fda）。lda 的子空間學習是有監督的，目的是使子空間中類間離散度(sb)和類內離散度(sw）的行列式之比達到最大。lda假設各類樣本服從高斯分布且不同類的協方差矩陣相同,而且所有樣本在總體上服從高斯分布.另外,lda 提取的特征個數受到類別數的限制,而當訓練樣本數相對特征維數較小時,sw 為奇異，會帶來很多計算上的問題. 由于非高斯分布、小樣本等問題的存在，特征變換也是近年來研究的一個熱點，這方面的工作可以分為以下幾個方向:(1）針對小樣本的線性特征提取方法；（2）類內協方差矩陣不同時的異方差(heteroscedastic)鑒別分析;(3)非高斯分

24、布下的特征提取方法；(4）局部空間特性保持的特征提取方法；（5）非線性特征提取方法;(6）二維模式特征提取方法。 小樣本學習的一個典型例子是圖像分類，如果直接用圖像中所有象素點的值作為特征量，矢量的維數非常高,而每一類的樣本數又很少。克服 sw 奇異性的一個直接方法是正則化(regularized）鑒別分析38,通過矩陣平滑使 sw 變得非奇異。fisherface 方法則用 pca把特征維數從 d 降到n-m(n 是樣本數，m 是類別數）使 sw 變得非奇異39。但是，sw 的維數由 d 降到 n-m 會損失一些鑒別信息，而降到 n1 維則不會有損失40。而這時 sw 仍然是奇異的，就需要從

25、 sw的零空間（對應本征值為0）提取一些特征41。與一般的lda方法先對sw對角化然后對sb對角化相反,一種direct lda 方法先對 sb 對角化后從變換后的 sw 提取對應較小本征值的鑒別矢量42. 對于類別協方差矩陣不同的情況異方差鑒別分析方法（如43）可以得到比 lda 更好的分類性能。對于非高斯分布或任意分布的情況,非參數鑒別分析是提取鑒別特征的一個基本思路。由此發展起來的方法還包括基于決策邊界的鑒別分析。在不假設參數概率密度的情況下,也可以用分類性能準則直接對鑒別投影矢量進行優化，這樣的準則如最小分類錯誤(mce)和特征與類別之間的互信息。對于每類樣本為多模態分布的情況可以采用

26、基于混合高斯密度的鑒別分析.局部性保持特征提取方法借鑒了流形學習（如 lle 和 isomap）的思想，目的是在子空間中保持樣本點之間的相鄰關系。流形學習的問題是只對訓練樣本進行投影，要推廣到測試樣本就需要用一個參數模型或回歸網絡來表示投影的過程。he 等人提出的局部性保持投影（lpp)方法通過優化一個局部性保持準則來估計投影矢量，可轉換為矩陣本征值分解問題。yan 等人提出一種基于樣本鄰近關系分析的特征提取的統一框架,稱為嵌入圖(embedded graph)，并在此基礎上提出一種新的鑒別分析方法。lpp 是一種非監督學習方法，被推廣到監督學習和核空間 。另外，isomap流形學習方法也被推

27、廣到監督學習用于非線性特征提取.幾乎所有的線性特征投影方法都可以推廣到核空間。scholkopf等人最先將核函數引入 pca,提出 kernel pca (kpca）方法.類似地，將核函數引入 fisher 鑒別分析，提出了 kernel fda （kfda）。對核空間中結合pca降維和fda特征提取進行了深入的分析并提出了有效的算法.核空間的特征提取方法還有 kernel direct lda ， kernel lpp 等。二維模式主成分分析（2d-pca)或鑒別分析(2d-lda）是近年提出的一種針對圖像模式的特征提取方法。這類方法直接在圖像矩陣上計算協方差(離散度）矩陣。該矩陣的維數等于

28、圖像的行數或列數，計算起來簡便多了。另外,矩陣投影到每個本征矢量得到一個矢量,而不是一個值，這樣得到的特征值個數也遠遠多于 lda。在高維圖像人臉識別實驗中，2d-pca 和 2dlda 的分類性能分別優于 pca和 lda。二維變換方法實際上是基于圖像行或列的變換方法,即對每一行或每一列分別投影得到特征，可以推廣到基于圖像塊的投影。4。 發展趨勢除了上面介紹的最新研究進展，模式識別領域的前沿研究方向還有:bayes 學習、半監督學習、弱監督學習等.bayes 學習得到的分類器參數并不是一些固定值,而是參數的概率分布。參數的先驗概率分布函數形式的選擇、超參數（先驗概率分布的參數)的確定在計算上

29、是比較復雜的。在識別時,需要對分類器的參數進行隨機采樣，然后把很多個參數值得到的分類結果組合起來，因而識別的計算量也是很大的.近年來，基于 bayes 學習的分類器設計取得了明顯進展11等,得到了優異的分類性能.但是，這些方法的計算還是很復雜的，對于大類別數、大樣本集的學習問題還難以實現。在大部分應用情況下，模式分類器經過訓練后就固定不變,或者使用相當長一段時間才重新訓練一次。在訓練分類器時，樣本的數量和代表性總是不夠的，這就希望分類器能不斷地適應新的樣本而不損失對原來訓練過的樣本的分類性能。這樣的增量學習問題很早就受到關注,提出了很多具體的方法,但還沒有一個統一的理論框架。新增加的樣本可能是

30、沒有類別標記的,因為無標記樣本很容易得到，而標記過程費時費力。同時對標記樣本和無標記樣本進行學習的過程稱為半監督學習，這是近年來機器學習領域的一個研究熱點。在標記樣本比較少的情況下采用無標記樣本能有效提高完全監督學習的分類性能。大多數模式識別問題假設模式是與背景信號和其他模式分離的且表示成一個特征矢量。實際上，模式的分割不是一件簡單的事情，一個固定長度的特征矢量也不一定能最好地表示模式的特性.在實際應用問題中經常要將模式分類與分割問題統一考慮，有些模式被表示成結構性數據結構（如屬性圖、概率圖)。這些方面出現了大量的研究工作，這里不打算細述.目前有一類廣受關注的模式識別問題,識別對象是沒有分割的

31、圖像，訓練圖像的標記是其中有沒有某一類目標，而不知道目標的具體位置、大小和方位.對這種標記不足的樣本進行訓練和識別的方法可以統稱為弱監督學習，可用于目標識別、圖像檢索、景物分類等。5。 總結本文圍繞模式分類這個模式識別的核心問題概述了近年來在概率密度估計、特征選擇和變換、分類器設計等方面的重要研究進展，并分析了最近的發展趨勢。由于本人對模式識別認識有限,對模式識別的其他問題,包括分割、上下文處理、計算機視覺、以及重要的應用領域(語音識別、文字識別、生物特征識別等）沒有展開闡述。參考文獻1 f. rosenblatt， the perceptron: a probabilistic model

32、for information storage and organization in the brain， psychological review, 65： 386-408, 1958。2 n.j. nilsson, learning machines， mcgraw-hill, new york, 1965. 3 a.k. jain, r。p。w。 duin， j。 mao， statistical pattern recognition: a review, ieee trans. pami, 22（1)： 4-37, 2000。 4 r。a。 fisher, the use of m

33、ultiple measurements in taxonomic problems, annals of eugenics, 7: 179-188, 1936。 5 c.k. chow， an optimum character recognition system using decision functions， ire trans。 electronic computers， 6: 247-254， 1957。6 g. nagy， pattern recognition 1966 ieee workshop， ieee spectrum， 9294， feb. 1967。 7 g。 n

34、agy, state of the art in pattern recognition， proc. ieee, 56（5)： 836-862, 1968. 8 l.n. kanal, patterns in pattern recognition: 1968-1974， ieee trans. information theory, 20(6）： 697-722， 1974。 9 k. fukunaga， introduction to statistical pattern recognition, academic press， 1972. 10 r.o. duda, p。e. har

35、t， pattern classification and scene analysis， john wiley sons, new york, 1973. 11 c.m。 bishop, pattern recognition and machine learning， springer， 2006。 12 k。 fukunaga, introduction to statistical pattern recognition, second edition, academic press， 1990. 13 r。o。 duda, p.e. hart， d。g. stork， pattern

36、 classification, second edition, john wiley sons， new york, 2001. 14 a。p。 dempster, n。m. laird, d.b. rubin， maximumlikelihood from incomplete data via the em algorithm， j. royal statistics society b, 39： 138, 1977。 15 s。j。 roberts， d. husmeier, l. rezek, w. penny, bayesian approaches to gaussian mix

37、ture modeling, ieee trans。 pami, 20（11): 1133-1142, 1998. 16 m。a。t. figueiredo, a。k。 jain， unsupervised learning of finite mixture models, ieee trans. pami， 24(3)： 381396, 2002. 17 n. ueda, z. ghahramani, bayesian model search for mixture models based on optimizing variational bounds, neural network

38、s, 15（10）： 12231241, 2003。 18 p。m。 baggenstoss， the pdf projection theorem and the classspecific method, ieee trans. signal processing, 51(3): 672-685, 2003。 19 b. moghaddam, a。 pentland， probabilistic visual learning for object representation, ieee trans. pami, 19（7）: 696-710， 1997. 20 n。 bouguila，

39、 d。 ziou, j。 vaillancourt, unsupervised learning of a finite mixture model based on the dirichlet distribution and its application, ieee trans. image processing， 13(11): 1533-1543, 2004。21 n. bouguila, d. ziou， a hybrid sem algorithm for high-dimensional unsupervised learning using a finite generali

40、zed dirichlet mixture， ieee trans. image processing， 15（9）： 2657-2668， 2006. 22 b。 scholkopf, j. platt, j。 shawetaylor, a。j。 smola， r.c. williamson, estimating the support of a highdimensional distribution， neural computation, 13（7)： 1443-1471， 2001。 23 d。m.j。 tax, r.p.w. duin, support vector data d

41、escription, machine learning, 54(1）： 4566， 2004。 24 i。 guyon， a。 elisseeff, an introduction to variable and feature selection， j。 machine learning research， 3: 1157-1182, 2003. 25 r. kohavi， g。 tohu, wrappers for feature selection, artificial intelligence， 97（12)： 273-324， 1997. 26 r。 tibshirani， re

42、gression selection and shrinkage via the lasso, j. royal statistical society series b, 58(1)： 267288, 1996. 27 j. bi， k. bennett, m. embrecht， c. breneman, m。 song， dimensionality reduction via sparse support vector machines, j. machine learning research, 3：12291243， 2003。 28 p. viola， m。j。 jones, r

43、apid object detection using a boosted cascade of simple features, proc. cvpr 2001, hawaii, 2001, vol。1, pp.511518. 29 j。 bins, b.a。 draper， feature selection from huge feature sets， proc. 8th iccv， 2001， vol.2, pp.159-165, 2001。30 a. jain， d. zongker, feature selection: evaluation， application and s

44、mall sample performance， ieee trans. pami， 29(2)： 153158， 1997. 31 m. kudo， j. sklansky， comparison of algorithms that select features for pattern classifiers， pattern recognition， 33(1）: 25-41， 2000。 32 i. kononenko, estimating attributes： analysis and extensions of relief， proc。 ecml， catana, italy， springer-verlag, 1994， pp.171182。 33 y. sun, iterative relief for feature weighting： algorithms, theories, and applications, ieee trans。 pami， 29(6）： 1035-1051，