內 容 摘 要生物特征識別是利用人類特有的生理或行為特征來識別個人身份的技術，它提供了一種高可靠性、高穩定性的身份鑒別途徑。人臉檢測和識別是目前生物特征識別中最受人們關注的一個分支，是當前圖像處理、模式識別和計算機視覺領域內的一個熱門研究課題，在公安部門罪犯搜索、安全部門動態監視識別、銀行密碼系統等許多領域有廣泛的研究，本文對此進行了較為深入的研究。首先描述了人臉識別技術的研究內容、方法、應用前景，對人臉自動檢測與識別技術進行了綜述。并且詳細介紹了人臉識別很重要的一個步驟“人臉預處理”，文中提到的人臉預處理方法都是從圖像處理的角度著手的，主要目的是使人臉圖像標準化，并在一定程度上消除光照的影響。本文介紹了幾種主要的預處理方法，如幾何歸一化，灰度歸一化。其次，本文重點描述了人臉識別的經典方法，PCA方法。主成分分析方法(Principal Component Analysis ,PCA)，即離散K-L變換，是圖像壓縮中的一種最優正交變換。它用一個低維子空間來描述人臉圖像，同時又能在一定程度上保存所需要的識別信息。其基本原理為:由高維圖像空間經K-L變換后得到一組新的正交基，對這些正交基作一定的取舍，保留其中的一部分生成低維的人臉空間，即人臉的特征子空間，識別時將測試圖像投影到此空間，得到一組投影系數，通過與各個人臉圖像比較進行識別。這種方法使得壓縮前后的均方誤差最小，且變換后的低維空間有很好的分辨能力。但在這種人臉識別技術中，二維的人臉圖像矩陣必須先轉化為一維的圖像向量，才能進行PCA分析，而在這種轉化后，造成圖像向量的維數一般較高，使整個特征抽取過程所耗費的計算量相當可觀。關鍵詞人臉識別;人臉預處理;主成分分析Research on Face Recognition Based on Principal Component AnalysisAbstract Biometrics is a kind of science and technology using individual physiological or behavioral characteristics to verify identity. It provides a highly reliable and robust approach to the identity recognition. Automatic face detection and recognition is one of the most attention branches of biometrics and it is also the one of the most active and challenging tasks for image processing, pattern recognition and computer vision. It is widely applied in commercial and law area, such as mug shots retrieval, real-tine video surveillance in security system and cryptography in bank and so on. The main research works and contributions are as the following. First, the research content, approach and development are emphasized. The research status is introduced. The technology of the face detection and recognition are summarized. And the paper describes face preprocessing in detail which is and important step in the face recognition. The face preprocessing methods we adopt are based on image processing techniques. The main purpose is to get the standardized facial images, and to eliminate the impact of illumination to some extent. In this paper, several key preprocessing methods are introduced, such as geometry normalization, gray-scale normalization and images binary-conversion. Principal Component Analysis (PCA) face recognition methods as the foundation of the K-L transformation is the most superior in the image compression .By using PCA, the dimension of the input is reduced while the main components are maintained. The major idea of PCA is to decompose a data space into a linear combination of a small collection of bases.In the face-recognition literature, the eigenvectors can be referred to as eigenfaces. The probe is identified by first projection to all gallery images. We denote a probe .A probe is comparing the projection to all gallery images, and it causes around the compression the mean error to be youngest. But in the PCA-based face recognition technique, the 2D face image matrices must be previously transformed into 1 D image vectors. The resulting image vectors of faces usually lead to a high dimensional image vector space, where it is difficult to evaluate the covariance matrix accurately due to its large size and the relatively small number of training samples. Key wordsFace recognition ；Face pretreatment；PCA目 錄第一章 緒 論11.1人臉識別研究的目的意義11.2人臉識別的定義及主要研究內容31.3人臉識別方法綜述61.3.1人臉識別方法分類61.3.2常用的人臉識別方法61.3.3基于幾何特征的人臉識別方法71.3.4基于K-L變換的特征臉方法91.3.5神經網絡方法101.3.6彈性匹配圖臉部識別方法121.3.7隱馬爾可夫模型的識別方法131.3.8基于FISHER線性判別式的方法131.3.9基于小波包的識別方法141.4人臉識別的應用141.5人臉識別問題中的難點及發展方向151.5.1人臉識別問題中的難點151.5.2人臉識別的發展方向17第二章人臉圖像預處理182.1引言182.2人臉圖像庫簡介182.3人臉圖像的預處理算法192.3.1圖像的幾何歸一化192.3.2圖像的直方圖均衡化202.4本章小結23第三章 基于PCA的人臉識別方法233.1引言233.2 PCA人臉識別方法原理233.2.1特征提取的概念243.2.2離散K-L變換的原理243.2.3特征值的選擇263.2.4距離函數的選取與分類判別273.3經典的PCA人臉識別283.3.1特征臉算法283.3.2經典PCA人臉識別方法的實現過程293.3.3訓練過程303.3.4識別過程32第四章 實驗過程顯示及分析334.1 引言334.2 實驗過程33致 謝37參考文獻38附錄3942第一章 緒 論1.1人臉識別研究的目的意義隨著信息技術及網絡的高速發展，人們的生活及身份日益數字化，信息的安全性和隱蔽性越來越受到人們的重視，身份識別與認證技術也因此得到了較快的發展。而人臉識別作為圖像處理在這些領域最成功的應用之一，最近幾年來成為廣大學者的研究熱點，越來越受到關注。人類社會的發展進入到21世紀的今天，社會的發展促進了人的流動，進而也增加了社會的不穩定性，這就使得安全方面的需求成為當今社會尤為重要的問題。不論是享受各項服務如網上沖浪、還是居家、辦公等都涉及到安全，以往這些行為基本上是通過符號密碼來進行安全保護，但是隨著服務數量的不斷增加，密碼越來越多以致無法全部記住，而且密碼有時也會被他人所竊取，各種密碼被破解的概率越來越高。可見在現代社會中，身份識別己經成為人們日常生活中經常遇到的一個基本問題。人們幾乎時時刻刻都需要鑒別別人的身份和證明自己的身份，以獲得對特定資源的使用權或者制權，同時防止這些權限被他人隨意的取得。傳統的身份識別方法主要基于身份標識物(如證件、卡片)和身份標識知識(如用戶名、密碼)來識別身份，這在很長一段時期是非?？煽亢头奖愕淖R別方法，得到了廣泛的應用。但是，隨著網絡、通信、交通等技的飛速發展，人們活動的現實空間和虛擬空間不斷擴大，需要身份認證的場合也變得無不在。密碼遺失、資料被盜的時間不斷發生，傳統的安全技術已暴露出重大的缺陷，就會給個人乃至整個社會帶來重大的甚至難以彌補的損失。面臨這樣的情況，人們對身份識別的安全性、可靠性、準確和實用性提出了更高的要求，必須尋求身份識別的新途徑。于是，近年來人類生物特征越來越廣泛地應用于身份識別，而且生物特征可以更好的進行安全控制，世界各國政府都在大力推進生物識別技術的發展及應用。所謂生物特征認證就是利用人的生理或行為特征對個人身份進行識別或是認證的技術，與傳統的身份認證技術不同，基于生物特征的身份認證技術，以人體本身所固有的生理特征或行為特征作為識別媒介，運用圖像處理和模式識別等技術，實現身份鑒別或驗證。相對傳統的身份認證方法而言，生物特征認證技術具有不會因當事人遺忘或他人竊取和偽造而進行錯誤判定，比傳統的身份認證方法更加安全方便、特征唯一、不易偽造、不可竊取。生物特征可分為生理特征和行為特征兩大類，人臉、指紋、掌紋、虹膜、視網膜等屬于生理特征，語音、步態、筆跡等屬于行為特征，生理特征相對行為特征而言更為穩定。人臉識別技術基于生理特征進行識別，是最主要的生物特征身份認證技術之一。在各種生物特征認證技術中，人臉識別技術的市場份額僅次于指紋識別技術。人臉識別技術和其他的生物識別比起來有以下幾個優點: (1)人臉識別可以在隱蔽的條件下進行，適用于安全監控; (2)數據采集方便，采集設備成本低廉。目前，普通數碼相機、數碼攝像機和照掃描儀等攝像設備在普通家庭的日益普及進一步增加了其可用性；(3)人臉識別具有快捷、非接觸的特點，對用戶友好。人臉是人們在日常生活中辨認他人的最常用的特征。利用人臉特征進行身份驗證最易被人們接受； (4)存在豐富的現有數據。社會上具有各種大型的人臉數據庫，如公安部門的身份證照片數據庫，學校里的學生學籍數據庫等等。在各種身份證明材料中，一般也會含有標準的正面人臉照片；(5)具有方便、快捷、強大的事后追蹤能力。普通人可以對人臉認證系統的結果進行判定，而上述其他生物特征一般只能通過專家認定。人臉識別技術作為生物識別技術的一種，以其特有的穩足性、方便性、唯一性等特點被愈來愈多地應用于除安全問題外的各種身份識別領域。因為其巨大的商業應用前景，受到越來越多的重視。近幾十年以來人臉識別技術有了長足的發展，并且逐步走向實際應用階段?？梢灶A言，在今后的幾十年內，隨著人臉識別技術進一步發展，人臉識別技術將應用到更多的領域，例如視覺監控、娛樂應用、智能卡、自動身份驗證、銀行安全、公安系統刑偵破案的罪犯身份識別、身份證及駕駛執照等證件驗證、銀行及海關的監控、自動門衛系統、視頻會議等。目前，各國都加大力度研究生物識別技術，人臉識別這一最類似人類身份鑒別的方式得到了很多人的關注，很多重要的出入場合都在安裝人臉識別系統。這些己有的以及潛在的應用領域將推動人臉識別技術不斷發展。根據預計，生物特征識別技術在2009-2012年的增長率將保持30%左右，在國內這一數字會更高。整個生物識別技術市場的規模2010年將達到40億美元左右，國內市場有可能達到40億人民幣。人臉識別作為一種新興的生物識別技術將占據整個生物特征識別技術15%-20%左右的份額。就算以15%計算，人臉識別的市場規模也將在2010年達到6億美元，國內達到40億人民幣左右。作為一種最直接、最自然、最容易被人接受的生物特征識別技術，人臉識別致力于探索如何使機器能夠自動地根據用戶的人臉圖像來鑒別用戶的身份。 人臉識別的研究涉及模式識別、計算機視覺、人工智能、圖像處理、心理學、機器人的智能化研究、醫學、生理學和認知科學等，與計算機人機交互領域和基于其它生物特征的身份識別方法都有密切聯系。雖然人們可以毫不費力地通過臉部圖像來鑒別互相的身份，然而由于成像過程中各種影響因素的變化常常導致同一個人的人臉圖像發生非常大的變化，因此建立自動系統完成識別任務是非常具有挑戰性的。雖然目前國內外己經有許多實用系統問世，但是只有在非?？量痰某上駰l件下，才能得到比較令人滿意的識別效果。因此，人臉識別研究仍然遠遠沒有到達完善的境地，還有非常大的發展空間。1.2人臉識別的定義及主要研究內容 人臉識別(Face Recognition)是指基于己知的人臉樣本庫，利用圖像處理和模式識別技術從靜態或動態場景中，識別或驗證一個或多個人臉。從廣義上來說，人臉識別主要包括人臉檢測、人臉表征、人臉鑒別、表情分析和物理分類五個方面。 (1)人臉檢測(Face Detection):即從各種不同的場景中檢測出人臉的存在并確定其位置、尺度和姿勢。這一任務主要受光照、噪聲、頭部傾斜度以及各種遮擋的影響;(2)人臉表征(Face Representation):即確定表示檢測出的人臉和數據庫中的已知人臉的描述方式。通常的表示方法有幾何特征(如歐氏距離、曲率、角度等)、代數特征(如矩陣特征矢量)、固定特征模板、特征臉等;(3)人臉鑒別(Face Identification):即通常所說的人臉識別，就是將待識別的人臉與數據庫中的己知人臉比較，得出相關信息。這一過程的核心是選擇適當的人臉表示方式與匹配策略;(4)表情分析(Facial Expression Analysis):即對待識別人臉的表情進行分析，并對其分類;(5)物理分類(Physical Classification)即對待識別人臉的物理特征進行分類，得出其年齡、性別、種族等相關信息。狹義的人臉識別就是根據系統新輸入的人臉，與己有的人臉數據庫進行比對，來判斷該人臉是否在人臉庫中;如果在該人臉數據庫中，則給出所對應的具體的個體信息。一般來說，我們所提的人臉識別指的是狹義的人臉識別。一個典型的自動人臉識別系統如圖1.1所示，分為訓練和識別兩個步驟，兩個步驟都需要檢測和定位人臉、人臉圖像的預處理和特征提取和選擇。其中訓練一般是離線運算的，而識別是在線操作的。 圖1.1人臉識別系統的基本框圖(1)人臉的檢測和定位，人臉檢測與人臉定位是相互聯系但又有所區別的兩個概念。人臉檢測的目的是檢測輸入的圖像中是否含有人臉，而人臉定位是確定輸入的圖像中人臉位置以及大小，并將人臉從背景中分割出來。檢測人臉對于簡單背景的同一人的人臉圖片是比較容易實現的，但當人臉的背景變得復雜，或者圖片中的人臉屬于多個人時，檢測就會變得相對困難。人臉檢測與定位是一項很復雜的工作，這是由于光線、視角、表情、墨鏡、遮擋物等各種因素，以及可能出現的圖像噪聲或干擾，即使是同一人的人臉圖像也可能會產生很大的差別，這使得人臉檢測與定位工作變得相當困難。作為人臉識別的基礎，人臉的檢測與定位是人臉識別研究的另一個重要方面。（2)人臉圖像的預處理，人臉檢測得到的人臉圖像，如有設備條件的差異，可能存在光照、噪聲、角度不好等缺陷，一般需要對圖像進行幾何歸一化、灰度歸一化及邊緣檢測等處理。幾何歸一化主要是指將人臉圖像進行一定的處理變為像素大小統一且人臉關鍵位置一致的圖片?；叶葰w一化則就是對人臉圖像進行光照補償，消除光照對圖像的影響，進而提高識別率。（3)特征提取和選擇，對人臉進行識別主要依據人臉的特征，也就是說依據不同個體之間有較大差異而對同一個體則比較穩定的度量。在實際操作中，我們主要是通過各種變換來達到對圖像進行降維的效果，如特征臉方法中K-L變換就是特征提取，而主元選取就是特征選擇。除此之外還有DCT, Gabor變換、分數階傅里葉變換等都是基于人臉的整體特征提取，還有基于人臉局部特征的提取方法，如利用顯著器官(眼鏡、眉毛、耳朵、嘴巴等)之間的距離關系，以及通過訓練學習求得的局部特征。(4)人臉識別，在識別前對人臉圖像庫進行處理，得到每個個體的特征信息，單獨建立一個新的人臉圖像數據庫，在識別過程中，采用同樣的方法得到測試人臉圖片的特征信息，并與庫中的每個個體信息進行比較。在比較之前需確定相似性尺度，常用的是歐氏距離函數和基于貝葉斯準則的概率尺度。一般情況下，識別可以分為兩種:一種是人臉辨認，即需要確認被識別者的具體信息;另一種是身份證實，只需要判斷識別對象是否是數據庫中個體的一員。整個人臉識別的研究工作主要是圍繞特征向量的提取和特征選擇展開的。因為之前的預處理步驟與圖像處理的工作是相通的，而之后的識別步驟與一般的模式識別問題是一致的。1.3人臉識別方法綜述1.3.1人臉識別方法分類根據研究角度的不同，我們對人臉識別方法可以進行不同的分類方法。根據圖像來源途徑的不同，可以分為動態和靜態的人臉識別;根據輸入人臉圖像的角度，可以分為基于正面、側面和傾斜人臉圖像識別;根據圖像的顏色特點，可以分為彩色圖像和灰度圖像的人臉識別。本文的人臉識別研究是基于靜態、正面的灰度圖像的。根據對人臉圖像不同的特征提取方式，我們大致可以人臉識別方法分成兩種:一是基于局部特征分析的研究方法;二是基于整體的研究方法，它考慮到模式的整體屬性，主要有特征臉方法、彈性圖匹配方法、神經網絡方法及隱馬爾可夫模型方法等等?；诰植刻卣鞣治龅姆椒ㄗR別結果取決于特征定位算法的準確性，而且要求圖像的像素較高，因此要近距離拍攝圖片?；谡w的識別方法也各自有自己的缺陷，所以近年來的研究趨勢是將人臉的局部特征分析和整體識別結合起來。1.3.2常用的人臉識別方法對人臉識別方法的研究主要有兩大方向：一是基于人臉圖像局部特征的識別方法；二是基于人臉圖像整體特征的識別方法。基于人臉圖像局部特征的識別通常抽取人臉器官如眼睛、眉毛、鼻子和嘴等器官的位置，尺度以及彼此間的比率作為特征。進一步地可以用幾何形狀擬合人臉器官，從而以幾何參數作為描述人臉的特征。由于此類方法通常要精確地抽取出位置、尺度、比率或幾何參數作為描述人臉的特征，因此對人臉圖像的表情變化比較敏感。同時，人臉器官分割的精確度也對人臉特征的提取有一定的影響。另外，該類方法并沒有充分利用到人臉圖像本身具有的獲度信息，該方向已經不是人臉識別技術發展的主流方向?；谌四槇D像整體特征的人臉識別方法由于不需要精確提取人臉圖像中部件的具體信息，而且可以充分利用到人臉圖像本身具有的灰度信息，因此可獲得更好的識別性能。目前，絕大部分關于人臉識別方法的文章都是基于人臉圖像整體特征的，主要有特征臉法、最佳鑒別向量集法，貝葉斯法，基于傅立葉不變特征法，彈性圖匹配法，其他相關方法有線性子空間法，可變形模型法和神經網絡法。這些方法中有的側重于表述人臉圖像的特征提取，如彈性圖匹配法和傅立葉不變特征法；有的則側重于分類，如最佳鑒別向量集法、貝葉斯法和神經網絡法；而有的則側重于人臉圖像重構，如特征臉法和線性子空間法。所有這些基于人臉圖像整體特征的人臉識別方法均取得了一定的識別性能。1.3.3基于幾何特征的人臉識別方法基于幾何特征的人臉識別方法主要源于人臉識別的初期研究階段。這種方法是以人臉各個器官和幾何關系為基礎進行算法設計。對于不同人來說，臉上的各個器官，如眼睛、鼻子、嘴巴以及整個臉部的輪廓具有不同的形狀、大小、相對位置和分布情況。在基于幾何特征的人臉識別方法中，可以用一個矢量來表示提取出來的幾何參數。如果要獲得一個準確、穩定和可靠的識別結果，就要求這些被選出的幾何特征參數包含足夠豐富的辨識人臉的信息，且能反映不同人臉之間的差別。也就是說對這些矢量要求具有較高的模式分類能力，同時還要有一定的穩健性，能夠消除由于時間變遷、光照變化等其他干擾因素所帶來的影響。具體來說，這些幾何參數一般包括人臉上兩個指定特征點之間的歐式距離、邊緣曲率、角度等等。在Brunelli和Poggio的文獻中給出了一組典型的人臉幾何特征參數：(1)眉毛的厚度(2)眉毛與眼睛中心的垂直距離；(3)描述左眼眉毛弧度的12個數據；(4)鼻子的寬度；(5)鼻子在面部上的位置；(6)嘴巴的垂直位置、嘴巴的寬度和上下嘴唇的亮度；(7)描述下顎形狀的11個半徑數據；(8)以鼻子位置為準的臉部寬度；(9)顴骨寬度(半臉寬)。當這些幾何特征參數提取出來后，就可以采用最小距離(歐式距離)分類器，將待識別人臉特征向量與數據庫中人臉特征矢量進行比較，取距離最近者作為識別結果。在實際應用過程中，基于幾何特征的人臉識別方法存在著兩個方面的問題：(1)如何快速、準確地檢測出人臉的重要標志點依然是一個沒有很好解決的問題。(2)臉部幾何特征在人臉辨識中的有效性問題，即臉部幾何特征能夠提供多少可供識別的信息量。雖然各人臉的器官在形狀、大小及分布上各不相同，但是這種器官上的差異性更多是體現在某些細微的感覺意義上。例如眼睛顯得比較小、鼻子顯得比較寬，以及皮膚的紋理、顏色上的差異等等。顯然，這些特征中的一部分是難以精確測量出來或者是不能用幾何參數準確描述的。所以僅靠增加臉上幾何參數的數目來提高人臉識別率是不太現實的。由于進一步改善測量精度是十分困難的，因而通過增加臉部幾何參數的數量來改善識別率結果，其影響是極小的。因此，基于少量人臉幾何特征進行大規模人臉辨識的可靠性是不容樂觀的。1.3.4基于K-L變換的特征臉方法基于特征臉的人臉識別方法的基礎是KL變換。KL變換是圖像壓縮中的一種最優 正交變換。通過KL變換，可以把圖像在高維空間表示轉換到低維空間表示，而由低維空間恢復的圖像和原圖像具有最小的均方誤差，從而可以以圖像在低維空間的變換系數作為人臉圖像的描述特征。KL變換用于人臉識別的前提是人臉圖像處于低維空間，并且不同人臉是線性可分的。通常情況下，KL變換的變換矩陣由訓練樣本類間散布矩陣的特征矢量生成。人臉圖像在前面的特征矢量上的投影有較大的能量，稱為主分量;在后面的特征矢量上的投影具有較小的能量。稱為次分量。當舍棄部分次分量時，KL變換也稱為主成分分析法(PCA)。由于人臉圖像具有相似的形狀和結構，人臉圖像在主分量上的投影過多地反映了光照變化，因此有人提出舍棄人臉圖像在前3個特征矢量上的投影，而用人臉圖像在其余特征矢量上的投影作為描述人臉圖像的特征。 KL變換是數字圖像壓縮領域里的一種最優變換，它使從低維空間恢復的人臉圖像和原圖像的均方誤差最小。但KL變換只是從壓縮角度來看是最優的，從分類角度來看卻不是最優的。雖然它考慮了人臉圖像的所有差異(從壓縮角度)，但沒有考慮這些差異是類內差異(如光照變化，頭飾變化或幾何變化)還是類間差異(從分類角度)。K-L變換是圖像壓縮的一種最優正交變換，人們將它應用于特征提取，形成了子空間法模式識別的基礎。將K-L變換用于人臉識別，需要假設人臉處于低維的線性空間，不同人臉具有可分性。高維的圖像空間經過K-L變換后得到一組新的正交基，保留其中重要的正交基從而形成了低維的人臉空間。若將所有子空間的正交基排列成圖像陣列，則正交基呈現人臉的形狀，因此這些正交基也被稱為特征臉。選擇那些正交基形成的子空間則有不同的考慮，與較大特征值對應的一些正交基(也稱主分量)能夠表達人臉的大體形狀，而具體細節需要那些小特征值對應的特征向量(也稱次分量)來加以補充描述，因此低頻成分用主分量表示，高頻分量用次分量表示。采用主分量作為新的正交空間的正交基的方法稱為主分量_(Principal Component Analysis，簡稱PCA)方法。 K-L變換在90年代初受到了很大的重視，實際用于人臉識別取得了很好的效果，一般庫德大小為100幅左右，識別率在70-100之間不等，這主要取決于人臉庫圖像的質量。從壓縮能量的角度來看，K-L變換是最優的，變換后的低維空間對于人臉有很好的表達能力，較好的判別能力。選擇訓練樣本的散布矩陣作為K-L變換的生成矩陣，其最大特征向量反映了該樣本集合的最大分布的方向，但這是圖像統計方法，而不是人臉統計方法。它查找的是圖像之間所有的差異，并根據這些差異來確定不同人臉間的距離，而不管這些差異是由于光線、發型或背景的改變引起的，還是屬于人臉本身的內在差異，因此特征臉的方法用于人臉識別存在理論的缺陷。研究表明，特征連的方法隨著光線、角度以及人臉的尺寸的引入而識別率急劇下降。主分量的方法使得變換后的表達能力最佳，次分量的方法考慮了高頻的人臉區分能力，但是由于外在因素帶來圖像差異和人臉本身帶來的差異對K-L變換而言是不加任何區分的，因此，如何選擇正交基并不根本解決問題。改進的一個思路是針對干擾所在，對輸入圖像作規范化處理，包括輸入圖像的均值方差歸一化，人臉尺寸歸一化。另一種改進是考慮到局部人臉圖像受到外在干擾相對較小的情況，除了計算特征臉之外，還利用K-L變換計算出特征眼、特征嘴等。將局部特征向量加權進行匹配得到一些好的效果?？傊?，特征臉方法是一種簡單、快速、使用的基于變換系數的算法，但由于它在本質上依賴于訓練集合測試集圖像的灰度相關性，而且要求測試圖像與訓練集比較接近，所以存在著很大局限。1.3.5神經網絡方法人工神經網絡是一種以大量的處理單元(神經元)為節點，處理單元之間實現加權值互連的拓撲結構。人工神經網絡中的處理單元是人類大腦神經單元的簡化。處理單元之間的互連則是軸突、樹突這些信息傳遞路徑的簡化。根據不同的應用場合，現已研究出較多的神經元網絡模型及其動態過程的算法。人工神經元通常采用非線性的作用函數，當大量神經元連接成一個網絡并動態運行時，則構成了一個非線性動力學系統。人工神經網絡具有自組織性、高維性、模糊性、分布性和冗余性等等特點，較馮-諾依曼體系的計算機更適合模擬人類大腦的思維機理。但總的來說，由于人類對自身思維機理認識的不足，所以對人工神經元作了極度的簡化，這種模擬表現為極其膚淺和簡單。很多臉部識別系統都采用了多層感知機(MultiLayer Perceptor)作為人工神經網絡的基本結構。多層感知機由幾層全互連的非線性神經組成。神經元之間有權值連接，權值包含了訓練模式空間的特征。訓練過程就是調整權值的過程，最常用的算法就是BP法則。采用多層感知機進行面部識別的目的就是建立一個關于臉部的緊湊表示，這相當于面部特征的抽取。因為隱層節點的數目L通常要遠遠小于輸入層和輸出層的節點數目，從而多層感知機將高維德輸入數據變換到一個低維子空間中，同時保留了原始數據中最重要的信息。如果隱層神經元采用線性作用函數，則多層感知機張成的降維子空間將與主元分析法張成的子空間一樣。主元分析法的方差是由大到小排列的，而多層感知機的方差是均勻分布到每個隱層神經元上。多層感知機的輸入形式有很多種，最簡單的就是將整個人臉圖像作為輸入層，也可以對人臉圖像進行采樣，然后用低分辨率圖像作為輸入層。還有的文獻采用了二進制圖像的等密度區域或多個局部面部特征作為不同多層感知機的輸入層。直接使用BP神經網絡進行人臉識別的問題在于網絡過于龐大和復雜，例如對于一幅128128的人臉圖像，輸入層和輸出層的節點數目將達16438。顯然，訓練這樣大的一個網絡將花費很長時間，需要的存儲量也會很高。由此可以看出，人工神經網絡有著與Eigenface方法非常相似的表達方法。一般來說，BP算法的收斂速度非常緩慢，學習過程可能需要對整個訓練集進行上千次反復迭代運算，這是神經網絡實際應用的一個問題。此外，BP算法以誤差梯度下降的方式達到極小值，但在實際應用中，容易陷入到局部極小中，無法得到全局最優解，這也是有待解決的一個問題。1.3.6彈性匹配圖臉部識別方法在利用圖匹配進行識別的方法中，一個目標(如一個人臉圖像)可以采用一張圖(Graph)來表示。根據局部化空間頻率得到的一系列多分辨率秒數值可以用來表示圖中的節點數值。物體內部的空間關系則可以用節點之間的幾何距離表示。Gabor變換是進行時頻分析的有效工具，該函數在時間域和頻率域上都是局部化的，通常將Gabor特征用到針對臉部識別的彈性圖匹配中。Gabor特征在網格節點上提供了一個多尺度邊緣強度。一般來說，圖像中的關鍵部位會有較大的Gabor系數。同樣的，對于一個待識別的人臉圖像也可以定義一個網格G及網格上的特征矢量。在彈性圖匹配(Elastic Graph Matching)方法中，兩幅圖的距離是通過尋找G與M之間的最優匹配來得到。在彈性圖匹配方法中，將人臉圖像庫中的圖像和待識別圖像都用特征矢量圖表示。通過對突遇圖之間的拓撲結構的匹配以及節點與節點之間的特征矢量值的比較，可以進行人臉識別，這就將模板的圖像匹配轉化成了模板的圖匹配。在尋找最佳匹配方法時，希望能夠同時維持特征數值接近和局部幾何關系。彈性圖匹配方法的最大優點在于對光和表情變化的相對不敏感性。這主要歸功于兩個原因：(1)用Gabor變換可提取圖像的局部多分辨率特征；(2)在計算距離或者能量函數時，使用了變形匹配方法。彈性匹配圖方法的主要缺點在于計算量大。1.3.7隱馬爾可夫模型的識別方法隱馬爾可夫模型(Hidden Markov Model)一般應用于非平穩時間序列矢量的統計建模，在語音處理，特別是語音識別中得到廣泛的應用。隱馬爾可夫模型為一個觀測序列提供了一個統計模型n引，該模型由兩個互相關聯的過程組成：(1)一個是底層不可觀測的馬爾可夫鏈，它由有限個狀態、一個概率轉移矩陣和一個初始狀態概率分布函數組成。(2)另外是一組聯系每一個狀態的概率密度函數。在使用隱馬爾可夫模型的面部識別方法中，首先將一個人臉圖像采集成一系列的條狀圖，將一幅二維圖像變成一個一維矢量序列，這個序列構成了隱馬爾可夫模型的觀測矢量。由于人臉的特定構造，在這種抽樣方式下，臉部特征帶的出現將服從于一定的順序，所以該模型可以用一個從左到右的隱馬爾可夫模型表示，其中狀態的轉移只能按照從左到右的方式進行。接著是訓練該隱馬爾夫模型，由以下幾個步驟組成：(1)建立一個隱馬爾可夫模型；(2)用訓練數據迭代計算初始參數值；(3)用BaumWelch方法重新估計參數值。識別通過一個Viterbi識別器完成，用代表不同人的隱馬爾可夫模型與待識別圖像匹配，最高匹配者被選出來。1.3.8基于FISHER線性判別式的方法P.Belhumeur提出了一種基于Fisher線性判別式的人臉識別方法，與Eigenface方法相對應，Belhumeur稱其為Fisherface，這種方法對面部表情和光照方向不敏感。類似于Eigenface方法，Fisherface方法也是采用線性投影技術將人臉圖像從高維圖像空間轉化到低維特征子空間。在這個低維子空間中，如果特征和投影方向選擇合適的話，人臉特征可以做到對光照方向和表情變化不敏感。與Eigenface方法不同的是，Fisherface采用的投影方向幾乎與類內散布方向垂直，而Eigenface方法采用的投影方向是使所有類散布最大化。Belhumeur認為這種使所有類散布最大化的PCA方法會保留那些對分類不利的光照方向和表情信息。因此可認為：對以均方誤差為準則的臉部重建來說，PCA方法是一種最優的方法：但從模式分類和辨識的觀點來看，PCA方法則不一定能夠取得最優的結果。1.3.9基于小波包的識別方法基于小波包的面部識別方法首先對一幅人臉圖像進行小波包分解。因為小波包分解得到的不同頻帶包含有不同的人臉信息，所以從每一個小波包中可以提取出不同的面部特征。對于小波包分解得到的離散逼近稀疏，Garcai進一步將它分解成三個部分，分別是邊界區、上半部分和下半部分，然后就可以分別計算這三個區域的均值和方差，加上另外15個離散細節區域的方差，組成一個包含有21個分量的特征向量。小波包分解是一種多分辨率分析方法，能夠提供良好的面部紋理描述，所以有利于提取面部特征。1.4人臉識別的應用任何一種技術的發展都是由于受到了實際應用需要的激勵，人臉識別技術也不例外，它最初就是公安部門要把它用于罪犯照片的存檔管理和刑偵破案。而現在逐步擴大到社會生活的各個領域，例如在海關邊檢、物業管理、網絡安全、視頻會議、計算機訪問控制等方面都有著廣泛的應用。我們從一下幾個方面具體介紹人臉識別技術的應用:(1)在公安系統的罪犯識別方面，當公安部門獲得案犯的照片后，可以利用人臉識別技術，在存儲罪犯照片的數據庫里找出最相像的嫌疑犯。由于罪犯數據庫往往很大，如果這項搜索工作由人工完成，不僅效率低，而且容易出錯，因為人在看了上百幅人臉圖像后，記憶力會下降，而由計算機來完成則不會出現此問題；(2)身份證、駕駛證以及其他很多證件上都有照片，現在的證件驗證一般都是由人進行驗證，如果利用人臉識別技術，這項工作就可以交給機器完成，從而實現自動化智能管理。當前普遍使用的驗證方法有符號或條形碼標記，比如信用卡、自動提款機等此類驗證的安全性比較低。如果運用人臉識別技術，則安全性將大大改善；(3)可以進行入口控制。入口控制的范圍很廣，它可以是樓宇、單位或私人住宅入口處的安全檢查，也可以是計算機系統或情報系統的入口控制。目前比較常用的手段是檢查證件。人員頻繁出入時，保安人員再三檢查證件是比較麻煩的，而且安全系數也不高。在保密要求非常嚴格的部門除了證件，還可以加上另外一些生物識別手段，如指紋識別、手掌識別、語音識別等。人臉識別與之相比，具有直接、方便和界面友好的特點。當前計算機系統的安全管理，通常使用字符和數字組成的密碼口令管理，此口令容易被遺忘或破解，如果使用人臉作為口令則既方便又安全；(4)在視頻監控方面，目前，許多銀行、公司、公共場合等處都設有24小時的視頻監控。另外偵察員在破案時也要用攝像機對人進行跟蹤。在對圖像進行分析時，都要用到人臉的檢測，跟蹤和識別技術。對于以上提到的人臉識別技術的諸多應用，我們可以把這些應用分成兩類:一類是有限制條件照片的靜態匹配，譬如說護照、信用卡、駕駛證上的照片匹配。另一類是視頻圖像的實時匹配，如銀行、海關、公共場合的視頻監控、公安系統中罪犯的跟蹤識別等。這些應用在圖像的質量、背景，還有是否存在定義好的匹配策略等等方面都存在著很大的不同。1.5人臉識別問題中的難點及發展方向1.5.1人臉識別問題中的難點人類具有很強的人臉識別能力，嬰兒可以很快學會辨認其父母的臉。但對計算機來說，進行人臉識別卻困難很多。這些困難一方面源于計算機本身學習能力的局限性，另一方面是源于人臉識別技術所具有的復雜性。人臉具有相對穩定的特征和結構，這為人臉識別技術帶來了實現的可能。但人臉具體形態的多樣性和所處環境的復雜性又造成了識別的巨大困難。具體的說，它的困難表現在：(1)圖像獲取的不確定性目前對于人臉識別問題的研究大都基于已經裁剪好的人臉區域圖像進行的，在此基礎上再提出解決光照、姿態、遮擋等問題的識別算法。而就目前的研究現狀而言，光照、姿態、遮擋等干擾因素對檢測算法的影響要遠大于對識別算法的影響。光照:光照的方向及強度變化會嚴重影響人臉圖像的灰度分布，因而影響大多數基于圖像灰度統計特性的識別方法的效果。即使是目前最好的人臉識別系統在室外光照條件下，其識別性能也會急劇下降。這就說明，復雜多變的光照問題仍是人臉識別中的難點;姿態:姿態的變化分為二維平面上的姿態變化和三維空間上的姿態變化。盡管采用3D人臉模型可以解決人臉識別問題中的姿態變化問題，但是由于3D人臉數據獲取有很多的局限性，所以當前仍需依賴對姿態變化魯棒的 2D人臉識別算法。故如何提高2D人臉數據的識別算法對姿態的魯棒性是一項既有現實意義又有挑戰性的課題;表情:人臉識別相對于其他物體識別問題的一個困難就是人臉的非剛體性，主要體現為人臉豐富的表情變化，遮擋。對于人臉識別而言，造成遮擋的原因多種多樣，有可能的原因包括:外界景物的遮擋、眼鏡帽子等飾物的遮擋、人臉圖像部分缺失等。這些因素所導致的直接結果就是人臉區域部分的數據不完整，進而影響后續處理的效果，甚至直接導致處于人臉識別系統第一階段的人臉檢測失效。(2)計算的復雜性很多經典的識別問題譬如文字識別只需要處理相對較少的類，而且每個類有大量的訓練樣本，但在人臉識別問題中，通常需處理相當多的類，并且每個類存在很少的訓練樣本，識別算法必須在很少的樣本中提取特征，通過訓練進行人臉圖像的匹配。盡管目前出現的一些商用的人臉識別系統在理想情況下已經能夠可以接受的識別性能，但是整個人臉識別技術還遠未成熟，還有大量的實際問題需要得到解決。(3)識別算法的普適性問題目前人臉識別中最成功的算法當屬基于統計學習理論的算法。這類算法往往要求訓練集合中的樣本能夠覆蓋所有情形下的人臉樣本，以便從中學習相關知識或規則，但這在實際中是無法滿足的，因為能夠獲得的訓練樣本往往是有限的，因而便造成目前的識別算法普適性較差，即在由訓練集中樣本擴展到非訓練集中樣本時，識別性能會明顯下降。(4)人臉識別系統的長期適應問題帶來這一問題的主要原因是隨著年齡的變化人臉會發生較大的變化，特別是對于青少年，年齡對容貌的影響更大。另外，不同年齡段樣本的收集也比較困難，因為這需要很長的時間跨度，目前所收集到的有年齡變化的人臉庫最長也只有1年左右的時間跨度，這給相關算法的研究帶來了一定困難。因此如何解決年齡變化對識別算法的影響并提出具有中長期適應性的人臉識別算法是人臉識別系統必須解決的問題。除此之外，人臉識別還有低質量照片問題，大規模人臉識別問題，海量數據的學習問題等等。1.5.2人臉識別的發展方向由于人臉識別領域仍存在上述很多問題未徹底解決，因此未來人臉識別必然圍繞著現有難點的解決而繼續發展。簡單概括一下，其發展方向大體包括：(1)準確魯棒的人臉檢測與定位算法，保證后續識別算法具有穩定可靠的樣本輸入；(2)高精度特殊圖像傳感器或快速三維掃描設備的研制，保證輸入原始人臉數據的質量，克服圖像質量低，光照和姿態等影響；(3)大規模全面公共人臉數據庫的建立，涵蓋所有人臉識別中所要面對的樣本，為全球研究者建立一個統一的研究和測試平臺；(4)多生物特征的融合，采用特征融合技術，與目前其它生物特征識別技術進行融合，克服遮擋、化妝和活體檢測等難點；(5)普適特征提取技術和普適分類器的提出，解決現有算法無法同時解決普適性差，泛化能力低和中長期適應性差等問題；(6)其它解決方案，包括大規模計算機的發展，數據庫管理及檢索技術的發展，適合生物特征存儲的數據結構的發展等。第二章人臉圖像預處理2.1引言 圖像的預處理是模式識別過程的一個重要步驟。輸入圖像從實物轉換成數字圖像時，由于設備條件的差異，往往存在噪聲、對比度太低等缺陷。另外，人臉在整幅圖像中的位置和大小又會因為距離遠近、焦距大小等問題變得不確定。為了確保較高的識別率，我們必須在提取人臉特征之前對圖像作一定的預處理工作。 本節的預處理工作是在原始ORL人臉庫上進行的。主要的預處理工作包括:圖像的幾何歸一化，圖像的灰度歸一化，直方圖均衡化幾個部分。2.2人臉圖像庫簡介建立一個包含人臉圖像的數據庫是做任何人臉識別系統的開發的前提。人臉數據庫的設計對系統的識別率有至關重要的影響，數據庫中不同光照、姿態和表情的變化甚至背景變化都會影響識別的結果，所以需要針對人臉識別問題建立適應不同需要的人臉數據庫。下面介紹一些常用的標準數據庫。 目前使用最廣泛的人臉庫是英國ORL人臉數據庫。ORL人臉數據庫包含了英國劍橋大學從1992到1994年間在實驗室采集到的人臉圖像數據，由40人、每人10幅、共400幅圖像組成。每幅圖像的分辨率為92*112，灰度級為256。其中，35人為男性，5人為女性。這些圖像是在不同時間、不同光照、面部表情和面部遮掩物變化的情況下獲得的，如笑或不笑、眼睛或睜或閉、戴或不戴眼鏡;人臉姿態也有相當程度的變化，深度旋轉和平面旋轉可達200，人臉的尺度也有多達10%的變化。 FERET人臉庫是目前最大的人臉數據庫，由美國國防部發起建立，其初衷是想開發一個自動人臉識別系統，以應用于各種安全檢測目的。其最新的人臉庫包括14051幅灰度圖像，其中每人8張圖像，兩張正臉，3張從右到