1、北京林業(yè)大學本科論文（設計） 1緒論1.1人臉表情識別研究的目的和意義人臉是人最重要的外貌特征，由于臉部信息可以通過非接觸的方式（如攝像頭）取得，所以非常適合于作為身份鑒別的依據(jù)。人臉識別就是對于輸入的人臉圖像或者視頻，首先判斷其中是否存在人臉，如果存在人臉，則進一步確定每張人臉的位置、大小和各個主要面部器官的位置信息，并依據(jù)這些信息，進一步提取每張人臉中所蘊含的身份特征，并將其與已知人臉庫中的人臉進行對比，從而識別每張人臉所代表的個人。人臉識別是一個交叉學科，它的研究內(nèi)容涉及計算機視覺、模式識別、計算機圖形學、圖像處理、生理學、心理學、認知科學等。人臉識別技術可采用非接觸式的、連續(xù)的和實時的

2、方式，在國家安全、軍事安全和公安、司法、民政、金融、民航、海關、邊境、口岸、保險及民用等領域?qū)嶋H應用具有極廣闊的前景。這一技術典型應用如下：（1）身份鑒定（一對多的搜索）：在鑒定模式下，確定一個人的身份，該技術可以快速地計算出實時采集到的面紋數(shù)據(jù)與面像數(shù)據(jù)庫中已知人員的面紋數(shù)據(jù)之間的相似度，給出一個按相似度遞減排列的可能的人員列表，或簡單地返回鑒定結果（相似度最高的）和相對應的可信度。（2）身份確認（一對一的比對）：在確認模式下，待確認人已知的面紋數(shù)據(jù)可以存儲在智能卡中或數(shù)碼記錄中，該技術只需要簡單地將實時的面紋數(shù)據(jù)與存儲的數(shù)據(jù)相比對，如果可信度超過一個指定的閥值，則比對成功，身份得到確認。（

3、3）監(jiān)視：可以在監(jiān)控范圍內(nèi)發(fā)現(xiàn)人臉，而不論其遠近和位置，能連續(xù)地跟蹤該人臉圖像并將其從背景中分離出來，將面像與監(jiān)控列表進行比對。整個過程完全是無需干預的，連續(xù)的和實時的。（4）面像數(shù)據(jù)壓縮：能將面紋數(shù)據(jù)壓縮到84字節(jié)以便用于智能卡、條形碼或其他僅含有有限存儲空間的設備中。（5）多通道的人機交互界面:可以把跟蹤得到的人臉表情作為一種人機交互的手段。為使用者提供一個個性化、智能、便捷的工作環(huán)境，這也是智能計算機研究的重要內(nèi)容。人臉表情識別研究的主要目的在于：（1）在人機接口中實現(xiàn)計算機對人臉面部表情的自動識別；（2）在視頻片段檢索中實現(xiàn)面部表情的跟蹤與識別；（3）研究人臉表情編碼模型，解決低帶寬的

4、臉部數(shù)據(jù)傳輸、多媒體中的臉部圖像壓縮等問題。進行這項研究的意義在于：（1）作為情感計算研究的重要組成部分，可以有效地促進人機交互系統(tǒng)的發(fā)展和計算機圖像理解的研究；（2）對實現(xiàn)人體語言與自然語言的融合，以及語言與表情連接模型的建立與實現(xiàn)具有重要意義；（3）可以為表情合成、與表情無關的人臉檢測與跟蹤、人臉識別等領域的研究提供理論基礎；這些年表情識別技術發(fā)展相當迅速，北京奧運將首次使用人臉識別綜合報警系統(tǒng)，這里我們簡單介紹一下在2008年北京奧運會使用的人臉識別系統(tǒng)的主要功能：（1）對所有進出機場、海關、火車站、奧運場館的人通過攝像機自動識別;人員通行考勤、外人登記、生物特征人臉識別驗證真?zhèn)?。?）

5、對于危險人攝像機自動識別，向網(wǎng)絡報警中心報警。（3）對不受歡迎的人，一經(jīng)錄入，自動識別防止進入。（4）各種工人、后勤、食品運送人員自動人臉識別，未經(jīng)登記授權限制進入。（5）對于恐怖行危險人員、情緒偏激不穩(wěn)定人員、牽連到奧運場館和奧運活動區(qū)域群體事件的問題人員和等影響社會穩(wěn)定人員，自動識別人臉，防止進入奧運區(qū);并且根據(jù)人臉等生物特征智能查詢進出紀錄。（6）對于奧運場館和奧運活動區(qū)域內(nèi)各種服務實現(xiàn)不用帶卡的自動人臉識別安全服務和優(yōu)質(zhì)服務。（7）對于黨和政府的領導通過聯(lián)網(wǎng)自動人臉識別掌握奧運活動區(qū)域準確人員管理情況、預估風險實現(xiàn)遠程管理和控制。人臉表情識別和理解（FaceRecognition）的研

6、究范圍廣義上大致包括以下5個方面的內(nèi)容：（1）人臉檢測（FaceDetection）:即從各種不同的場景中檢測出人臉的存在并確定其位置。這一任務主要受光照、噪聲、面部傾斜度以及各種各樣遮擋的影響。（2）人臉表征（FaceRepresentation）:即采取某種表示方式表示檢測出的人臉和數(shù)據(jù)庫中的已知人臉。通常的表示法包括幾何特征（如歐氏距離、曲率、角度）、代數(shù)特征如矩陣特征矢量）、固定特征模板、特征臉等。（3）人臉識別（FaceIdentification）:即將待識別的人臉與數(shù)據(jù)庫中的已知人臉比較，得出相關信息。這一過程的核心是選擇適當?shù)娜四樀谋碚鞣绞脚c匹配策略，系統(tǒng)的構造與人臉的表征方式

7、密切相關。（4）表情/姿態(tài)分析（Expression/GestureAnalysis）:即對待識別人臉的表情或姿態(tài)信息進行分析，并對其加以歸類。（5）生理分類（PhysicalClassification）即對待識別人臉的生理特征進行，得出其年齡、性別等相關信息。1.2表情識別的現(xiàn)狀現(xiàn)階段的研究當中，完整的人臉識別系統(tǒng)至少包括三個主要環(huán)節(jié)。首先在輸入圖像中找到人臉的位置，將人臉從背景中分割出來；其次，將分割后的人臉圖像進行特征提取和定，最后根據(jù)提取的特征進行人臉識別。如圖1.1所示：輸入圖像卜H人臉檢測卜”特征定位卜”人臉識別卜”身份輸出圖1.1識別過程簡圖Fig1.1Identifyproc

8、esssimplediagram1.2.1人臉圖像檢測方法現(xiàn)狀人臉圖像檢測與定位就是在輸入圖像中找到人臉確切的位置,它是人臉表情識別的第一步。人臉檢測的基本思想是用知識或統(tǒng)計的方法對人臉建模,比較待檢測對象與所建的人臉模型的匹配程度,從而得到可能存在人臉的區(qū)域。根據(jù)思想的不同基本上分為下面兩種檢測方法:（1）基于統(tǒng)計的人臉檢測是將人臉圖像視為一個高維向量,將人臉檢測問題轉(zhuǎn)化為高維空間中分布信號的檢測問題。（2）基于知識的人臉檢測是利用人的知識建立若干規(guī)則,從而將人臉檢測問題轉(zhuǎn)化為假設一驗證問題。1.2.2基于統(tǒng)計的人臉檢測方法（1）樣本學習:將人臉檢測視為從非人臉樣本中識別人臉樣本的模式分類問

9、題,通過比較人臉樣本和非人臉樣本來提取各自的特征，進行學習來產(chǎn)生分類器。目前國際上普遍采用的是人工神經(jīng)網(wǎng)絡。（2）模板法:模板法是把測試樣本與參考模板進行比較,由閾值大小來判斷測試樣本是否是人臉。閾值一般是通過對大量的模板進行統(tǒng)計得來的，并不是一個固定的值。（3）子空間方法:Pentland將KL變換引入了人臉檢測，利用主元子空間（特征臉），而人臉檢測利用的是次元子空間（特征臉空間的補空間）。用待檢測區(qū)域在次元子空間上的投影能量,也即待檢測區(qū)域到特征臉子空間的距離作為檢測統(tǒng)計量，距離越小，表明越像人臉。子空間方法的特點在于簡便易行，但由于沒有利用反例樣本信息，對與人臉類似的物體辨別能力不足。1

10、.2.3基于知識建模的人臉檢測方法（1）人臉規(guī)則:人臉規(guī)則是人臉遵循的一些幾乎是普遍適用的空間相關性。它包括:灰度分布規(guī)則。如五官的空間位置分布大致符合“三停五眼”等,人臉不同區(qū)域的明暗關系不變,眼睛的灰度總是比前額和顴骨低，鼻梁的灰度一般比兩側(cè)亮等。輪廓規(guī)則。人臉的輪廓可以簡單地看成一個近似橢圓，而人臉檢測可以通過橢圓檢測來完成。運動規(guī)則。通常相對背景人總是在運動的，利用運動信息可以簡單有效地將人從任意復雜背景中分割出來。（2）顏色、紋理信息:同一種族人的面部膚色在顏色空間中的分布相對比較集中,顏色信息在一定程度上可以將人臉從大部分背景區(qū)分開來。（3）對稱性:人臉具有一定的軸對稱性,各器官也

11、具有一定的對稱性。Reisfeld提出廣義對稱變換方法1檢測局部對稱性強的點來進行人臉器官定位。1.3本文的結構本文的章節(jié)做如下安排。第一章緒論介紹量表情識別研究的目的意義和現(xiàn)狀；第二章對人臉檢測與定位方法、臉部特征定位方法、人臉識別方法作了綜述；第三章在上述方法的基礎上，重點敘述了畢業(yè)設計采用的方法，并用VB開發(fā)了一個人臉表情識別系統(tǒng)；第四章對面部表情識別技術以后的發(fā)展方向和工作重點做了總結。相關技術綜述2.1引言情緒使人產(chǎn)生生理和行為的顯著變化，面部表情是情緒的外顯行為的一個重要方面。眼、眉、嘴、鼻、臉色等的變化最能表示一個人的情緒。如兩眼閃光之驚喜，眼淚汪汪之悲哀委屈，眉毛緊鎖之憂愁，揚

12、眉之得意，雙目圓睜之憤怒，嗤之以鼻之厭惡，臉色蒼白之驚恐等。這是由于人的各種情緒同臉部肌肉和血管等的變化有關，故而臉部肌肉和血管的變化能表示一定的情緒狀態(tài)。例如，喜悅與顴肌有關，痛苦與皺眉肌有關，憂傷與三角肌有關，羞愧因血管舒張而臉紅，恐怖因血管收縮而蒼白。本文就是通過對人面部表情進行識別來達到對人的情緒的判斷。人們做出各種表情，正是表情肌肉運動的結果2。2.2人臉模式的特征人臉模式的特征包括膚色特征和灰度特征。2.2.1膚色特征膚色是人臉的重要信息，不依賴于面部的細節(jié)特征，對于人臉表情發(fā)生的任何變化情況都能適用，具有相對的穩(wěn)定性并且和大多數(shù)背景物體的顏色相區(qū)別。因此膚色特征在人臉檢測中是最常

13、用的一種特征。膚色特征主要由膚色模型描述，常用的膚色模型有高斯模型、混合高斯模型和直方圖模型。2.2.2灰度特征灰度特征包括人臉輪廓特征、人臉灰度分布特征（鑲嵌圖特征、直方圖特征等）、器官特征（對稱性等）、模板特征等。本文所采取的人臉識別方法就是基于灰度特征，具體的識別方法將在下文敘述。2.3面部表情的分類由于表情產(chǎn)生的原因、表情表現(xiàn)得程度、人們對表情的控制能力和表情的傾向等多方面的原因，使得表情的變化細微而復雜，對表情的概括也變得更為復雜。例如，恐懼表情可能同時伴隨著悲傷生氣、厭惡的產(chǎn)生。一中混合的表情也就表現(xiàn)出來了。最經(jīng)常的是恐懼和驚奇的混合表現(xiàn)即驚恐。關于情緒的類別，長期以來說法不一。我

14、國古代有喜、怒、憂、思、悲、恐、驚的七情說；美國心理學家普拉切克（Plutchik）提出了八種基本情緒：悲痛、恐懼、驚奇、接受、狂喜、狂怒、警惕、表2.1表情特征Table2.1expressioncharacteristic額頭眉毛眼睛臉的下半部分1眉毛抬起，以至于變高變1眼睛睜大，上眼皮抬高，下眼下頜下落，嘴張開，以至于唇和齒分開,彎，眉毛以下的皮膚被拉皮下落；2眼白可能在瞳孔的上但嘴部并不緊張，也不拉伸。伸；2皺紋可能橫跨額頭。邊或者下邊露出來。1.眉毛抬起并皺在一起；2.上眼瞼抬起，下眼皮非常緊張,嘴張開，嘴唇或者輕微緊張，向后拉,額頭的皺紋只集中在中部,并且被拉上來。或拉長，同時向后

15、拉。而不橫跨真?zhèn)€額頭。1.上唇抬起；2.下唇與上唇緊閉，推動眉毛壓低，同時壓低上眼瞼。在下眼皮下部出現(xiàn)了橫紋，臉頰推動其向上，并不緊張。上唇向上，嘴角下拉，唇輕微凸起；3.鼻子皺起；4.；臉頰被抬起。1下眼皮非常緊張，可能不被抬眉毛皺在一起，并且被壓1唇有兩中基本位置：緊閉，唇角拉直起。2上眼皮緊張，在眉的動作低；2在眉宇間出現(xiàn)了豎直或向下；張開，仿佛要喊；2鼻孔可能下可能被壓低；3眼睛憤怒的瞪皺紋。張大。著，可能鼓起。額頭眉毛眼睛臉的下半部分下眼瞼下邊可能有皺紋，可能鼓1.唇角向后拉并抬咼；2.最可能張大,和中性表情相比，基本沒變起，但并不緊張；2魚尾紋從外牙齒可能露出；3一道皺紋從鼻子一直

16、化。眼角向外擴張。延伸到嘴角外部；4.臉頰被抬起。眉毛內(nèi)角皺在一起，抬高,眼內(nèi)角的上眼皮被抬高。1最角下拉；2嘴角可能在顫抖。帶動眉毛下的皮膚運動。憎恨；湯姆金也列出八種基本情緒：興趣、快樂、驚奇、痛苦、恐懼、憤怒、羞怯、輕蔑；還有的心理學家提出了九種類別。雖然類別很多，但一般認為有四種基本情緒，即快樂、憤怒、恐懼和悲針對表情廣義性，表2.1中總結出了每種表情的特點及其在生成過程中所涉及到的重點表情區(qū)域的動作。由表2.1我們可以看出，樣本表情必須非常典型，而且有點夸張。因此要求采集的樣本在做出各種表情時，各個重點位置的表情必須符合表2-1的動作，這樣才能正確的辨別樣本表情。2.4人臉檢測與定位

17、方法近年來,人臉和面部表情識別已經(jīng)吸引了更多科研人員的注意。任何人臉處理系統(tǒng)的第一步都是檢測人臉在圖像中的位置。但是,從一幅圖像中檢測人臉是一項極具挑戰(zhàn)性的任務,因為其尺度、位置、方向和位姿都是變化的,面部表情、遮擋和光照條件也是變化的。人臉檢測（FaceDetection）是指在輸入圖像中確定所有人臉（如果存在）的位置、大小和位姿的過程。人臉檢測作為人臉信息處理中的一項關鍵技術,近年來已成為模式識別與計算機視覺領域內(nèi)一項受到普遍重視,研究十分活躍的課題。人臉識別或辨認、人臉定位以及人臉追蹤等都與人臉檢測密切相關。人臉定位的目的是確定圖像中人臉的位置。假設一幅圖像中只存在一張臉,則面部特征檢測

18、的目的是檢測特征的存在和位置,如眼睛、鼻子（鼻孔）、眉毛、嘴（嘴唇）、耳朵等。人臉識別或辨認是將輸入圖像與數(shù)據(jù)庫中的圖像比對,如果存在,報告匹配結果。人臉識別的目的是檢驗輸入圖像中的個體的身份,而人臉追蹤方法是實時地、連續(xù)地估計在圖像序列中的人臉的位置和可能的方向。而面部表情識別涉及識別人類的情感狀態(tài)（高興、悲傷、厭惡，驚恐等）。很明顯,在任何解決上述問題的自動識別系統(tǒng)中,人臉檢測是第一步。在第一章中我們給出了人臉檢測兩種基本方法，這只是粗略的分類方法，在這里我們把從一幅圖像中檢測人臉的方法可以分為以下四種3:（1）基于知識的方法（Knowledge-basedMethods）：它將典型的人臉

19、形成規(guī)則庫對人臉進行編碼。通常,通過面部特征之間的關系進行人臉定位。（2）特征不變方法（FeatureInvariantApproaches）：該算法的目的是在姿態(tài)、視角或光照條件改變的情況下找到存在的結構特征,然后使用這些特征確定人臉。（3）模板匹配方法（TemplateMatchingMethods）：存儲幾種標準的人臉模式用來分別描述整個人臉和面部特征;計算輸入圖像和存儲的模式間的相互關系并用于檢測。（4）基于外觀的方法（Appearance-basedMethods）：與模板匹配方法相反從訓練圖像集中進行學習從而獲得模型（或模板）,并將這些模型用于檢測。2.4.1基于知識的方法基于知識

20、的方法實質(zhì)是基于規(guī)則的人臉檢測方法,而這種規(guī)則來源于研究者關于人臉的先驗知識。一般比較容易提出簡單的規(guī)則來描述人臉特征和它們的相互關系,如在一幅圖像中出現(xiàn)的人臉,通常具有互相對稱的兩只眼睛、一個鼻子和一張嘴。特征之間的相互關系可以通過它們的相對距離和位置來描述。在輸入圖像中首先提取面部特征,確定基于規(guī)則的人臉候選區(qū)域。這種方法存在的問題是很難將人類知識轉(zhuǎn)換為明確定義的規(guī)則。如果規(guī)則是嚴格的,由于輸入圖像很可能不能通過所有的規(guī)則檢測而導致失?。幌喾?，如果規(guī)則太簡單，可能會有較高的錯誤接收率，輸入許多錯誤圖像。此外,很難將這種方法擴展到在不同的情況下檢測人臉,因為列舉所有的情況是一項很困難的工作。

21、許多表情識別方面的專家通過研究，提出了一些克服這些缺點的方法。Yang和Huang使用分層的基于知識的人臉檢測方法曰他們的系統(tǒng)由三級規(guī)則組成。在最高級，通過掃描輸入圖像的窗口和應用每個位置的規(guī)則集找到所有可能的人臉候選區(qū)。較高級的規(guī)則通常描述人臉看起來像什么，而較低級的規(guī)則依賴于面部特征的細節(jié)。多分辨率的分層圖像通過平均和二次采樣生成，如圖2.1所示。編碼規(guī)則通常在較低的分辨率下確定人臉的候選區(qū)，包括人臉的中心部分（圖2.2中較淺的陰影部分），其中有四個基本上相同的灰度單元。、心A_Fti嗎豐1Hit営*1勺圖2.1分層圖像Fig.2.1Layeringpicture圖2.2人臉侯選區(qū)Fig2

22、.1FaceDistrict在人臉的上層周圍部分具有相同的灰度。人臉的中心部分和上層周圍的灰度不同。最低分辨率的（Leverl）圖像用于搜索人臉的候選區(qū)并在后面較精細的分辨率下作進一步處理。在Lever2完成人臉候選區(qū)的局部直方圖均衡化，并進行邊緣檢測，以縮小后選區(qū)。繼續(xù)存在的候選區(qū)在Lever3用其他的人臉特征,如眼睛、嘴等對應的規(guī)則進行檢查。這種方法的特點是用從粗到細的策略來減少所需要的計算，雖然它沒有很高的檢測率，但采用多分辨率分層的思想和指導搜索的規(guī)則已經(jīng)用到后面的人臉北京林業(yè)大學本科論文(設計)北京林業(yè)大學本科論文(設計) 檢測工作中5。Kotropoulos和Pitas5提出了一種

23、基于規(guī)則的定位方法。用投影方法確定面部特征,I(x,y)是mxn圖像中(x,y)位置的灰度值，圖像的水平和垂直投影定義為HI(x)=XI(x,y)和VI(y)=XI(x,y)。通y-1y=i過對投影曲線的分析可知。整個曲線看起來會有兩個較大的凹槽和凸起，人臉的眼睛和嘴的位置正好對應曲線的這兩個谷值區(qū)域，即在這條曲線上找到一個具有最大剃度值的點和一個具有最小剃度值的點，由此可以粗略的檢測出眼睛和嘴的位置。2.4.2基于特征的方法基于特征的方法不僅可以從已有的面部特征而且可以利用面部特征點的幾何關系進行人臉檢測。這種方法是尋找人臉的不變特征用于人臉檢測，這與基于知識的方法正好相反。人們已經(jīng)提出了許

24、多先檢測人臉面部特征,后推斷人臉是否存在的方法。面部特征,如眉毛、眼睛、鼻子、嘴和發(fā)際,一般利用邊緣檢測器提取,根據(jù)提取的特征,通過與統(tǒng)計模型比較來確定人臉是否存在。基于特征的算法存在的問題是,由于光照、噪聲和遮擋等使圖像特征被嚴重地破壞,人臉的特征邊界被弱化,陰影可能引起很強的邊緣,而這些邊緣可能使得算法難以使用。Sirohey提出了從復雜的背景中分割人臉進行人臉識別的定位方法6。它使用邊緣圖和啟發(fā)式算法來去除和組織邊緣,而只保存一個邊緣輪廓,然后用一個橢圓擬合頭部區(qū)域和背景間的邊界。Graf等人提出定位灰度圖像的面部特征和人臉的檢測方法7。在濾波以后,用形態(tài)學的方法增強具有高亮度、含有某些

25、形狀(如眼睛)的區(qū)域。Leung等人提出一種基于局部特征檢測器和任意圖匹配的概率方法,在復雜場景中定位人臉8。其目標是找到確定的面部特征的排列。典型的人臉用五個特征(兩只眼睛、兩個鼻孔和鼻子與嘴唇的連接處)來描述。Yow和Cipolla提出了一種基于特征的方法910。在第一階段，應用了二階微分Gaussian濾波器，在濾波器響應的局部最大點檢測感興趣的點,指出人臉特征可能的位置;第二階段,檢查感興趣點周圍的邊緣并將它們組成區(qū)域。這種方法的優(yōu)點是可以在不同的方向和位姿上檢測人臉11。Han等人提出了一種基于形態(tài)學的技術進行眼部分割進而實現(xiàn)人臉檢測的方法12。他們認為眼睛和眼眉是人臉最突出和穩(wěn)定的

26、特征,特別適合人臉檢測。彭進業(yè)等人提出了一種在圖像的反對稱雙正交小波分解數(shù)據(jù)域中,實現(xiàn)多尺度對稱變換的方法,并將它應用于臉部圖像中主要特征點的定位13。王延江等人提出了一種快速的彩色圖像中復雜背景下人臉檢測方法14。其方法首先計算對彩色圖像中與人的膚色相似的像素進行聚類和區(qū)域分割,然后利用小波分解對每一個候選區(qū)域進行人臉特征分析,如所檢測到的區(qū)域特征分布與某一預先定義的人臉模型相似,則確認該區(qū)域代表人臉。皮膚顏色通常不能獨自進行人臉檢測和追蹤。近年來,人們已經(jīng)提出幾種使用形狀分析、顏色分割和運動信息結合的模塊化系統(tǒng)在圖像序列中用于定位和追蹤頭部和人臉的方法。2.4.3模板匹配方法Sakai等人

27、使用眼睛、鼻子、嘴和人臉輪廓等子模板建模，檢測照片中的正面人臉1習。每一個子模板按照線分割定義。基于最大梯度變化提取輸入圖像的線,然后與子模板匹配。計算子圖像和輪廓模板之間的相互關系去檢測人臉的候選區(qū)域，完成用其他子模板在候選區(qū)域的匹配。Craw等人提出了一種基于正面人臉的形狀模板(也就是人臉的外形)定位方法a】。用Sobe1濾波器提取邊緣，將邊緣組織在一起，根據(jù)幾個約束條件去搜索人臉模板。在頭輪廓定位以后，用相同的過程以不同的尺度重復定位眼睛、眼眉和嘴唇等特征。Miao等人提出了用于人臉檢測的層次模板匹配方法17。在第一階段，為了處理旋轉(zhuǎn)圖像，輸入圖像從-2020旋轉(zhuǎn)，每次旋轉(zhuǎn)5。多分辨率圖

28、像層次形成和邊緣提取使用Lap1a2cian操作符。人臉模板通過六個人臉成分產(chǎn)生的邊緣組成:兩個眼眉、兩只眼睛、一個鼻子和一張嘴。最后，應用啟發(fā)式確定人臉的存在。實驗結果表明在圖像含有單個人臉要比圖像中含有多個人臉的結果好。2.4.4基于外觀的方法模板匹配中的模板是由專家預定義的，與模板匹配中的方法不同，基于外觀方法中的模板是從圖像中的樣本學習的。通常，基于外觀的方法依靠統(tǒng)計分析和機器學習技術找到相應的人臉和非人臉圖像的特征。學習的特征由分布模型或判別函數(shù)形成，用于人臉檢測，同時，由于計算效率和檢測有效性的原因通常需要降維。這種方法中最常用的是用貝也斯(Bayesian)分類器或最大自然函數(shù)將

29、一個候選圖像位置分類為人臉或非人臉；另外，隱藏Markov模型(HiddenMarkovModel,HMM)和支持向量機(SupportVectorMachines,SVMs)方法也比較常用。在這里我們就不做介紹了。2.5臉部特征定位方法分類近年來，國內(nèi)外學者們已提出了許多種臉部特征定位方法。根據(jù)定位所依據(jù)的基本信息的類型，以將現(xiàn)有方法分為基于先驗規(guī)則、基于幾何形狀信息、基于色彩信息、基于外觀信息和基于關聯(lián)信息等5類：(1)基于先驗規(guī)則根據(jù)臉部特征的一般特點總結出一些經(jīng)驗規(guī)則，搜索前，先對輸人圖像作變換使目標特征得到強化，而后根據(jù)上述規(guī)則從圖中篩選出候選點或區(qū)域。(2)基于幾何形狀信息北京林業(yè)

30、大學本科論文（設計）北京林業(yè)大學本科論文（設計） 根據(jù)臉部特征的形狀特點構造一個帶可變參數(shù)的幾何模型，并設定一個評價函數(shù)量度被檢測區(qū)域與模型的匹配度。搜索時不斷調(diào)整參數(shù)使評價函數(shù)最小化，從而使模型收斂于待定位的臉部特征。（3）基于色彩信息使用統(tǒng)計方法建立起臉部特征的色彩模型，搜索時遍歷候選區(qū)域，根據(jù)被測點的色彩與模型的匹配度篩選出候選點。（4）基于外觀信息將臉部特征附近一定區(qū)域（窗口）內(nèi)的子圖像作為一個整體，映射為高維空間中的一個點，這樣，同類臉部特征就可以用高維空間中的點集來描述，并可以使用統(tǒng)計方法得到其分布模型。在搜索中，通過計算待測區(qū)域與模型的匹配度即可判定其是否包含目標臉部特征。（5）

31、基于關聯(lián)信息在局部信息的基礎上，引人臉部特征之間的相對位置信息，以縮小候選點范圍，從運算量、準確率與魯棒性（包括圖像質(zhì)量需求和姿態(tài)表情光照等影響）3個方面對各類方法的性能作了粗略的比較。2.5.1先驗規(guī)則先驗規(guī)則是關于臉部特征一般特點的經(jīng)驗描述，人臉圖像有一些明顯的基本特征，如臉部區(qū)域通常包括雙眼、鼻和嘴等臉部特征，其亮度一般低于周邊區(qū)域;雙眼大致對稱，鼻、嘴分布在對稱軸上等。為了利用這些基本特征進行臉部特征定位，一般要先對輸人圖像作變換，使所要使用的特征得到強化，而后根據(jù)規(guī)則從圖中篩選出候選點或區(qū)域.此類方法的難點在于，如何將人們的直觀印象精確地表述為可應用的代碼化規(guī)則，以及如何處理規(guī)則的精

32、確性與適用性之間的矛盾。（1）鑲嵌圖鑲嵌圖18方法是先將圖像劃分成一組相同大小的方格，每個方格中像素灰度的平均值作為這個方格的灰度值，根據(jù)一組規(guī)則確定可能為人臉的區(qū)域;確定人臉的區(qū)域之后再將方格的邊長減半，重新構建新的鑲嵌圖，并根據(jù)一組規(guī)則分別定位出眼、鼻、嘴等臉部特征;最后，將前兩步所得到的臉部區(qū)域二值化，并使用邊緣檢測裝置最終確定臉部特征的位置，為了實現(xiàn)尺寸無關性，對所有可能的方格尺寸都作了測試，因此算法的運算量很大，準確率也不高但是這種由粗到精的搜索策略對后來的研究有很大的影響。使用長寬比可變的矩形單元代替方格田，以便更好地擬合人臉。為了設定矩形單元的長寬比，利用灰度值在X和y方向上的投

33、影確定眼、鼻、嘴和臉頰邊界的位置，從而確定出臉部的大致范圍，據(jù)此設定矩形單元的長寬比.這樣縮小了搜索的范圍，也避免了循環(huán)測試，不但使運算量大幅減少，也使準確率大大提高（在M2VTS數(shù)據(jù)庫19上，對眼、鼻、嘴等的定位準確率均在94.6%以上），但是他們的算法無法處理復雜背景或多人的情況，對目標對象姿態(tài)的變化較敏感。（2）幾何投影幾何投影是臉部特征領域中最經(jīng)典的算法，它利用臉部特征灰度值比皮膚灰度值低的特點，先統(tǒng)計出X或Y方向上的灰度值，畫出灰度值曲線，找出曲線中特定的變化點，然后通過先驗規(guī)則與變化點比較，即可得到臉部特征的位置.Kanade等首先將這一方法應用于人臉識別20，Brunelli等在

34、投影中使用X,Y兩個方向上的梯度信息，以取代原始灰度值，從而減小了對光照條件的敏感度，增加了識別的準確性。Feng和Yuen等提出使用VPF（VarianceProjectionFunction方差投影函數(shù)）函數(shù)來定位21臉部特征，該函數(shù)的作用是計算指定方向上的所有像素的灰度值方差，與簡單求和相比，它對復雜背景的適應力較強他們在人眼上定義了6個特征點，分別對應于VPF函數(shù)值在X,Y方向上的特定突變點，同時假定瞳孔為圓形，上下眼眶為拋物線搜索時，先依據(jù)人體測量標準在人臉區(qū)域上劃出搜索范圍，然后根據(jù)其中VPF函數(shù)值的變化情況求出特征點位置，最后根據(jù)眼形假設擬合出瞳孔形狀和眼眶線與可變形模板法相比，

35、該方法計算量較小，對初始搜索位置要求不高，但在眼睛狀態(tài)變化的情況下容易失效。姜軍等提出以或運算代替求和運算的廣義投影運算，他們先將圖像二值化，而后在一定高度范圍內(nèi)作水平方向投影得到一系列短線，最后根據(jù)先驗規(guī)則對短線兩兩配對，從而篩選出最終結果該算法能應對多人的情況，運行速度很快，但錯誤接受率較高。幾何投影法計算量較低，但在大的姿態(tài)變化或復雜背景下容易失效。（3）二值化定位LimingZhang等先用直方圖問值法將圖像二值化，然后根據(jù)其中黑色區(qū)域的面積、形狀和相對位置等幾何特征確定出瞳孔的位置，最后通過邊緣追蹤依次找到上眼眶、眼角和下眼眶22。范宏深等提出了一種與其類似的方法23，即將圖像二值化

36、后，計算出黑色區(qū)域的有效面積、質(zhì)心、外接矩形、圓性質(zhì)和添實度（即黑斑的有效面積與黑斑外接矩形面積之比）等幾何特征，然后依據(jù)經(jīng)驗標準篩去一部分黑色區(qū)域，并將余下的黑色區(qū)域作配對篩選，從而得到雙眼位置。此類方法運算量很小，但易受光照條件和圖像質(zhì)量的影響，在追蹤邊界時容易發(fā)生斷線問題，穩(wěn)定性無法保證。（4）廣義對稱對稱性是識別物體可利用的基本性質(zhì)之一，它包括點對稱性（也叫中心對稱性）和軸對稱性絕大多數(shù)自然物體或人造物體都存在著這兩種對稱性，對于人臉圖像來說，人眼、眉毛、嘴等都具有很強的點對稱性，所以對稱性被大量用于表情識別。2.5.2基于幾何形狀信息幾何形狀信息，即目標對象的幾何形狀特征，易于理解和

37、應用，并且具有很好的直觀性。因而很早就在模式識別領域得到廣泛的使用?；趲缀涡螤钚畔㈩惙椒ǖ囊话闼悸肥?根據(jù)臉部特征的形狀特點構造一個帶可變參數(shù)的幾何模型，并設定一個相應的評價函數(shù)以度量被檢測區(qū)域與模型的匹配度，搜索時，不斷調(diào)整參數(shù)使能量函數(shù)最小化，使模型逐漸收斂于待定位的臉部特征?；谏市畔⑸市畔㈩惙椒ǖ幕舅枷胧怯媒y(tǒng)計方法對目標對象的色彩建模，在搜索中根據(jù)被測點的色彩與模型匹配的程度，篩選出待測特征的可能位置.色彩信息在人臉檢測中有廣泛的應用，而在臉部特征定位方面的應用則相對較少，這是因為膚色在色彩空間中具有聚合性，而臉部特征的色彩信息較為復雜，如眼與嘴，以及眼睛的瞳孔與眼白的色彩有顯

38、著區(qū)別，這給統(tǒng)一建模造成了一定的難度。一種簡單的解決辦法是直接利用臉部特征與皮膚在色彩上的差異如在已找到的皮膚區(qū)域上搜索“空洞”，并根據(jù)空洞的面積、相對位置等判斷其是否為臉部特征。這種方法避開了對臉部特征色彩信息的直接建模，直接利用了基于色彩信息的人臉檢測的搜索結果，速度快，但精度不高?；谕庥^信息與幾何信息類方法和色彩信息類方法不同的是，外觀（Appearance）信息類方法不再面向像素級判斷，而是將一定區(qū)域（窗口）內(nèi)的圖像整體視作一個隨機變量，并映射為高維空間中的一個點，這樣，同一類型的臉部特征就可以描述為高維空間中的一個點集，可以用統(tǒng)計方法對其分布規(guī)律建模，在搜索中，通過計算待測區(qū)域與模

39、型的匹配度即可判定其是否包含目標臉部特征.這類方法對圖像質(zhì)量、環(huán)境條件和目標對象狀態(tài)等方面的變化有較好的適應能力，近年來引起研究者們的廣泛關注。色彩信息類方法對光照條件和圖像采集設備的特性較為敏感，易受環(huán)境因素的干擾，精度難以穩(wěn)定，但其優(yōu)勢在于系統(tǒng)的運行速度快，受姿態(tài)、尺寸表情等變化的影響小，適合于粗定位或一些對運行時間有較高要求的應用?；陉P聯(lián)信息上述方法大多從局部著眼，試圖依據(jù)像素本身（色彩信息類方法）或鄰近像素之間的相互關系（幾何、外觀類方法）來做出判斷，但局部信息的區(qū)分度有限，在不受限制的條件下往往存在著大量的相似點，這就增大了后期處理的難度。為了解決這個問題，研究者們引人了關聯(lián)信息，

40、試圖利用臉部特征之間存在著的較穩(wěn)定的相對位置關系來縮小候選點范圍與前面提到的先驗知識不同的是，這些方法所使用的關聯(lián)信息都是通過統(tǒng)計學習得到的。表2.2算法分類臉部特征的定位與匹配度計算可以同步完成，而且還可以利用相似人臉的經(jīng)驗信息來確定搜索的初始位置。這可以說是目前臉部特征定位研究的一個重要趨勢。隨著使用信息類型的增多，定位的準確率隨之提高，對眼睛狀態(tài)、目標對象姿態(tài)上的變化有一定的適應能力，但同時也增大了算法的運皆冃算量。上文只是對人臉特征定位方法作了簡單的介紹，在下表中給出了這幾種方法的算法分類。對于表中的算法除了先驗規(guī)則的之外，我們不做介紹。在本文中采用的特征定位方法是先驗規(guī)則中的幾何投影

41、。在表2.2中總結了臉部特征定位方法。2.6表情識別方法分類關于人臉表情特征提取與識別的方法可概述如下:2.6.1基于幾何特征的識別方法人臉由眼睛、鼻子、嘴巴、下巴等部件構成,正因為這些部件的形狀、大小和相對位置的各種變化才使得人臉表情千差萬別,因此對這些部件的形狀和結構關系等特征的變化,可以作為人臉表情識別的重要特征。最早,研究人員利用人臉特征的顯著點導出一組用于識別的特征進行人臉24及其表情識別。采用幾何特征進行正面人臉表情識別一般通過提取眼、口、鼻等重要特征點的位置和眼睛等重要器官的幾何形狀作為識別特征。Lanitis用臉部一系列的特征點組成可變形的模型，通過測量特征點的相互位置和形狀來

42、識別人臉表情（如圖2.3所示）。左圖為訓練圖像中定位特征點,右圖說明變形模板上關鍵的14個點。圖2.3特征點Fig.2.3Thecharacteristicorder其基本思想是:對每一種表情（高興、悲傷、驚奇、恐懼、厭惡、憤怒和平靜共七種）在選出來的訓練圖像中建立全局參數(shù)的分布，以便對一幅新的人臉圖像計算其全局參數(shù)，以此來識別人臉表情。他們在實驗中具體的運用了可變形模型，通過計算特征點的相互位置和形狀來識別表情，達到74%的識別率?；趲缀翁卣鞯姆椒ê艽蟪潭壬蠝p少了輸入的數(shù)據(jù)，但是用有限的特征點來代表人臉圖像，一些重要的表情識別和分類信息就會丟失。實驗研究表明幾何特征提取的精確性結果不容樂觀

43、。現(xiàn)在對于人臉圖像處理技術，基于整體的正面灰度信息的方法越來越引起重視。2.6.2基于整體的識別方法與基于幾何特征的識別方法相比，基于整體的識別方法主要強調(diào)盡可能多的保留原始人臉表情圖像中的信息，并允許分類器發(fā)現(xiàn)表情圖像中相關的特征，通過對整幅人臉表情圖像進行變換，獲取特征來進行識別。這種全局表情特征未必有明確的含義，但在某種意義上是易于分類的。由于基于全局的人臉表情識別方法具有強相關性及高冗余度，因此如何在抽取優(yōu)化特征的同時提高識別的自適應性，至今還沒有一個行之有效的方法?；谡w的識別方法中最有代表性，應用最廣泛的就是主元分析（PCA）方法。主元分析就是要找到一個正交的維數(shù)空間來說明數(shù)據(jù)中

44、變化的主要方向。而坐標軸就成了稱之為Holo2ns【26和EigenfacesN啲近似人臉的模板圖像軸。它是最小方差準則條件下基于圖片的最優(yōu)描述方法,將輸入空間的維數(shù)從板中的象素數(shù)減少到特征臉的數(shù)目。如圖2.4所示:Ekman和Friese得到的基于形狀無關的人臉表情圖像的特征臉27。主元分析現(xiàn)在已成功的用于人臉表情識別和人臉識別。圖2.4特征臉Fig.2.4Characteristicface另一種基于整體的識別方法是運用神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡模型由簡單的、并行處理的互連處理單元構成,每個神經(jīng)元與其它神經(jīng)元相連并從與其相連的神經(jīng)元接受輸入,輸入加權后輸出送給其它的神經(jīng)元,各神經(jīng)元之間的連接強度通

45、過連接權值來描述。2.6.3基于模版的識別方法基于模板的方法又可以分為特征臉方法、基于相關匹配的方法、線性判別分析方法、奇異值分解方法、神經(jīng)網(wǎng)絡方法、動態(tài)連接匹配方法等。其中最具有代表性，也是最成功的是特征臉方法。（1）特征臉方法Turk在1991年提出特征臉的方法，它根據(jù)一組人臉訓練圖像構造主元子空間，由于主元具有臉的形狀，也稱為特征臉。識別時將測試圖像投影到主元子空間上，得到一組投影系數(shù)，和各個已知的人臉圖像比較進行識別該算法取得了較好的效果，但系統(tǒng)在進行特征臉方法之前需要作大量預處理工作如歸一化等。（2）神經(jīng)網(wǎng)絡方法神經(jīng)網(wǎng)絡在人臉識別應用中有很長的歷史。早期用于人臉識別的神經(jīng)網(wǎng)絡主要是K

46、ohenon自聯(lián)想映射神經(jīng)網(wǎng)絡，用于人臉的回憶仏所謂回憶I是指當圖像上的人臉受噪聲污染嚴重或部分缺損時,能用Kohenon網(wǎng)絡恢復出原來完整的臉。2.6.4基于模型的識別方法現(xiàn)在很多人臉表情識別系統(tǒng)是基于人臉物理模型的方法。它是將人臉圖像建模為可變形的3D網(wǎng)格表面，將人臉表情識別問題轉(zhuǎn)化成為可變形曲面的彈性匹配問題，把空間和灰度放在一個3D空間中北京林業(yè)大學本科論文(設計)北京林業(yè)大學本科論文(設計) # 同時考慮。Essa和Pentland28在Terzopoulos和Watwes27啲基礎上構建了一個基于解剖學的人臉模型并且把它用于識別人臉表情(如圖2.5所示)。圖2.5人臉模型Fig.2

47、.5Facemodel2.6.5其他方法由于小波理論已逐漸成為一種成熟的技術,用小波方法進行圖像識別的技術也已日趨成熟。日本九州大學刖提出用Gabor小波進行面部表情信息的壓縮編碼，但在圖像序列中只考慮特征點位移紋理信息,并未運用顏色信息。美國CMU30運用隱馬爾可夫模型(HMM)分析人臉表情的細微變化，自動區(qū)別各種基于FACS表情活動單元(AU)的細微面部表情。為實現(xiàn)自動識別運用了三種提取面部表情信息的方法:特征點跟蹤、流跟蹤和邊緣檢測。Peng和Hayes31研究了人臉表情的建模與合成，用基于模型圖像編碼的方法使用遺傳算法來編碼、識別與合成各種不同的表情。2.7本章小結本章介紹了面部表情的

48、分類，重點研究了人臉檢測方法、人臉特征定位方法以及表情識別方法。為下一章人臉表情識別系統(tǒng)的設計奠定了基礎。北京林業(yè)大學本科論文（設計）北京林業(yè)大學本科論文（設計） 人臉表情識別系統(tǒng)的設計3.1引言人臉表情識別包括三方面的內(nèi)容：人臉檢測（定位），人臉表情特征提取，表情識別，人其具體方法在第二章已經(jīng)做了詳細說明。本章的研究重點是利用表情識別的方法開發(fā)一個基于VB6.0的人臉表情識別系統(tǒng)。為了評價一個人臉表情識別系統(tǒng)，需要有一定的測試標準。一個完整的人臉表情識別系統(tǒng)的測試標準應該有一個大容量的人臉表情數(shù)據(jù)庫（表3.1中提供了大量表情庫）。但是人臉表情庫很難在線獲得，這里要感謝陳鋒軍老師提供的CKAC

49、FEID人臉表情庫。這個庫里面包括了18到50歲共210位成年人（69為女性，31為男性）的臉部表情序列圖像。其中81的白種人，13的非洲人和6其它種族的人。在本章中人臉表情識別系統(tǒng)的設計和評價都是利用了這個人臉表情庫。表3.1常用人臉表情庫Fig3.1Commonfacedata人臉表情庫鏈接特點CKACFEID人臉庫M2VTS人臉庫MTT人臉庫ORI人臉庫Yale人臉庫FERET人臉庫UMIST人臉庫Harvard人臉庫PurdueAR人臉庫Kodsk人臉庫CMUPIE圖象庫Bern大學人臉庫 HYPERLINK http:/poseidon.csd.auth.gr/M2VTS/index

50、.html/pub/images http:/poseidon.csd.auth.gr/M2VTS/index.html/pub/images HYPERLINK HYPERLINK HYPERLINK /humanid/feret /humanid/feret HYPERLINK http:/image.ee.umist.ac.uk/danny/databased.htmlhttp:/ftp,/pub/faces http:/image.ee.umist.ac.uk/danny/databased.htmlhttp:/ftp,/pub/faces HYPERLINK /aleix/aleix

51、_face_DB.html /aleix/aleix_face_DB.htmlEastmanKodakCorporation HYPERLINK /projects/project_418.htmlftp:/iamftp.unibe.ch/pub/Images/FaceIages/ /projects/project_418.htmlftp:/iamftp.unibe.ch/pub/Images/FaceIages/8到50歲共210位成年人包含圖像序列16人，每人27幅，有光照、尺度和頭部偏轉(zhuǎn)變化40人，每人10幅有表情、光照變化及眼鏡大量的男女臉像，有表情變化20人564幅圖像，包含從正面

52、到側(cè)面的各個角度各種光照條件下，臉像經(jīng)裁剪和掩蓋3276張臉像，有表情、光照變化和遮擋彩色圖像，有尺寸、姿態(tài)和光照變化每人13種姿態(tài)、43種光照條件和4種表情30人，每人10伏正面像和5幅側(cè)面像3.2預處理人臉表情圖像的預處理在人臉圖像的識別過程中占有舉足輕重的位置，它為表情特征的提取和識別奠定了基礎。根據(jù)算法的要求，本文中預處理包括歸一化、灰度化和二值化。3.2.1歸一化由于在每幅人臉圖像的大小不同，因此可能導致眼睛、鼻子、口等的位置發(fā)生誤差，因而會導致識別結果發(fā)生錯誤，所以在對人臉表情特征提取和分類之前一般需要做幾何歸一化和灰度歸一化幾何歸一化是指根據(jù)人臉定位結果將圖像中人臉變換到同一位置

53、和同樣大小；灰度歸一化是指對圖像進行光照補償?shù)忍幚?光照補償能夠一定程度地克服光照變化的影響而提高識別率，如果不進行歸一化在下一步中會遇到很多困難。幾何歸一化的算法我們將在3.4節(jié)中討論。3.2.2灰度化灰度圖（Grayscale）是指只含亮度信息，不含色彩信息的圖像?；叶然幚硎前押辛炼群蜕实牟噬珗D像變換成灰度圖像的過程?；叶然幚碓谠S多圖像處理中是很重要的一步，他的結果就是后續(xù)處理的基礎。所以，尋求一種正確有效的灰度化處理方法尤其重要。位圖圖像一般分為單色圖像、灰度圖像和彩色圖像。單色圖像只有黑色和白色兩種顏色,整個圖像由單純的黑色點和白色點組成，就是我們下面要介紹的二值圖像。彩色圖像

54、的像素點是由R（紅色）、G（綠色）、B（藍色）三元色混合而成的，不同含量的R、G、B組成不同的顏色，每一個記錄單個像素的位數(shù)據(jù)單元可表示任意一種顏色。根據(jù)這個記錄單個像素信息的位數(shù)據(jù)單元所占位數(shù)大小,可分為8位、16位、24位和32位等幾種位圖。8位位圖是指圖像一個像素點的顏色信息用8個位（一個字節(jié)）來表示；同樣,16位位圖用16個位（二個字節(jié)）來表示，其中R、G、B分別占5位，另外1位他用;24位位圖用24個位（三個字節(jié)）來表示，其中R占8位、G占8位、B占8位。得到灰度圖象圖3.1灰度化流程圖Fig3.1Theashdegreeturnsflowchart灰度圖像與單色圖像的區(qū)別是加上顏色

55、深度的概念，單純的看，灰度圖也是黑白的，就像黑白電視顯示的圖像一樣,但是點與點之間黑的程度是不一樣的,這就是深度。如果稱不同深度的顏色為一色的話,灰度圖像就不止只有黑色和白色兩種顏色,一般使用的灰度圖為256級灰度圖,就是說圖像由256種不同灰度級的顏色組成32一般的對于256色的位圖圖像，它的每個像素占8位，正好是一個字節(jié)。它的像素值存儲的并不是像素的顏色，而是一個圖像顏色表中的索引，在顏色表中則存儲了256種顏色值。在彩色圖像中，圖像的像素值存儲的就是像素的顏色。一般的對于256色的位圖圖像，它的每個像素占8位，正好是一個字節(jié)。它的像素值存儲的并不是像素的顏色，而是一個圖像顏色表中的索引，

56、在顏色表中則存儲了256種顏色值。通過以上的分析，可很容易地得到圖像的灰度化及灰度特征的提取算法,灰度化流程見圖3.1。3.2.3二值化（1）灰度圖像：灰度圖像矩陣元素的取值范圍通常為0,255。因此其數(shù)據(jù)類型一般為8位無符號整數(shù)的（int8）,這就是人們經(jīng)常提到的256灰度圖像。0”表示純黑色，255”表示純白色，中間的數(shù)字從小到大表示由黑到白的過渡色。在某些軟件中，灰度圖像也可以用雙精度數(shù)據(jù)類型（double）表示，像素的值域為0，1，0代表黑色，1代表白色，0到1之間的小數(shù)表示不同的灰度等級。二值圖像可以看成是灰度圖像的一個特例。（2）二值圖像：一幅二值圖像的二維矩陣僅由0、1兩個值構成

57、，0”代表黑色，1”代白色。由于每一像素（矩陣中每一元素）取值僅有0、1兩種可能，所以計算機中二值圖像的數(shù)據(jù)類型通常為1個二進制位。二值化的通常用的方法如下：選擇某個閾值T，將原始圖像變換為二值圖像：當f（x,y）=T時，f（i,j）=l；當f（x,y）T時，f（i,j）=0.圖像閾值化這個看似簡單的問題，在過去的四十年里受到國內(nèi)外學者的廣泛關注，產(chǎn)生了數(shù)以百計的閾值選取方法，但是遺憾的是，如同其他圖像分割算法一樣，沒有一個現(xiàn)有方法對各種各樣的圖像都能得到令人滿意的結果，甚至也沒有一個理論指導我們選擇特定方法處理特定圖像。在這里給出了幾種常用的閾值確定方法：基于點的全局閾值方法；基于區(qū)域的全局

58、閾值方法；局部閾值方法和多閾值方法；在本系統(tǒng)中采用的是第一方法，其具體用法在下節(jié)中有具體介紹。二值化過程如圖3.2。得到二值圖像圖3.2二值化流程圖Fig3.2Twovaluesturnflowchart3.3基于黑斑的特征識別方法我們之所以采用基于下半部分人臉的表情識別算法，主要是有以下三個原因：臉的下半部分特征比較穩(wěn)定，無論是彩色圖、灰度圖還是三值圖，都可以清楚的分辨出；而像眉角、額頭等臉的上半部分的特征在二值以后的質(zhì)量不是很好，因此要對臉的上半部分的特征進行提取難度很大，而且很容易產(chǎn)生誤差，導致識別結果的錯誤。四種基本表情都可以通過嘴角和下頜的特征變化表現(xiàn)和區(qū)別出來。而像額頭、眼神變化對

59、高興、驚訝、平靜、悲傷等表情的變化表現(xiàn)不出來。對于二值化以后的圖像，黑斑的特征比較明顯，嘴角附近的黑斑變化可以反映出四種表情的變化。基于上述原因，我們選擇了符合我們設計要求和目的的算法。整個的識別過程流程如圖3.3：開始輸入人臉圖像人臉圖像歸一化人臉圖像灰度化人臉圖像二值化積分投影法定位眼睛和嘴的位置嘴角是否有高梯度成分輸出：高興”輸出：驚訝N”輸入：悲傷嘴角下拉下巴收緊圖3.3程序流程圖Fig.3.3Procedureflowchart通過對大量人臉頭像的識別，發(fā)現(xiàn)人臉的下半部分的標志在二值化以后非常明顯，尤其是嘴角附近黑斑的變化可以反映出人的表情。如圖3.4的三個人的12幅人臉圖像，在“驚

60、訝”“高興”“悲傷”“平靜”時具有同樣的黑斑特征。整個過程的思路是首先識別“高興”表情，最明顯的特征是：嘴角上翹，從嘴角到鼻翼有高剃度成分；其次是“悲傷”表情，特征是：嘴巴張開，并且嘴角內(nèi)收（特別是和“高興”的表情相比較，嘴角明顯的內(nèi)收）。通過以上的黑斑就可以明顯的區(qū)分出“高興”和“驚訝”的表情。接下來是悲傷的表情，特征是：嘴角下拉，下巴收緊（反映在二值圖上就是下唇和下巴之間的黑斑）；最后是“平靜”的表情，特征是：嘴角基本沒有上下移動，下巴放松。驚訝嘴巴黑斑高興嘴角黑斑悲傷下巴黑斑平靜無特殊黑斑（a）驚訝嘴巴黑斑高興嘴角黑斑悲傷下巴黑斑平靜無特殊黑斑（b）I連q藝丨逵巨驚訝嘴巴黑斑高興嘴角黑斑