1、作者簡介：胡偉平，男，1979年5月出生，湖北省仙桃市人，講師，西南大學邏輯與智能研究中心邏輯學專業在讀博士，西南大學育才學院理工學院教師。基于人機交互的人臉老化系統(xtng)的研究與實現胡偉平1，2, 鄧輝文 3（1西南大學邏輯與智能(zh nn)研究中心，重慶400715； 2西南大學育才(yci)學院， 重慶401524； 3.西南大學計算機與信息科學學院，重慶400715）摘要：設計了一個基于人機交互的人臉老化系統，該系統包括建模和應用兩部分。建模部分將人臉數據庫進行預處理，建立歸一化的人臉數據庫和不同性別不同年齡段的人臉輪廓庫；在應用部分，輸入圖像經過預處理、輪廓變換、紋理合成之后

2、得到目標圖像。此外，系統設計有人機交互接口，不僅能融合人類智能與機器智能，實現人機協同工作，也實現了對任一年齡不同生活狀況不同體型下目標人臉的定制。實驗結果表明，該系統對于正面人像有較好的老化效果。關鍵字： 人機交互 人臉老化 圖形變換 紋理合成Research and Implementation on Human Face Aging System Based on HCIHu Weiping1,2 Deng Huiwen3(1. Institute of Logic and Intelligence, Southwest University, Chongqing 400715;2. S

3、outhwest University Yucai College, Chongqing 401524; 3. School of Computer and Information Science , Southwest University, Chongqing 400715)Abstract: A human face aging system based on HCI was designed which comprised two parts:the modeling part and the application part. In the modeling part, the im

4、ages from FG-NET aging database were pretreated and face contour database of different sexes and different ages were established. In the application part the test image was transformed to target image agter preprocessing, contour transformation and texture synthesis. HCI interfaces were added in the

5、 system to achive man-machine cooperation, and users were allowed to customize target face of different living condition, different body type and different ages through those interfaces. Experimental results show that the system can gain better aging effects for positive portraits.Key words: HCI, fa

6、ce aging, morph, texture synthesis人臉老化是人臉識別的一個(y )分支，在公安(gng n)刑偵、尋找丟失兒童、門禁系統、數字娛樂等方面有著非常廣泛的應用，但由于年齡對于人臉容貌的影響是一個機制非常復雜的生理學課題(kt)，不僅與遺傳等內在因素有關，還與生活水平、體型胖瘦等個體外在因素有關，除此之外，化妝、打扮、發型變化等都會使人對于年齡的判斷產生偏差，這讓人臉老化研究變得更加困難。目前廣泛使用的人臉老化合成技術主要是基于圖像的人臉衰老合成1-4和基于三維建模的人臉衰老合成5-7，但基于圖像的人臉衰老合成往往存在著高頻信息（比如皺紋、法令紋等）刻畫不夠，導致合

7、成的圖像逼真性不夠；而基于三維建模的人臉衰老合成則由于需要對人臉進行復雜的三維建模，成本高，數據量大，計算量非常大，欠缺實用性。本文結合圖像變形技術和小波變換技術，分別對人臉圖像的輪廓和膚色紋理特征進行變換，同時借鑒錢學森處理大型復雜系統的思路，將人機結合的思想應用于設計，開發出一個基于人機交互的人臉老化系統，實驗表明該系統具有較好的老化效果。1人臉圖像的預處理人臉圖像由于采集環境的不同，拍攝角度、光照、分辨率等往往都存在較大差異，另外，拍攝距離的不同又使得人臉在整幅圖像中的大小和位置各不相同，因此，必須對圖像進行預處理。人臉圖像的預處理包括兩個方面：一是幾何歸一化，二是灰度歸一化。幾何歸一化

8、主要用于校準因拍攝距離和人臉姿態變化造成的尺寸和角度差異，具體包括人臉尺度歸一化、人臉旋轉校正（歪頭）、人臉瞳孔對準等三個環節。對人臉旋轉校正（側臉）需要使用到人臉的3D模型，而本文使用的塞浦路斯大學的FG-NET人臉數據庫8是二維數據庫，故并未進行。FG-NET數據庫中自帶有人臉的68個特征點的數據，因此可以很方便進行幾何歸一化，經歸一化之后，得到分辨率與尺度一致、瞳孔位置相同的正面人像。而灰度歸一化則用來對不同(b tn)光強，光源方向下得到的人臉圖像進行補償，以減弱(jinru)光照(gungzho)變化對人臉圖像的影響。考慮到人在變老過程中膚色變得暗淡無光澤，在對人臉圖像進行灰度歸一化

9、過程中，采用一種年齡相關的灰度歸一化方法。根據人臉圖像的特點，鼻尖為人臉區域的最亮區，而鼻梁和人中區域為最暗區，取由兩眼內眼角、下嘴唇圍成的矩形區域為膚色取色區域，取出該區域的最大和最小灰度，得到人臉源圖像的膚色灰度范圍s0和膚色最小灰度m0。對人的年齡段進行劃分，每5歲為一個階段，目標灰度變換范圍s1和最小灰度m1隨著年齡的變老逐漸變小。建立一個源圖像與灰度圖像之間的灰度變換映射，公式如式（1）。 （1）其中g0(i,j),g1(i,j)分別是源圖像和目標圖像任一點的灰度。以上映射能將源圖像的灰度區間從m0,m0+s0變換到m1,m1+s1，同時對于超出這個范圍的灰度值，使用log函數將其快

10、速收縮到該目標區間外的很小范圍內。2人臉特征提取人臉特征提取目前主要有基于人臉幾何特征、基于人臉統計特征和基于人臉頻率域特征等三類方法。由于本系統所使用的數據庫已經標定了68個人臉特征點，所以可以在此基礎上使用基于人臉幾何特征的提取方法。FG-NET數據庫自帶的人臉特征點主要集中在人臉五官，考慮到人臉老化過程中發際線有明顯變化而且發型對于年齡有較大影響，因此已有68個特征點的基礎上，使用人工標點的方式，將特征點增加至90個，如圖1所示，圖中三角形為原始68個特征點，圓圈所示為新增的22個特征點。確定特征點之后，按年齡段和性別分組，計算算術平均值，得到不同性別不同年齡段的人臉輪廓模板。 圖1 人

11、臉特征(tzhng)點對于(duy)測試圖像，其特征點可以使用(shyng)手工標點方式來確定，也能先使用主動形狀模型9,10（Active Shape Model，ASM）來自動標注，之后再用手工來確認的方式來確定。3人臉輪廓變形圖像變形有三種常用方法：基于特征點的圖像變形、基于特征線的圖像變形以及基于塊的圖像變形，本系統采用基于特征線的圖像變形技術11來實現人臉輪廓的變化。對于給定人臉，其特征可以使用矢量來表示，其中是標定出的特征點，n是特征點的個數。估算給定人臉的年齡，并給出目標年齡，估算人臉年齡可以使用年齡函數，也能通過計算特征矢量與模板矢量的歐式距離，根據最小值來確定，這點在第5部分

12、詳細討論。取出人臉估計年齡模板和目標年齡的輪廓模板，利用公式（2）可以計算得到目標人臉的輪廓。 （2）根據和，使用前向warp技術11，即可重構出變形之后的人臉。4人臉老化特征合成人的老化大體可以分為兩個階段，從兒童到青年，主要體現在輪廓變化上，而人進入中年以后，輪廓基本不會發生改變，老化主要體現在膚色紋理的改變，比如膚色變暗、皮膚松弛下垂、產生皺紋等，為了實現人臉老化特征的合成，我們使用小波圖像分解和重構技術3。小波分解可以把圖像分成低頻部分和高頻部分，其中低頻部分體現圖像的輪廓，高頻部分體現圖像的細節，根據這一特點，我們在人臉數據庫中選擇與目標圖像輪廓最接近的樣本圖像，使用其小波分解的高頻

13、部分來替代源圖像的高頻部分，以實現衰老特征的移植。源圖像和樣本圖像進行2層小波分解如公式（3）（4）: （3） （4）其中(qzhng)分別(fnbi)表示分解之后第二層的低頻(dpn)分量，第二層的水平、垂直和對角線上的高頻分量以及第一層的水平、垂直和對角線上的高頻分量。但是，在以上過程中，由于舍棄了樣本圖像的全部低頻部分，樣本圖像的絕大部分信息也隨之丟失，為此，我們借鑒衛星遙感影像融合所采用的技術12，使用高通濾波算子來提取樣本圖像低頻部分的細節部分，再將它疊加到源圖像的低頻部分上，對以上分量進行重新組合之后按照公式（5）進行2層小波逆變換，即可重構出融合樣本圖像衰老特征的目標圖像。 （5

14、）5系統中的人機交互計算機經過幾十年的高速發展，已經廣泛應用于生產生活中，在某些應用中，體現出相當的智能性，但深入研究發現，機器智能主要采用邏輯思維方式，在形象思維和創造性思維方面，有著先天的缺陷，對于復雜系統和復雜問題，往往力不從心。針對復雜系統的特點，我國學者錢學森提出了“以人為主，人機結合”的解決思路，并在此基礎上發展出了綜合集成研討廳體系13,14，其基本思想是以人為主導，人機協同工作，將人腦的形象思維與計算機的快速、容量大的特點充分發揮出來，各采所長，從而獲得比單純依賴人或者單純依賴計算機更好的效果，處理更為復雜的問題。在本系統設計了多處人機交互接口，使人可以參與系統的運行，實現人的

15、智能與機器智能的融合，達到1+12的效果。5.1 人機交互(jioh)解決(jiju)人臉特征提取問題人臉特征提取是一個十分復雜的問題(wnt)，雖然ASM算法可以較好地實現人臉特征的自動標注，但是它也有十分明顯的缺點：首先它過分地依賴于平均模型的初始化位置，初始位置不理想將導致局部極小；其次是用整體形狀模型約束特征點定位結果難以保證特征點總體定位的正確性；第三算法受光照影響較大，在光照差異較大的情況，容易出現算法失敗的情形。雖然有不少對ASM算法的改進，但是并不能從根本上改正ASM算法的缺點。本系統中采用人機交互的方式，先用ASM算法求出測試圖像的大致輪廓，再由人來進行確認，對于偏離較大的特

16、征點進行校正，從而保證系統后續環節的正確運行。5.2 人機交互解決人臉年齡估計問題人臉年齡估計是一個非常復雜的問題，不僅對于計算機，對于人來說也是一個十分困難的問題。比如劉德華在童夢奇緣中扮演的人物從20歲一直活到80歲，見圖2，演員沒變，但是通過化妝、發型等的變化，產生了觀眾在年齡上觀感的變化。此外，由于生活水平差異，不同的人表現出的年齡與實際年齡可能相差較大。要解決這種情況，光靠計算機難度極大，本系統中使用軟件估計人臉年齡之后，由人最后對該年齡進行修正和確認，從而較好地保證人臉年齡估計的正確性。圖2 劉德華在童夢奇緣中從20歲到80歲的造型5.3 人機交互解決目標人臉胖瘦定制問題人的一生分

17、為很多階段，每個階段生活水平可能會發生較大變化，而不同的生活水平下人的胖瘦情況會發生相應的變化，同時也會讓人的面相比實際年齡顯老或顯年輕，根據目標可能的生活環境來定制其臉型輪廓和膚色，會使模擬結果更接近真實情況，提高系統的實用性。以往的研究極少有人考慮到類似問題，本系統中設計人機交互接口，用戶能根據需要定制目標的胖瘦情況和生活水平，而系統會根據用戶的定制情況，對目標的輪廓、目標年齡段以及目標的膚色范圍等進行微調，從而產生符合用戶需求的目標圖像。6實驗過程(guchng)及結果本系統(xtng)由建模部分和應用部分組成，其中建模部分負責對FG-NET數據庫中的部分正面人像進行預處理，并求出不同性

18、別不同年齡(ninlng)段的平均輪廓，應用部分則對測試圖像進行預處理、年齡估計、輪廓變形以及紋理合成，具體結構如圖3所示。圖3 基于人機交互的人臉老化系統結構圖系統選取FG-NET數據庫中來自82個不同人的370張正面人像，各年齡段的圖像個數統計如表1。表1 系統使用的人臉數據庫的基本情況 性別0-4歲5-9歲10-14歲15-19歲20-24歲25-29歲30-34歲男204143322188女1540372814134性別35-39歲40-44歲45-49歲50-54歲55-59歲60-64歲65-69歲男5962132女6512220系統(xtng)選擇作者(zuzh)現在(xinzi

19、)的照片作為測試圖片，使用ASM算法進行特征點標定之后，手工對特征點進行修正，見圖4。將該圖像及特征點輸入系統得到從小到老的一系列圖像，如圖5。同時對每一個年齡段定制不同胖瘦情況及生活水平的圖像，見圖6。人臉的衰老合成效果無法使用量化的方式進行評價，只能通過主觀感受來評價，在圖5中可以看出，通過輪廓變化，測試圖像很容易變換出年齡較小的情況，而中年至老年時，輪廓變化不明顯，但通過膚色、紋理、發型等的變化，可以讓人臉呈現出明顯的老化效果。圖6顯示對于合成的同一年齡的人臉圖像，微調其輪廓，可以呈現出不同生活狀況和胖瘦情況下的目標人像，可以大大擴展系統的應用范圍。圖4 測試圖像及特征點圖4 測試圖像從

20、小到老的變化圖5 同一年齡不同胖瘦狀況下的變化7結束語本文提出了一個基于人機交互的人臉老化系統的框架，并加以實現。系統采用了與年齡相關的灰度歸一化方法，使人臉膚色更貼近年齡；利用圖形變形技術(jsh)改變目標輪廓，使目標圖像的臉型隨年齡變化而變化；利用小波分解和重構技術，實現衰老特征的合成；同時借鑒處理復雜系統的人機結合的思想，加入人機交互接口，實現人的智能與機器智能的協同工作，也達成了定制不同生活狀況不同體型胖瘦情況目標(mbio)人臉的目標。實驗結果表明，本系統可以合成出給定圖像的不同生活狀況不同體型下任一年齡段的目標圖像，具有較大的實用價值。但由于本系統使用的FG-NET數據庫中樣本人臉

21、為西方人臉，系統對于東方人臉的模擬效果未達到預期，且該數據庫中老年圖像數量明顯不足，導致在皺紋等衰老特征方面的刻畫不足，影響了系統老化效果，這是本系統在未來進一步改進的方向。參考文獻1 Rowland D A, Perrett D I. Manipulating facial appearance through shape and colorJ. IEEE Computer Graphics and Applications, 1995,15(5):70-76.2 Lanitis A, Taylor C J, Cootes T F. Toward automatic simulation o

22、f aging effects on face imagesJ. IEEE Trans. Pattern Analysis and Machine Intelligence,2002,24(4):442-455.3 王進. 基于視頻(shpn)的人臉表情建模研究D. 杭州:浙江大學,2003.4 劉劍毅, 鄭南寧, 游屈波. 一種基于小波的人臉衰老化合成方法J. 軟件學報, 2007,18(2):299-306.5 Yin Wu, Prem Kalra, Laurent Moccozet,etc. Simulating wrinkles and skin agingJ. The Visual

23、Computer, 1999, 15(4):183-198.6 Won-Sook Lee, Yin Wu, Magnenat-Thalmann N. Cloning and aging in a VR familyC. Proceedings of IEEE Virtual Reality, Houston, 1999:61-68.7 Scherbaum K, Sunkel M, Seidel HP, etc. Prediction of individual non-linear aging trajectories of facesJ. Computer Graphics Forum,2007,26(3):285-294.8 The FG-NET Aging DatabaseDB/OL. http:/sting.cycollege.ac.cy/alanitis/fgnetaging/index.htm, 2002.9 Coote