一種基于人臉視覺特性的彩色圖像質(zhì)量評價方法

1基于初步的圖像質(zhì)量評價方法人類信息的理想來源是理想的圖像傳感器，它是人類接受外部信息的最多通道。現(xiàn)代光學(xué)和光學(xué)成像技術(shù)的發(fā)展為擴大眼視角的視覺特性開辟了一條新的技術(shù)途徑，特別是在圖像的顯示、處理、理解、評估等技術(shù)中應(yīng)用眼視角的敏感視覺特性。圖像的最終觀察者是人眼,圖像顯示設(shè)備輸出圖像質(zhì)量的好壞直接影響到人的視覺接受效果,因此對圖像質(zhì)量的評價既應(yīng)客觀準(zhǔn)確,又應(yīng)符合人眼的視覺效果。但是,傳統(tǒng)的圖像質(zhì)量評價方法做不到二者的結(jié)合與統(tǒng)一。在傳統(tǒng)的圖像質(zhì)量評價方法中,存在著主觀評價方法和客觀評價方法,但兩種方法均存在許多缺陷,如主觀評價過程過于煩瑣且不可重復(fù),客觀評價結(jié)果與實際圖像質(zhì)量不相吻合甚至相互矛盾等,無法適應(yīng)和滿足當(dāng)前圖像技術(shù)發(fā)展的需求。在圖像質(zhì)量評價中引入人眼視覺特性,將傳統(tǒng)的客觀評價方法和主觀評價方法有機地結(jié)合起來,可以有效地解決這一難題,這也是圖像質(zhì)量評價的發(fā)展方向。本文基于人眼圖像色差對比度敏感的感知特性,結(jié)合評價灰度圖像的均方誤差和峰值信噪比的統(tǒng)計方法,提出了基于色差的均方誤差和色差的峰值信噪比的圖像質(zhì)量評價參數(shù),并將人眼對比度敏感視覺特性融入到客觀評價中。對JEPG2000、加白噪聲和圖像傳輸中產(chǎn)生位錯的三類失真共162幅彩色圖像進行了色差PSNR參數(shù)計算驗證,計算結(jié)果與德克薩斯大學(xué)奧斯汀分校的LIVE圖像庫中的圖像主觀評價結(jié)果能夠較好地相符。2評估圖像質(zhì)量的方法2.1圖像逼真度的計算傳統(tǒng)的圖像質(zhì)量客觀評價方法的共同點是用物理方法對圖像的物理特性進行度量,將度量值與規(guī)定的標(biāo)準(zhǔn)做比較,進行計算。根據(jù)評價標(biāo)準(zhǔn)的不同,客觀評價方法可分為兩種:(1)以圖像逼真度為評價依據(jù);(2)以標(biāo)準(zhǔn)波形和測試圖案為評價依據(jù)。由于實驗研究對象是靜態(tài)彩色圖像,因此下面采用圖像逼真度的計測算法。客觀逼真度準(zhǔn)則的優(yōu)點在于便于計算或測量,圖像逼真度的計測原理即是計算降質(zhì)圖像與原始圖像之間的統(tǒng)計誤差。誤差越小,從統(tǒng)計意義上來說降質(zhì)圖像與原圖像的差異就越小,圖像的逼真度就越高,獲得的圖像質(zhì)量評價也就越高。圖像逼真度通常以均方差(MeanSquaredError,MSE)、峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)來度量。2.1.1圖像尺寸相關(guān)誤差令f(x,y)代表輸入圖像,f?f^(x,y)代表輸出圖像,則對任意給定的點(x,y)、f(x,y)和f?f^(x,y)之間的誤差為:e(x,y)=f?(x,y)?f(x,y)(1)e(x,y)=f^(x,y)-f(x,y)(1)如果兩幅圖像的尺寸均為M×N,則總誤差為:∑x=0M?1∑y=0N?1|f(x,y)?f?(x,y)|(2)∑x=0Μ-1∑y=0Ν-1|f(x,y)-f^(x,y)|(2)MSE定義為:MSE=∑m=0M?1∑n=0N?1[f(x,y)?f?(x,y)]2M×N(3)ΜSE=∑m=0Μ-1∑n=0Ν-1[f(x,y)-f^(x,y)]2Μ×Ν(3)2.1.2主觀逼真度準(zhǔn)則如果令fmax=max{f(x,y)},x,y=0,1,2,…,N-1,則PSNR定義為:PSNR=10log10M×N×f2max∑m=0M?1∑n=0N?1[f(x,y)?f?(x,y)]2(4)ΡSΝR=10log10Μ×Ν×fmax2∑m=0Μ-1∑n=0Ν-1[f(x,y)-f^(x,y)]2(4)盡管客觀逼真度準(zhǔn)則提供了一種簡單、方便的評價方法,但圖像最終的觀測者是人眼,根據(jù)此方法計算獲得的結(jié)果往往與人們主觀視覺感受的結(jié)果不一致。分析原因,主要是因為均方誤差和峰值信噪比是從總體上反映原始圖像和恢復(fù)圖像之間的差別,并不能反映局部甚至像點間的差別,對圖像中所有像點同樣對待,不能反映人眼的視覺特性。該方法優(yōu)點是簡單、快捷,能將誤差量化表達,并且有一定的參考價值;但它的局限性在于沒有考慮到圖像失真和人類視覺系統(tǒng)(HVS)對圖像質(zhì)量感知上的差異,所以其準(zhǔn)確性相對較差。2.2ccir500質(zhì)量評價主觀評價方法即是讓觀察者根據(jù)既定的評價尺度和自己的經(jīng)驗,對測試圖像按視覺效果給出質(zhì)量判斷,評價質(zhì)量分?jǐn)?shù),對所有觀察者給出的分?jǐn)?shù)進行加權(quán)平均,所得的結(jié)果即為圖像的主觀質(zhì)量評價。主觀評價主要有兩種度量尺度,即絕對尺度和相對尺度,如表1所示。國際無線電咨詢委員會(CCIR)推薦了一種CCIR500五級質(zhì)量評價標(biāo)準(zhǔn),如表2所示。如果k為評價圖像質(zhì)量的級別(k=1,2,…,K),Ck為k級質(zhì)量的得分,nk為判定圖像屬于k類的觀察者人數(shù),則主觀評價平均分?jǐn)?shù)CˉˉˉCˉ為:Cˉˉˉ=∑k=1KnkCk∑k=1Knk(5)Cˉ=∑k=1ΚnkCk∑k=1Κnk(5)其中∑k=1KnkCk∑k=1ΚnkCk為被測圖像總得分,∑k=1Knk∑k=1Κnk為觀察者總數(shù)。用圖像的主觀評價方法來評價圖像質(zhì)量時,雖然評價結(jié)果比較符合圖像的實際觀察質(zhì)量,但這種評價方法受不同的觀察者、圖像類型和觀察環(huán)境等因素影響較大,過程繁瑣,耗時耗資,加之人的視覺心理因素很難用物理量度,導(dǎo)致評價結(jié)果不夠精確。2.3基于csf濾波的彩色圖像傳統(tǒng)的利用峰值信噪比的評價方法多適用于黑白圖像及灰度圖像的質(zhì)量評價。對于彩色圖像,到目前為止沒有一個較好的評價方法。因為圖像最終的觀察者是人眼,為了有效地把主觀評價和客觀評價結(jié)合起來,圖像質(zhì)量評價時需要充分考慮人眼的視覺特性。基于此,本文提出了一種基于人眼對比度敏感視覺特性和色差的均方誤差與峰值信噪比的彩色圖像質(zhì)量客觀評價方法。用色差均方誤差(MSEc)和色差峰值信噪比(PSNRc)評價彩色圖像質(zhì)量的參數(shù)計算方法是:首先將圖像分別經(jīng)過人眼對比度敏感函數(shù)(CSF)的濾波處理,再變到CIELAB空間,然后用CIELAB色差公式計算圖像每一個像素間的色差,最后計算色差均方誤差和色差峰值信噪比,如圖1所示。具體步驟如下:(1)將圖像轉(zhuǎn)換到對立色空間YCrCb,色空間轉(zhuǎn)換關(guān)系為式(6)。(2)對三通道分別進行傅里葉變換。(3)對三通道進行頻率域濾波處理。其中對比度敏感函數(shù)分為亮度和色度CSF。對于亮度CSF,在圖像處理中一般采用Movshon和Kiorpes三參數(shù)指數(shù)模型來描述,如式(7)所示;對于色度CSF,由于人眼彩色對比度敏感視覺特性的相關(guān)研究非常少,實驗采用Mullen等人提供的一個對立色空間的對比度敏感函數(shù),如式(8)所示。則人眼CSF濾波采用這兩個函數(shù)作為頻率域的濾波函數(shù),對3個通道進行濾波處理。???YCrCb???=????0.29900?0.168750.500000.58700?0.33126?0.418690.114000.50000?0.08131??????RGB???(6)CSFlum(f)=75?f0.2?e?0.8f(7)CSFrg(f)=a1?eb1fc1+a2?eb2?fc2(8)[YCrCb]=[-0.299000.587000.11400-0.16875-0.331260.500000.50000-0.41869-0.08131][RGB](6)CSFlum(f)=75?f0.2?e-0.8f(7)CSFrg(f)=a1?eb1fc1+a2?eb2?fc2(8)其中f為空間頻率,單位為周/度(cpd)。各個參數(shù)如表3所示。結(jié)合傳統(tǒng)的均方誤差和峰值信噪比的定義方法,本文提出一種彩色圖像的感知色差均方誤差和色差峰值信噪比的定義,表達式為式(9)和式(10):MSEc=1N1N2∑i=0N1?1∑j=0N2?1[ΔEs(i,j)]2(9)PSNRc=3√×10×log101002MSEc(10)ΜSEc=1Ν1Ν2∑i=0Ν1-1∑j=0Ν2-1[ΔEs(i,j)]2(9)ΡSΝRc=3×10×log101002ΜSEc(10)其中,式(9)中的N1、N2是圖像行、列像素數(shù),ΔEs(i,j)是對應(yīng)像素點的CIELAB色差值;式(10)中的100代表圖像存在的最大色差為100,即RGB都為0和RGB都為255時的色差。可以看出,色差峰值信噪比越大,圖像質(zhì)量越好。3實驗和結(jié)果3.1差異局部噪聲實驗實驗圖像均來自德克薩斯大學(xué)奧斯汀分校的圖像與視頻工程實驗室(LIVE)圖像庫。該圖像庫中包括29幅768×512×24bit的高分辨率原始圖像和900多幅不同類型失真圖像,包括JEPG2000、JEPG、高斯模糊、加白噪聲和圖像傳輸中產(chǎn)生位錯的失真圖像,同時該實驗圖像庫給出了每一幅圖像的平均主觀分?jǐn)?shù)(MOS),分?jǐn)?shù)取值范圍為0～100。從LIVE圖像庫中隨機選取三類失真圖像共162張,計算其色差峰值信噪比。然后與主觀評價結(jié)果比較(實驗使用的主觀評價結(jié)果采用LIVE圖像庫數(shù)據(jù)中的平均主觀分?jǐn)?shù)(MOS)并歸一化)。計算用到的參數(shù)分別是:圖像分辨率R為每英寸72pixel,觀測距離D為正常工作距離0.45m(18in)。表4、5、6分別為從圖像庫中抽取的50幅加白噪聲圖像、56幅JEPG2000圖像、56幅Fast_Fading圖像的主觀分?jǐn)?shù)和計算出來的PSNRc。3.2結(jié)果分析為了證明文中提出的評價方法的有效性,需要對計算的色差峰值信噪比與LIVE圖像庫中的圖像平均主觀評價分?jǐn)?shù)進行相關(guān)性分析。(1)相關(guān)值相關(guān)性系數(shù)r的計算公式為:r=∑(xi?xˉ)(yi?yˉ)∑(xi?xˉ)2∑(yi?yˉ)2√(11)r=∑(xi-xˉ)(yi-yˉ)∑(xi-xˉ)2∑(yi-yˉ)2(11)其中xˉxˉ為x的取值序列的平均值,yˉyˉ為對應(yīng)的y的取值序列的平均值,∑表示從1到n求和。計算表4、5、6中數(shù)據(jù)的相關(guān)系數(shù)分別為0.9530,0.9005,0.9109。表明色差峰值信噪比和主觀評價分?jǐn)?shù)MOS具有較好的相關(guān)性。(2)噪聲傳播關(guān)系將數(shù)據(jù)用圖2表示,橫軸是計算的色差PSNR,縱軸是歸一化主觀評價分?jǐn)?shù)MOS。圖像中的每個點代表一幅圖的實測數(shù)據(jù),實線為線性相關(guān)擬合曲線。圖2(a)、(b)、(c)分別為加白噪聲、JEPG2000壓縮和圖像傳輸中產(chǎn)生位錯3種色差峰值信噪比和主觀評價分?jǐn)?shù)MOS的關(guān)系圖。從圖可以看出,色差峰值信噪比隨著主觀評價分?jǐn)?shù)MOS的增大而增大,具有較好的線性關(guān)系。4實驗結(jié)果與分析結(jié)合用均方誤差和峰值信噪比統(tǒng)計參數(shù)來評價灰度圖像質(zhì)量的方法和基于用色差描述彩色圖像差異的特點,提出了用色差均方誤差和色差