1、2012年8月第39卷第4期Vol.39 No.4Aug.2012西安電子科技大學學報(自然科學版)JOURNAL OF XIDIAN UNIVERSITYdoi: 10.3969/j.issn.10012400.2012.04.028視覺相似性圖像質量評價方法崔力1，陳玉坤2，韓宇2(1西北工業大學 電子信息工程學院，陜西 西安710072 ；2.西安電子科技大學 綜合業務網理論及關鍵技術國家重點實驗室，陜西 西安710071)摘要：低層次視覺特征是計算機視覺系統從環境中獲取信息并做岀反應的重要依據。考慮到低層次視覺 特征包含了圖像亮度變化、分布和組織等重要信息，視覺特征差異就反映了圖像內在

2、結構的變化。利用 人眼視覺感知的局部性與非均勻的特點，分別在角點和邊緣特征域測量參考和測試圖像的相似度，并將 其合并為對圖像整體質量的度量(LFSIM。在IVC、TID2008 、Tomaya-MICT和CSIQ圖像數據 庫上，對LFSIM和傳統的PSNR、SSIM、IFCVIF方法進行了性能比較。實驗表明，LFSIM在整體 性能上要遠遠優于PSNR和SSIM方法，并且能夠與公認性能較好的基于自然場景統計的IFC和VIF方 法相媲美。關鍵詞：圖像質量；人眼視覺感知；角點；邊緣中圖分類號：TN911.73 文獻標識碼：A文章編號：1001-2400(2012)04-0194-07An visua

3、l similarity in dex for image quality assessme nt1 2 2CUI Li , CHEN YUkun , HAN Yj(1. College of Electronic Information, Northwestern Polytechnic Univ., Xi' an 710072, China;2. State Key Lab. of Integrated Service Networks, Xidian Univ., Xi' an 710071, China)Abstract： Low level features are

4、widely used in computer vision for acquiring information from outside circumstance and responding to it. Considering that low level features provide a rich source of information about luminance distribution, object organization and foreground/background configuration, their difference reflects the s

5、tructural change of images. Based on the fact that the human vision system always focuses on the local neighborhoods around the gazing positions with a resolution varying in term of spatial positions, corner and edge similarity of images is estimated locally and combined into an image quality index,

6、 namely low-level features based similarity measure (LFSIM). Extensive experiments based upon five publicly-available image databases with subjective ratings demonstrate that LFSIM performs much better than traditional peak signal noise ratio (PSNR) and structural similarity measure (SSIM), and is e

7、ven competitive to the state-of-the art image quality assessment algorithms information fidelity criteria (IFC) and visual information fidelity (VIF), which are developed on the basis of the natural scene statistics.Key Words: image quality； visual perception corne; edge圖像質量評價廣泛應用于數字成像系統的各個環節(采集、壓縮、

8、編碼、去噪、增強、水印、認證、 存儲、合成與復制等)，以達到實時質量監控、參數與性能優化等目的1。傳統的圖像質量評價主要依賴于 心理學實驗的測定，而這些實驗不僅對實驗條件有著苛刻的要求，而且實施步驟復雜，不能滿足實時性的 要求。因此，客觀圖像質量評價方法出現在人們視野。客觀圖像質量評價方法可以分為全參考，半參考和無參考算法，他們分別需要完整的參考圖像、參 考圖像的部分信息和不需要任何關于參考圖像的信息。由于無參考算法2的開發難度很高并且對失真類型 比較敏感，而半參考算法與全參考算法在開發過程中具有高度共通性，當前國內外的研究主要集中在全 參考圖像質量評價算法上。傳統的全參考圖像質量評價指標包括

9、常見的均方差(MSE)、信噪比(SNR)和峰值 信噪比(PSNR)。盡管他們有著計算簡單和物理含義清晰的優點，但是由于與人眼的視覺感知存在著較大差 異而飽受批評。為了克服上述問題，研究人員通過引入人眼視覺特征，使得客觀算法估計與人眼視覺感知收稿日期：2011-12-30網絡出版時間：2012-03-21 15:38基金項目：陜西省自然科學基金(2011JQ8038)，留學人員科技活動擇優資助項目，西北工業大學基礎研究基金(JC201014)，西北工業大學 E之星青年基金作者簡介：崔力(1980-)，男，西北工業大學講師，Email : l.cui網絡出版地址：http:/www.c nki.n

10、 et/kcms/detail/61.1076.TN.20120321.1538.201204.194_028.html第4期崔力等：基于視覺相似性的圖像質量評價方法195達到更好地吻合。例如，加權信噪比（WSNR）4首先利用人眼視覺系統（HVS）的對比度敏感函數（CSF） 對信號和噪音進行頻域加權處理，然后在空間域計算信噪比。噪音質量度量（NQM）利用Peli對比度金字塔產生與待測圖像在視覺上高度相似的模擬圖像，并通過計算模擬圖像的信噪比來估計圖像感知質量。視 覺信噪比（VSNR）5嘗試利用HVS的臨界閾值和超閾值視覺感知特點共同開發圖像質量評價。但是，這類方 法往往具有較高的計算復雜度，并

11、且由于目前學界對于HVS的理解的不完備，我們對人眼視覺系統的建模 受到了諸多因素的制約。近年來，有學者嘗試利用視覺信息處理模型來模擬人眼視覺系統的功能。假設圖像質量下降主要是由 結構信息的丟失造成的，Zhou Wan g勺SSIM算法提出了一種新穎的視覺信息處理模型，也就是說，在三 個相互獨立的信道中分別估計得到的亮度、對比度和結構相似性度量共同構成了圖像總體質量。fsim7首 先在特征域（梯度和相位一致性）上測量參考與測試圖像視覺差異，然后將其合并為圖像感知質量。自然 場景統計（NSS）是一種對自然場景圖像在小波域進行特征描述的方法，任何本地鄰域內的小波系數組成的 向量可以表示為高斯向量與標

12、量隨機場的乘積。Sheikh的IFC8VIF9算法以NSS為基礎,并通過測量參考與 測試圖像之間共享信息的數量來估計圖像的感知質量。相比于IFC算法，VIF考慮到了人眼視覺系統在質量 判斷過程中的不確定性，并將其用高斯噪音場來表示。IW-SSIM10首先采用NSS測量參考和測試圖像的本 地信息共享程度，并用其對局部相似度進行空間域加權，最終獲得圖像的整體質量。考慮到低層次視覺特征包含了圖像亮度變化、分布和組織等重要信息，因此低層次視覺特征差異就反 映了圖像內在結構的變化。在本文，我們提出了一種基于對低層次視覺特征（角點和邊緣）的圖像質量評 價方法（low-level features base

13、d similarity measure, LFSIM在 IVC、TID2008、Tomaya-MICT、LIVE 和 CSIQ 圖像數據庫上，我們比較了 LFSIM和傳統的PSNR、SSIM、IFC和VIF方法的性能表現。實驗表明，LFSIM 在整體性能上要遠遠優于PSNR和SSIM方法,并且能夠與公認性能較好的基于自然場景統計的IFC和VIF 方法相媲美。1基于視覺相似性的圖像質量評價本文提出的基于視覺相似性的圖像質量評價框架如圖1所示，包括了低層次視覺特征提取、結構相 似性估計、合并處理和空間域綜合共計4個步驟。1.1低層次視覺特征提取角點和邊緣是計算機視覺中的常見特征，他們分別表示了圖

14、像的邊緣曲率變化情況，以及亮度變化 劇烈程度。本文采用了一種基于本地能量模型的低層次特征的檢測方法11，該模型假定視覺顯著的特征通 常都發生在相位一致性（PC）最大的位置。相比于其他方法，該方法具有如下優點：（1）不需要人為地設 定門限值；（2）對亮度變化，模糊和放大操作不敏感。http:/www.xdxb .net#西安電子科技大學學報(自然科學版)第39卷假定M；,MO分別表示第n階偶對稱和奇對稱濾波器，一維信號l(x)的響應可以表示為如下向量形式: en(x), on (x) =I(x)?Me，I(x)?MO。因此，它的幅度和相位表示為 A(x)二屆(x) +on(x)2 和 e (x)

15、 = arctanOn(x) / e (x)。設 F (x) =(x)和 H (x) = ”on (x)，其相位一致性定義為:PC (x)=E(x)。類似地，二維信號刀人(x) + &I(x)的相位一致性可以表示為:PC% (x)=叫(x)£；(En,ej(x)?E% (x) + On,ej(x)?O % (x)+ | En,% (x)?O % (x) + 0口切(x)?EOj(x)|+T)n(1)上式中，x是二維位置坐標，n, %分別表示二維濾波器的階數和方向。假定a(x) = X(PCej (x)cos( e)2 , B(x) = RPC% (x)cos( %)(PC%

16、(x)sin( %)和Yx) = "(PCq (x)sin( %)2，則角點和邊緣特征定義如下:C(x) = (a(x) + Yx)+.卩(x)2 + (a(x)- Y(x)2)/2E(x) = (a(x) + Yx)- , 3(x)2 + (a(x)- Y(x)2)/21.2結構相似性估計如圖2所示，首先利用上述方法得到參考和測試圖像的邊緣和角點圖，并將其分為11X11的重疊塊。給定參考圖像邊緣圖中的任一子塊 B和它在測試圖像邊緣圖中的對應塊 B，他們的均值、方差和協方差分別表示為(內，曲)、($)和§2，本地塊相似度定義為亮度相似度l(x,y)、對比度相似度c(x, y

17、)和結構相似度s(x, y)的乘積:Se (x, y) =l(x, y)* c(x, y)* s(x, y)其中，l(x, y)=2比口2 + 0|-2u1 + u2 + C1c(x, y)=2 § § + C2、 §2+ §2+c2)s(x, y)=2 §2 +C32 § § + C3(5)http:/www.xdxb .net#西安電子科技大學學報(自然科學版)第39卷(5)http:/www.xdxb .net#西安電子科技大學學報(自然科學版)第39卷假定參數C2 =C3，式(4)可以表示為:Se(x, y)=2山隨

18、+ G(M)2 + ( Mt)2 +C12 §2 + C2(§)2+(§)2+C2(5)http:/www.xdxb .net#西安電子科技大學學報(自然科學版)第39卷(5)http:/www.xdxb .net#西安電子科技大學學報(自然科學版)第39卷式中，(x, y)是塊B1和B2所在位置的空間坐標，常變量C1和C2用來確保上式中分母的值大于零(5)http:/www.xdxb .net第4期崔力等：基于視覺相似性的圖像質量評價方法19980mm圖2.基于本地塊比較的結構相似性估計由于人眼視覺感知細胞分布的不均勻性，人眼視覺系統對于視覺中心比周圍區域有著更

19、高的敏感度，計算 均值方差和互方差時，位于本地塊中心的像素具有最高的權重，其他像素距離中心越來越遠，因而其權重 逐漸減小。同理，我們可以計算角點圖的本地塊相似度 S：(x,y)SC(x, y)=2 內隨 + C1?2 §2 + C2(w)2+(隨)2 + G (§)2 + ( §)2+C21.3合并處理與空間域綜合圖像的整體相似度定義為邊緣和角點相似度進行指數修正后的乘積，并在空間域求和的結果:LFSIM1MNM N刀刀SE(x,y)a?Sc(x, y)卩x=1 y=1(7)2實驗及結果比較在IVC12、TID200813、Tomaya-MICT114】、LIVE

20、 15和CSIQ【16圖像數據庫上，我們對 LFSIM 和傳統的PSNR、SSIM、IFC和VIF圖像質量評價算法進行了性能比較。經過實驗測試，我們確定參數a =0.8, =1.1。http:/www.xdxb. net#西安電子科技大學學報(自然科學版)第39卷為了比較的公正性，這些算法的輸出首先被下述的非線性映射過程轉變為與主觀感知質量(differential mean op inion score DMOS )相類似的 PMOS (predicted mea n opi nion score值：PMOS= 6(0.5 +11 + exp( 6(x-6)#西安電子科技大學學報(自然科學版

21、)第39卷#西安電子科技大學學報(自然科學版)第39卷式中，x代表客觀算法的質量估計，參數6 -倫的數值可以利用Matlab的函數fminuch求解。然后利用相關系數(correlation coefficient CC), Spearman等級相關系數(Spearman rank order correlation coefficient, 表 1. PSNRSSIM IFC、VIF 和 LFSIM算法在 IVC、TID、Tomaya-MICT LIVE CSIQ數據庫上的整體表現圖像數據庫圖像質量評價算法CCSROCCRMSEMAEPSNR65.42%66.72%0.930.74SSIM

22、78.46%77.72%0.760.58IVCIFC 91.38%90.44%0.500.39VIF 90.29%89.54%0.530.41LFSIM 90.97%90.41%0.510.41PSNR56.32%58.32%1.110.84SSIM64.14%62.77%1.030.82IFC73.58%67.14%0.910.74TID2008VIF80.90%74.96%0.790.61LFSIM75.79%72.34%0.880.69PSNR63.24%61.30%0.970.79SSIM79.43%78.65%0.760.60Tomaya-MICTIFC84.35%83.87%0.6

23、70.53VIF91.44%90.86%0.510.40LFSIM88.26%87.94%0.590.46PSNR87.19%87.74%15.7614.46SSIM87.69%87.63%7.745.87LIVEIFC90.90%91.06%6.715.18VIF94.94%95.18%5.063.90LFSIM92.98%93.66%6.065.04PSNR78.72%81.03%0.160.13SSIM81.51%83.76%0.150.12CSIQIFC82.19%80.18%0.150.13VIF92.77%91.93%0.100.07LFSIM82.93%75.28%0.150.1

24、2SROCC),均方根誤差(root mean square error, RMSE和平均絕對誤差(mean absolute error, MAE)來描述http:/www.xdxb. net第4期崔力等：基于視覺相似性的圖像質量評價方法201PMOS與DMOS的吻合程度12。其中，CC和SROCC分別表征了主觀質量預測的準確性和單調性，RMSE和 MAE表征一致性。表 1 是 PSNR、SSIM、IFC、VIF 和 LFSIM 在 IVC、TID2008、Tomaya-MICT、LIVE 和 CSIQ 圖像 數據庫的整體表現情況。我們可以觀察到，盡管VIF仍然是目前性能相對較好的圖像質量評

25、價算法，但是 這并不是絕對的，例如IFC在IVC數據庫上就要好于VIF。總的來說，LFSIM在整體性能上完全能夠與傳 統的基于自然場景統計的方法相媲美，并且其性能介于IFC和VIF之間。此外，盡管LFSIM采用SSIM的 基于本地塊比較的思想，但是它是在特征域上測量待測圖像間的相似度。實驗結果也證明了這種思路的成 功，LFSIM的性能要遠遠優于SSIM，并且以較小優勢領先于IFC算法(TID2008、Tomaya-MICT、LIVE 和CSIQ數據庫上)或者VIF算法(IVC數據庫上)。3結束語本文提出了一種新的基于低層次視覺特征的圖像質量評價方法。摒棄了傳統的圖像質量評價方法在 空間或頻率域

26、直接比較圖像差異來估計圖像感知質量的思路，我們分別在低層次視覺特征域(角點和邊緣) 上測量參考和測試圖像的相似度，并將其合并為圖像的整體質量度量(LFSIM )。實驗結果證明了這種思路 的成功，LFSIM在整體性能上要遠遠優于PSNR和SSIM，并且完全能夠與傳統的基于自然場景統計的方 法相媲美，其具體性能基于IFC和VIF之間。盡管VIF仍然是目前性能相對較好的圖像質量評價算法，但 是這并不是絕對的，例如IFC在IVC數據庫上就要好于VIF。在多個數據庫上，LFSIM都以較小優勢領先 于IFC算法(TID2008、Tomaya-MICT、LIVE和CSIQ數據庫上)或者VIF算法(IVC數據

27、庫上)。參考文獻：1 Lin W S, Kuo J C C. Perceptual Visual Quality Metrics: a SurveyJ, Journal of visual communication Image representation, 2011,22(4):297-3122 Wang 乙 Bovik A C. Reduced- and No-reference Image Quality Assessment，IEEE Signal processing magazine, 2011,28(6):29-403 王體勝，高新波，路文，李廣東.一種新的部分參考型圖像質量評

28、價方法J西安電子科技大學學報，2008, 35(1):101-109Wang Tisheng, Gao Xinbo, Lu Wn, Li Guangdong. A New Method for Reduced-reference Image Quality AssessmentJ. Journal of Xidian University, 2008, 35(1):101-1094 Naranjan D VThomas D K , Wilsons S G , et al. Image Quality Assessment Based on a Degradation MoiEEJIrans o

29、n Image Processing, 2000, 9(4): 636-6505 Chandler D M, Hemami S S. VSNR: A0W6let-based Visual Signal-to-noise Ratio for Natural ImagesJ. IEEE Trans on Image Processing, 2007, 16 (9):2284-2298.6 Wang 乙 Bovik A C, Sheikh H R, et al. Image Quality Assessment: from Error Visibility to Structural Similar

30、ityJ. IEEE Trans onImage Processing, 2004, 13(4):600- 612.7 Zhang L, Zhang L, Mou X Q, Zhang D. FSIM: a Feature Similarity Index for Image Quality Assessment J. IEEE Trans on Image Processing, 2011,20(8): 2378-2386.8 Sheikh H R, Bovik A C, eciana G D. An Information Fidelity Criterion for Image Quality Assessment using Natural Scene StatisticsJ. IEEE Trans on Image Processing, 2005, 14(12): 2117-2128.9 Sheikh H R, Bovik A C. Image Information and Visual QualityJ. IEEE Trans on Image Processing, 2006, 15(2): 430-444.10 Wang Z, Li Q. Information Contenteighting for