面向機器視覺安防攝像機圖像質量評測方法研究報告面向機器視覺安防攝像機圖像質量評測方法研究報告

安防攝像機成像技術趨勢及質量E2E環節給人看到給機器看的架構變化

鏡頭及sensor從可見光到多光譜支持

評價體系的演進

1采集環節大幅提升紅外QE性能

寬動態技術

從簡單面向人眼視覺到面向機器視覺任務增強圖像質量

1.1安防攝像機成像技術趨勢圖像ISP

現有ISP大部分環節都是面向人眼視覺的，需要針對機器視覺識別率重構或增強

1.1.1攝像機從給人看到給機器看為主

從傳統面向人眼感知模型的編碼到面向機器感知模型的編碼。傳統面向人眼感知模型

編碼

隨著AI技術、算力和數據量的快速發展，使得大量視頻數據的“受眾”已不再是人，而是機器和算法。的編碼降低識別率，需要面向機器感知模型的編碼保證識別率不下降。

通過人臉識別、車輛識別、行人再識別ReID、行為分析等算法，使得視頻中嵌入的信息發揮了越來越大

質量評價從面向人眼到面向機器視覺任務，從主觀到客觀

的價值。安防行業正在從“給人看”轉變成“給機器看”為主。

“給機器看”可以實現海量視頻的快速分析，大幅提升效率及發現更多目標細節。對于攝像機拍攝的1.1.2AI算力換圖像，提升目標圖像質量

海量數據，機器處理將是后續發展的唯一選擇，因為單純依靠人力識別需要海量的人力投入且效率底下，

自從Intel發表了“learningtoseeinthedark”的論文后，學術界及業界關于AI算力應用與提

而機器算法可以7×24小時全天不間斷分析，大幅減少操作人員瀏覽視頻數據的時間，快速自動定位敏

升圖像質量的研究如火如荼。這篇論文中提出了一個大的方向，就是AIISP，論文中提出一個模型，

感信息并進行結構化的存儲，減少疲勞等原因造成的審查疏忽，從而極大的提升效率；同時，依靠算法

一個以RAWbayer為輸入，RGB輸出為輸出，論文主要關注圖像噪聲，示例中噪聲被很好的去除，

模型的優化和海量數據訓練的優勢，智能算法已經表現出超越人眼的性能，在目標檢測、目標識別等多

尤其是彩色噪聲部分讓大家有深刻印象，在消除噪聲方面取得了很好的效果。2020年，蘇黎世聯邦理

項指標上都達到新的高度，因此利用機器可以發現更多人眼忽略的細節，找出更多隱藏的目標。

工學院（ETHZ）發表了一篇論文“ReplacingMobileCameraISPwithaSingleDeepLearning

在這種背景下，攝像機系統的整體設計也在從面向人眼視覺到面向機器視覺任務的系統進行重構，覆Model”，其中提出一個新的算法PyNet，只需單個端到端深度學習模型，就能替代手機的ISP。它調

蓋從采集成像，圖像ISP，水印增強及編碼增強關鍵端到端環節，包括針對機器視覺特性的光學系統和教出的相機算法可以從一個手機移植到另一個手機上，而不必使用手機的ISP更是將AIISP推向了一個

傳感器特殊設計、針對機器視覺關注目標區域的圖像增強、編碼增強等。新的高度。如下圖是一個采用AIISP一個采用傳統ISP的差異。

主觀視頻圖片質量評價

壓縮傳輸

鏡頭Sensor圖像ISP編碼

攝像機成像及評價關鍵環節

0203

面向機器視覺安防攝像機圖像質量評測方法研究報告面向機器視覺安防攝像機圖像質量評測方法研究報告

大家可以看出AIISP圖像效果在噪聲，顏色、清晰度等方面都有了大幅提升。但該方案的一個關鍵光譜的方式，同時獲取彩色圖像及高信噪比的紅外圖像，通過圖像融合的方式得到高質量的彩色圖像。

問題是需要大量的AI算力及內存帶寬。無疑，這方面芯片公司會走在前面，因為他們可以結合芯片算力紅外補光不會被人感知，從而可以做到“零光污染”。

及硬件設計實現ISP的部分或全部AI化，消除這些關鍵瓶頸。

綜上，在新的技術趨勢下，安防攝像機成像從只給人看到給機器看為主，同時環保無光污染也是關鍵

當然，在芯片實現之前，結合現有芯片的有限算力及內存帶寬，很多廠商采用了降低算力及帶寬的方技術趨勢。圖像質量評價也迫切需要對現有以給人主觀評價為主的進行變革，結合攝像機成像技術針對

式比如針對部分幀或針對目標ROI區域進行AI圖像增強，提升圖像效果從而提升目標識別率也有了很好給機器看制定新的評價標準體系。

的實踐。

1.2圖像質量評價體系的演進

1.1.3高質量成像與環保無光污染兼顧

在監控攝像機行業的圖像評測領域，近年主要使用的行業標準為《GA/T1127-2013安全防范視頻

最近幾年，隨著人們對于環保要求越來越高，越來越多的人注意到身邊的監控攝像機，特別是因為夜監控攝像機通用技術要求》和《GA/T1128-2013安全防范視頻監控高清晰度攝像機測量方法》，里面

間的光污染問題會導致人們的反感。為了獲得高質量的圖像質量，攝像機需要配備足夠強的補光燈，但對圖像測試主要包括分辨力、圖像尺寸、最大亮度鑒別等級、最低可用照度、照度適應范圍、亮度信號

在夜間的黑暗背景下人眼對強光非常敏感，運動進入監控拍攝范圍時因為適應時間不夠，會引起明顯不適，信噪比、色彩還原誤差等。這些指標主要是直接計算一些特定的物理參數。通常是在較好的光照下，對

甚至會產生眩暈和短時致盲，威脅人身健康和道路安全。二維圖卡進行測試分析。這種方式與實際場景的光照、拍攝對象都不相符，不能很好地反映真實使用場

景下的圖像質量。同時也不能反映機器視覺角度的圖像質量。特別地，很多安防攝像機針對目標如人臉、

車、車牌等重點進行圖像質量增強，按照傳統圖卡等方式無法真實評價。

很多讀者會問，安防攝像機能否采用手機領域的DXO標準來評價。我們知道Dxomark按照視覺感

知模型對成像評價指標權重進行設定，評價體系中還加入部分主觀評測分數，給人看為主而不是機器看。

同時其評價對象手機拍攝的主要目標和安防攝像機的目標要求也存在很大差異。

其實，結合機器視覺任務進行圖像質量評價最近幾年也在快速成熟。大家知道在自動駕駛領域，業

界開始制定圖像質量的主觀和客觀測試方法，即給人看和給機器看的標準體系。國際電氣電子工程師學

會在2018年發布白皮書《IEEEP2020AutomotiveImagingWhitePaper》，分為給人看的標準IQ

forviewingstandard和給機器看的標準IQforComputervisionstandards。在給機器看的標準里，

建議將圖像采集系統作為一個整體來評價。當前針對機器視覺考慮的KPI評價指標包括基于檢出目標物

的評價Contrastdetectionprobability(CDP)和基于顏色區分度的評價Colorseparationprobability

(CSP)。

夜間光污染嚴重750nm補光也存在一定光污染

針對安防關鍵應用場景，結合機器視覺任務進行圖像質量評價是當前的一個關鍵方向。

針對強烈的用戶需求，攝像機行業也在快速推出相應的技術。總結起來有這么四種：一是部分攝像機

改進補光方式，通過頻閃補光、脈沖補光、補光透鏡優化等方式減少同量級補光下對人眼的刺激程度；

二是攝像機通過大光圈加高感度sensor來實現；三是部分攝像機通過AI來提升圖像質量；四是采用多

0405

面向機器視覺安防攝像機圖像質量評測方法研究報告面向機器視覺安防攝像機圖像質量評測方法研究報告

1.3面向機器視覺任務的圖像質量評價概述量最差的圖像類內相似度最低（紅色曲線）。因此，采用類內圖像對的相似度能夠對圖像樣本質量做較

好的區分。

研究面向機器視覺任務的圖像質量評價方法，對改進面向特定機器視覺任務的成像能力，有著非常重

要的作用和指導價值。不同的機器視覺任務對圖像質量的要求各有側重，如人臉識別任務，對圖像的清

晰度，對比度等有較高的要求，對顏色偏差等要求相對較低；而行人再識別任務，則對圖像的顏色表達

的準確性具有較高的需求。

本文重點研究面向人臉識別任務的圖像質量評價方法。

我們知道，人臉識別性能容易受到光照、姿態、表情、分辨率、遮擋，年齡等因素的影響[1]。這些

因素可以分為內部因素和外部因素。內部因素是指人臉生理變化產生的圖像差異，如年齡變化等；外部

因素與環境交互有關，如光照、姿態、表情等；根據與攝像機成像能力的關系，又可以進一步將外部因

素分為與攝像機成像能力相關和不相關的因素，如光照、分辨率、清晰度等與攝像機成像能力直接相關，

圖1.1不同質量的類內樣本相似度分布（左）和類間樣本相似度分布（右），摘自文獻[4]

而姿態、遮擋等因素，更多的是與人臉與攝像機的相對位置有關，與攝像機成像能力關聯并不緊密。本

文旨在研究面向機器視覺任務的攝像機成像能力，因此重點考慮與攝像機成像能力直接相關的質量因素

（如清晰度、噪聲、亮度、色彩飽和度等），而忽略其他外部因素的影響。

人臉圖像相似度是進行人臉識別任務的重要依據。粗略來說，人臉圖像相似度可認為由兩部分組成，

一是人臉身份的相似度，二是圖像質量的相似度（見公式1-1）。

其中S(I1,I2)是圖像I1和I2的整體相似度（即人臉識別任務的相似度），Sid(I1,I2)是圖像I1和I2

的身份信息相似度，Squality(I1,I2)是圖像I1和I2的質量相似度。由于我們評價的是圖像質量，那么采用人

臉相似度評價與圖像質量評價是否等價呢？當兩張人臉圖像身份越相似，圖像質量越相似，則整體相似

度越高。當兩張圖像來自于同一個人的時候，Squality(I1,I2)為1，此時S(I1,I2)=Squality(I1,I2)，即圖像識

別任務相似度與圖像質量相似度一致。因此，若采用圖像整體相似度對類內樣本（即圖像來自于同一個人）

的質量相似度進行描述，即可保證圖像質量評價與圖像識別任務的一致性，實現面向機器視覺任務的圖

像質量評價方法。

Bowyer等人[4]對不同質量圖像對的相似度分數進行了統計分析。如圖1.1所示，圖中橫坐標是圖

像對的相似度，縱坐標表示的樣本出現概率。從右圖中可以看出，類間相似度都比較低，且不同質量的

圖像對類間相似度分布并無明顯差別。而不同質量圖像的類內相似度分數則有明顯的差異（如左圖所示）。

質量高的圖像類內相似度相對較高（綠色曲線），質量差的圖像類內相似度相對偏低（藍色曲線），質

0607

面向機器視覺安防攝像機圖像質量評測方法研究報告面向機器視覺安防攝像機圖像質量評測方法研究報告

1）使用ArcFace開源人臉識別模型，計算目標圖像的人臉特征向量。

面向機器視覺的圖像2）按公式（2-1）計算待評價目標圖像與對應參考目標圖像的人臉特征相似度S。對應參考目標圖

2質量評價及分析方法像是指與待評價目標圖像拍攝時位置最接近的參考目標圖像。

式中：

常見的圖像質量評價方法可以分為全參考方法、半參考方法和無參考方法[6]。文獻[4]中指出，人

ε1——表示對應參考目標圖像的人臉特征

臉圖像質量差異來自于圖像對，而非單張圖像本身，而本方法需要對單張人臉圖像質量進行打分。借鑒

全參考方法，提出一種類全參考的圖像質量評價方法，引入標準參考圖像，將待評價圖像質量與標準參ε2——表示待評價目標圖像的人臉特征

考圖像作比較，得到該圖像的質量評價分數，將圖像對的差異轉換成單張圖像的質量評價。因標準參考

需要說明的是，人臉識別算法存在距離不對齊問題。也就是說，系統對有些人的人臉特征學習得很好，

圖像與待評價圖像不是嚴格逐像素對齊，為與全參考方法做區別，故稱之為“類全參考方法”。

所以類間距很小，而對于那些學得不太好的人，類間距就會很大。為了減小波動，提升用戶體驗，在實踐上，

本方法拍攝畫面包含多張人臉圖像，因此需要從拍攝圖像中摳取所需人臉圖像作為評價時的目標圖像。需要結合誤報率指標進行距離修正，降低方差，從而顯著的提升識別算法的準確度。

圖2.1為人臉目標圖像示例。

2.2圖像質量分析維度

基于類內人臉特征相似度的評價方法由于神經網絡的黑盒特點，其評價結果很難對圖像質量調優起到

指導意義，這個也是AI領域的關鍵挑戰之一。在本文中我們嘗試結合常用圖像質量評價因子對圖像質量

進行更細粒度的分析，并與基于類內人臉特征相似度的評價方式關聯，從而對圖像質量調測提供一定意

義上的指導。

在圖像質量指標的選擇上，公安行業標準《安全防范人臉識別應用靜態人臉圖像采集規范》一文中

指出“要求圖像清晰，五官及面部輪廓無明顯畸變，無明顯陰影，膚色呈自然真實色調”，并對色彩、

圖2.1人臉目標圖像示意圖

亮度和銳度處理提出了要求。公安行業標準《安防人臉識別應用系統第2部分：人臉圖像數據》中對人

臉圖像臉部區域作出了如下要求：“人臉完整、輪廓清晰、人臉長寬比例不失真，光照均勻且無陰影”。

2.1整體質量評價

Karahan等人[2]在《HowImageDegradationsAffectDeepCNN-basedFaceRecognition?》

如第一章所述，本方法采用人臉識別任務的類內人臉特征相似度分數作為圖像整體質量評價基礎。計

一文中從圖像清晰度、噪聲、遮擋、顏色失真等方面研究圖像退化對人臉識別性能的影響。Abhishek

算待評價圖像與參考圖像的人臉特征相似度，即得到待評價圖像的整體質量評價。

Dutta等人[3]從人臉姿態、高斯噪聲和運動模糊角度研究了圖像質量對識別分數的影響。

各種人臉識別算法由于訓練數據分布、權重選擇等各方面原因，其對于同一副圖像評價也不同，和人

從攝像機成像能力角度來看，清晰度，噪聲和顏色是三個最受關注的質量維度?；谶@三個維度進行

主觀評價類似也有算法自己的評價喜好。實操上，建議結合幾家的算法一起對圖像進行評價，相對客觀。

細化，提出6個質量指標進行分析，包括清晰度、噪聲、對比度、亮度、色彩還原、色彩飽和度，給出

ArcFace開源人臉識別算法[7]是最近業界比較好的開源算法，本文采用它來計算人臉特征相似度進行

各單項的質量評價及與整體質量的相關度，用于指導調優。

演示說明，評測步驟如下：

0809

面向機器視覺安防攝像機圖像質量評測方法研究報告面向機器視覺安防攝像機圖像質量評測方法研究報告

質量指標計算時對圖像局部信息比較敏感，而不同次拍攝時人臉在圖像中的相對位置有差異，取人臉Fs——表示參考目標圖像的清晰度

圖像時容易出現偏差。因此，通過人臉識別模型找到人臉五點位置，利用五點位置摳取出人臉五點區域，

Ft——表示待評價目標圖像的清晰度

從而保證待評價目標圖像與對應參考目標圖像的評測范圍對齊。圖2.2為目標圖像五點區域示例。

Sc1——表示待評價目標圖像的清晰度分數

清晰度由高到低的圖像示例如下：

圖2.2目標圖像五點區域示意圖

下文詳細列出6種細分圖像指標的計算方法。圖3.3不同清晰度水平圖像示例

2.2.1清晰度2.2.2噪聲

按如下步驟計算：

按如下步驟計算：

a）根據人臉五點位置尋找到人眼上方的額頭平滑區域，將該區域轉換為灰度圖，在灰度空間上計算

a）將目標圖像五點區域轉換為灰度圖，在灰度空間上計算清晰度：

噪聲水平：

式中：

R(x,y)——表示目標圖像五點區域第x行第y列的像素值式中：

R'(x,y)——表示目標圖像五點區域高斯低通濾波結果中第x行第y列的像素值R(x,y)——表示目標圖像五點區域第x行第y列的像素值

W,H——表示目標圖像五點區域的寬、高Av——表示目標圖像五點區域的均值

F——表示目標圖像的清晰度W,H——表示目標圖像五點區域的寬、高

b）用公式（2-3）計算待評價目標圖像相對于參考目標圖像的清晰度分數：N——表示目標圖像噪聲水平

（2-3）b）用公式（2-6）計算待評價目標圖像相對于參考目標圖像的噪聲分數：

式中：

1011

面向機器視覺安防攝像機圖像質量評測方法研究報告面向機器視覺安防攝像機圖像質量評測方法研究報告

式中：式中：

Ns——表示參考目標圖像的噪聲水平R(x,y)——表示目標圖像五點區域第x行y列的灰度值

Nt——表示待評價目標圖像的噪聲水平W,H——表示目標圖像五點區域的寬、高

Nth——表示預設的噪聲閾值D1con——表示目標圖像五點區域與其灰度均值求差后，保留差值圖中的正數值，將負數值取零的結果

2

Sc——表示待評價目標圖像的噪聲分數D2con——表示目標圖像五點區域與其灰度均值求差后，將差值圖中的正數值取零，將負數值取絕對

值的結果

噪聲由低到高的圖像示例如下：

AvD1、AvD1——表示D1con、D2con的圖像均值

b）用公式（2-12）計算待評價目標圖像相對于參考目標圖像的對比度分數：

式中：

Cons——表示參考圖像的對比度

圖3.4不同噪聲水平圖像示例

Cont——表示待評價圖像的對比度

2.2.3對比度

Sc3——表示待評價圖像的對比度分數

按如下步驟計算：

對比度由高到底的圖像示例如下：

a）將目標圖像五點區域轉換為灰度圖，在灰度空間上計算對比度：

圖2.5不同對比度水平圖像示例

1213

面向機器視覺安防攝像機圖像質量評測方法研究報告面向機器視覺安防攝像機圖像質量評測方法研究報告

2.2.4亮度2.2.5色彩還原

按如下步驟計算：將目標圖像五點區域轉到CIELAB色彩空間，并將該圖均分為8×8個區塊，計算色彩還原分數：

a）將目標圖像五點區域轉換為灰度圖，并將該圖均分為8×8個區塊，在灰度空間上計算亮度：

式中：式中：

W,H——表示目標圖像五點區域的寬、高s

Li——表示參考目標圖像五點區域第i個區塊的L分量均值

Ri(x,y)——表示目標圖像五點區域第i區塊第x行第y列的像素值t

Li——表示待評價目標圖像五點區域第i個區塊的L分量均值

Lti——表示目標圖像五點區域第i區塊的亮度均值s

Ai——表示參考目標圖像五點區域第i個區塊的A分量均值

b）用公式（2-14）計算待評價目標圖像相對于參考目標圖像的亮度分數：t

Ai——表示待評價目標圖像五點區域第i個區塊的A分量均值

s

Bi——表示參考目標圖像五點區域第i個區塊的B分量均值

式中：t

Bi——表示待評價目標圖像五點區域第i個區塊的B分量均值

s

Lti——表示參考目標圖像五點區域第i區塊的亮度

?Ei——表示待評價目標圖像五點區域第i個區塊的色彩還原分數

t

Lti——表示待評價目標圖像五點區域第i區塊的亮度

Sc5——表示待評價目標圖像的色彩還原分數

Sc4——表示待評價目標圖像的亮度分數

色彩還原由高到低的圖像示例如下：

亮度由高到低的圖像示例如下：

圖2.6不同亮度水平圖像示例圖2.7不同色彩還原水平圖像示例

1415

面向機器視覺安防攝像機圖像質量評測方法研究報告