機器視覺：2.圖像獲取圖像量化與表達視覺信息獲取照明和顏色

圖像壓縮與視頻壓縮

人類視覺感知人類視覺感知什么是機器視覺1.1人眼結構Part14人眼可感知來自直接來自太陽等光源發射或被其它物體反射的光子。具體來說，可感知380至720nm（420–790THz）部分輻射的電磁波人眼在光譜的綠色區域具有555nm左右的峰值靈敏度，這主要因為地表生活區域綠植覆蓋人眼在可感知的亮度范圍內以近似對數而非線性的方式感知亮度1.1人眼結構Part15人眼結構：將人眼類比為相機，則晶狀體、瞳孔和視網膜就是鏡頭、光圈和成像傳感器。1.1人眼結構Part16視網膜中通常有大約1.3億個傳感器細胞，包括1.25億個視桿細胞和6-7百萬個視錐細胞。這些分布如圖2-3所示。其中視桿細胞主要負責暗視覺，視錐細胞則主要負責明視覺和色覺。1.1人眼結構Part17有三類視錐細胞，分別對應三種不同顏色的感應：其中約65%對應紅色，33%對應綠色，2%對應藍色，其歸一化吸收曲線如圖。人眼可識別的電磁波長大約為380-780nm。1.2視覺特性Part18(1)視覺關注在復雜場景中，人類視覺能快速定位重要區域并進行準確分析，對其它區域則有意忽視，這種主動選擇的機制稱為視覺關注視覺關注包括客觀內容驅動的自底向上關注模型和主觀命令指導的自頂而下關注模型。自底向上關注主要跟圖像內容的顯著性相關；那些與周圍區域具有較大差異性的目標更容易得到視覺關注。自頂而下關注則受意識支配，可將視覺關注強行轉移到某一特定區域1.2視覺特性Part19

1.2視覺特性Part110(3)視覺掩蓋對比度掩蓋：由于邊緣存在強烈的亮度變化，人眼對邊緣輪廓敏感，而對邊緣的亮度誤差不敏感紋理掩蓋：圖像紋理區域存在較大的亮度以及方向變化，人眼對該區域信息的分辨率下降運動掩蓋：視頻序列相鄰幀間內容的劇烈變動（如目標運動或者場景變化），導致人眼分辨率的劇烈下降在很暗的環境中人眼敏感顏色的錐狀細胞將失去作用，視覺功能由桿狀細胞產生，此時人眼僅能敏感灰度1.2視覺特性Part111(4)視覺內在推導機制對于待識別的輸入場景，人類視覺系統會根據大腦中的記憶信息，來推導、預測其視覺內容，同時那些無法理解的不確定信息將會被丟棄照明和顏色照明模型顏色模型2.1照明模型Part

213

Part

214以下列出光通量的一些典型值光源光通量說明太陽3.566×1028lm燭光12.56lm光通量的定義白熾燈/鹵鎢燈12～24

lm／W鹵鎢燈效率高于白織燈熒光燈和氣體放電燈50～120

lm／W氣體放電燈如鈉燈、汞燈和金屬鹵化物燈等LED燈110~150lm／W2.1照明模型Part

215

2.1照明模型Part

216照度指投射到一平表面上的輻射通量密度。指到達一表平面上，單位時間，單位面積上的輻射能以符號E表示，常用單位是lux(勒克斯)1

lux

=1lm/m22.1照明模型Part

217以下列出輻照度的一些典型值場景照度(lux)說明黑夜0.001～0.02月夜則是0.02～0.3陰天室內5～50陰天室外50～500晴天室內100～1000晴天室外1000~10000適合閱讀300～750閱讀書刊時需50～60家用攝像機標準照度14002.1照明模型Part

218

2.1照明模型Part

219以下列出一些常用表面的反射系數表面材質反射系數純黑體0黑天鵝絨0.01粗糙的混凝土0.20~0.30不銹鋼0.65白雪0.93理想鏡面12.1照明模型2.2顏色與顏色模型Part

220色彩與三原色2.2顏色模型Part

221

2.2顏色模型Part

222RGB顏色模型2.2顏色模型Part

223RGB顏色模型4.2顏色模型Part

424HSI顏色模型色調H是描述純色的屬性（如紅色、黃色等）飽和度S表示的是一種純色被白光稀釋的程度的度量亮度體現了無色的光強度概念，是一個主觀的描述4.2顏色模型Part

425YUV與YCbCr顏色模型YUV模型是另一類將亮度分量與色度分量分離表達的顏色模型，其中Y為亮度通道，U和V為色度通道。YUV顏色模型在彩色電視信號傳輸中使用，可以很好的解決彩色與黑白電視機的兼容問題YCbCr則是YUV一種變體，目前在數字圖像和視頻表達中廣為使用。其中Y表示亮度，Cb反映的是RGB輸入信號藍色部分與RGB信號亮度值之間的差值，Cr則反映的是紅色部分與亮度之間的差值。視覺信息獲取CMOS與CCD傳感器彩色傳感器深度傳感器3.1CCD與CMOS傳感器Part327CCD傳感器由二維傳感器陣列組成，每個最小構成單元是一個二極管，對應一個像素。可以存儲接收到的光子，將到達的光信號轉換為電信號；最后將各單元存儲的電荷輸出。3.1CCD與CMOS傳感器Part328CMOS傳感器在光檢測方面和CCD相同，都利用了硅的光電效應原理，不同點在于光產生電荷的讀出方式。3.1CCD與CMOS傳感器Part329傳感器的主要參數：(1)傳感器尺寸(2)分辨率(3)靈敏度(4)動態范圍3.2彩色圖像傳感器Part330為獲得彩色圖像，需要同時敏感顏色空間的不同分量，實際中在常規傳感器表面覆蓋一個含特定圖案排列的含紅綠藍三色單元的濾膜，再加上對其輸出信號的處理算法，可實現圖像傳感器輸出彩色圖像數字信號。彩色圖像傳感器原理3.2彩色圖像傳感器Part331彩色濾色片陣列也稱為拜爾(Bayer)濾色鏡，排列在感光區上方。一般Bayer濾色鏡包含50%綠色、25%紅色和25%藍色陣列；這與人眼對綠色敏感度高的機制相一致。像素缺失的不同顏色分量可按插值計算。彩色圖像傳感器的Bayer模式3.3深度圖像傳感器Part332(1)雙目視覺是一類最常用的深度圖像感知方式，成像原理類似人眼，過兩個相隔一定距離的像機同時獲取同一場景的兩幅圖像。被動傳感深度圖像傳感器3.3深度圖像傳感器Part333(2)光場成像是一類較新的深度成像方式，目前最為普及的是基于微透鏡陣列的光場相機。被動傳感深度圖像傳感器3.3深度圖像傳感器Part334(2)光場成像宏觀上類似傳統成像結果，但將其中小圖像塊放大后可看到，其均由在每一個微透鏡下成的像構成，元素圖像與微透鏡一一對應。被動傳感深度圖像傳感器3.3深度圖像傳感器Part335(1)ToF(飛行時間)成像通過光發射裝置向目標場景發射連續的脈沖激光信號，然后用傳感器接收物體反射回的光脈沖。基于激光測距原理，利用發射和接收脈沖信號的時間差，可測量被測物體表面各位置的距離信息。主動傳感深度圖像傳感器3.3深度圖像傳感器Part336(1)ToF(飛行時間)成像成像效果展示：以彩色形式展示，顏色越靠近紅色表示到相機距離越近。主動傳感深度圖像傳感器3.3深度圖像傳感器Part337(2)結構光成像將產生的結構光投射至被測物體上，進一步通過圖像傳感器采集帶有結構光的圖案，根據模式圖像在圖像中的位置以及在物體表面的形變程度，利用三角原理計算即可得到場景中各點的深度信息。主動傳感深度圖像傳感器3.3深度圖像傳感器Part338不同類型深度圖像傳感器對比傳感類型ToF雙目光場成像結構光測距方式主動式被動式被動式主動式測量精度mm~cm級，與距離基本無關與距離相關，精度近距可達mm級與距離相關，mm~cm級與距離相關，精度近距可達mm級測量范圍由激光功率決定，幾米~幾十米內由基線長度決定，一般為幾米以內一般幾十厘米至幾米一般幾米以內影響因素不受光照變化和物體紋理影響，受多重反射影響。受光照和物體紋理影響大，夜晚和無紋理物體表面無法使用受光照和物體表面材質影響，夜晚無法使用。基本不受光照變化和物體紋理影響，但受反光和強光影響。圖像采集和量化采集與量化Gamma校正數字表達4.1采集和量化Part440圖像采樣圖像采樣實現對圖像空間坐標的離散化。采樣的過程相當于用一個網格把原始圖像覆蓋，然后通過采樣算法計算格子的值；采樣網格如何選取決定了圖像的空間分辨率。4.1采集和量化Part441圖像采樣下面演示對原始圖像進行采樣的過程。4.1采集和量化Part442圖像量化

4.1采集和量化Part443圖像量化圖像量化過程。4.2Gamma校正Part444非線性亮度感知圖像傳感器輸出圖像的亮度與真實光強呈線性關系，但人眼感受到的亮度與真實光強之間的關系是非線性的。4.2Gamma校正Part445Gamma校正由于傳感輸出與人類感知亮度的不一致性，通常在圖像傳感器輸出時對其進行Gamma校正。4.2Gamma校正Part446不同系數對應的Gamma校正效果

4.3圖像的數字表達Part447圖像可以用一個二維矩陣來表示

4.3圖像的數字表達Part448灰度圖像數字表示示意4.3圖像的數字表達Part449彩色圖像數字表示示意，具有RGB三個顏色分量4.3圖像的數字表達Part450數字圖像采用二維矩陣表達，但計算機內存及硬盤等存儲器等均為一維線性組織，因此在圖像處理時需要將圖像轉換為線性表達。為此，可按照從左至右、從上至下的順序對圖像進行Z字形掃描，形成一維線性字節數據壓縮圖像與壓縮視頻CMOS與CCD傳感器彩色傳感器深度傳感器5.1圖像壓縮Part552JPEG壓縮在1994年成為國際靜態圖像壓縮標準，編碼過程如圖。5.1圖像壓縮Part553JPEG不同壓縮率結果對比5.2視頻壓縮Part554視頻壓縮圖像幀內部和相鄰視頻幀之間存在大量冗余，因此可對視頻進行壓縮，以便于視頻存儲和傳輸。5.2視頻壓縮Part555不同視頻壓縮率結果對比5.2視頻壓縮Part556常見視頻壓縮格式名稱及壓縮前后的數據碼率比較序號名稱分辨率（像素）未壓縮碼率(bps)壓縮數據碼率(H.264,bps)壓縮數據碼率(H.265,bps)1D1(4CIF)704×5760.27G1.5M0.9M2720P1280×7201.24G3M1.8M31080P1920×10802.78G5M3M43M2048×15364.22G7M4.2M54M2560×14404.94G8M4.8M64K3840×216011.12G16M9.6M5.3視頻壓縮標準Part557視頻壓縮標準演化5.3視頻壓縮標準Part558H.26x（1）H.261：用于傳輸數據速率為64kbps及其整數倍的視頻信號（2）H.263：專為低數據速率傳輸設計（3）H.264：提供比H.263、M