1、第二章第二章 數字圖像處理基礎數字圖像處理基礎Chapter 2 Digital Image Processing Fundamentals2Contents 數字圖像處理概況 凸透鏡成像 線性移不變系統 像素的空間關系3數字圖像處理的基本定義數字圖像處理分為廣義圖像處理和狹義圖像處理，實際應用中的圖像處理概念通常指的是廣義圖像處廣義圖像處理理。根據語義從低級到高級，廣義圖像處理分為三個層次：圖像處理、圖像分析和圖像理解。Low Level ProcessInput: ImageOutput: ImageExamples: Noise removal, image sharpeningMid

2、Level ProcessInput: Image Output: AttributesExamples: Object recognition, segmentationHigh Level ProcessInput: Attributes Output: UnderstandingExamples: Scene understanding, autonomous navigationIn this course we will stop here4數字圖像處理的主要任務圖像處理是圖像的低級處理階段，也就是通常指的狹義圖像處理狹義圖像處理。 一方面，圖像處理著重強調改善圖像的質量，將圖像應用

3、于不同目的時，質量的含義略有不同。當人眼觀看圖像時可能更注重圖像的視覺效果，而當機器觀看圖像（機器視覺）時可能更注重物體的可辨識性。 另一方面，圖像壓縮編碼的任務是通過減少圖像表示的數據量來降低所占用的存儲空間和傳輸帶寬，滿足存儲和傳輸信道的要求。5數字圖像處理發展歷程數字圖像處理發展歷程Early digital image20世紀世紀20年代早期年代早期，數字圖像最早的應用之一是報紙業，首次利用數字壓縮技術通過海底電纜從英國倫敦到美國紐約傳輸了一張照片。為了通過電纜傳輸圖像，利用特殊的打印設備對圖像進行編碼，然后在接收端解碼圖像。早期的數字圖像視覺質量改善處理主要研究打印步驟的選擇和灰度級

4、的分布等問題。早期的Bartlane電纜圖像傳輸系統能夠對5個灰度級的圖像進行編碼。6數字圖像處理發展歷程數字圖像處理發展歷程Improved digital imageEarly 15 tone digital image20世紀世紀20年代中期之晚期年代中期之晚期，Bartlane電纜圖像傳輸系統的進一步完善，改善了圖像質量。 實現了基于攝影技術的圖像再現過程。 編碼圖像由原來的5個灰度級，增加至15個灰度級。7數字圖像處理發展歷程數字圖像處理發展歷程A picture of the moon taken by the Ranger 7 probe minutes before landi

5、ng20世紀世紀60年代初年代初，第一臺可以執行有意義圖像處理任務的大型計算機問世。 美國噴氣推進實驗室借助無人航天探測器探索太陽系的中心，1964年利用計算機技術改善航天探測器徘徊者7號傳輸回來的月球照片，通過計算機處理來校正機載電視攝像機固有的各種類型的圖像失真。 具有圖像處理功能計算機的問世和數字圖像處理技術在太空項目上的實際應用標志著數字圖像處理技術的誕生。8數字圖像處理發展歷程數字圖像處理發展歷程Typical head slice CAT image20世紀世紀60年代末到年代末到70年代初年代初，數字圖像處理技術開始應用于醫學成像、地球資源遙感監測和天文學等眾多領域。 X射線計算

6、機斷層成像利用不同組織對X射線的吸收系數不同，通過旋轉生成多個軸向的投影數據，對投影數據進行處理計算出人體切片圖像。 1979年,Godfrey N.Hounsfield和Allan M.Cormack因發明計算機斷層技術而獲得諾貝爾醫學獎，這與X射線的發現相距近100年。9數字圖像處理發展歷程數字圖像處理發展歷程70年代后期至今年代后期至今，數字圖像處理的理論和方法進一步完善，形成了完整的學科體系，并廣泛應用于不同領域。 在工業、醫學及生物科學等領域，數字圖像的對比度增強和偽彩色映射技術用于X射線、超聲波以及其他圖像判讀。 在地理學領域，利用相同或相似的技術從航空和衛星圖像中研究污染模式。

7、在考古學領域，利用數字圖像增強和復原方法修復不可復制的藝術作品、稀有珍貴物品的惟一現存記錄等。 在物理學及相關領域，數字圖像技術用于增強高能等離子、電子顯微鏡等獲取的實驗圖像。10數字圖像處理應用：圖像增強數字圖像處理技術經常用于圖像質量改善、去噪等應用領域。11數字圖像處理應用：哈勃圖像復原1990年發射的哈勃望遠鏡可以對非常遙遠物體的成像；然而，由于一個鏡片存在球面像差質量問題，導致成像傳感器聚焦；數字圖像處理技術可以用來解決這一問題。12數字圖像處理應用：遙感圖像處理數字圖像處理技術被廣泛應用于衛星遙感圖像的處理。 基于多光譜圖像的地表覆蓋分類； 基于氣象衛星圖像的云圖檢測與數字預報。1

8、3光譜成像數據立方體數字圖像處理應用：遙感圖像處理20世紀80年代新興起的高光譜成像技術是遙感成像領域的重大突破；在為人們提供有關地表地物空間信息的同時、又提供了更加豐富的光譜信息；高光譜成像數據可用來提高判別、分析地物狀況的能力，可用于環境變化監測、軍事目標識別、農作物估產等領域。14數字圖像處理應用：環境監測全球夜間燈光亮度數據集。 全球人居環境監測； 不難想象利用這一數據，可以借助圖像處理進行多種應用處理與統計分析。15X射線計算機斷層成像 (a) X-CT成像儀數字圖像處理應用：醫學圖像處理醫學領域中的主要應用包括：計算機斷層、磁共振和超聲波等生物影像成像與處理；細胞分類、染色體分析、

9、癌細胞識別等顯微圖像分析；X射線肺部圖像增晰、心電圖分析、立體定向放射治療等。(b) 心臟X-CT的三維重建16數字圖像處理應用：醫學圖像處理Original MRI Image of a Dog HeartEdge Detection Image利用犬心臟的核磁共振切片圖像，檢測不同組織間的邊界。 圖像的灰度級代表了不同組織的密度； 使用合適的濾波器突出組織邊緣。17BMP格式圖像數字圖像處理應用：網絡通信數字圖像和視頻在無線通信、互聯網等網絡通信中占據越來越大的比重。數字圖像和視頻的數據量非常龐大，可采用數據壓縮編碼技術減少圖像和視頻中的數據冗余，從而實現數據量的壓縮。JPEG壓縮格式圖像

10、18數字圖像處理應用：工業檢測人工檢測是昂貴、緩慢、不可靠的；我們可以用機器替代人工檢測；工業視覺系統已應用于各種工業環境中；我們可以信任它們嗎？19數字圖像處理應用：PCB檢測印刷電路板（PCB）檢測。 機器檢測被用來確定所有部件是否都被正確安裝、所有焊點是否可靠； 在這種檢測中可利用常規成像與X線成像多種方式。20數字圖像處理應用：軍事公安圖像處理技術已廣泛應用于軍事公安領域。 自動收費系統中利用高速相機進行車牌識別； 指紋識別； 監控系統中的圖像增強。21數字圖像處理應用：人機接口盡量使人機界面更加自然。 人臉識別； 手勢識別。有沒有人記得電影少數派報告的中用戶界面？這些圖像處理任務可能

11、非常困難。22損毀繪畫作品數字圖像處理應用：文化藝術文化藝術中的主要應用有電視畫面的數字編輯、動畫制作、電子圖像游戲、紡織工藝品設計、服裝設計與制作、發型設計、繪畫和照片修復、全景圖像拼接等。圖像修復技術最初起源于藝術作品的修復。修復圖像23數字圖像處理應用：文化藝術藝術效果熏染是用來使圖像更具視覺上的吸引力，如添加某些特殊效果、或進行多張圖像間融合等。24數字圖像處理中的關鍵步驟Image AcquisitionImage RestorationMorphological ProcessingSegmentationRepresentation & DescriptionImage

12、EnhancementObject RecognitionProblem DomainColour Image ProcessingImage Compression25數字圖像處理中的關鍵步驟：圖像獲取Image AcquisitionImage RestorationMorphological ProcessingSegmentationRepresentation & DescriptionImage EnhancementObject RecognitionProblem DomainColour Image ProcessingImage Compression26數字圖像處

13、理中的關鍵步驟：圖像增強Image AcquisitionImage RestorationMorphological ProcessingSegmentationRepresentation & DescriptionImage EnhancementObject RecognitionProblem DomainColour Image ProcessingImage Compression27數字圖像處理中的關鍵步驟：圖像恢復Image AcquisitionImage RestorationMorphological ProcessingSegmentationRepresen

14、tation & DescriptionImage EnhancementObject RecognitionProblem DomainColour Image ProcessingImage Compression28數字圖像處理中的關鍵步驟：形態學處理Image AcquisitionImage RestorationMorphological ProcessingSegmentationRepresentation & DescriptionImage EnhancementObject RecognitionProblem DomainColour Image Pro

15、cessingImage Compression29數字圖像處理中的關鍵步驟：圖像分割Image AcquisitionImage RestorationMorphological ProcessingSegmentationRepresentation & DescriptionImage EnhancementObject RecognitionProblem DomainColour Image ProcessingImage Compression30數字圖像處理中的關鍵步驟：目標識別Image AcquisitionImage RestorationMorphological

16、 ProcessingSegmentationRepresentation & DescriptionImage EnhancementObject RecognitionProblem DomainColour Image ProcessingImage Compression31數字圖像處理中的關鍵步驟：表示與描述Image AcquisitionImage RestorationMorphological ProcessingSegmentationRepresentation & DescriptionImage EnhancementObject Recognitio

17、nProblem DomainColour Image ProcessingImage Compression32數字圖像處理中的關鍵步驟：圖像壓縮Image AcquisitionImage RestorationMorphological ProcessingSegmentationRepresentation & DescriptionImage EnhancementObject RecognitionProblem DomainColour Image ProcessingImage Compression33數字圖像處理中的關鍵步驟：彩色圖像處理Image Acquisit

18、ionImage RestorationMorphological ProcessingSegmentationRepresentation & DescriptionImage EnhancementObject RecognitionProblem DomainColour Image ProcessingImage Compression34凸透鏡成像原理凸透鏡成像凸透鏡成像是利用光的折射和光的直線傳播原理成像。在光學中，由實際光線會聚成的像，稱為實像實像，能夠用光屏接收；反之，則稱為虛像虛像，只能由眼睛看到。物體放在焦點之外，在凸透鏡另一側成倒立的實像，實像有縮小、等大、放大三

19、種。凸透鏡成像原理示意圖35焦點、聚焦與景深 平行于主光軸的光線入射到凸透鏡時，凸透鏡將所有的光線聚集于一點，再以錐狀形式擴散開來，所有光線的會聚點稱為焦點焦點。若點源的光線經過凸透鏡后會聚于一點，則所成的像是清晰的，稱為聚焦聚焦；否則稱為散焦散焦。在焦點的前、后各有一個允許彌散圓，這個前后距離的總和就是景深景深。散焦與聚焦示意圖景深示意圖36人眼結構剖面圖人眼的視覺模型人眼由瞳孔、晶狀瞳孔、晶狀體體和視網膜視網膜三部分構成。 瞳孔的大小由虹膜控制，類似于相機的光圈光圈； 來自外界物體的光線通過晶狀體聚焦，類似于相機的鏡頭鏡頭； 會聚的光線在視網膜的感光細胞上成像，類似于相機的成像傳感器成像傳

20、感器。37三原色的感知視錐細胞視錐細胞是負責彩色視覺的傳感器，人眼的600700萬視錐細胞，大約65%的視錐細胞對紅色光敏感，33%對綠色光敏感，只有2%對藍色光敏感。每一種視錐細胞的敏感曲線大致是鐘形的，敏感度峰值分別出現在短(420-440 nm)、中(530-540 nm)和長(560-580 nm)波長范圍內，因此，紅、紅、綠、藍稱為三原色綠、藍稱為三原色。3類視錐細胞的光譜敏感曲線38明視覺與暗視覺在照度充分高的條件下，視錐細胞才會對光線的刺激做出響應，這樣人類視覺才能分辨顏色，這個現象稱為明視覺明視覺。視桿細胞的作用是給出視野內一般的總體圖像，沒有色彩感覺，且在低照度下，只有視桿細

21、胞對光線刺激做出響應，這個現象稱為暗視覺暗視覺。光度函數描述人眼對不同波長光的平均視覺敏感度，國際照明委員會(CIE)制定了標準光度函數。明視覺和暗視覺的光度函數39人類視覺特性明暗視覺與視覺范圍：明暗視覺與視覺范圍：人眼具有高動態范圍和明暗亮度適應的特性。分辨力：分辨力：人眼中央凹處的分辨力最高；人類視覺對細節的分辨力與物體所處的背景亮度和對比度、物體的運動速度和顏色都有關；人眼對顏色的分辨力比對灰度的分辨力差。視覺暫留：視覺暫留：視覺暫留指光對視網膜所產生的視覺在光的作用終止后，仍能保留短暫時間的現象；若人眼持續一段時間注視某種顏色，當瞬間將視線轉移到別處時，就會出現與剛才看到的顏色相反的

22、余像，這就是所謂的互補色余像。40同時對比度人類視覺特性對比敏感度：對比敏感度：對比度是一種亮度相對變化的量度。對比敏感度是指人類視覺分辨亮度差異的能力。人眼感受的亮度不是簡單的取決于光強度函數，而是受到很多因素的影響，如周圍環境的亮度、鄰近區域亮度的變化等。41人類視覺特性對比敏感度的特性使人眼在觀看圖像時產生一種邊緣增強的感覺，稱為側抑制效應側抑制效應。當亮度發生階躍時，視覺上會感覺明暗區域邊界處亮側亮度上沖，暗側亮度下沖的現象，稱為馬赫帶現象馬赫帶現象。當觀察兩個亮度不同的區域時，邊界處亮度對比加強，人眼對輪廓感知表現得特別明顯，稱為邊緣對比效應邊緣對比效應。階躍變化的亮度水平線灰度級剖

23、面圖42主觀輪廓示例人類視覺特性主觀輪廓：主觀輪廓：通常是指實際上并不存在，只是視覺上認為存在的輪廓線。這種主觀輪廓是從整體上描述的概念，而不是可以從局部鄰域內提取的邊界。因此，邊緣檢測方法不能檢測出這樣的主觀輪廓。43視覺錯覺示例人類視覺特性視覺錯覺：視覺錯覺：視覺錯覺指人類視覺錯誤地感知物體的幾何、顏色、動態特征等，而造成視覺感知與事實不相符合的現象。掩蓋效應：掩蓋效應：掩蓋效應是指一個激勵的出現會影響另一個激勵的可見性。44數碼相機結構圖及CCD傳感器數碼相機的結構和特性性數碼相機的成像機理數碼相機的成像機理與人眼的成像機理基本一致。數碼相機主要包括三個部分：光圈、鏡頭和成像傳感器。光圈

24、控制進光量，光圈愈大，進光量愈多。鏡頭是相機中最重要的部件，決定了成像質量。成像傳感器實現光電轉換，記錄每一個像素值。45成像傳感器在數碼相機系統中，光線通過光學鏡頭投射到行列點陣結構的成像傳感器成像傳感器上。成像傳感器本身是一個單色電子元件，只能感受光強度，因此還需要在傳感芯片前裝置有彩色濾波陣列彩色濾波陣列。Bayer模式模式的彩色濾波陣列是一種廣泛使用的排列方式，它通過彩色插值方法將圖像轉換為全彩色圖像。單CCD數碼相機成像原理Bayer模式彩色濾波陣列46圖像質量評測圖像質量評測圖像質量評測可以分為由人來評價的主觀方法和由算法評價的客觀方法。主觀評測主觀評測在一定測試條件下由多個觀察者

25、對待測圖像的質量進行評分，對大量的評分數據進行統計處理。然而，主觀方法需多次重復實驗，耗時費力，且易受觀察者個人因素的影響?？陀^評測客觀評測是用數學公式計算給出指標數值，使算法評價自動、公開。傳統的客觀方法主要有峰值信噪比(PSNR)和均方誤差(MSE)等。它們雖然有著計算簡單、物理意義明確、數學上便于優化等優點，但沒有考慮到像素間的相關性和人類視覺系統的感知特性，在很多情況下不符合人的主觀感受。47(a)原始Lena圖像 (b)對比度拉伸圖像(c)高斯噪聲污染圖像(d)椒鹽噪聲污染圖像(e)模糊失真圖像(f) JPEG壓縮失真圖像圖像質量評測MSE失效示例，原圖像與失真圖像的MSE均為225

26、48(a)原始圖像(b)天空區域加噪聲(c)海岸區域加噪聲PSNR失效示例，原圖像與失真圖像的PSNR均為32 dB圖像質量評測49線性移不變系統 數字圖像成像和處理中的許多現象呈現線性行為數字圖像成像和處理中的許多現象呈現線性行為。系統沖激響應系統沖激響應：系統沖激響應是指系統對輸入為單位脈沖函數的響應輸出。離散系統的沖激響應為單位脈沖函數、狄拉克 函數，定義為： 對于輸入的任意數字圖像，可以看成自身亮度值的點光源的集合，可以用離散卷積的形式表示輸入信號 為：50線性移不變算子在信號處理與分析中，系統用算子來實現。一個算子既是線性的，又是移不變的，則該算子是線性移線性移不變算子不變算子。線性移不變算子 具有如下性質： 齊次性齊次性 疊加性疊加性 平移不變性平移不變性51像素的空間關系相鄰像素相鄰像素 4鄰域鄰域 ： 對角鄰域對角鄰域鄰域鄰域 ： 8鄰域鄰域 ：52像素的空間關系鄰接性鄰接性 4鄰接鄰接：當 在 的4鄰域 內，則它們為4鄰接； 8鄰接鄰接：當 在 的8鄰域 內，則它們為8鄰接； m 鄰域鄰域：當 在 的m鄰域 內，則它們為m鄰接； 連通性連通性 若從像素 到像素 之間存在一條一序列像素組成的折線，且該折線上的像素灰度值均滿足上述特定相似性準則，則稱這一序列像素組成了一條從像素 到像素 的通路通路。