第1章數(shù)字圖像處理概述1認識數(shù)字圖像目錄認識數(shù)字圖像處理2認識數(shù)字圖像處理工具3了解數(shù)字圖像處理相關Python庫41.1認識數(shù)字圖像處理1922年，圖像第一次通過海底電纜從倫敦傳往紐約。早期數(shù)字圖像視覺質量的過程中遇到了很多問題，其首要問題涉及打印方法的選擇和亮度等級的分布。1.1.1了解數(shù)字圖像處理的起源1.數(shù)字圖像最早應用于報紙業(yè)圖1?11921年由電報打印機采用特殊字體在編碼紙帶上產(chǎn)生的數(shù)字圖像（灰度級：5）圖1?21929年使用穿孔紙帶的照相還原技術得到的數(shù)字圖像（灰度級：15）從馮·諾依曼開始，一系列重要的進展使得計算機強大到足以用于數(shù)字圖像處理第一臺功能強大到足以執(zhí)行有意義的數(shù)字圖像處理任務的大型計算機出現(xiàn)在20世紀60年代初利用計算機技術改善空間探測器發(fā)回的圖像，始于1964年美國加利福尼亞的噴氣推進實驗室1.1.1了解數(shù)字圖像處理的起源2.

計算機的概念可追溯到古代“算盤”的發(fā)明圖1?3“徘徊者7號”月球探測器在撞擊月球表面前拍攝的圖像隨著科技水平的日益提高，危、重、繁、雜的體力勞動正在逐漸被智能機器人及機器生產(chǎn)線所取代具有環(huán)境理解的機器視覺在工業(yè)裝配、自動化生產(chǎn)線控制、救火、排障、引爆等方面的應用家庭的輔助勞動、烹飪、清潔、老年人及殘障人士的監(jiān)護方面的應用1.1.2了解數(shù)字圖像處理的應用領域1.

工業(yè)圖1?4工業(yè)無損探傷和檢驗（紡織產(chǎn)品瑕疵檢測）遠程多媒體網(wǎng)絡視頻聊天已經(jīng)被普遍使用，圖、文、聲、像并茂的網(wǎng)絡媒體已經(jīng)融入人們的日常生活高清晰度的數(shù)字電視已經(jīng)走進千家萬戶可視電話與可視圖書資料等即將成為普通家庭的必備品。1.1.2了解數(shù)字圖像處理的應用領域2.

通信圖1?5高清數(shù)字圖像醫(yī)用超聲成像X光造影成像、X光斷影成像核磁共振斷層成像1.1.2了解數(shù)字圖像處理的應用領域3.

醫(yī)學圖1?6醫(yī)學圖像遙感圖像提供精確、客觀的調查和檢測資料各種農作物的生產(chǎn)情況、收獲估計林業(yè)資源、礦產(chǎn)資源、地質、水文、海洋、氣象等觀測1.1.2了解數(shù)字圖像處理的應用領域4.

遙感圖1?7遙感圖像圖像制導技術在戰(zhàn)略、戰(zhàn)術武器制導中發(fā)揮了極大作用，其特點是高精度與智能化圖像匹配與定位技術為基礎的光學制導正在進一步發(fā)展在測控技術中，光學跟蹤測控也是最精密的測控技術之一1.1.2了解數(shù)字圖像處理的應用領域5.

軍事圖1?8紅外成像制導頭傳回的數(shù)字圖像印刷體漢字識別和手寫漢字識別技術已經(jīng)進入實用化階段漢字識別輸入將逐步取代打字輸入語音識別輸入，辦公的自動化程度正在不斷提高1.1.2了解數(shù)字圖像處理的應用領域6.

辦公自動化圖1?8發(fā)票文字信息自動識別利用數(shù)字圖像變形技術產(chǎn)生的特技效果在電影、電視、動畫和媒體廣告中有很多非常成功的應用計算機圖像生成技術在廣告制作、動畫制作、網(wǎng)絡游戲中更是有令人嘆為觀止的成果在服裝設計、發(fā)型設計、歌舞動作設計等諸多方面也都有廣泛的應用1.1.2了解數(shù)字圖像處理的應用領域7.

影視娛樂圖1?9人臉轉動漫臉特效數(shù)字圖像處理，是用計算機對圖像進行處理和分析，以達到所需結果的技術，又稱數(shù)字圖像處理。數(shù)字圖像是指用工業(yè)相機、攝像機、掃描儀等設備經(jīng)過拍攝、掃描得到的二維數(shù)組，該數(shù)組的元素稱為像素，像素的值稱為灰度值。數(shù)字圖像處理技術一般包括圖像壓縮、增強、復原、分割、描述、匹配和識別等幾個部分。圖像工程，是各種與數(shù)字圖像有關的技術的總稱。這些技術可根據(jù)各自的特點分為3個既有聯(lián)系又有區(qū)別的層次：圖像處理、圖像分析和圖像理解。這三者的有機結合稱為圖像工程。換句話說，圖像工程是既有聯(lián)系又有區(qū)別的圖像處理、圖像分析及圖像理解的有機結合，除此之外圖像工程還包括對它們的工程應用。1.1.3了解圖像工程與數(shù)字圖像處理的關系1認識數(shù)字圖像目錄認識數(shù)字圖像處理2認識數(shù)字圖像處理工具3了解數(shù)字圖像處理相關Python庫41.2認識數(shù)字圖像人眼的形狀近似為一個球體（成人眼球前后徑約為24mm），它由3層膜包裹：外覆的角膜與鞏膜、脈絡膜、視網(wǎng)膜。角膜相當于相機的鏡頭，瞳孔相當于光圈，晶狀體相當于調焦器，視網(wǎng)膜相當于底片。1.2.1了解人眼的視覺系統(tǒng)1.人眼與相機圖1?11相機和人的眼球的結構對比圖1?10人眼結構物體在人眼中成像的示意如圖1?12所示，反映了光學系統(tǒng)的光路原理在人眼中，晶狀體和成像區(qū)域的距離是固定的，晶狀體中心和沿視軸的視網(wǎng)膜的距離約為17mm1.2.1了解人眼的視覺系統(tǒng)2.人眼成像圖1?12物體在人眼中成像的示意把一幅連續(xù)圖像在空間上分割成M（行）×N（列）個方格，每個方格可以用一個亮度值來表示，每一個方格又被稱為一個像素，這時連續(xù)圖像就變成了離散圖像1.2.2了解數(shù)字圖像1.采樣圖1?13圖像采樣的過程為了形成數(shù)字圖像，亮度值也要轉化（量化）為離散量量化就是把采樣點上對應的亮度連續(xù)變化區(qū)間轉換為單個特定數(shù)值的過程，將圖像的連續(xù)灰度值量化成256個離散灰度級，灰度范圍從黑（0）到白（255）1.2.2了解數(shù)字圖像2.量化圖1?14圖像的量化當像素相鄰時，兩個像素之間有鄰接關系，鄰接的模式有4鄰接、對角鄰接、8鄰接、m鄰接。1.2.3熟悉像素間的基本關系1.鄰接性圖1?17像素的8鄰接圖1?16像素的對角鄰接圖1?15像素的4鄰接m鄰接，也稱混合鄰接，需滿足以下條件之一①像素q在像素p的4鄰域中。②像素p在像素q的對角鄰域中，并且像素p的4鄰域和像素q的4鄰域的交集中的值沒有來自V中的值，此時像素p和像素q為m鄰接。1.2.3熟悉像素間的基本關系1.鄰接性圖1?18m鄰接與8鄰接對比連通反映兩個像素的空間關系對于兩個像素p和q，如果q在p的4鄰域集合中，則稱這兩個像素是4連通的對于兩個像素p和q，如果q在p的8鄰域集合中，則稱這兩個像素是8連通的1.2.3熟悉像素間的基本關系2.連通性圖1?19像素的連通性區(qū)域的定義是建立在連通集的基礎上的令R為圖像的一個像素子集，

如果R是連通集，則稱R為一個區(qū)域

如果兩個區(qū)域和聯(lián)合形成一個連通集，則區(qū)域和稱為鄰接區(qū)域1.2.3熟悉像素間的基本關系3.區(qū)域圖1?20兩個鄰接區(qū)域（8鄰接）1認識數(shù)字圖像目錄認識數(shù)字圖像處理2認識數(shù)字圖像處理工具3了解數(shù)字圖像處理相關Python庫41.3認識數(shù)字圖像處理工具VisualC++是Windows操作系統(tǒng)下的C++集成設計環(huán)境，隨著Windows操作系統(tǒng)的普及，在VisualC++下實現(xiàn)數(shù)字圖像處理成為在普通PC上進行數(shù)字圖像處理操作的常用途徑之一CImage類，其能夠勝任大多數(shù)類型的數(shù)字圖像處理任務1.3.1熟悉常用數(shù)字圖像處理工具1.VisualC++表1-1CImage類的主要函數(shù)和功能MATLAB是MathWorks公司開發(fā)的一款工程數(shù)學計算軟件MATLAB圖像處理工具箱（ImageProcessingToolbox，IPT）中封裝有一系列針對不同數(shù)字圖像處理需求的標準算法MATLAB有許多與數(shù)字圖像處理密切相關的數(shù)據(jù)結構及基本操作，如基本文件操作、變量使用、程序流程控制、打開和關閉圖像、圖像格式轉換和存儲等在MATLAB中，有3種方法可以獲取軟件的在線幫助：1.3.1熟悉常用數(shù)字圖像處理工具2.MATLABhelp命令，doc命令，lookfor命令2021年IEEESpectrum的編程語言排行榜中，Python排名第一Python有著其他語言不可比擬的優(yōu)勢，正逐步成為數(shù)據(jù)科學領域的主流語言用Python編程實現(xiàn)數(shù)字圖像處理算法，需要安裝Python2.6以上的版本初學者也可以直接從Python3.x入手，學習并掌握Python的基本語法1.3.1熟悉常用數(shù)字圖像處理工具3.Python1.3.2數(shù)字圖像處理工具對比從語言學習難易程度、執(zhí)行速度、使用場景、第三方支持、流行領域和軟件成本等方面對比表1-2

數(shù)字圖像處理工具對比1認識數(shù)字圖像目錄認識數(shù)字圖像處理2認識數(shù)字圖像處理工具3了解數(shù)字圖像處理相關Python庫41.4了解數(shù)字圖像處理相關Python庫Pillow提供通用的數(shù)字圖像處理功能，如圖像縮放、裁剪、旋轉、顏色轉換等使用Pillow讀取一幅圖像，如代碼所示1.4.1了解Pillow庫PIL（PythonImagingLibrary）是Python平臺上的數(shù)字圖像處理標準庫NumPy中的數(shù)組對象可以實現(xiàn)數(shù)字圖像處理的許多重要操作，如矩陣乘積、轉置、解方程系統(tǒng)、向量歸一化等，為圖像的變換、縮放、去噪、求導、形態(tài)學處理、復原、分割、分類等提供了基礎使用NumPy處理圖像，首先要將圖像轉換成NumPy的數(shù)組對象，如代碼所示。1.4.2了解NumPy庫NumPy是非常著名的Python科學計算基礎庫之一將圖像作為NumPy數(shù)組進行處理，并提供很多數(shù)字圖像處理功能，對像素的操作和圖像整體的操作更符合科學計算要求使用skimage讀取一幅圖像，如代碼所示1.4.3了解scikit-image庫scikit-image的簡稱是skimage，skimage也是一個基于Python的數(shù)字圖像處理庫OpenCV支持多種編程語言，如C++、Python、Java等，可在Windows、Linux、macOS、Android和iOS等不同平臺上使用與計算機視覺技術有關的OpenCV-Python常用函數(shù)如表所示1.4.4熟悉OpenCV庫OpenCV是一個開源的計算機視覺庫，支持大量與計算機視覺相關的算法，并日益擴展數(shù)字圖像處理的起源、數(shù)字圖像處理的應用領域以及數(shù)字圖像工程與數(shù)字圖像處理的關系圖像的基本知識，包括人眼的視覺系統(tǒng)、數(shù)字圖像的基本構成和像素間的基本關系若干常見的數(shù)字圖像處理工具，對它們的性能進行橫向對比Python庫中常用于數(shù)字圖像處理的相關庫數(shù)字圖像處理是一門科學技術，強調科學的思維方式和方法。理性思考、嚴謹求實，關注社會、人文和倫理問題，是開展本課程學習的基本要求。小結第2章圖像的基本變換1在圖像上繪制圖形目錄讀寫圖像數(shù)據(jù)2轉換圖像的顏色空間3圖像幾何變換42.1讀寫圖像數(shù)據(jù)一幅圖像需要在空間和灰度上都離散化才能被計算機處理在實際應用中，陣列傳感器獲取的數(shù)字圖像如圖2?1所示圖2?1陣列傳感器獲取的數(shù)字圖像導言用Python讀取一幅圖像，需要導入OpenCV模塊，它包含數(shù)字圖像處理的不同算法使用OpenCV中的imread()方法讀取圖像使用OpenCV中的imshow()方法在指定窗口中顯示圖像2.1.1讀取和顯示圖像常用的圖像文件格式有BMP（Bitmap）、TIFF（TagImageFileFormat）、GIF（GraphicInterchangeFormat）、JPEG（JointPhotographicExpertsGroup）、PDF（PortableDocumentFormat）和PNG(PortableNetworkGraphics)等若想保存結果圖像，可以使用OpenCV中的imwrite()方法保存圖像2.1.2保存圖像1在圖像上繪制圖形目錄讀寫圖像數(shù)據(jù)2轉換圖像的顏色空間3圖像幾何變換42.2在圖像上繪制圖形line()方法用于在圖像上繪制直線，其語法格式如下：2.2.1繪制簡單的圖形1.在圖像上繪制直線2.2.1繪制簡單的圖形使用line()方法在圖像上繪制一條直線，如代碼所示circle()方法用于在圖像上繪制圓，其語法格式如下：2.2.1繪制簡單的圖形2.在圖像上繪制圓2.2.1繪制簡單的圖形使用circle()方法在圖像上繪制圓，如代碼所示rectangle()方法用于在圖像上繪制矩形，其語法格式如下：2.2.1繪制簡單的圖形3.在圖像上繪制矩形2.2.1繪制簡單的圖形使用rectangle()方法用于在圖像上繪制矩形，如代碼所示putText()方法用于在圖像上添加文字，其語法格式如下：2.2.1繪制簡單的圖形4.在圖像上添加文字2.2.1繪制簡單的圖形使用putText()方法在圖像上添加文字，如代碼所示在圖像上標注出和任務相關的、特定于任務的標簽主要包括基于文本的標簽（類）、繪制在圖像上的標簽（邊框），甚至是像素級的標簽在圖像上添加人臉區(qū)域的標注和標簽，如代碼所示2.2.2標注圖像中的人臉區(qū)域圖像標注是計算機視覺任務的關鍵1在圖像上繪制圖形目錄讀寫圖像數(shù)據(jù)2轉換圖像的顏色空間3圖像幾何變換42.3轉換圖像的顏色空間人的視覺認知依賴亮度、色調和飽和度這3個基本特征量來區(qū)分顏色任何一種顏色都可由其亮度、色調和飽和度來表征形成任何一種顏色的紅色量、綠色量和藍色量被稱為三色值，并分別表示為X、Y和Z一種色彩就可以由其三色系數(shù)來規(guī)定，三色系數(shù)定義如下2.3.1了解顏色空間非常典型、常用的面向硬件設備的顏色空間是三基色顏色空間電視、攝像機和彩色掃描儀都是根據(jù)RGB顏色空間工作的RGB顏色空間是一種與人的視覺系統(tǒng)結構密切相連的顏色空間2.3.1了解顏色空間1.RGB圖2?8CIE色度圖

圖2?9RGB顏色空間灰度圖像能以較少的數(shù)據(jù)表征圖像的大部分特征在某些算法的預處理階段需要將彩色圖像轉換為灰度圖像，以提高后續(xù)算法的效率常用的RGB圖像灰度化方法有3種：最大值灰度化、平均值灰度化、加權平均灰度化2.3.1了解顏色空間2.灰度空間面向彩色處理的常用的顏色空間是HSI顏色空間，其中H表示色調，S表示飽和度，I表示亮度色調與亮度對應，并與物體的反射率成正比，如果無彩色就只有亮度一個維度的變化HSI顏色空間中的色度可借助以R、G、B為3個頂點的三角形來描述2.3.1了解顏色空間3.HSI與HSV從RGB顏色空間到HSI顏色空間的轉換2.3.1了解顏色空間3.HSI與HSV從HSI顏色空間到RGB顏色空間的轉換①當H在[)區(qū)間內時，轉換公式如下②

當H在[)區(qū)間內時，轉換公式如下③當H在[)區(qū)間內時，轉換公式如下2.3.1了解顏色空間3.HSI與HSV利用三基色光疊加可產(chǎn)生光的三補色：藍綠（C，即綠加藍）、品紅（M，即紅加藍）、黃（Y，即紅加綠）按一定的比例混合三基色光或將一個補色光與相對的基色光混合可以產(chǎn)生白色光顏料的三基色正好是光的三補色，而顏料的三補色正好是光的三基色一種簡單的CMY顏色空間到RGB顏色空間的轉換方法如下2.3.1了解顏色空間4.

CMY2.3.2顏色空間的相互轉換

OpenCV中提供的cvtColor()方法可以進行圖像顏色空間轉換，其語法格式如下2.3.2顏色空間的相互轉換將RGB空間圖像轉換為灰度空間圖像2.3.2顏色空間的相互轉換將RGB空間圖像轉換為HSV空間圖像1在圖像上繪制圖形目錄讀寫圖像數(shù)據(jù)2轉換圖像的顏色空間3圖像幾何變換42.4圖像幾何變換相同內容的兩幅圖像可能由于成像角度、透視乃至鏡頭自身原因所造成的幾何失真而呈現(xiàn)出截然不同的外觀，給數(shù)字圖像處理和識別任務帶來困難通過適當?shù)膸缀巫儞Q可以最大限度地消除這些幾何失真所產(chǎn)生的負面影響圖像幾何變換又稱為圖像空間變換，它將一幅圖像中的坐標位置映射到另一幅圖像中的新坐標位置圖像的幾何變換包括基本的平移、縮放、旋轉和復雜的仿射、透視等2.4.1了解圖像的幾何變換幾何變換常常作為其他數(shù)字圖像處理應用的預處理步驟圖像的平移變換就是將圖像中所有的像素坐標分別加上指定的水平偏移量和垂直偏移量假設原本像素的位置坐標為，經(jīng)過平移量后，坐標變?yōu)椤Ｆ渥儞Q公式如下：矩陣表示的坐標關系式為2.4.1了解圖像的幾何變換1.平移變換圖像的縮放變換主要用于改變圖像的尺寸，縮放后圖像的寬度和高度會發(fā)生變化為縮放前坐標，為縮放后坐標，其矩陣表示的坐標映射關系如下：2.4.1了解圖像的幾何變換2.縮放變換圖像的旋轉變換就是讓圖像按照某一點旋轉指定的角度旋轉后圖像的坐標和原圖像坐標之間的關系已不能通過簡單的加、減、乘法運算得到，而需要通過一系列的復雜運算才能得到設旋轉中心為，旋轉前的坐標為，旋轉后的坐標為，則旋轉坐標的變換如下：矩陣表示的坐標關系式為：2.4.1了解圖像的幾何變換3.旋轉變換圖像的仿射變換是一種基于平面的變換，它能夠保持點的共線性（即保持二維圖形之間的相對位置關系不變，平行仍平行、相交直線的交角不變等）和直線的平行性（即變換后圓弧還是圓弧、直線還是直線等）仿射變換中假設原圖像的某個像素點為，經(jīng)過仿射變換后為，那么仿射變換的過程矩陣表示的坐標關系式為：2.4.1了解圖像的幾何變換4.仿射變換透視變換是空間變換，能夠將圖像投影到一個新的視平面，也稱作投影映射透視變換中假設原圖像的某個像素點經(jīng)過透視變換后為，變換公式為矩陣表示的坐標關系式為：

2.4.1了解圖像的幾何變換5.透視變換由于人臉數(shù)據(jù)獲取的途徑不同，導致人臉圖像的分辨率大小不一，為了方便后續(xù)的人臉檢測與識別，需要將不同尺寸的圖像進行縮放，保證尺寸的一致OpenCV提供resize函數(shù)實現(xiàn)圖像的縮放。resize函數(shù)的語法格式如下2.4.2人臉圖像幾何變換1.

人臉縮放2.4.2人臉圖像幾何變換使用resize函數(shù)將兩幅圖像縮放在實際人臉數(shù)據(jù)獲取過程中，人臉的姿態(tài)是不斷變化的，有時拍攝的人臉有側傾現(xiàn)象，可以先對人臉進行旋轉對齊，保證人臉姿態(tài)是正臉OpenCV提供warpAffine，getRotationMatrix2D函數(shù)用于圖像仿射變換，其語法格式如下2.4.2人臉圖像幾何變換2.人臉旋轉對齊2.4.2人臉圖像幾何變換通過warpAffine和getRotationMatrix2D函數(shù)實現(xiàn)圖像旋轉在實際人臉數(shù)據(jù)獲取過程中，人臉數(shù)據(jù)除了有人臉出現(xiàn)側傾的情況外，還有側臉、仰頭、低頭等非正臉的情況，此類數(shù)據(jù)對于人臉識別的影響也比較大，為了優(yōu)化此類數(shù)據(jù)可以使用透視變換，將此類人臉對齊OpenCV提供warpPerspective，getPerspectiveTransform函數(shù)用來進行圖像透視變換，其語法格式如下2.4.2人臉圖像幾何變換3.

人臉透視對齊2.4.2人臉圖像幾何變換使用warpPerspective，getPerspectiveTransform函數(shù)實現(xiàn)人臉圖像透視對齊本章主要介紹了讀寫圖像數(shù)據(jù)、在圖像上繪制圖形、轉換圖像的顏色空間和圖像幾何變換4部分內容圖像數(shù)據(jù)的讀取、顯示與保存繪制簡單的圖形和標注圖像中的人臉區(qū)域顏色空間的概念和使用OpenCV實現(xiàn)顏色空間轉換的方法幾何變換的概念和使用OpenCV實現(xiàn)圖像幾何變換的方法小結第3章圖像增強與復原1使用頻率域濾波處理圖像目錄使用空間濾波增強圖像2車牌復原3章節(jié)小結4使用空間濾波增強圖像1.了解空間濾波使用空間濾波增強圖像，空間域指的是圖像平面本身，空間域中的圖像處理方法直接對圖像中的像素進行處理。空間濾波的常見應用包含平滑圖像、銳化圖像和模糊圖像，可以用于非線性濾波，而頻率域濾波則無法實現(xiàn)。空間域濾波增強采用模板處理方法對圖像進行濾波，去除圖像噪聲或者增強圖像的細節(jié)。通常空間域技術在計算上更有效，且執(zhí)行所需的處理資源較少。空間濾波中的分類也很多，通過計算方式不同可以劃分為低通濾波和高通濾波等，通過對像素執(zhí)行運算方式的不同可以分為線性濾波和非線性濾波，根據(jù)空間濾波增強目的可分為平滑濾波和銳化濾波。節(jié)空間濾波主要依據(jù)空間濾波增強目的進行分類，處理如式（3-1）所示。（3-1）

使用空間濾波增強圖像了解濾波器需要先理解濾波器核這一概念，核是一個陣列，核的尺寸定義了運算的鄰域，核的系數(shù)決定對應濾波器的性質。用于稱呼濾波器核的術語還有模板、窗口等。在第3章中統(tǒng)一稱之為核或濾波器核。在空間域中有兩種不同的運算，為相關運算和卷積運算，這兩種運算是空間濾波的重要基礎。相關運算過程是在圖像上移動核的中心，并且在每個位置計算乘積之和。而卷積運算原理與相關運算類似，只是把相關運算的核旋轉了180°。1.了解空間濾波在一維空間中，長度為m的核對長度為M的圖像進行線性空間濾波表示如式（3-2）所示。

（3-2）

使用空間濾波增強圖像一維相關運算與卷積運算的過程如右圖所示。1.了解空間濾波

使用空間濾波增強圖像

1.了解空間濾波

（3?3）

使用空間濾波增強圖像1.了解空間濾波要用公式給出相關運算與卷積運算在二維空間中的定義，首先需將相關運算重寫，如式（3-4）所示。（3-4）

（3-5）

使用空間濾波增強圖像2.使用空間濾波平滑圖像因為空間域中的低通濾波器主要起平滑作用，所以也稱為平滑濾波器，該濾波器可以對圖像中噪聲的去除起到顯著的作用。下面對如何使用空間濾波平滑車牌圖像進行介紹。

使用空間濾波增強圖像2.使用空間濾波平滑圖像在低通濾波器中平滑效果較為顯著的是高斯濾波器，高斯濾波器的核通常是各向同性的，各向同性也被稱為圓對稱性。高斯核的定義如式（3-6）所示。

（3-6）

使用空間濾波增強圖像2.使用空間濾波平滑圖像根據(jù)式（3-6）給出一個高斯核的示例，如下圖所示，可以看到核的前面有一個歸一化常數(shù)，分母是核中常數(shù)的和。本章主要使用OpenCV實現(xiàn)空間濾波器。OpenCV中定義了許多濾波器，可以直接使用。例如，盒式濾波器、中值濾波器、高斯濾波器在OpenCV中都有定義。先給出3種濾波器的函數(shù)語法以及參數(shù)解釋，再介紹使用不同低通濾波器對圖像進行平滑操作的實現(xiàn)效果。定義盒式濾波器的boxFilter函數(shù)的語法格式如下。cv2.boxFilter（src,ddepth,ksize,dst,anchor,normalize,borderType）使用空間濾波增強圖像2.使用空間濾波平滑圖像boxFilter函數(shù)的參數(shù)及其說明如下表所示。參數(shù)名稱說明src接收constGMat類型。表示輸入圖像。無默認值ksize接收constSize類型。表示核的尺寸。無默認值anchor接收constPoint類型。表示錨位于單元的中心。默認值為(-1,-1)normalize接收bool類型。表示標志位，指定內核是否按其區(qū)域規(guī)范化。默認值為TrueborderType接收int類型。表示用于推斷圖像外部像素的某種邊界模式。默認值為BORDER_DEFAULT定義中值濾波器的medianBlur函數(shù)的語法格式如下。cv2.medianBlur(src,ksize,dst)，函數(shù)的參數(shù)及其說明如下表。參數(shù)名稱說明src接收constGMat類型。表示輸入圖像。無默認值ksize接收int類型。表示核線性長度，必須為奇數(shù)。無默認值使用空間濾波增強圖像2.使用空間濾波平滑圖像參數(shù)名稱說明src接收constGMat類型。表示輸入圖像。無默認值ksize接收constSize類型。表示核的尺寸。無默認值sigmaX接收double類型。表示高斯核在x軸方向的標準差。無默認值sigmaY接收double類型。表示高斯核在y軸方向的標準差。默認值為0borderType接收int類型。表示用于推斷圖像外部像素的某種邊界模式。默認值為BORDER_DEFAULT定義高斯濾波器的gaussianBlur函數(shù)的語法格式如下。cv2.GaussianBlur(src,ksize,sigmaX,sigmaY,borderType)，GaussianBlur函數(shù)的參數(shù)及其說明如下表所示。使用空間濾波增強圖像2.使用空間濾波平滑圖像通過OpenCV調用boxFilter函數(shù)、medianBlur函數(shù)和GaussianBlur函數(shù)，可實現(xiàn)盒式濾波器、中值濾波器和高斯濾波器，效果如下圖所示。(a)(b)(d)(c)在右圖中(a)、(b)、(c)、(d)分別為添加噪聲后的原圖像、盒式濾波器處理后的結果、中值濾波器處理后的結果、高斯濾波器處理后的結果。將右圖中不同濾波器的平滑結果進行對比可以看出，對于添加了噪聲的車牌圖像，盒式濾波器的平滑效果與理想結果有較大出入。而平滑效果最好的是中值濾波器。使用空間濾波增強圖像3.使用空間濾波銳化圖像對于抓取的車牌圖像，車牌號往往會出現(xiàn)車牌號邊緣扭曲或者符號不明顯的情況。通過銳化空間濾波器突出灰度的過渡部分，可以實現(xiàn)銳化的目的。在介紹銳化濾波器之前，先介紹導數(shù)在數(shù)字環(huán)境下的一些基本性質。數(shù)字函數(shù)的導數(shù)是用差分來定義的。定義差分的方法有多種，但一階導數(shù)的任何定義都要滿足如下3點要求。（1）恒定灰度區(qū)域的一階導數(shù)必須為零。（2）灰度臺階或斜坡開始處的一階導數(shù)必須非零。（3）灰度斜坡上的一階導數(shù)必須非零。二階導數(shù)的任何定義都要滿足如下3點要求。（1）恒定灰度區(qū)域的二階導數(shù)必須為零。（2）灰度臺階或斜坡開始處的二階導數(shù)必須非零。（3）灰度斜坡上的二階導數(shù)必須非零。使用空間濾波增強圖像3.使用空間濾波銳化圖像

（3?7）

式（3-7）和式（3-8）分別滿足上述恒定灰度區(qū)域、灰度臺階或斜坡開始處、灰度斜坡3個方面關于一階、二階導數(shù)應滿足的要求。（3?8）使用空間濾波增強圖像3.使用空間濾波銳化圖像兩個變量的Laplace算子的定義，如式（3-9）所示。（3-9）

(a)(b)(c)(d)

上圖中，(a)拉普拉斯核可以實現(xiàn)式（3-9），并且該核為各向同性在關于x軸和y軸以90°為增量旋轉時核不變。(b)拉普拉斯核用于實現(xiàn)包含對角項的擴展公式的核。(c)、(d)拉普拉斯核是由二階導數(shù)定義得到的，但此時二階導數(shù)為負。使用空間濾波增強圖像3.使用空間濾波銳化圖像對于空間非線性的圖像銳化操作，可以通過一階微分，即梯度處理實現(xiàn)。梯度處理可以使灰度圖像中看不見的小斑點突出，擁有較好的在灰度平坦區(qū)域中增強小突變的能力。這對于車牌圖像增強具有重要的意義。

（3?10）

（3?11）

使用空間濾波增強圖像3.使用空間濾波銳化圖像對于空間非線性的圖像銳化操作，可以通過一階微分，即梯度處理實現(xiàn)。梯度處理可以使灰度圖像中看不見的小斑點突出，擁有較好的在灰度平坦區(qū)域中增強小突變的能力。這對于車牌圖像增強具有重要的意義。

數(shù)字圖像處理早期開發(fā)中，羅伯特使用交叉差值提出關于符合恒定灰度區(qū)域、灰度臺階或斜坡開始處、灰度斜坡表示的一階導數(shù)定義，如式（3?12）所示。

（3?12）

使用空間濾波增強圖像3.使用空間濾波銳化圖像

式（3?12）中所需的差值項可用右圖中的(a)、(b)兩個核來實現(xiàn)，這兩個核稱為Roberts交叉梯度算子。圖中的(c)、(d)兩個核稱為Sobel算子。

在中心系數(shù)中使用權值2的原因是強調中心的重要程度來實現(xiàn)某種平滑。需要注意的是，右圖中所有核的系數(shù)之和為0，當圖像與系數(shù)之和為0的核卷積時，濾波后的圖像元素之和也為0。使用各算子銳化圖像結果如右圖所示。在右圖中，(a)、(b)、(c)、(d)分別為讀入原圖像的灰度圖像、Roberts交叉梯度算子處理后的結果、Sobel算子處理后的結果和Laplace算子處理后的結果。可以看出經(jīng)過銳化后的3組圖像中，使用Roberts交叉梯度算子處理后的車牌圖像結果較為理想，將車體與車牌信息凸顯了出來。(a)(b)(c)(d)使用空間濾波增強圖像4.使用空間濾波器模糊圖像本小節(jié)主要介紹模糊集合在空間濾波器中的應用，使用模糊集合實現(xiàn)模糊車牌圖像的功能。模糊集合在解決一些以不精確概念表述的問題時，有較好的解決方案與應用效果。

（3?13）使用空間濾波增強圖像4.使用空間濾波器模糊圖像鄰域中心處像素和鄰域像素的灰度差如下圖所示。把模糊集合應用于空間濾波時，基本方法是定義一個鄰域特性，使用該特性截獲濾波器檢測出的效果，比如考慮檢測一幅圖像中各區(qū)域的邊緣。

使用空間濾波增強圖像4.使用空間濾波器模糊圖像圖中（a）為變換前的圖像，（b）為變換后的結果。(a)(b)可以看出到的灰度變換結果還是比較理想的。處理后的圖像灰度動態(tài)范圍得到了擴展，所得到的圖像也比原圖更加明亮、清晰，圖像的一些細節(jié)處理得較為妥當。1使用頻率域濾波處理圖像目錄使用空間濾波增強圖像2車牌復原3章節(jié)小結4頻率域濾波是指通過傅里葉變換對圖像進行處理。空間域濾波與頻率域濾波之間的橋梁是卷積定理，變化最慢的頻率成分與圖像的平均灰度成正比；當遠離變換原點時，圖像變化緩慢的灰度部分對應低頻，反之，當原點移開更遠時，高頻對應圖像變化快速的灰度成分。對圖像進行頻率域濾波處理需要先將圖像做頻率譜轉換，通常使用利用傅里葉變換將圖像轉換成為傅里葉譜，由灰度圖像生成傅里葉譜。使用頻率域濾波處理圖像1.了解頻率域濾波圖xx灰度圖像轉為傅里葉譜圖像使用頻率域濾波處理圖像2.使用頻率域濾波平滑圖像高頻由灰度尖銳變化部分造成，例如邊緣和噪聲，可以通過使用低通濾波器即衰減高頻而通過低頻的濾波器來實現(xiàn)平滑車牌圖像的功能。常用的低通濾波器有3種類型：理想低通濾波器

布特沃斯低通濾波器高斯低通濾波器使用頻率域濾波處理圖像理想低通濾波器

理想低通濾波器是一個以原點為圓心，以為半徑的二維圓形濾波器，在使用該濾波器對圖像進行濾波處理時，濾波器內部的圖像信號可以無衰減地通過，該圓形濾波器外部所有頻率的信號都被阻斷而無法通過。該濾波器由函數(shù)H確定，如式下所示：

D0為一個正常數(shù)，D0(u,v)為頻率域中點(u,v)與頻率矩形中心的距離，上式中，P和Q為函數(shù)經(jīng)零填充后的尺寸使用頻率域濾波處理圖像理想低通濾波器

下圖為理想低通濾波器的透視圖，圓內的值為1意味著允許圖像信息完整地通過，而圓外值為0，意味著阻止信息。在頻率域中，圖像的信號絕大多數(shù)為低頻信號，圖像中圖案的邊緣或噪聲處存在有較多的高頻信號。圖xx理想低通濾波器透視圖及其俯視圖使用頻率域濾波處理圖像理想低通濾波器

不同截止頻率半徑下的理想低通濾波器處理結果上圖中左1為原始圖，左2～3分別為截止頻率D0半徑取為10，30及60時候理想低通濾波器處理原始圖像得到的效果圖。從圖315可以看出隨著截止頻率半徑的改變，理想低通濾波處理的結果也會變化，選取的半徑較小時，過濾掉了一些圖案邊緣的高頻信號，導致圖像中圖案邊界信息的丟失較多而表現(xiàn)出模糊程度大的現(xiàn)象，而隨著半徑的增加，保留下來的頻率信號更多，只有較高頻率的信號才會被過濾，因而處理后的圖像模糊程度在降低。使用頻率域濾波處理圖像布特沃斯低通濾波器理想高通濾波器邊緣太過于“陡峭”，對信息通過濾波器時只有兩個選擇，通過或者不通過，實際情況中的信息往往表現(xiàn)為連續(xù)的，一種能夠平滑過濾信息的濾波器可能會更加有效，布特沃斯低通濾波器就是一種相對理想低通濾波而言能夠更加“平滑”地處理截止頻率半徑邊界的濾波器。截止頻率位于距原點處的n階布特沃斯低通濾波器的傳遞函數(shù)的定義如下式所示。上式中，D0為一個正常數(shù)，D0(u,v)為頻率域中點

(u,v)

與頻率矩形中心的距離，n表示為n階數(shù)。使用頻率域濾波處理圖像布特沃斯低通濾波器選取不同截止頻率D0及階數(shù)n條件下濾波器的透視圖像如圖xx所示。從透視圖像可以看出，D0取值越大濾波器的半徑越大，對應的被“阻塞”的信號越少。不同截止頻率D0及階數(shù)n條件下布特沃斯低通濾波器的透視圖像使用頻率域濾波處理圖像

高斯低通濾波器標準高斯函數(shù)在xy二維直角坐標系中為一條以y軸為對稱軸的單峰曲線，x為0時候取得最大值1，隨著x的絕對值增加，函數(shù)值趨近于0，高斯函數(shù)的這種特性也特別符合低通濾波性質，高斯低通濾波器的二維形式如下式所示。式中D0是頻率域中點(u,v)到截止頻率矩形中心的距離，σ是關于中心擴展度的度量。

使用頻率域濾波處理圖像高斯低通濾波器上左圖為D0=5時對應的透視圖，上右圖為D0=3時對應的透視圖。D0從圖中可以看出，截止頻率為3的時候，濾波器透視圖像形狀相比截止頻率為5時顯得更加尖銳。下左圖為D0

=5時對應的俯視圖像；下右圖為D0=3時對應的俯視圖像，從上圖可看出截止頻率為5的濾波器俯視圖半徑比截止頻率為3濾波器俯視圖的半徑大。不同截止頻率D0高斯低通濾波器透視圖及俯視圖像使用頻率域濾波處理圖像高斯低通濾波器

D0取不同值時高斯低通濾波器的濾波效果圖上圖中，左1為原始圖像，2～3為D0分別取10、30及60時的濾波效果圖，可以看出高斯低通濾波器跟布特沃斯濾波器濾波后的圖像效果也比較相近。使用頻率域濾波處理圖像3.使用頻率域濾波銳化圖像頻率域濾波銳化圖像可以通過理想高通濾波器、布特沃斯高通濾波器和頻率域的拉普拉斯算子以及同態(tài)濾波來實現(xiàn)。頻率域的高通濾波可以使傅里葉變換的低頻部分消減而不擾亂高頻部分，銳化圖像邊緣和其他灰度急劇變化區(qū)域。

理想高通濾波器布特沃斯高通濾波器頻率域的拉普拉斯算子同態(tài)濾波使用頻率域濾波處理圖像理想高通濾波器與過濾掉高頻圖像信號留下低頻圖像信號的理想低通濾波器相反，理想高通濾波器是一種僅允許截止頻率半徑外的高頻信號通過來實現(xiàn)圖像銳化的濾波器，理想高通濾波器的二維表達式如下式所示，透視圖及俯視圖如下圖所示。上式中D0為一個正常數(shù)，D(u,v)

為頻率域中點

(u,v)與頻率矩形中心的距離。使用頻率域濾波處理圖像理想高通濾波器理想高通濾波器透視圖及其俯視圖理想低通濾波器的透視圖如上圖所示，與理想低通濾波器相反，圓內的值為0意味著完全阻斷圓內圖像信息，而圓外值為1，意味著信息完全通過。使用頻率域濾波處理圖像理想高通濾波器D0取不同值時高斯低通濾波器的濾波效果圖處理后的結果如上圖所示，高頻信號保留了下來，而低頻信號處為黑色，表示被阻止了通過。使用頻率域濾波處理圖像布特沃斯高通濾波器布特沃斯高通濾波器同樣也是一種能夠過濾掉圖像低頻信號，保留下圖像高頻信號的濾波器，截至頻率為D0的n階布特沃斯高通濾波器的二維表達式如下式所示。上式中D0為一個正常數(shù)，D(u,v)

為頻率域中點

(u,v)與頻率矩形中心的距離,

n為濾波器階數(shù)。使用頻率域濾波處理圖像布特沃斯高通濾波器不同截止頻率D0及階數(shù)n條件下布特沃斯高通濾波器的透視圖像上圖中，左上為D0=1，n=2時透視圖像；右上為D0=1，n=1時對應的透視圖像，左下為D0=0.5，n=2時對應的透視圖像；右下為D0=0.5，n=1時對應得透視圖像。使用頻率域濾波處理圖像布特沃斯高通濾波器階數(shù)n取2,D0取不同值時布特沃斯高通濾波器的濾波效果圖上圖中，左1為原始圖像，2～3為D0取10、30及60時的濾波效果圖，從上圖可看出經(jīng)過布特沃斯高通濾波器處理后，圖像的高頻信號得到了很好的保留，低頻信號被阻止了。使用頻率域濾波處理圖像頻率域的拉普拉斯算子拉普拉斯算子在空間域圖像處理中可以起到增強圖像的作用，在頻率域同樣可以應用拉普拉斯算子來對圖像進行濾波處理。在頻率域中通過應用拉普斯算子可以實現(xiàn)對圖像的銳化。拉普拉斯頻率域濾波器二維表達式如下式所示。上式中(u,v)為頻率域中點。使用頻率域濾波處理圖像頻率域的拉普拉斯算子頻率域拉普斯濾波器透視圖及俯視圖上圖中頻率域普斯濾波器中間值大，4個角的值較少，表示4個角處的信號被阻止。使用頻率域濾波處理圖像頻率域的拉普拉斯算子頻率域拉普斯濾波器處理后結果上圖中，左圖為原始圖像，右圖為處理后結果，從圖中可以看出頻率域拉普斯濾波器處理后的圖像保留了圖像中部分的高頻信息。使用頻率域濾波處理圖像同態(tài)濾波頻率域同態(tài)濾波是基于照射-反射模型開發(fā)出的一種頻率域處理過程，頻率域同態(tài)濾波器可以同時實現(xiàn)對圖像的對比度增強及壓縮圖像的灰度范圍以達到改善圖像外觀的效果，頻率域同態(tài)濾波器的二維表達式如下式所示。上式中D0為一個正常數(shù)，表示截止頻率，D(u,v)為頻率域中點(u,v)與頻率矩形中心的距離，c為控制邊緣坡度的銳利度，c在參數(shù)γH

與γL

之間過渡，γH與γL為控制高、低頻信號衰減及增強的參數(shù)。使用頻率域濾波處理圖像同態(tài)濾波頻率域同態(tài)濾波器透視圖及俯視圖上圖為c取為1，γH取為2，γL取為0.5時的同態(tài)濾波器透視圖，濾波器中心低頻帶的值較少而高頻帶的值均為1，說明頻域率同態(tài)濾波器是高頻率通過的。使用頻率域濾波處理圖像同態(tài)濾波頻率域同態(tài)濾波器處理后結果上圖中左圖為原始圖像，右圖為頻率域同態(tài)濾波處理后結果，從圖中可看出經(jīng)頻率域同態(tài)濾波器處理后的圖像顏色更深，圖像中低頻信息區(qū)域有一定程度模糊。1使用頻率域濾波處理圖像目錄使用空間濾波增強圖像2復原車牌圖像3章節(jié)小結4使用頻率域濾波處理圖像1.了解噪聲模型在數(shù)字圖像中的噪聲主要來源于圖像的獲取和傳輸過程。圖像傳感器的成像過程受諸多因素的影響，例如圖像獲取過程當中的環(huán)境條件和成像傳感器自身的質量因素，都有可能產(chǎn)生影響圖像質量的噪聲。對于一些噪聲模型，需要了解其空間特性和頻率特性；噪聲的空間特性是指定義噪聲空間特性參數(shù)是否與圖像相關，噪聲的頻率特性是指圖像傅里葉域中噪聲的頻率內容，例如白噪聲是指其傅里葉譜是常量。掌握一些重要噪聲的概率密度函數(shù)，利用這些知識技術來復原車牌圖像。本章節(jié)介紹的噪聲模型如下：高斯噪聲模型脈沖（椒鹽）噪聲模型使用頻率域濾波處理圖像高斯噪聲模型高斯噪聲是指其概率密度函數(shù)服從高斯分布(即正態(tài)分布)的一類噪聲，常見的高斯噪聲有起伏噪聲、宇宙噪聲、熱噪聲和散粒噪聲等。由于高斯噪聲在數(shù)學上的易處理性，所以在空間域和頻率域中的實踐應用中常用這種噪聲模型。高斯噪聲的概率密度函數(shù)如下式所示。在上式中，z表示灰度值，表示z的平均值或者期望值，σ表示z的標準差。標準差的平方稱為z的方差。使用頻率域濾波處理圖像高斯噪聲模型添加高斯噪聲效果上圖中左圖為原始圖像，右圖為添加均值為0.1、方差為0.02的高斯噪聲后車牌像，添加了高斯噪聲后的車牌圖像相比原圖有一定程度地模糊化。使用頻率域濾波處理圖像脈沖（椒鹽）噪聲模型脈沖噪聲是指在通信中出現(xiàn)的離散型噪聲的統(tǒng)稱，主要源于時間上無規(guī)則的突發(fā)性干擾因素。脈沖噪聲的概率密度函數(shù)如下式所示。當b>a時，灰度級b在圖像當中顯示為一個亮點，灰度級a

在圖像當中顯示為一個暗點；同理當a>b時，灰度級a

在圖像當中顯示為一個亮點，灰度級b在圖像中顯示為一個暗點。當Pa或Pb為零時，該脈沖噪聲稱為單極脈沖。當Pa與Pb近似相等時，脈沖噪聲值在圖像上顯示為類似隨機分布的胡椒和鹽粉顆粒，故此也將雙極脈沖噪聲稱作椒鹽噪聲。使用頻率域濾波處理圖像脈沖（椒鹽）噪聲模型添加椒鹽噪聲后效果圖上圖中左圖為原始圖像，右圖為添加椒鹽噪聲后的圖像，從圖像上看出添加椒鹽噪聲后的圖像上出現(xiàn)許多椒鹽狀的小點。使用頻率域濾波處理圖像2.復原只存在噪聲的圖像均值濾波器自適應濾波器對于只存在噪聲的車牌圖像，特別是加性噪聲的情況，可以利用空間濾波的方法復原車牌圖像。主要可以使用均值濾波器、統(tǒng)計排序濾波器和自適應濾波器去除這些加性噪聲。通過預估的先驗噪聲類型選擇合適的濾波器，如果選錯了濾波器會造成圖像的損壞。均值濾波器主要包括算術均值濾波器、幾何均值濾波器、諧波均值濾波器以及逆諧波均值濾波器。統(tǒng)計排序濾波器主要包括中值濾波器、最大值和最小值濾波器、中點濾波器以及修正的阿爾法均值濾波器。自適應濾波器主要包括自適應局部降低噪聲濾波器、自適應中值濾波器等。本小節(jié)主要通過均值和自適應濾波器將車牌圖像進行一定程度的復原。使用頻率域濾波處理圖像均值濾波器均值濾波也稱作線性濾波，主要的算法思想是通過在圖像上對目標像素給定一個模板，該模板包括了其周圍8個像素，構成一個濾波模板，再用模板中的全體像素的平均值來代替原來的像素值。本小節(jié)主要介紹算術均值濾波器。

算術均值濾波器的表達式如上式所示，設Sxy是模板中心點（x,y）處、大小為

m×n的矩形子圖像鄰域的一組坐標。算術均值濾波器在Sxy定義的區(qū)域中計算車牌噪聲圖像g（x,y）的像素的算術平均值，得到點（x,y）處的復原圖像的值。這種操作可以使用大小為m×n的一個空間濾波器來實現(xiàn)，濾波器的所有系數(shù)均為。使用頻率域濾波處理圖像均值濾波器均值濾波去除椒鹽噪聲結果上圖中左圖為原始車牌圖像，中間的圖為包含椒鹽噪聲的車牌圖像，右圖為經(jīng)過均值濾波處理后的結果圖像，從上圖可看出經(jīng)中值濾波處理后的椒鹽噪聲圖像得到一定程度的修復，但仍存在明顯的椒鹽噪聲痕跡。使用頻率域濾波處理圖像自適應濾波器自適應局部降低噪聲濾波器的基礎主要與隨機變量的統(tǒng)計度量有關，最簡單的就是隨機變量的方差和均值。選取方差和均值作為自適應局部降低噪聲濾波器的參數(shù)是非常合理的，因為這兩個統(tǒng)計度量與圖像外觀緊密相關；均值可以表示在圖像上計算均值的區(qū)域中的平均灰度的度量，而方差可以表示該區(qū)域對比度的度量。自適應局部降低噪聲濾波器的表達式如下式所示。上式中，濾波器Sxy作用于局部區(qū)域，表示濾波器在該區(qū)域中心任意一點的響應；g（x,y）表示帶噪圖像在點上的值，表示污染f（x,y）以形成g（x,y）的噪聲的方差，mL

表示在Sxy中像素的局部均值，表示在Sxy中像素的局部方差。使用頻率域濾波處理圖像自適應濾波器自適應中值濾波處理只存椒鹽噪聲車牌圖像結果上中左圖為原始車牌圖像，中間的圖為只存椒鹽噪聲車牌圖像，右圖為只存椒鹽車牌圖像經(jīng)自適應中值濾波處理后結果圖像。經(jīng)自適應中值濾波處理后的只存椒鹽噪聲圖得到很明顯的修復，已無明顯的椒鹽噪聲痕跡。1使用頻率域濾波處理圖像目錄使用空間濾波增強圖像2復原車牌圖像3章節(jié)小結4

本章主要介紹了空間濾波和頻率域濾波的概念及其應用。首先介紹了常見的空間濾波及其在圖像增強中的應用，具體包括利用空間濾波實現(xiàn)圖像的銳化、去噪及對比度增強等的處理。然后介紹了與空間濾波對應的頻率域濾波，同樣從常見的頻率域濾波開始介紹，然后介紹了利用低通濾波去除高頻噪音及利用高通濾波對圖像進行銳化等操作，最后介紹了常見的噪聲生成模型及利用相應的濾波復原只存在噪聲的車牌圖像。章節(jié)小結第4章形態(tài)學處理1使用開/閉操作處理車牌圖像目錄腐蝕和膨脹車牌圖像2使用基本的形態(tài)學算法處理圖像3章節(jié)小結4腐蝕和膨脹車牌圖像1.了解腐蝕與膨脹（1）形態(tài)學基本概念腐蝕運算與膨脹運算可以理解為對目標集合的處理方法，以對一面白墻涂刷為例，腐蝕運算像針對墻上的目標區(qū)域有規(guī)則地刷白色，從而縮小目標區(qū)域的尺寸；膨脹運算則像針對墻上的目標區(qū)域有規(guī)則地刷彩色，從而擴大目標區(qū)域的尺寸。在介紹腐蝕與膨脹運算之前，先對集合、前景像素、背景像素和結構元等形態(tài)學基本概念進行介紹。集合：在二值圖像中，集合是二維整數(shù)空間的成員，集合的每個元素都是一個二維向量前景像素：通常將目標像素定義為前景像素背景像素：圖像中除前景像素外的其他像素稱為背景像素結構元：可以理解為特殊的像素過濾器腐蝕和膨脹車牌圖像（1）形態(tài)學基本概念由于圖像在計算機中表示為矩陣序列，并且目標集合的形狀通常是任意的。用不同表示方法表示的物體與結構元如下圖所示：圖像示例：第一行展示了表示為集合的物體、表示為圖形圖像的物體和數(shù)字圖像結構元示例：第二行展示了表示為集合的結構元、表示為圖形圖像的結構元和數(shù)字圖像對應的結構元前景與背景像素：將表示為目標像素的藍色前景像素嵌入矩陣背景中，背景顏色為白色腐蝕和膨脹車牌圖像（2）反射與平移

（4?1）

（4?2）

腐蝕和膨脹車牌圖像（3）腐蝕

（4?3）

腐蝕和膨脹車牌圖像（4）膨脹

（4?4）

腐蝕和膨脹車牌圖像（4）膨脹不同結構元對集合進行膨脹運算如圖所示。圖中(a)、(b)、(c)、(d)、(e)分別是：

(a)(b)(c)(d)(e)腐蝕和膨脹車牌圖像（5）對車牌圖像進行腐蝕、膨脹使用OpenCV庫中的erode函數(shù)可實現(xiàn)對圖像進行腐蝕運算。erode函數(shù)的語法格式：cv2.erode(src,kernel,dst,anchor,iterations,borderType,borderValue)，erode函數(shù)的參數(shù)及其說明如下表所示。參數(shù)名稱說明src接收constGMat類型。表示輸入圖像。無默認值kernel接收constMat類型。表示進行運算的內核。默認使用參考點位于中心的3×3的內核anchor接收constPoint類型。表示錨位于單元的中心。默認值為Point(-1,-1)iterations接收int類型。表示迭代使用函數(shù)的次數(shù)。默認值為1borderType接收int類型。表示用于推斷圖像外部像素的某種邊界模式。默認值為BORDER_CONSTANTborderValue接收constScalar類型。表示當邊界為常數(shù)時的邊界值。默認值為morphologyDefaultBorderValue()腐蝕和膨脹車牌圖像（5）對車牌圖像進行腐蝕、膨脹使用OpenCV庫中的dilate函數(shù)可實現(xiàn)對圖像進行腐蝕運算。dilate函數(shù)的語法格式：cv2.dilate(src,kernel,dst,anchor,iterations,borderType,borderValue)，

dilate函數(shù)的參數(shù)及其說明如下表所示。參數(shù)名稱說明src接收constGMat類型。表示輸入圖像。無默認值kernel接收constMat類型。表示進行運算的內核。默認使用參考點位于中心的3×3的內核anchor接收constPoint類型。表示錨位于單元的中心。默認值為Point(-1,-1)iterations接收int類型。表示迭代使用函數(shù)的次數(shù)。默認值為1borderType接收int類型。表示用于推斷圖像外部像素的某種邊界模式。默認值為BORDER_CONSTANTborderValue接收constScalar類型。表示當邊界為常數(shù)時的邊界值。默認值為morphologyDefaultBorderValue()腐蝕和膨脹車牌圖像（5）對車牌圖像進行腐蝕、膨脹對車牌圖像進行腐蝕、膨脹后的圖片對比如下圖所示。(b)原圖與膨脹車牌圖像結果對比(a)原圖與腐蝕車牌圖像結果對比在進行腐蝕運算后，車牌圖像明顯更為精細；進行膨脹運算后，車牌圖像的線條明顯“增長”，整體更為平滑。1使用開/閉操作處理車牌圖像目錄腐蝕和膨脹車牌圖像2使用基本的形態(tài)學算法處理圖像3章節(jié)小結4使用開/閉操作處理車牌圖像1.了解開操作與閉操作開操作通常用于平滑物體的輪廓，可斷開狹頸、消除細長的突出物；閉操作同樣用于平滑輪廓，但是與開操作的不同點在于，閉操作通常彌合狹頸和細長的溝壑、消除小孔，并填充輪廓中的縫隙。（1）開操作

（4?5）在式（4?7）中，A是前景像素集合，B為結構元。結構元B對集合A進行開操作，首先進行結構元B對集合A的腐蝕運算，然后結構元B對腐蝕之后的集合A進行膨脹運算。使用開/閉操作處理車牌圖像（1）開操作

通過圖中可以看出，刪除目標像素更窄區(qū)域的能力是形態(tài)學開操作的關鍵特征之一。（a）（b）（c）（d）使用開/閉操作處理車牌圖像（2）閉操作與開操作類似，結構元B對集合A的閉操作的定義如式（4-6）所示。

（4-6）在式（4?6）中，A是前景像素集合，B為結構元。結構元B對集合A進行閉操作，可以理解為結構元B首先對集合A進行膨脹運算，然后對膨脹之后的結構進行腐蝕。

（a）（b）（c）（d）使用開/閉操作處理車牌圖像（3）對車牌圖像進行開操作、閉操作對車牌圖像進行開、閉操作使用morphologyEx函數(shù)實現(xiàn)，morphologyEx函數(shù)的語法格式如下。cv2.morphologyEx(src,op,kernel,dst,anchor,iterations,borderType,borderValue)，erode函數(shù)的參數(shù)及其說明如下表所示。參數(shù)名稱說明src接收constGMat類型。表示輸入圖像。無默認值op接收MorphTypes類型。表示形態(tài)學運算的類型。無默認值kernel接收constMat類型。表示進行運算的內核。默認使用參考點位于中心的3×3的內核anchor接收constPoint類型。表示錨位于單元的中心。默認值為Point(-1,-1)iterations接收int類型。表示迭代使用函數(shù)的次數(shù)。默認值為1borderType接收int類型。表示用于推斷圖像外部像素的某種邊界模式。默認值為BORDER_CONSTANT使用開/閉操作處理車牌圖像（3）對車牌圖像進行開操作、閉操作使用morphologyEx函數(shù)時通常只需要設置參數(shù)src、op、kernel和anchor。如果要進行開操作，設置op參數(shù)值設置為MORPH_OPEN；如果要閉操作時，將op參數(shù)值設置為MORPH_CLOSE。將圖像放大至像素級別來比較開操作前后圖像的平滑程度，(a)為原圖像，(b)為進行開操作后的圖像進行開操作后，圖像中的信息較為平滑，細長的突出有一定消除。進行閉操作后，車牌圖像中的信息明顯平滑，如圖(d)所示，更有利于后續(xù)的數(shù)據(jù)提取。(a)(b)(c)(d)1使用開/閉操作處理車牌圖像目錄腐蝕和膨脹車牌圖像2使用基本的形態(tài)學算法處理圖像3章節(jié)小結4使用基本的形態(tài)學算法處理圖像1.了解基本的形態(tài)學算法在形態(tài)學處理中，還有很多運算是以腐蝕與膨脹運算為基礎。本小節(jié)將介紹一些除腐蝕和膨脹之外的基本形態(tài)學算法以及對應的應用效果。在處理二值圖象時，基本的形態(tài)學算法有孔洞填充、骨架提取和提取連通分量等。形態(tài)學的主要作用是改變目標集合的形態(tài)以及提取圖像中用于表示和描述形狀的有用成分。為了更清晰的說明形態(tài)學算法的原理，將會借助講述膨脹腐蝕運算時帶有前景像素和背景像素的圖像集合，其中前景像素值為1，背景像素值為0。（1）孔洞填充像素孔是目標集合不連貫的像素區(qū)域，而孔洞是被前景像素連成的邊框所包圍的背景區(qū)域。使用基本的形態(tài)學算法處理圖像（1）孔洞填充使用集合的方式解釋孔洞填充算法的原理，孔洞填充運算的準備如圖4?13所示。假設有目標集合A，且目標集合A是8連通的邊界，在已知每個孔洞中的某一個點后，利用前景像素（值為1）填充孔洞。

（4?7）

使用基本的形態(tài)學算法處理圖像（1）孔洞填充

使用基本的形態(tài)學算法處理圖像（1）孔洞填充對圖像進行孔洞填充運算基于dilate函數(shù)，但實現(xiàn)孔洞填充運算的過程與實現(xiàn)膨脹運算的過程不同，僅使用dilate函數(shù)無法解決問題，要獲得二值圖像首先要通過cvtColor函數(shù)將輸入圖像轉為灰度圖像。cvtColor函數(shù)的語法格式如下。cv2.cvtColor(src,code,dstCn)。cvtColor函數(shù)的參數(shù)及其說明如下表所示。參數(shù)名稱說明src接收constGMat類型。表示輸入圖像。無默認值code接收int類型。表示所使用的顏色映射類型。默認值為COLOR_RGB2GRAY，表示轉為灰度圖像dstCn接收int類型。表示輸出的通道數(shù)。默認值為0使用基本的形態(tài)學算法處理圖像（1）孔洞填充得到灰度圖像后使用threshold函數(shù)獲得灰度圖像的二值圖像，二值圖像中只有黑白像素。threshold函數(shù)的語法格式如下。cv2.threshold(src,thresh,maxval,type)threshold函數(shù)的參數(shù)及其說明如下表所示。參數(shù)名稱說明src接收constGMat類型。表示輸入圖像。無默認值thresh接收Double類型。表示轉換過程中使用的閾值。無默認值maxval接收Double類型。表示當參數(shù)為CV_THRESH_BINARY和CV_THRESH_BINARY_INV時的最大值。無默認值type接收int類型。表示生成二值圖像所選用的方法。無默認值使用基本的形態(tài)學算法處理圖像（1）孔洞填充獲取二值圖像的垂直尺寸和水平尺寸，構造進行膨脹運算所需的陣列F，最后將結果與原圖像的補集進行與運算。原理是以原圖像的補集作為掩模，用來限制膨脹結果，以帶有白色邊框的黑色圖像作為初始標記集合，用結構元對其進行連續(xù)膨脹，直至收斂；最后對標記集合取補集得到最終圖像，將最終圖像與原圖相減可得到填充圖像。孔洞填充圖像的結果如下圖所示。圖中自左至右依次為原圖、二值化結果、孔洞填充后的結果。在圖中可以看到使用孔洞填充算法可以將本應是一個近圓形整體的細胞補充完整，更有利于后續(xù)的目標集合提取。使用基本的形態(tài)學算法處理圖像（2）連通分量從圖像中提取連通分量是許多自動圖像分析應用的核心。自動檢測應用會頻繁使用連通分量，例如檢測圖像中的異物并提取異物圖像。

（4?8）

使用基本的形態(tài)學算法處理圖像（2）連通分量

使用基本的形態(tài)學算法處理圖像（2）連通分量對圖像進行提取連通分量運算同樣基于dilate函數(shù)，實現(xiàn)提取連通分量算法的過程是綜合膨脹運算與交集運算的過程，所以連通分量小節(jié)中關于dilate函數(shù)的使用不再給出。提取連通分量的結果一個是展現(xiàn)圖像的二值化，另一個是展現(xiàn)由二值化圖像提取出的每個連通分量的像素數(shù)（只截取部分）。其中，每個連通分量的像素數(shù)可以通過PhotoShop軟件進行核對讀取，提取連通分量結果展示，如下圖所示。使用基本的形態(tài)學算法處理圖像（3）凸殼在圖像處理過程中，需要基于像素的算法能夠找到物體的質心來代表該物體，但是在實際中，環(huán)境不理想或相機捕捉不穩(wěn)定等原因，可能會導致圖像在二值化時物體本身形狀發(fā)生缺損，像素化算法就無法找到物體真正的質心。面對無法找到真正質心的情況可適當進行凸殼處理，彌補凹損，凸殼算法能夠找到包含原始形狀的最小凸多邊形。凸殼算法的定義如式（4?9）所示。

（4?9）

使用基本的形態(tài)學算法處理圖像（3）凸殼

（4?10）

使用基本的形態(tài)學算法處理圖像（3）凸殼右圖所示的過程有一個明顯的缺點，凸殼會超出目標集合的邊界，這樣不僅凸殼的效果不佳而且有違凸殼的定義。可以設定用于限制凸殼不超過目標集合的邊界像素，限制凸殼增長后的效果，如下圖所示，可以看出添加這一限制條件后圖像不失去其凸性。使用基本的形態(tài)學算法處理圖像（3）凸殼對圖像進行凸殼運算基于convexHull函數(shù)，其函數(shù)的語法格式如下。cv2.convexHull(points,hull,clockwise,returnPoints)，convexHull函數(shù)的參數(shù)及其說明，如表所示。參數(shù)名稱說明points接收InputArray。表示輸入的二維點集，存儲在vector或Mat中。無默認值hull接收OutputArray類型，可以為整型向量或點集向量。表示凸殼的二維坐標值。無默認值clockwise接收bool類型。表示凸殼方向的標志位，值為True時，表示基于順時針方向；值為False時，表示基于逆時針方向。默認值為FalsereturnPoints接收bool類型。表示函數(shù)的輸出類型，當OutputArray是一個矩陣變量時，值設置為True，輸出點坐標，否則，輸出索引坐標。默認值為True使用基本的形態(tài)學算法處理圖像（3）凸殼對圖像進行凸殼運算選擇易于展現(xiàn)提取效果的手勢圖像，方便清楚地看到帶有不規(guī)則結構的圖像中輪廓提取的效果。凸殼運算的效果如下圖所示。圖中左側為目標圖像，右側為結果圖像。在目標圖像中繪制了兩個凸殼，一個是整個手勢外圍的凸殼，剛好包圍整只手的外側；另一個是兩根手指形成的內部圖形，類似于“O”形的凸殼，符合進行凸殼運算想要達到的效果。使用基本的形態(tài)學算法處理圖像（4）細化在計算機對圖像進行識別或特征值提取的過程中，過于粗的線條會對識別造成一定程度的干擾，而細化操作可以獲得一個特征值明顯的目標圖像，進一步選擇適當?shù)奶卣鬟M行分類，從而得到理想的結果。在細化運算中，假設運算的目標是結構元B對前景像素目標集合A進行細化，根據(jù)擊中-擊不中變換，細化運算定義如式（4-11）所示。

（4-11）

使用基本的形態(tài)學算法處理圖像（4）細化使用上圖中的結構元對下圖中的前景像素目標集合進行細化操作，細化結束后，對細化的結果進行了一次m連通的轉換，轉換的效果為消除了多個路徑，可以看出，消除后的效果更貼合原前景像素目標集合的細化。使用基本的形態(tài)學算法處理圖像（4）細化進行細化運算常用的算法是基于映射矩陣的查表法，基本原則是從源圖像中去掉部分圖像，但整體要保持原來的形狀，實際上是保持原圖的骨架。判斷一個點P是否能去掉是以8個相鄰點（八連通）的情況來作為判據(jù)，具體判據(jù)如下。（1）內部點不能刪除（2）孤立點不能刪除（3）直線端點不能刪除（4）如果P是邊界點，去掉P后，如果連通分量不增加，則P可刪除在上圖中，從上到下，自左至右，第一個圖與第二個圖的點不能去除，因為中心點是內部點；第三個圖像的中心點也不能去除，因為去除后會使原來相連的部分斷開；第四個圖像的點可以去除，因為其滿足判定依據(jù)；第五個圖像與第六個圖像不能刪除，因為中心點皆為端點使用基本的形態(tài)學算法處理圖像（4）細化細化運算的效果展示，如下圖所示。圖左側為目標圖像，右側為結果圖像，電路板上元件數(shù)目繁多，很難一眼看出線路大體紋理與元件大小分布，轉為二值圖像再細化之后，紋理與相對布局大小相對清晰。使用基本的形態(tài)學算法處理圖像（5）粗化粗化是細化的形態(tài)學對偶，粗化的定義同樣基于擊中-擊不中變換，粗化的定義如式（4-12）所示。

（4-12）

在右圖中，自上到下、自左到右分別是：帶有目標像素集合A的圖像I；圖像I的補集；對補集進行細化后的圖像；對細化后的圖像再求補集的圖像；去除斷點的最終結果。使用基本的形態(tài)學算法處理圖像（5）粗化從圖426中可以看出，粗化處理的過程可能會產(chǎn)生斷點。所以在粗化處理獲得結果前，需要進行斷點的刪除。對補集中前景像素目標集合的細化處理形成了粗化處理的邊界。邊界這一限制特性對于獲得效果較為理想的粗化圖像是有利的，但是邊界不會在進行粗化處理時直接出現(xiàn)，因此可以對背景像素進行細化運算來