第六講圖像的空間域鄰域運算圖像的各種域運算簡介圖像的線性操作及卷積圖像的平滑圖像的銳化及邊緣檢測1圖像的各種域運算簡介1.空間域運算將圖像看作是二維空間離散分布的點陣，對每一像素點及其鄰域像素的灰度值進行運算操作，以達到某種特定的目的，如突出或提取圖像中感興趣的特征；改善視覺效果；提高圖像質量等。2頻率域運算將圖像作傅立葉變換，得到其頻域信息。進而在頻域中對其頻域信息進行運算操作，如低通濾波；帶通濾波；高通濾波等，以提取出圖像中感興趣的頻率分量。最后，進行傅立葉反變換，可得到已提取出頻率分量的空間表示。3空間-頻率域相結合的運算指小波分析方法，針對傳統變換方法（如傅立葉變換）的局限性，通過構造空間-頻率域皆具有局域特性的小波函數，可對圖像進行多尺度、空間-頻率域相結合的分析。4其它變換類似傅立葉變換的其它離散線性變換，如離散余弦變換、離散正弦變換、方波型變換等等。5圖像的線性操作及卷積線性操作：主要是指圖像處理操作中，輸出圖像的像素值是輸出圖像的多像素的線性組合。可將線性操作看作是：輸入線性系統輸出的一個操作過程。下面分析線性系統應具有的特性。6線性系統也稱線性移不變系統，具有以下性質：1.線性：定義為一個系統，即一種運算。設輸入信號經系統輸出信號即令7若則為線性系統。線性系統的一般性表示為：即疊加求和。82.移不變性(shiftinvariance)：定義：對于線性系統，有：若則系統具有移不變性。對于移不變系統，平移輸入信號僅使輸出信號移動同樣長度?？臻g移不變性是時間移不變性的二維推廣。9卷積可以用疊加積分的表達式來描述線性系統的輸入和輸出之間的關系：我們加入移不變約束條件，可得：10進行變量代換，令，則：比較上式和疊加積分式，可知：意味著當兩變量增加同樣的量時，的值不變，即只要與的差不變，的值也不變。11這樣，我們可以定義一個與之差的函數：從而疊加積分式變為：這就是著名的卷積積分表達式。卷積滿足線性移不變的條件。12一維卷積記卷積積分為：其中表示兩個函數的卷積。卷積的運算過程如下所示：13000000輸入函數卷積函數卷積函數折反卷積函數折反并平移函數疊顯卷積結果tt14卷積的幾個重要性質：1.交換律：證明：對進行變量替換得到152.分配律：證明：16結合律：求導性質：17離散一維卷積：對于兩個長度分別為m和n的序列和，它們的卷積為：卷積結果為一個長度為N=m+n+1的輸出序列。離散卷積和連續卷積幾乎具有所有對應的性質。18二維卷積二維卷積的表達式為：計算過程：繞其原點旋轉180度，得到；然后平移至點(x,y)，得到；兩個函數逐點相乘，再將積函數作二維積分，得到卷積結果。19離散二維卷積：對于一幅數字圖像F和一個二維卷積模板G，它們的二維卷積為：由于F和G僅在有限范圍內非零，因此求和計算只需在非零部分重疊的區域上進行。20二維離散卷積的計算過程為：(0,0)(0,0)圖像卷積模板旋轉180度移動方向xy重合部分點點相乘再求和21一個長寬均尺寸為M的圖像與一個長寬尺寸均為N的卷積模板的二維離散卷積結果的尺寸為圖像的邊緣處的像素由于缺乏完整的鄰接像素集，因此卷積運算在這些區域需作特殊處理，處理方法有：1.重復邊緣上的行和列；2.對圖像進行周期延拓；3.在圖像外部填充常數（如0）；4.去掉不能計算的行和列。22圖像的平滑圖像平滑是指采用使圖像“柔和”的技術對圖像中噪聲加以濾除的方法。手段：使用像素鄰域的加權或非加權平均值代替原像素灰度值。23設為加性白噪聲，即其分布的均值為0，方差為。則原圖像f(m,n)被噪聲污染后為：對上述圖像求鄰域平均得：其中S為一個包含g(m,n)有M個像素的鄰域。24則求鄰域平均后，圖像中噪聲的方差為即噪聲的方差為原來的1/M。而表示原圖像被平滑(鈍化)。25對圖像空間域的平滑降低了圖像中的噪聲（不可能完全消除），但是以原圖像變模糊為代價。噪聲信號卷積模板卷積結果邊緣信號卷積模板卷積結果26平滑算法原理示意噪聲信號的平滑１１４卷積模板１１１２卷積結果27平滑算法原理示意邊緣信號的平滑１４卷積模板１１２３４卷積結果28常用平滑算子：非加權平滑；加權平均，中央貢獻稍大中央權重最大，最近鄰域次之29非加權平滑算子將原圖中的每一點的灰度和它周圍八個點的灰度相加，然后除以9，作為新圖中對應點的灰度

平滑算法實例30原圖

31非加權平滑后效果32

高斯數值模板的平滑：中央權重最大,最近鄰域次之。33高斯數值模板平滑效果圖：34高斯平滑算子二維高斯函數的表達式為：高斯函數是單值函數。這表明高斯濾波器用像素鄰域的加權均值來替代該點的像素值，而每一鄰域像素點權值是隨該點與中心點的距離單調增減的。

3536高斯濾波器的寬度決定著平滑的程度，而這寬度是由參數表征的。所以和平滑程度的關系比較簡單。越大，高斯濾波器的作用范圍就越寬，平滑程度就越好。所以，通過調節平滑程度參數，可在圖像特征過分模糊（過平滑）與平滑圖像中由于噪聲和細紋理所引起的過多的突變量（欠平滑）之間取得折衷。

37高斯函數的可分離性：由于高斯函數的可分離性，使實際應用中較大尺度的高斯濾波具有可行性。二維高斯函數卷積可以分為兩步來進行。首先將圖像與一維高斯函數進行水平方向卷積，然后將卷積結果與方向垂直的相同一維高斯函數卷積。因此，二維高斯濾波的計算量隨濾波器的寬度呈線性增長而不是平方增長。

38原圖39窗口參數數為17

40參數為17時的高斯函數平滑效果

41參數為11

42參數為11時的高斯函數平滑

43參數為5

44參數為5的高斯函數平滑效果圖45空間域保持圖像細節的平滑上面已述的平滑方法一般稱為鄰域平均法，或稱為均值濾波。其問題：在濾掉噪聲的同時，使圖像的邊緣及細節等有用信號被模糊。所以，使用時應慎重。46為克服均值濾波方法所帶來的負面效應，探索在空間域可直接實現可保持邊緣及細節的平滑方法，一直在進行之中。以下介紹幾種常用方法：1.取閾值的鄰域平均法2.鄰域加權平均法3.中值濾波471.取閾值的鄰域平均法設輸入圖像為，則：

表示為以為中心的含M個像素的鄰域的平均灰度值。其中s表示以(i,j)為中心的鄰域。48取閾值的鄰域平均法表示為：若其它其中T為預先給定的閾值，應通過試驗確定。即某一點像素的灰度值是否用鄰域灰度平均值來替代，要看其灰度值與其鄰域灰度平均值之差是否大于給定閾值，也即確定做不做均值濾波。49關鍵問題：1.鄰域取多大？越大——平滑效果越好。2.閾值T定多大？

T愈大，圖像的模糊程度愈小。則平滑效果不好。50一維例子41111T=1.511211噪聲信號T=1.51111444444邊緣信號51二維例子1111101111111121111噪聲信號T=3.5101010110101110101010110101110T=3.5邊緣信號52加入噪聲的原圖

53參數為7時的取閾值的鄰域平均法54參數為15時的取閾值的鄰域平均法效果圖

55參數為34的取閾值的鄰域平均法

562.鄰域加權平均法也稱非等值加權平均法。特點：每一點都做，但每一點的平滑模板可能都不同，具有自適應特性，具有空間移變特性。定義：對各個像素做平滑卷積的模板的權值不是預先給出的，而是根據被處理像素的鄰域像素與之灰度相近程度而定。若接近，則賦予較大權值；若與之灰度相差較遠（超過一給定閾值），則權值較小。57鄰域加權平均法可表示為：設(m,n)表示以點(x,y)為中心的鄰域點，則：當

其它其中T為一給定閾值，判定鄰域像素點與中心像素點是否相近。58一維例子：11113T=211333T=2221211221222211卷積卷積17/57/51217/53313/5噪聲信號邊緣信號59二維例子1111101111T=5噪聲信號555515555111151111卷積1.21.21.21.24.51.21.21.21.260101010110101110邊緣信號T=5555555155555155115511551555551555555卷積9.29.8101.89.29.81.21.89.261參數為3時的鄰域加權平均法效果圖62以上兩種空間域平滑方法（取閾值的鄰域平均法、鄰域加權平均法）所使用的卷積算子為空間移變算子，它們是所謂的啟發式(heuristic)的自適應濾波方法，或稱為上下文有關的處理方法(contextsensitive)。它們對輕噪聲（即尺度較小的噪聲）的濾除有一定的效果，但對重噪聲（即尺度較大的噪聲）的濾除至今仍為一難題。而建立有效的3乘3模板至今仍為研究熱門。633.中值濾波(Medianfiltering)以上平滑算法均屬于線性濾波方法（無論其空間移變否）。以下介紹一種常用的非線性的空間域圖像處理方法——中值濾波。所謂中值濾波，是指設定一個n乘n的奇數窗口，當窗口在空間域中按逐個像素滑動平移過程中，將窗口內的像素灰度值按大小順序排列，以中間的一個值（中值）替代窗口中心的像素灰度值。64例子：如取窗口為3乘3，某像素的鄰域為：

將鄰域內所有像素灰度按大小排列，可得：72、70、39、37、31、30、25、24

對整個圖像進行同樣的處理就完成了中值濾波。30257039317224373865常用的窗口形狀：1.矩形：2.X形：3.+形：66例子：窗口寬度311113噪聲信號邊緣信號排序11113濾波1111111333113331133367實際例子分析：輸入信號中值濾波結果68原圖

69中值濾波（X形）平滑效果

70中值濾波（方形）平滑效果71中值濾波（+形）平滑效果

72中值濾波的突出特點：可顯著抑制尖脈沖噪聲，又不使圖像的邊緣和細節發生顯著退化。主要應用：1.濾除椒鹽噪聲(salt&pepper)2.濾除細線條3.濾除各種脈沖噪聲：即各種大的短暫的正負干擾。與鄰域平均濾波比較，保持邊緣的效果更好。73窗口的選擇：1.大?。罕仨毷窃肼晫挾鹊膬杀兑陨?，否則無法濾除噪聲。濾波效果：3乘3不好；5乘5好。742.形狀選擇：濾除細線條時必須考慮其走向，以確定中值濾波的模板。a.斜線條應用“+”形模板b.直線條應用“X”形模板75被斜線條破壞原圖

76中值濾波X形平滑

77中值濾波方形平滑

78中值濾波+形平滑

+形中值濾波比其他能更好的濾除斜線條

79被直線條破壞后

80中值濾波+形平滑81中值濾波方形平滑

82圖像銳化（sharping）目的：突出圖像中的突變成分（邊緣和細節）。基礎：對圖像的微分處理。83已知圖像平滑是一種卷積和（積分）的處理，它產生的副作用是模糊了原圖像（即使原圖像的突變部分被削弱）。因而可首先想到要使圖像得到銳化，則采取平滑處理（積分）的逆運算——微分，將可獲得預想的效果。銳化即加強圖像的突變成分，采用輪廓補償等方法使圖像更清晰。84一階微分：對二維函數f(x,y)的一階微分表示為：由于數字圖像是離散的二維信號，所以不能直接使用微分算子，而要以差分代替微分：85一階差分有兩種表示方法：1.前向差分：2.后向差分：86Sobel算子在實際的操作中，我們使用Sobel算子來描述二維的一階差分。

Y方向模板

X方向軸模板方法：Sobel算子與原圖卷積結果再與原圖疊加87一階微分銳化原理示意圖

實際邊緣的一維示意邊緣一階微分的一維示意和邊緣相加后的曲線示意88一階梯度銳化的效果圖原圖一階微分提取一階微分銳化(c)89二階微分：一二維函數f(x,y)二階微分常用拉普拉斯算子來表示，為：同樣，拉普拉斯算子對圖像的操作也需通過差分來實現。90我們用后向差分來表示一階微分，則：進一步91同樣于是，拉普拉斯算子可表示為：92相當于*普拉斯算子性質：可見拉普拉斯算子仍為一卷積模板算子，所以對圖像進行二階微分，可按卷積運算在空間域實現。拉普拉斯算子具有一個好的特性，即各向同性（旋轉對稱性）。而這是一階微分算子所不具有的。我們以下實現對圖像的銳化，將建立在拉普拉斯算子基礎之上。94拉普拉斯算子在銳化中的作用分析：假定圖像的模糊（鈍化）是一種擴散過程的結果，故滿足一般的擴散方程（數學模型見數理方程，在此不做解釋）：其中k>=0，為一常數，g是圖像。95是圖像關于x,y,t的函數。當t=0時，是清晰圖像，當某一時刻時，觀察到的模糊圖像為將原圖像函數在附近按泰勒級數展開：

96設很小，即圖像模糊不嚴重，則可忽略二次以上的各高次級數項，可得：因為（擴散方程）故設為原圖像的估值，則：97即有亦即：從退化（模糊）圖像g中減去g的拉普拉斯卷積結果的常數倍，就可獲得清晰圖像。清晰圖像在時刻觀察到的結果98原圖像邊緣模糊圖像邊緣拉普拉斯卷積結果產生上下過沖，增大視覺效果99對模糊圖像f(m,n)，銳化運算可表示為：其中s4為(m,n)的4鄰域。8鄰域的情況(s8表示(m,n)的8鄰域)表示，也可表示為：100對上述結論，取k=1，可得到兩個關于4鄰域和8鄰域的銳化卷積模板：其它常用的銳化卷積模板有0-10-15-10-10-1-1-1-19-1-1-1-1-1-2-1-219-2-1-2-11-21-25-21-211/7101微分算子的缺陷：對噪聲很敏感，在強化圖像的突變成分的同時，往往也強化了噪聲。為此一般應先對圖像做平滑處理（中值濾波等），然后再使用微分算子。102拉普拉斯銳化效果圖原圖銳化后的效果（中心為4）103銳化后的效果圖（中心為9）拉普拉斯銳化效果圖104混合空間增強混合空間增強是一種結合一階和二階微分的圖像銳化處理的技術方法。一階微分銳化和二階拉普拉斯銳化在圖像的處理上各有缺點：二階拉普拉斯銳化的效果比一階好；一階對變化區域（邊緣）的變化描述較好?；旌峡臻g增強法是綜合了二者的長處的一種銳化方法，它的基本思想如下圖所示：105混合空間增強法流程示意圖106混合空間增強的微分示意圖一階微分曲線二階微分曲線107混合空間增強的微分示意圖一二階微分相乘后的曲線再和邊緣圖像相加后的曲線108

原圖A原圖做一階和平滑后的效果C混合空間增強的效果圖109原圖做拉普拉斯銳化后的效果DC和D相乘的結果E110E和原圖相加得到的最終圖像F

原圖A111結論效果：混合銳化方法＞拉普拉斯二階微分銳化方法＞一階微分銳化方法112其它銳化方法簡介高頻成分疊加法（鈍掩模法）算法：

：點(m,n)的鄰域平均值；高頻成分提取。即原圖像上重復疊加圖像的高頻成分，加強了圖像的高頻成分，起到銳化作用。113相減=原圖像邊緣平滑后邊緣相加114統計差分法輸出圖像：其中標準差是點(m,n)的s鄰域均值，s是一個有限區域。根據：突變區域較大。常用方法：沃利斯(Wallis)統計差值法。115邊緣檢測（edgedetection）邊緣（edge）:指圖像局部亮度變化最顯著的部分。位置：主要存在于目標與目標、目標與背景、區域與區域之間。用途：是圖像分割、紋理特征提取和形狀特征提取的重要基礎。116圖像分析和理解的第一步常常是邊緣檢測。由于邊緣的重要性，因此其成為計算機視覺研究領域最活躍的課題之一。117邊緣的類型圖像中的邊緣通常與圖像亮度或圖像亮度的一階導數的不連續性有關。圖像亮度的不連續性可分為：1.階躍不連續2.線條不連續1181.階躍不連續：即圖像亮度在不連續處的兩邊的像素灰度值有著顯著的差異。在實際中，由于大多數傳感元件具有低頻特性，使得階躍邊緣變成斜坡型邊緣，其亮度變化將跨越一定的距離。階躍函數實際階躍型邊緣119線條不連續性：即圖像亮度突然從一個值變化到另一個值，保持一個較小的行程后又返回原來的值。在實際中，同樣由于傳感元件所具有的低頻特性，常常使線條邊緣變成屋頂形邊緣。線條函數實際線條型邊緣120梯度邊緣檢測是檢測圖像局部顯著變化的最基本運算。階躍邊緣同圖像的一階導數局部峰值有關。梯度是函數變化的一種度量，而一幅圖像可看作是圖像強度連續函數的離散取樣點陣列。因此，圖像灰度值的顯著變化可用梯度的離散逼近函數來檢測。121梯度：是一階導數的二維等效式，定義為矢量：注意梯度矢量的兩個特征：1.梯度的幅值2.梯度的方向122梯度的幅值為：梯度的幅值與邊緣的方向無關，為各向同性算子。在實際應用中，梯度幅值可近似為：或123梯度矢量G(x,y)的方向就是函數f(x,y)增大時的最大變化率方向，定義為：其中角是相對x軸的角度。124對于數字圖像，梯度中的一階偏導數可用差分來近似，最簡單的梯度近似表達式為：

其中，j對應于x軸方向；I對應于負y軸方向。125上述梯度的差分近似表達式可用簡單的卷積模板來完成：在計算梯度時，計算空間同一位置處(x,y)的真實偏導數是至關重要的。然而梯度的差分近似值和并不位于同一位置，實際上是內插點(i,j+1/2)處的梯度近似值，是內插點(i+1/2,j)處的梯度近似值。1-1-11126由于以上原因，人們常常使用2乘2的一階差分模板來求x和y的偏導數：此時，計算出的x和y方向梯度的位置是相同的，都位于內插點(i+1/2,j+1/2)處，即在2乘2鄰域的四個像素之間。不過更常用的是3乘3的對稱卷積模板。-11-1111-1-1127邊緣檢測算法邊緣檢測算法的基本步驟：1.濾波：邊緣檢測算法主要是基于圖像強度的一階和二階導數，但導數的計算對噪聲很敏感，因此必須使用濾波器來改善與噪聲有關的邊緣檢測器的性能，需要指出，大多數濾波器在降低噪聲的同時也導致了邊緣強度的損失，因此，增強邊緣和降低噪聲之間需要折衷。1282、增強：準確邊緣的基礎是確定圖像各點鄰域強度的變化值，增強算法可以將鄰域（或局部）強度值有顯著變化的點突顯出來。邊緣增強一般是通過計算梯度幅值來完成的。3、檢測：在圖像中有許多點的梯度幅值比較大，而這些點在特定的應用領域中并不都是邊緣，所以應該用某種方法來確定哪些點是邊緣點。最簡單的邊緣檢測判據是梯度幅值閾值判據。1294、定位：如果某一應用場合要求確定邊緣位置，則邊緣的位置可在子象素分辨率上來估計，邊緣的方位也可以被估計出來。也稱為亞像素邊緣檢測。130經典邊緣檢測算法1.Roberts算子Roberts交叉算子以簡單近似方法計算梯度：131用卷積模板表示Roberts算子為：其中梯度將在內插點(i+1/2,j+1/2)處計算，Roberts算子是該點連續梯度的近似值，而不是預期點(i,j)處的近似值。100-10-1101322.Sobel算子Sobel算子是邊緣檢測最常用的算子之一。Sobel算子是一種3乘3算子，可避免在像素之間內插點上計算梯度。Sobel算子也是用來求梯度幅值：其中，兩個偏導數根據該點周圍3乘3鄰域像素灰度值求得。133設點(i,j)周圍3乘3鄰域灰度分布為下圖則Sobel算子中的偏導數為：其中c=2a0a1a2a7(i,j)a3a6a5a4134Sobel算子中的和可用卷積模板實現：和Sobel算子一樣，其它梯度算子通常也可以用卷積模板來實現邊緣檢測。-101-202-101121000-12-11353.Prewitt算子Prewitt算子與Sobel算子的方程完全一樣，只是常數c=1。所以可以看到，Sobel算子對接近中心的像素點賦予更大的權值。-101-101-101111000-11-1136Robinsion算子Robinsion算子的邊緣檢測原理與Sobel算子不同，它要考慮梯度的方向，所以算法要復雜一些。Robinsion算子在像素的3乘3鄰域內，分別求得8個方向的偏導數，取其中最大者作為該點的梯度幅值，表示為：其中G1~G8為該點的8個方向的偏導數。137同樣，G1~G8可用卷積模板實現：121000-1-2-1012-101-2-10-101-202-101-2-10-101012-1-2-10001210-1-210-121010-120-210-121010-10-2-2138與Robinsion算子原理相同的邊緣檢測算子還有Kirsh算子，只是卷積模板的權值不同。在此不做詳細說明?？偨Y：以上所有邊緣檢測算法皆屬于一階微分算子。邊緣檢測的判據通常是梯度幅值閾值判據。139程序演示各種算法結果比較140二階微分算子前面所述的基于一階微分算子的邊緣檢測算法通常是通過閾值判據來確定邊緣點。這樣做常常會導致檢測出的邊緣點太多。一種更好的方法就是求梯度幅值局部極大值所對應的點，并認為它們是邊緣點?；蛲ㄟ^除去非局部極大值的點，也可檢測出精確的邊緣。141f(x,y)f

’(x,y)f

’’(x,y)閾值一階微分的局部極值對應著二階微分的零交叉點(Zerocrossing)。這樣，通過對圖像作二階微分運算，并找出其中的零交叉點，就能找到精確的邊緣點。由于尋找零交叉點的過程比尋找局部極值的過程更為簡單，所以在實際中，基于二階微分算子的邊緣檢測算法被大量應用。142在二維空間中，通常使用二階微分算子為拉普拉斯（Laplacian）算子。二維函數f(x,y)的拉普拉斯算子公式為：0101-41010在數