1、1第4章 圖像分割多媒體信息處理2主要內容圖像分割圖像分割引言間斷檢測邊緣連接和邊界檢測門限處理基于區域的分割3圖像分割引言計算機處理圖像的兩個目的產生更適合人觀察和識別的圖像由計算機自動識別和理解圖像圖像分割是圖像識別和圖像理解的基礎圖像預處理圖像識別圖像理解圖像分割圖像 圖像分析系統的基本構成如下圖：知識庫表示與描述預處理分割低級處理高級處理中級處理識別與解釋結果圖像獲取問題在該系統中，圖像的增強和恢復可以看作預處理，其輸入、輸出均是圖像，它是傳統的圖像處理的內容。而圖像分割、特征提取及結構分析等稱為圖像識別，其輸入是圖像，輸出是描述或解釋。圖像分割引言5圖像分割引言圖像分割的定義圖像分割

2、是把圖像分割成互不交疊的有意義區域，以便進一步的分析，分開的區域一般是圖像中我們感興趣的目標圖像分割是基于目標或區域的特征進行的每個目標或區域由于某些特征的不同與其它區域區別開來，邊緣、紋理、形狀、顏色等都是重要的特征6圖像分割引言圖像分割算法一般是基于亮度值的不連續性和相似性不連續性是基于亮度的不連續變化分割圖像，稱為基于邊界的技術，如邊緣檢測相似性是指根據不同的準則將圖像分割成相似的區域，稱為基于區域的技術，如閾值分割、區域生長、區域分裂和合并圖像分割的目的把圖像分解成構成它的部件和對象；有選擇性地定位感興趣對象在圖像中的位置和范圍。從簡到難，逐級分割控制背景環境，降低分割難度注意力集中在

3、感興趣的對象，縮小不相干圖像成分的干擾。圖像分割的基本思路提取輪廓車牌定位車牌識別圖像分割的基本策略： 把像素按灰度劃分到各個物體對應的 區域中去； 確定存在于區域間的邊界； 先確定邊緣像素點，然后將它們連接起來 構成所需的邊界；區域：像素的連通集連通準則： 4-連通 8-連通4.圖像分割的方法1) 基于邊緣的分割方法:先提取區域邊界，再確定邊界限定的區域。2) 區域分割:確定每個像素的歸屬區域，從而形成一個區域圖。3) 區域生長:將屬性接近的連通像素聚集成區域。4) 分裂合并分割:綜合利用前兩種方法，既存在圖像的劃分，又有圖像的合并。分割對象分割對象11圖像分割引言12間斷檢測間斷檢測是基于

4、圖像像素灰度值的不連續性進行圖像分割點檢測線檢測邊界檢測尋找間斷最一般的方法是模板檢測13間斷檢測點檢測使用空域的高通濾波器來檢測孤立點，如果 ，則認為在模板中心的位置檢測到一個點，T是非負門限孤立點：該點的灰度級與其背景的差異相當大，并且它所在的位置是一個均勻的或者近似均勻的區域基本思想：如果一個孤立點與它周圍的點很不相同，則很容易被上述模板檢測到。在灰度級為常數的區域，模板響應R為014間斷檢測點檢測R=(-1*10*8+8*100)/9=720/9=80可以設置閾值T = 50若R=0，則說明檢測點與周圍點像素值相同若R T，則說明檢測點與周圍點像素值非常的不同，為孤立點10101010

5、10010101010圖像-1-1-1-18-1-1-1-1模板15間斷檢測16間斷檢測線檢測第一個模板對水平方向的線條（單像素寬）有更強的響應第二個模板對于45度方向線有最佳響應第三個模板對垂直線有最佳響應第四個模板對于-45度線有最佳響應每個模板系數相加總和為0，保證了在灰度級恒定的區域，模板響應為0-1-1-1222-1-1-1水平模板-1-12-12-12-1-145度模板-12-1-12-1-12-1垂直模板2-1-1-12-1-1-12-45度模板17間斷檢測線檢測通過典型模板計算值的比較，確定一個點是否在某個方向的線上，以及當前圖像的線性特征用四種模板分別計算R1=24R2=0R

6、3=0R4=011155511111155511111155511118間斷檢測圖一為原圖像，圖二為使用負45度檢測器處理后的結果（取絕對值），圖三為滿足閾值條件的所有點，閾值條件為大于等于原圖像中的最大值19間斷檢測邊緣檢測邊緣是位于兩個區域的邊界線上的相連像素的集合邊緣可以通過計算局部微分算子來檢測一階導數：通過梯度來計算二階導數：通過拉普拉斯算子來計算理想數字邊緣 該模型生成的圖像邊緣是一組相連的的象素集合（垂直方向上），每個象素都處在灰度躍變的一個垂直的臺階上。間斷檢測 斜坡的斜率與邊緣的模糊程度成正比。斜坡數字邊緣間斷檢測可用一階導數的幅度值來檢測邊緣的存在。二階導數在一階導數的階躍

7、上升區有一個向上的脈沖，而在一階導數的階躍下降區有一個向下的脈沖。這2個階躍之間的過零點正對應原圖像中的邊緣位置。 一階導數的幅度峰值對應邊緣位置，二階導數的過零點對應邊緣位置，二階導數在過零點附近的符號確定邊緣象素在圖像邊緣的暗區或明區。 間斷檢測23間斷檢測左圖第一列為原圖像及其灰度級第二列為一階導數的圖像顯示及其值第三列為二階導數的圖像顯示及其值從上向下的四行分別是無噪聲、輕微噪聲、中等噪聲和嚴重噪聲的情況一階、二階導數對噪聲比較敏感，因此圖像受到噪聲的干擾時，通過求導數不能準確的檢測邊緣間斷檢測上圖中第1列的圖像分割顯示了分割左右黑白區域的4個斜坡邊緣的特寫圖。左上角的圖像分割是無噪聲

8、的. 第1列的其他3幅圖分別被附加的零均值且標準差偉0.1,1.0和10.0灰度級的高斯噪聲污染。每幅圖像下面顯示的圖是穿過圖像的水平掃描線的灰度級剖面線。第2列圖像是左邊圖像的一階導數圖像,在恒定的黑色和白色區域導數為零。這是在導數圖像中的兩個黑色區域。不變化的斜坡導數是常量,大小等于斜坡的斜率。這個在導數圖像中不變的區域用灰色表示。當我們將中心列向下移時,導數變得與無噪聲情況時越來越不相同。這些例子很好地說明了導數對于噪聲的敏感性。第3列圖像顯示二階導數對于噪聲甚至更為敏感。二階導數圖像和剖面線清楚地說明了,實際檢測這些圖像中為正和為負的分量很困難,而這些分量是在邊緣檢測中非常有用的二階導

9、數特性。2425間斷檢測邊緣檢測梯度算子函數f(x,y)在(x,y)處的梯度為一個向量：向量的大小：近似為：向量的方向邊緣在點(x,y)處的方向與此點的梯度向量方向垂直26間斷檢測邊緣檢測Robert交叉梯度算子特點：與梯度算子檢測邊緣的方法類似，對噪聲敏感，但效果較梯度算子略好。27間斷檢測邊緣檢測Prewitt算子特點：在檢測邊緣的同時，能抑止噪聲的影響.28間斷檢測邊緣檢測Sobel算子特點：對4鄰域采用帶權方法計算差分；能進一步抑止噪聲；但檢測的邊緣較寬。Sobel算子與Prewitt算子相比有較好的噪聲抑制功能29間斷檢測邊緣檢測用于檢測對角線方向上突變的Prewitt和Sobel模

10、板30間斷檢測圖a原圖像，圖b為x方向梯度圖Gx，圖c為y方向梯度圖Gy ，圖d為完整梯度圖Gx+ Gy間斷檢測上圖說明了梯度的兩個分量|Gx|和|Gy|的響應與這兩個分量之和生成的梯度圖像。(b)和(c)中兩個分量的方向性是很明顯的。特別注意, (b)中屋瓦,磚塊的水平接縫和窗戶的水平分段的圖像是非常清晰的.與之形成對照的是 (c)中表現出的垂直部分,諸如墻附近的拐角,窗戶的垂直部分,磚塊的垂直接縫和圖片右側的街燈柱子。原圖分辨率相當高(12001600像素),且在圖片攝取的距離上,墻磚對圖像細節的影響仍十分顯著。這種程度的細節通常是不符合要求的。減少這種影響的一種方法是對圖像進行平滑處理。

11、3132間斷檢測圖e經過5X5均值濾波后的原圖像，圖f為x方向梯度圖Gx，圖g為y方向梯度圖Gy ，圖h為完整梯度圖Gx+ Gy間斷檢測圖像e為對原圖像a使用了一個55的均值濾波器進行平滑處理后結果。現在每個模板的相應幾乎未顯示出由磚塊造成的影響,得到的結果幾乎都是主要的邊緣。注意取均值造成所有的邊緣相應都被削弱。a-h中明顯顯示出,水平和垂直Sobel模板對正負450方向邊緣的反映幾乎一樣好。圖i和j顯示的是對角Sobel模板的絕對響應。在這幅圖中,這些模板更強的對角響應是很明顯的。兩個對角模板對水平和垂直的邊緣具有相似的相應,但正如所期望的那樣,它們在這些方向上的響應比圖 (b)和圖 (c

12、)中顯示的Sobel模板在水平和垂直方向上的響應要弱。3334間斷檢測圖i為使用用于檢測45度對角線方向上突變的Sobel模板的結果圖j為用于檢測負45度對角線方向上突變的Sobel模板35間斷檢測邊緣檢測拉普拉斯算子圖像函數f(x,y)的拉普拉斯變換為36間斷檢測邊緣檢測拉普拉斯算子一般不以其原始形式用于邊緣檢測的原因是拉普拉斯算子對噪聲非常敏感拉普拉斯算子的幅值產生雙邊緣不能檢測邊緣的方向拉普拉斯算子在分割中的作用利用它的零交叉性質進行邊緣定位確定一個像素在邊緣暗的一邊還是亮的一邊37間斷檢測邊緣檢測Laplacian算子和平滑Gaussian濾波器進行結合來進行邊緣檢測38間斷檢測邊緣檢

13、測高斯型拉普拉斯算子高斯函數的目的是對圖像進行平滑拉普拉斯算子的目的是提供一幅用零交叉確定邊緣位置的圖像圖像的平滑處理減少了噪聲的影響39間斷檢測LoG檢測結果Sobel算子檢測結果LoG圖像閾值分割的結果零交叉點40間斷檢測邊緣檢測拉普拉斯算子和Sobel算子比較缺點邊緣由許多閉合環的零交叉點決定零交叉點的計算比較復雜優點零交叉點圖像中的邊緣比梯度邊緣細抑制噪聲的能力和抗干擾能力比梯度算子強結論：梯度算子用的更多41間斷檢測邊緣檢測邊緣檢測的Matlab函數BW = edge(I,sobel)BW = edge(I,prewitt)BW = edge(I,roberts)BW = edge(

14、I,log)BW = edge(I,zerocross,thresh,h)間斷檢測Canny算子1986 年，Canny 提出了邊緣檢測算子應滿足以下3 個判斷準則：信噪比準則，定位精確度準則，單邊緣響應準則，并推導出了Canny 算子。實現步驟有四個子過程：第一步首先用二維高斯函數的一階導數對圖像進行平滑第二步用22 鄰域一階偏導的有限方差來計算平滑后的數據陣列I(x,y) 的梯度幅值和梯度方向第三步，為了精確定位邊緣，必須細化梯度幅值圖像M(i, j) 中的屋脊帶，只保留幅值局部變化最大的點，這一過程稱為非極大值抑制最后在第四步，對經過非極大值抑制的數據陣列N(i, j) 分別使用高、低2

15、 個閾值h 和l分割圖像，得到兩個閾值邊緣圖像42間斷檢測Canny算子的優缺點該算法有較好的抑制噪聲的能力，可以較完整的檢測出邊緣。但比傳統邊緣微分算子復雜，運算速度慢。另外，Canny 算子的雙閾值是根據全局特征信息來決定的，這導致了一方面無法消除局部噪聲干擾，另一方面又會丟失灰度值變化緩慢的局部邊緣。可以通過改進雙閾值的選取算法提高Canny 算子的邊緣檢測性能。43間斷檢測44間斷檢測4546邊緣連接和邊界檢測邊緣連接由于噪聲、不均勻照明等原因產生邊緣間斷，使得到的一組像素很少能完整地描繪一條邊緣典型的做法是在使用邊緣檢測算法之后，使用連接過程將邊緣像素組合成有意義的邊緣局部處理47邊

16、緣連接和邊界檢測局部處理分析圖像中每個邊緣點(x,y)的一個鄰域內的像素，根據某種準則將所有相似點進行連接，由滿足該準則的像素連接組成的一條邊緣，稱為邊緣連接，又稱為邊緣跟蹤。連接原則比較兩個邊緣點梯度算子的響應強度和梯度方向來確定兩個點是否屬于一條邊點(x,y)點 (x,y)48邊緣連接和邊界檢測局部處理比較邊緣像素的梯度算子的響應強度比較邊緣像素的梯度方向比較梯度向量的方向角當梯度值和方向角都是相似的，則點(x,y)，與邊點界(x,y)是連接的。如果，則點(x,y) 與其鄰域內的點如果，則點(x,y) 與其鄰域內的點(x,y)的梯度響應強度相似(x,y)的梯度方向相似連接算法步驟491）設

17、定A、T的閾值大小，確定鄰域的大小；2）對圖像上每一個像素的鄰域點進行分析，判斷是否需要連接；3）記錄像素連接的情況，另開一個空間，給不同的邊以不同的標記；4）刪除孤立線段，連接斷開的線段。點(x,y)點(x,y)50邊緣連接和邊界檢測局部處理如果梯度算子的響應強度和梯度方向都是相似的，則邊緣點(x,y)和(x,y)是連接的邊緣連接光柵掃描跟蹤邊緣跟蹤的方法很多，常見的有光柵跟蹤和輪廓跟蹤光柵掃描跟蹤光柵掃描跟蹤是一種采用電視光柵行掃描順序對遇到的像素進行分析，從而確定是否為邊緣的跟蹤方法。光柵跟蹤方法的基本思想是先利用檢測準則確定和接受對象點，然后根據被接受的對象點和跟蹤準則確定并接受新的對

18、象點，最后將所有標記為1 且相鄰的對象點聯接起來就得到了檢測到的細曲線。51邊緣連接光柵掃描跟蹤使用光柵跟蹤方法，需要遵循下面的三個準則參數準則：需要事先確定檢測閾值d 、跟蹤閾值t ，且要求dt；檢測準則：對圖像逐行掃描，將每一行中灰度值大于或等于檢測閾值d 的所有點（稱為接受對象點）記為1； 跟蹤準則：設置位于第i 行的點(i, j) 為已接受的對象點，如果位于第i +1 行上的相鄰點(i+1,j1)、(i+1,j)和(i+1,j+1)的灰度值大于或等于跟蹤閾值t ，就將其接受為新的對象點，并記為1。52邊緣連接光柵掃描跟蹤具體步驟(1) 確定一個較大的閾值d為檢測閾值，把高于該閾值的像素

19、作為對象點。(2) 選擇一個較低的閾值t 作為跟蹤閾值，且要求td，該閾值可以根據不同準則來選擇；可選擇灰度差、梯度方向、對比度等作為跟蹤閾值。(3) 從第一行起用檢測閾值d 逐行對圖像進行掃描，依次將灰度值大于或等于檢測閾值d 的點的位置記為1。(4) 確定跟蹤鄰域，如下圖中選取的 (i+1,j1)、(i+1,j)、(i+1,j+1) 。(5) 從第二行起逐行掃描圖像，若圖像中的(i, j) 點為對象點，則在第i +1 行上找該點跟蹤鄰域中灰度差小于或等于跟蹤閾值t 的鄰點，并確定為新的對象點，將相應位置記為1。(6) 對于已檢測出來的某個對象點，進行跟蹤結束、分支和合并的處理。如果某個對象

20、點（由于步驟(3)的原因產生的對象點）在上一行的對應鄰域中沒有對象點，則說明一條新的曲線可開始。(7) 重復(5)、(6)這兩個步驟，直至圖像中最末一行被掃描完為止。5354邊緣連接光柵掃描跟蹤55邊緣連接光柵掃描跟蹤光柵跟蹤的優缺點光柵掃描跟蹤法是一種簡單的利用局部信息、通過掃描的方式將邊緣點連接起來的方法。該跟蹤算法采用電視光柵行掃描順序對遇到的像素進行分析，從而確定其是否為邊緣。由于光柵掃描跟蹤和掃描方向有關，因此最好沿其他方向再跟蹤一次。56邊緣連接輪廓跟蹤法一種適用于黑白二值圖像的圖像分割方法，而且輪廓跟蹤改變了光柵跟蹤中掃描方向的單一的缺點，跟蹤方向可以是任意方向，并且有足夠大的跟

21、蹤距離。輪廓跟蹤是改變了鄰域定義和跟蹤準則的一種二值圖像的光柵跟蹤法。算法的具體步驟(1)在靠近邊緣處任取一起始點，然后按照每次只前進一步，步距為一個象素的原則開始跟蹤；(2)當跟蹤中的某步是由白區進入黑區時，以后各步向左轉，直到穿出黑區為止；(3)當跟蹤中的某步是由黑區進入白區時，以后各步向右轉，直到穿出白區為止；(4)當圍繞目標邊界循環跟蹤一周回到起點時，則所跟蹤的軌跡便是目標的輪廓；否則，應繼續按(2)和(3)的原則進行跟蹤。57邊緣連接輪廓跟蹤法584 圖像閾值分割原理 取閾值是一種廣泛使用的圖像分割技術，通過對灰度取閾值后得到的圖像，各個區域可以分離開，但要將目標提取出來，還需要將各

22、區域識別標記。圖像閾值分割 閾值分割法的基本思想：（邊界上的點的灰度值出現次數較少）確定一個合適的閾值T（閾值選定的好壞是此方法成敗的關鍵）。將大于等于閾值的像素作為物體或背景，生成一個二值圖像。If f(x,y) T set 255Else set 0閾值分割法的特點：適用于物體與背景有較強對比的情況，重要的是背景或物體的灰度比較單一。（可通過先求背景，然后求反得到物體）這種方法總可以得到封閉且連通區域的邊界。61門限處理門限處理基礎根據門限T的不同，可分為全局門限、局部門限、自適應門限全局門限: T=Tf(x,y)T僅取決于f(x,y)，整幅圖像采用單一門限局部門限: T=Tf(x,y),

23、 p(x,y)T僅取決于f(x,y)和p(x,y)，p(x,y)表示點(x,y)的局部性質不同局部區域采用不同門限自適應門限: T=Tx,y,f(x,y), p(x,y) T取決于空間坐標x和y每個像素點的門限隨像素的點的特性而變化62門限處理基本全局門限通過對圖像逐像素掃描，將灰度級大于閾值的像素標記為對象，將灰度級小于閾值的像素標記為背景全局門限的確定試探法自動確定經典的全局閾值分割方法63門限處理64門限處理基本全局門限自動確定門限的算法選擇一個T的初始估計值用T分割圖像，G1由所有灰度值大于T的像素組成，G2由所有小于或等于T的像素組成對區域G1和G2中的所有像素計算平均灰度值1和2計

24、算新的門限值T=(1 +2)/2重復步驟2到4，直到逐次迭代得到的T值之差小于事先定義的參數T065門限處理66門限處理基本全局門限經典全局閾值分割方法經典全局閾值分割方法p-分位數法迭代法最大類間方差法熵閾值法最小誤差法二維Otsu 閾值分割法二維熵閾值分割法67經典全局閾值分割方法p-分位數法基本原理是根據先驗知識，得到目標與背景像素的先驗概率比例，再根據此條件依次累計灰度直方圖，直到累計值大于或等于該比例數，此時的灰度值即最佳閾值。該算法簡單，有一定的抗噪聲能力，但對于一些復雜圖像的先驗概率比較難求得，不適用于所有圖像。迭代法基本原理是選取圖像的平均灰度T0為初始閾值，然后用T0 將圖像

25、的像素點分作兩部分，計算兩部分各自的平均灰度之間的中點T1 ，將T1 作為新的全局閾值代替T0 ，重復以上過程，如此迭代，直至閾值收斂。當圖像的灰度直方圖雙峰不明顯，圖像目標和背景比例差異懸殊時，迭代法的分割效果不理想。68經典全局閾值分割方法最大類間方差法最大類間方差法是Otsu 于1978 年提出的，是應用最廣泛的閾值分割法之一。其中o 為目標的概率， o 為目標的平均灰度值，b 為背景的概率，b 為背景的平均灰度值。熵閾值法基本思想都是利用圖像的灰度分布密度函數定義圖像的信息熵，根據假設或者視角的不同提出不同的熵準則，最后通過優化該準則得到最佳閾值，其中以Kapur 等人提出的熵準則最為

26、有名，又稱為KSW 熵法。最小誤差法最小誤差法來源于Bayes 的最小誤差分類方法，其原理是選擇一個合適的閾值，使目標錯分到背景和背景錯分到目標的誤差概率總和達到最小，此時的閾值即為最佳閾值。69 設圖像由目標和背景兩部分組成，目標的灰度分布概率密度為po(r)，而背景的灰度分布概率密度為pb(r)，同時設目標占整個畫面的百分比為q，則背景占1- q。若取閾值為t，則：trpo(r)pb(r)將背景點誤判為物體點的誤判概率為：將物體點誤判為背景點的誤判概率為：注意到上式右端第二項恰好是灰度小于 t 的背景點出現的總概率Pb(t)，故：因此總的誤判概率為：最小誤差法最佳閾值 我們的目標是求出最佳

27、閾值 t ，使總的誤判概率最小，可以將上述誤判函數對 t 求導，并令其為零，故有：或寫成：若已知背景和目標的灰度概率密度，可以利用數值方法求出最佳閾值。設目標區和背景區灰度的均值分別為 mo 和 mb，均方差分別為 so和 sb，則：代入上述總誤判概率表達式，并取對數得：經化簡，此方程具有以下形式：其中：因此可以通過求解二次方程，求出兩個根 t1和 t2，并選取合理的結果。73基于區域的分割基本公式分割的目標是將圖像劃分為不同的區域令R表示整幅圖像，可以將分割看成是將R劃分為n個子區域的過程，n個子區域滿足以下條件完備性：連通性：每個Ri都是一個連通區域獨立性：單一性：互斥性：區域增長法 通過

28、象素聚合的區域增長法是最基本的區域分割技術。根據事先定義的準則將象素或子區域聚合成更大區域的過程。區域生長的三個問題：種子：進行生長的起點。相似性準則：確定增長的規則。終止規則：考慮區域大小、形狀、相似性等因素。75基于區域的分割區域生長算法實現根據圖像的不同應用選擇一個或一組種子選擇一個條件從該種子開始向外擴張，首先把種子像素加入集合，然后不斷將與集合中各個像素連通、且滿足給定條件的像素加入集合上一過程進行到不再有滿足條件的新像素點加入集合為止76基于區域的分割單連接區域增長方法：對圖像進行光柵掃描，求出不屬于任何區域的象素（根據 圖像的不同應用選擇一個或一組種子，它或者是最亮或最暗 的點，或者是位于點簇中心的點。）；2. 將該點的灰度值與其鄰域內不屬于任何一個區域的 象素灰度值比較，如果其差的絕對值小于某個設定的門限值，就把它們合并為同一區域；3. 對新合并的象素，重復（2）的操作；4. 反復進行（2）（3）的操作，直到不能再增加為止；5. 返回至（1），重新尋找能為新區域出發點的象素。例：設有一數字圖像，如圖所示。檢測灰度為9，平均灰度均勻測 度度量的閾值為2，采用區域增長技術對圖像進行分割。12646156855897657858567831264615685589765785856783(8988)/4=8.25(8+8+9+7+7+8+7+8)/8=7.758877