32機械零件壓印字符圖像預處理技術分析目錄TOC\o"1-3"\h\u109機械零件壓印字符圖像預處理技術分析 1259221.1圖像信息增強 1107051.2零件圖像濾波去噪 2298031.3零件圖像傾斜校正 5142011.4壓印字符定位、分割、識別 106881.4.1字符定位 10115441.4.2字符分割 11281981.4.3字符識別 12在對零件圖像進行采集之后得到的零件圖像仍然有一些問題，例如會出現油漬多、采集位置不合適等問題，在圖像采集過程中，大大緩和了零件表面反光的不容易檢測的問題，但是因為零件表面和字符較相似不容易區分，同時也還存在其他問題：（1）在零件表面提取特征的同時，容易受到噪聲的影響（2）零件裝配或者檢測過程中存在零件字符傾斜的狀況。所以還需要針對以上問題對零件圖像進行預處理包括圖像信息增強、圖像過濾、傾斜校正。1.1圖像信息增強在對圖像進行預處理時。可能因為檢測到的零件圖像特征不清晰，或者較為模糊，這時需要對零件的信息特征進行圖像信息增強，加強圖像信息對比度。以便于后續操作的進行，這里針對于零件圖像介紹了幾種常用的圖像信息增強的算法。（1）直方圖均衡圖像增強在圖像進行灰度處理后，因為分布的關系，圖像的對比度可能不高，圖像信息不明確，而該方法就是加強圖像的對比度，即使灰度處理后的灰度值能夠均勻分布來使圖像信息增強。（2）伽瑪校正圖像增強這種圖像增強的基本原理是處理圖像信息中較為不足的地方，或者將缺失的圖像特征進行修復處理。（3）Retinex算法圖像增強這種算法的基本原理是它是基于零件表面本身的反射能力決定圖像的信息呈現程度，而不是根據外在曝光，光照的影響決定的，它可以對不同類型的零件進行圖像信息增強，是生過中比較常見的一種圖像增強方法，使用Retinex算法圖像增強后的圖像較為明顯，可行性較高，因此本文應用該算法進行圖像信息的增強。可由如下公式3-1所示：fx，y=R（x，y其中fx，y表示圖像，R（x，y）rx，y=logR（x，y）=log?其中rx，y表示的是輸出圖像，Fx，y表示的是中心環繞函數，而?表示卷積符號。最后可以表示為公式3-4其中c是高斯環繞尺度，Fx，y=λ最后還需要滿足一個條件：F1.2零件圖像濾波去噪在對零件圖像信息的質量進行增強后，雖然子圖的特征變得更加突出，但圖像中的噪聲卻無法得到抑制。因此，要用濾波的方法來過濾零件圖像中的噪聲。下面對幾種過濾方法進行了以下研究和比較實驗。（1）均值濾波這是一種常用的濾波方法，它的原理是將一個圖像中某一個像素點旁邊的平均值當作這個點的像素點，通常，選擇一個N點作為濾波核，再將模板的中點與需要過濾的圖像像素點f(i,j)對齊，再將得到的濾波核卷積運算除以N得到一個值，使這個值替換原來圖像中的像素點f(i,j)，濾波核變得越大，說明它的平滑效果就越好，但是也會使圖像變得有點模糊，而且運算更加復雜，綜上要根據自己的需求來選擇模板。一般選擇3X3的模板如圖1.1（a），但如果中心點相對圖像比較重要，可以將這些像素點進行加權，以獲得具有加權系數的平均濾波，如圖1.1（b）（a）普通均值濾波模板（b）加權均值濾波模板圖1.1均值濾波模板（2）中值濾波與經典方法相比，中值濾波更加接近一種統計原理，濾波過程中往往選擇N×N的中值濾波核來對圖像f(i,j)上對應的中值濾波的窗口的像素點進行排序，通過運算對中值濾波核窗口對應的f(i,j)上的灰度值進行排序，然后將窗口中的中心像素點（i,j）的灰度值替換成中值。中值濾波后的圖像f(i,j)像素點運算公式如下3-5：gx，y其中：K是N×N的中值濾波核。它不僅可以過濾掉零件圖像表面的噪聲，還能完整的保留邊緣的細節特點。圖1.2是當N等于3的中值濾波圖[14[14]張傳果.柱面壓印字符識別算法研究和實現[D].廣東工業大學,2017.圖1.2中值濾波示意圖（3）高斯濾波對比與上述濾波，高斯濾波則是相對于較為平滑的濾波方式：可以去除圖像中的正交散射的噪聲，該濾波和均值濾波有點相同，高斯濾波是對零件圖像像素點的灰度值進行加權處理，用處理后的灰度值代替零件圖像像素點的灰度值[15[15]李建美.標牌壓印字符圖像獲取與處理中的關鍵技術研究[D].山東大學,2008.?x，y其中（x,y）表示的是中心坐標點，σ表示的是二維高斯函數的標準偏差[16[16]段西利.工業工件復雜表面的字符識別方法研究[D].西安理工大學,2019.由于該高斯函數是二維的，所以操作之前要對其進行離散化，假設原圖像的像素點為(i,j)，對應的像素點的加權平均數H(i,j)可以為公式3-7其中k表示高斯濾波器的核大小Hi，j從上式（3-7）能夠表明（2k+1）×（2k+1）比例窗模板，當k=1時，3×3高斯濾波模板為：M=116一般來說，在使用高斯濾波剔除圖像時，要根據情況說明k和o的值。K一般為1、2、3。σ值越大，表明去噪的效果也就越好，但是也會使圖像的特征變小；σ值越小，去噪效果也就越不明顯。因此，應分析圖像的噪聲特性，并選擇適當的參數值[17[17]余義.基于機器視覺的車門限位器檢測與識別研究及實現[D].南京郵電大學,2019.（4）雙邊濾波該算法根據每個零件圖像中像素點周圍的相近信息或者灰度值相近來進行不一樣的處理，它是一種非線性的濾波方法，一般來說，雙邊濾波可以表示兩個高斯濾波，一個計算像素點的權值，一個計算與它相似的權值，再將計算出來的權值進行卷積計算，這樣不僅能去除掉圖像表面的噪聲，還能使邊緣的細節更加明顯，雙邊濾波公式如下[18[18]丁世飛,齊丙娟,譚紅艷.支持向量機理論與算法研究綜述.電子科技大學學報,2011,40(1):2-10.Kx，y其中：k(x,y)是去噪后的圖像，ωn表示歸一化參數，ωr(i,j)是空間域的權重，ωs(i,j)表示灰度域的權重，f(i,j)是帶有噪聲的原始圖像。Ω是像素（x,y）處的鄰域。其中[19[19]蔣檬凡.工程圖紙中字符檢測與識別方法的研究[D].電子科技大學,2019.ωsωr該濾波中的空間域權值ωr（i，j）和灰度域權值ωs（i，j）也代表高斯函數，由（3-9）、（3-10）（3-11）可以得到兩個高斯函數的sigma值，由得到的sigma值可以決定雙邊濾波的效果。用上述過濾算法過濾后的圖像后。其中，中值濾波后的結果在一定程度上被過濾掉了噪聲，但字符的細節沒有得到更好的保留。中值濾波雖然保存了圖像字符的細節，但是依然沒有去除噪聲。高斯濾波的結果是雖然已經過濾掉了很多噪音，但對字符細節的保留并不理想。雙邊濾波的結果是字符邊緣的細節被保留了下來，但大部分的噪聲被過濾掉了。因此，這也是本文采用雙邊過濾作為該系統過濾算法的原因。1.3零件圖像傾斜校正由于檢測系統是在人工裝載端進行操作，所以在操作過程中難免會出現誤差，使采集到的圖像發生傾斜，這樣影響到了字符識別，對后續的定位也有很大的影響，所以這就需要運用到了零件圖像的傾斜校正，在零件的圖像上放置一條水平的直線，即可以參考對照這條直線，如圖1.3所示L1就是零件圖像中放置的一條直線，若該直線是水平的，即說明這個零件圖像也是準確的，沒有發生傾斜，但是如果這條直線傾斜了，代表圖像也發生了傾斜，且對應的角度也是一樣的，下面就探討一下如何利用這條直線對零件的圖像進行傾斜校正。圖1.3零件圖像直線示意圖（1）基于Hough變換的傾斜校正該傾斜校正方法的原理就是在一個參數空間中利用線和點的對偶性將零圖像中檢測問題轉化成參數問題，這樣更加直觀，可以將圖像中的直線代表傾斜角來校正圖像，Hough變換運用非常廣泛。如果一條直線在空間坐標系中，那么它的斜率和截圖的關系就可以表示為如（3-8）所示：y=ax+b(3-12)如果x，y被認為是參數，a，b是變量，那么空間坐標系中的點（x，y）對應于參數空間中的一條線，即x表示斜率，y表示截圖，那么b就表示自變量[20[20]王麗.紅外雙目測距技術研究與應用[D].江蘇科技大學,2015.b=ax+y(3-13)綜上可知，零件圖像中直線的空間問題就可以轉化成統計問題，這樣更加明確，表示也更直觀。（2）邊緣檢測如果單純直接檢測零件圖像中的像素點，那么運算量會非常大，所以可以選取一些變化相對明顯的點來反映圖像灰度值的變化，再對這些點進行求導或者最小值，這樣可以大大減少運算量，其邊界就是最大梯度的方向。下圖顯示，當圖像中一個像素的灰度值沒有發生變化時和沒有發生變化時導數的變化，沒有變化時一階導數和二階導數就為零，表明存在一個邊界點，那么就說明一階導數是一個常數，所以判斷是否存在邊界點的依據是通過一階導數[21[21]褚輝,賴惠成.一種改進的B神經網絡算法及其應用[J].計算機仿真,2007(4):75-77.圖1.4灰度斜坡以及導數圖綜上所述，如果要確定一個零件圖像中一個點xy的梯度值就可以用公式（3-13）所示，且這是一個連續的灰度圖像[22[22]陳先昌.基于卷積神經網絡的深度學習算法與應用研究[D].浙江:浙江工商大學,2013:23-31.?fx，y則點θ(x,y)處的梯度方向角和梯度幅值f(x,y)的公式如下[23[23]顏若塵.基于云模型的工件圖像識別技術研究[D].江蘇科技大學,2019.θx，y=?fx，y=邊緣檢測中會出有不一樣的運算符，也就是邊緣算子，下面介紹幾種常見緣算子：Sobel算子索貝爾算法的原理是利用模型遍歷圖像，再將區域中的點進行加權，然后在此基礎上推導出每個像素點的梯度，后續再引用前面提到的高斯平滑，就可以得到我們所需的邊緣檢測，如公式（3-17）所示[24[24]王小兵,孫久運.一種新型高斯噪聲濾波算法.北華大學學報(自然),2011,12(5):606-609.Gx=?1B.Prewitt算子該算子的原理是計算一個零件圖像范圍內像素點的平均灰度值，再由得到的值進行邊緣檢測，這樣能大大減少噪聲影響邊緣檢測，如公式（3-18）所示。Gx=?1C.Canny算子。在邊緣檢測中Canny算子是最常用的。因為它的特點是根據信噪比和定位的關系，通過計算他們的乘積來得到最佳近似算子。因為該算子的檢測效果良好，所以本文的邊緣檢測處理通過Canny算子進行，以獲得圖像邊緣的線性信息。Canny算子的原理：對于灰度圖像來說，也就是灰度值有一個明顯變化，就是表明灰度值的一個強烈變化。怎么表征這種灰度值的變化呢？導數就是表征變化率的，但是數字圖像都是離散的，也就是導數肯定會用差分來代替。也就是具體算法中的步驟2。但是在真實的圖像中，一般會有噪聲，噪聲會影響梯的計算，所以步驟1上來先濾波。理論上放大零件圖像中的像素點，同時也就是這個點的梯度值會增大，但是這也不完全可以代表邊緣檢測。在該算法中的非極大值抑制也就是步驟3，就是為了找到零件圖像中的最大像素點，為后續的邊緣檢測做鋪墊，同時這也是邊緣檢測很重要的一步。步驟4，是一個典型算法，有時候我們并不像一刀切，邊緣點的選擇不僅僅是以閾值為標準，它也可能是超過閾值，或者說是這些點是閾值高的一邊的延伸。因此采用步驟四是用雙閾值進行檢測。（3）Hough直線檢測假設一條直線L，如圖1.5(a)所示，由剛剛介紹的邊緣檢測，線上有邊緣點，假設A是邊緣線上的一個點。由此可見，當無限多的直線通過A點時，在參數空間中是一個點的集合，通過連接這些點，能夠得到σ1.而σ1是一條曲線，同樣，無限多的直線通過B點，在參數空間中會形成一個點的集合，形成一條曲線σ2.再把這些像素點進行連接，可以形成無限多的直線，曲線[25][25]柴寶仁.中值濾波在氣象傳真圖中降噪的分析.北京理工大學學報,2011,31（4）：417-419.（a）直角坐標系（b）參數空間組坐標系圖1.5Hough變換檢測直線原理綜上所述了解到如何進行直線的檢測：檢測直線時，設計了一個累加器，它的作用是記錄曲線的數量，每條與此交點相交的曲線，累加器都要加1。最后，加上所需的閾值的最大值，就可以得到想要的過濾直線。由上可以了解到最長的直線是零件表面的上端。因此，在檢測這條直線時，只需使用累加器在峰值點中獲得最大的值來過濾這條直線，并進行傾斜角的計算即可。下面就是計算的公式，其中假設A(x,y)，參數空間中的對應點為(ρ,θ)最后變成(x1,y1)，α是旋轉角度[26]李愷,王小捷,韓微微.芯片識別定位系統中LED光源的應用研究[J].電子工業專用設備,2012,41(12):40-46.x1y1綜上所述，完成傾斜校正的一般流程為首先輸入圖像，再由Canny算子的方法對圖像進行邊緣檢測處理，和零件最長直線進行Hough變換，統計并計算超過閥值的數量，篩選最長的直線并對比水平線傾斜的角度，最后得到的數據參照水平線進行傾斜校正操作。傾斜校正的過程表現的很好，達到了預期的目的，減少了外在因素的影響，為后續的字符定位、分割和識別奠定了基礎。1.4壓印字符定位、分割、識別1.4.1字符定位以上對零件的降噪、圖像過濾處理后，在一定程度上減少了零件字符識別的影響因素，但還存在一些干擾因素，比如零件上可能會出現外界影響，碰撞，劃痕等，所以要對零件表面字符進行定位，即需要計算相鄰字符之間的距離。目前為止，字符定位的方法主要有（SSDA）、（MAD）、（NCC）等，分別表示序慣相似性檢測算法、平均絕對差值算法、以及歸一化積相關算法。本文可用最后一中NCC即歸一化積相關算法進行字符定位[27[27]周志明,王以治,黃文芝,王寧寧.基于小波和支持向量機的人臉識別技術[J].計算機工程與應用,2004,12:52-54.（1）MAD法這種方法屬于一種模板匹配算法，且具有速度較快、精度較高的優點其表達式為[28]席瑞駿,肖雙江,楊慧,劉華.光學鏡頭成像質量研究[J].物理實驗,2019,39(05):42-46.：[28]席瑞駿,肖雙江,楊慧,劉華.光學鏡頭成像質量研究[J].物理實驗,2019,39(05):42-46.其中S（x，y）是原始圖像，m×n是其大小，t1×t2模板圖像，1≤i≤m?t1+1（2）SSDA法這種方法和上述一樣也屬于一種模板匹配算法，同樣也有匹配速度較快的優點，它的基本原理是通過模板和模板子圖中出現的絕對誤差的大小或超過閥值的數量來判斷的。其中絕對誤差的表達式如下：εi，jT（i，j）其中Si，j表示的是平均灰度值，SSDA法與上述提到的MAD法有一點類似，都是需要選定一個閥值，然后絕對誤差超過閥值的數量來判斷相似度，超過的數量越多代表的相似度越低，反之，超過的數量越少，相似度也就越高，它的影響因素主要由曝光強度引起的（3）歸一化積相關法這種方法在字符定位中是比較常見的，它的基本思想是匹配子圖與模板之間的灰度值，來確定位置的，同樣它的流程也類似與上面兩種方法，它的表達式為[29[29]方玲玉,龔文友.基于SVM多分類的車牌相似字符識別方法研究[J].計算機與數字工程,2017,45(07):1411-1415.R（3-25）上述公式中，原始坐標點是m，n，S1.4.2字符分割（1）二值化法完成字符定位后，還需要將字符進