1、計算機視覺 指導教師：梁棟 基于圖像預處理的二維碼識別技術的研究摘要：隨著計算機科學技術的發展，自動識別技術得到了廣泛的應用。在眾多自動識別的技術中，條碼技術已經成為當今主要的計算機自動識別技術之一。為解決條碼信息容量有限的問題，九十年代以來出現一種新的條碼二維碼。二維碼是指在平面二維方向上，使用某種特定的幾何圖形按一定規律分布的黑白相間的，用以記錄信息的符號。在代碼編制上巧妙地利用構成計算機內部邏輯基礎的“0”、“1”比特流的概念，使用若干個與二進制相對應的幾何形體來表示文字數值信息，通過圖象輸入設備或光電掃描設備自動識讀以實現信息自動處理：它具有條碼技術的一些共性：每種碼制有其特定的字符集

2、；每個字符占有一定的寬度；具有一定的校驗功能等。同時還具有對不同行的信息自動識別功能、及處理圖形旋轉變化等特點。二維碼主要分為兩大類：一是堆疊式是二維碼，其主要代表是pdf417；二是矩陣式二維碼，主要包括QR碼和Data Matrix碼。在現代商業活動中，二維碼以其低成本、快速識讀、含有大量信息而廣泛應用于各個行業，如：產品防偽/溯源、廣告推送、網站鏈接、數據下載、商品交易、定位/導航、電子憑證、車輛管理、信息傳遞、名片交流、wifi共享等，人們通過手機二維碼的掃描軟件就可以輕松獲得二維碼中所儲藏的信息。對QR碼進行識別需要使用采集設備采集的圖像，但圖像的采集過程中由于受到各種因素（如光照不

3、均勻、拍攝角度、二維碼有褶皺等）的影響，可能導致二維碼圖像背景有各種噪聲，收到的圖像可能存在幾何畸變或者圖像有陰影，從而導致識讀設備很難識讀，給解碼帶來相當大的困難。因此，如何對收集到的圖像進行適當的去噪和校正已成為二維碼識別的關鍵問題1。本文主要針對異常QR碼以及Data Matrix碼的識別進行描述，先表明二維碼識別要解決的問題、任務和框架，并對現有方法進行闡述，最后討論二維碼識別技術仍需解決的問題，并展望看其未來研究方向。1. 二維碼識別的概念框架隨著二維碼的廣泛使用，二維碼被廣泛認知，當人們遇到二維碼掃描失敗的時候，對其產生的影響也是巨大的，人們會懷疑是不是產品是假的，或者是有詐騙信息

4、，但其主要問題可能是：1) 二維碼的掃描不夠精確；2) 不是真的二維碼圖形；3) 更新的條碼種類未被錄用到掃描軟件中；4) 二維碼圖案被破壞，或沒有處于理想狀態下；上述問題只是二維碼不能識別的部分原因，就上述問題，還沒有某一款軟件或產品能夠同時解決上面所有的問題，由此，二維碼的識別過程中所要完成的主要任務，即在用二維碼軟件掃描二維碼時，先對其圖案進行圖像的預處理，使其符合各二維碼的種類規范，然后再對其進行讀取。基于圖像預處理的二維碼識別的基本流程包括：圖像灰度化、圖像濾波、光照均衡化、圖像分割、圖像二值化、邊緣檢測、圖像定位、圖形旋轉，失真校正等。本文主要總結針對二維碼圖形預處理的方法，以期能

5、夠提高二維碼的識別度。2. 二維碼條碼2.1 QR碼簡介 QR碼是快速識別矩陣碼（quick response code）的簡稱，最早由日本DENSO公司在1994年9月推出，我國于2000年底頒布了QR碼的國家標準。QR碼符號呈正方形，由空白區、功能圖形區、數據圖形區組成。功能圖形區又分為位置探測圖形、校正圖形、格式信息、版本信息、定位圖形等不同的圖形形式，如圖1 所示。各部分圖形都由深色模塊（代表二進制1）或淺色模塊（代表二進制0）組成，位置清晰，功能性強，有利于進行圖像處理和識別2。根據編碼數據量的多少，QR碼可以分為40個版本，從版本1到版本40，符號容量越來越大，相應的圖形所占的面積

6、也增大，每增大一個版本，符號圖像的每邊就多出4個模塊。QR碼有較強的數據容錯能力，使用Reed Solomon碼進行查錯控制。根據需要，可設置L、M、Q、H四個糾錯等級，分別可恢復傳輸或識讀出錯的7%、15%、25%、30%的碼字信息。詳見文獻33-10，493-95。QR碼的基本特點：識讀速度超高；全方位讀取；能夠有效編碼中國漢字和日本漢字。圖 1 QR碼的符號結構2.2 Data Matrix的簡介4Data Matrix二維碼（DM碼）是由美國國際資料公司于1989年發明的，DM是矩陣式二維條碼，其發展的初衷是在較小的標簽上嵌入更多的資料信息。DM的最小尺寸是目前條碼中最小的，尤其適用于

7、小零件的標識，直接印刷在實體上。DM分為ECC000ECC140和ECC200兩種類型，ECC000ECC140具有多種不同等級的錯誤糾錯功能，而ECC200則通過Reed-Solomon糾錯算法產生多項式計算出錯誤糾錯碼，不同尺寸的ECC200符號應有不同數量的錯誤糾錯詞。由于DM只需讀取資料的20%即可精確辨認，因此很適合在條碼容易受損的場合，例如在暴露于高熱、化學劑清洗、機械腐蝕等特殊環境的零件上。DM碼最大特點就是存儲效率高，因此被廣泛應用于標示集成電路、藥品等小件物品。如圖2所示，DM碼看起來像是一個由黑白兩種顏色組成的點陣組合，每一個相同大小的黑色或白色方格成為一個數據單位。矩陣中

8、的1、0就是DM的黑白兩色小方格，及數據單位。圖2 DM碼示例每個DM碼符號由規則排列的房型模組組成，如圖3所示。其中，(a)是一個完整的DM碼；(b)是DM碼尋邊區L型實心邊界；(c)是DM碼尋邊區的反L型虛線邊框；(d)是數據區，包含被編碼的有用信息；(e)是結構鏈接情況下的DM碼。DM碼看起來像一個由深淺顏色組成的國際象棋棋盤，每一個相同大小的黑色或白色方格，分別對應于二進位0或1，被稱為數據單位。DM符號就是由許多這樣的數據單位組成。在尋邊區外層有寬度為一個數據單位的靜區，靜止區的主要作用為將二維條碼與其他的背景信息隔離。尋邊區是“棋盤”的邊界，包括L型的實心邊界和反L型的虛線邊界，只

9、用于定位和定義數據單位大小，而不含有任何編碼信息。被尋邊區包圍的數據區則包含著編碼信息，是對待編碼的符號，包括數字、字母和漢字等按照一定的編碼規則生成的。值得指出的是;尋邊區是DM的邊界，主要用于限定DM碼的物理尺寸，定位和符號失真。反L型的虛線邊界同樣主要用于限定符號的單元結構，但也能幫助確定物理尺寸及失真。圖(e)是結構鏈接的DM碼，中間一個黑白交替的十字形稱為鐵路線，在取樣時需要利用它以提高識別率。圖3 DM的符號結構3. 圖像預處理二維碼的識別是通過將采集到的圖像通過數學和圖像的方法，盡可能地將其中所容納的信息恢復出來的過程，但無論是從什么儀器所采集的圖像都不可避免地會和原圖像有所差異

10、。如果圖像采集過程中存在各種噪聲、模糊、光照不均、畸變，甚至是圖像部分區域的沾污，在識別之前都需要進行圖像的預處理，才能盡可能保證條碼的讀取順利。二維碼的預處理包括：圖像的灰度化、圖像的增強、圖像濾波處理、光照不均處理、二值化、邊緣檢測、圖像的定位、圖像校正和畸變校正等。下面就以上圖像處理的現有方法進行總結和比較。3.1 圖像灰度化一般情況下，由智能手機或相機的攝像頭采集到的圖像信息通常是彩色圖像，以常見的RGB格式彩色圖像數據來看，每個像素點是由Red、Green、 Blue三種顏色的數據信息描述。但在二維碼的解碼中只需要正確描述出 條狀區域和空白區域即可，所以進行灰度化的處理，是為了將影響

11、不大的色彩信息去掉，不僅可以降低存儲空間，還可以增加解碼的速度。灰度化的主要方法有5：最大值法：在像素點的三個色彩分量信息中，選出數值最大的一項作為該像素點的最大值。這種方法得到的灰度圖像亮度將會比較大。平均值法：將像素點三個色彩分量信息相加求出平均值，將該平均值視為灰度值。這種方法得到灰度圖像比較柔和但會丟失部分圖像邊緣信息。加權平均法：將像素點三個色彩分量信息按照一定的權重相加求出平均值，該平均值被作為像素點的灰度值。其轉換公式如下： （1）這種方法得到的圖像效果最好，幾乎所有的灰度化過程都采用這樣的方法。 (a)彩色圖像 (b)灰度化圖像圖4 二維碼灰度圖像效果圖3.2 圖像濾波由于CM

12、OS或CCD攝像頭的光學或電學特性，在圖像采集過程中不可避免地會采集到噪聲，這些噪聲一般為椒鹽噪聲或斑點噪聲，在二值化等進一步操作之前，需要將噪聲除去。常用的濾波方法分為線性濾波和非線性濾波5。線性濾波是指利用一定的變換關系對圖像中每個像素點的灰度值做變換，線性算子的計算方式不同，線性濾波的算法也就不同。非線性濾波多采用取絕對值、置零或分區域變換等非線性的方法。通過分析采集到的二維碼圖像可知其引出的噪聲一般為高斯噪聲，利用低通線性濾波可以對其進行很好地去除，但缺點是可能會使邊緣信息變得模糊，這對之后的二值化操作具有很大的影響，會因為邊緣模糊將原本白色空白間隔的區域二值化為黑色條狀區域，直接導致

13、“1”和“0”的誤判，在解碼過程中有非常大的可能是最終結果出錯。而非線性低通濾波方法中值濾波可以很好地避開這點，中值濾波是將待處理的像素點以及以其為中心的小窗口內的像素點的灰度值按照大小進行排列，取中間值代替需要處理像素點的灰度值。中值濾波的數學表達式如下： (2)優點是：中值濾波對椒鹽噪聲、斑點噪聲去除效果非常好，且由于其處理算法的特殊性使得圖像中的階躍序列和周期序列不會被濾除，很好地保存了二維碼的邊緣信息。缺點是：雖然方法簡單易實現，但有時會失掉圖像中的細線和小塊的目標區域。對于中值濾波，一般采用5*5的窗口進行濾波，效果圖如圖5所示：圖5 中值濾波效果圖3.3 光照均衡化由于二維碼特點和

14、攝像頭等相關缺點知，光照均衡化在二維碼前期處理當中起到至關重要的作用。非均衡化的光照很容易使二值化過程產生誤差，將本來是白色空白區域的位置二值化為合適條狀區域，從而影響解碼正確率。目前已有很多學者提出各種光照均衡算法5，如直方圖修正法，Retinex增強，童泰濾波，對數變化和梯度增強等，但是這些算法普遍存在計算時間長，運用大量對數運算，丟失圖像邊緣細節等問題。隨著數學形態學的發展，誕生出許多基于數學形態學的去光照算法。Jimenez-Sanchez等提出的不均勻光照校正算法8，Chen研究出的基于數學形態學的光照均衡方法。這些方法優點：能夠獲得很好地效果。缺點是：當分塊較大的時候，處理后的圖像

15、塊效應會分成明顯。針對此缺點，Xu提出利用大尺度的結構元素對原始圖像進行白TOP-HAP變換來去除光照影響9-10，優點是：實現起來較簡單，大多數情況下的處理效果令人滿意。缺點是：因為僅僅使用單一的結構元素，所以對復雜光照處理效果欠佳。張萌提出利用數學形態學實現的基于多結構元素的不均衡光照校正算法，其核心思想即：選用大尺度的多結構元素對圖像進行白TOP-HAP變換，之后利用熵理論對圖像進行融合，得到最總圖像。優點：與傳統算法相比較，算法過程簡單，無復雜數學運算，充分保留圖像細節，去光照效果好，實驗對比如圖6。 (a) 原圖像 (b) 去光照后的圖像圖6 去光照處理效果圖3.4 圖像的二值化由于

16、二值圖像易得到圖像的特征信息，所以濾波后的圖像都要進行二值化。所謂二值化就是把灰度圖像經過一定的變換關系轉化為只有黑色和白色兩種顏色的圖像信息。在二值化的過程中最重要的就是閾值的選擇，閾值是指選取一個灰度值，將小于灰度值的像素置為最小灰度即黑色，大于灰度值的像素置為最大灰度值即白色。根據二值化中對閾值的選取方法不同，二值化算法主要全局選取閾值法和局部區域選取閾值法和動態閾值法11。全局閾值分割方法是指在二值化的過程中只使用一個固定閾值的方法，此法對于質量較好的圖像有效。包含的方法有：方差閾值分割法、最大熵法、模糊閾值分割法、共生矩陣分割法、區域生長法等。優點是：應用廣泛，算法簡單，對于對比度較

17、高、照度均勻、無陰影的圖像，能夠達到很好地分割效果。缺點是抗噪能力不強，對目標和背景灰度有梯度變化的圖像效較差。局部閾值分割法：將原始圖像劃分為較小的圖像，并對每個子圖像選取相應的閾值。優點：能夠適應較復雜的情況，抗噪能力強，對一些用全局閾值法不易分割的圖像有較好的效果。缺點是：算法的復雜度增加，速度慢，難以適應實時性的要求；容易受到背景不均勻性的影響，在某些情況下會產生失真。常用的方法有灰度差直方圖法、微分直方圖法。動態閾值法：其閾值確定不僅取決于改像素的灰度值及周圍像素的灰度值，而且與像素位置有關。事實上，專門適用于二維碼的圖像二值化比較少12。針對DM解碼，大部分采用的是現有的算法，如O

18、stu法進行處理。楊碩13等提出一種DM碼算法的二值化算法。它首先根據Kittler算法找到圖像發生光照不均的區域，然后改進Bernsen算法的處理過程、調整參數、削弱原算法的偽影問題，并用改進后的算法處理光照不均的部分，具有較好的穩定性和自適應性。缺點是：該算法的計算量較大，實時性受到影響。3.5 邊緣檢測邊緣檢測就是檢測條碼的邊界，將圖像與周圍非相關信息區別開來。圖像的邊緣是指圖像灰度上有明顯突變的部分，基本思想是：利用邊緣增強算子，突出圖像中的局部邊緣，然后定義像素的“邊緣強度”，通過設置閾值的方法提取邊緣點集11。傳統的圖像邊緣檢測方法基本上都可以概括為對圖像的高頻分量進行增強，微分計

19、算理所當然成為邊緣檢測與提取的重要技術手段。最早提出的一階邊緣檢測算子有Robert算子，以及在此基礎上發展出來的Sobel算子，Prewitt算子和Kirsh算子等，這些算子會在圖像的邊緣附近區域發生較寬的響應，這樣檢測時就需要細化的過程，從而影響圖像邊緣的精確定位。之后提出二階邊緣檢測算子如Laplacian算子。以LOG算子和Canny算子為代表的最優算子則是經過微分算子進行發展和優化產生的。隨著科學技術的發展，借助于各種新的理論研究邊緣檢測的方法被提出并應用。如基于形態學的邊緣檢測算子，借助統計學的檢測方法、利用神經網絡的檢測技術、利用模糊理論的檢測技術、利用信息論的檢測技術、利用遺傳

20、算法的檢測技術、基于分形特征的邊緣檢測技術等14。3.6 圖像定位由設備采集到的圖像一般包含二維碼圖像和背景，因此需要將整個二維碼從整個圖像中分離出來。具體來說：QR碼中需要確定定位圖形，DM碼的定位則是通過L型的尋邊區決定的。Radon和Hough變換14是常用的兩中直線提取方案。可以用這兩種算法確定條碼的旋轉角度和坐標。Randon變換的幾班原理：對一個平面內沿不同的直線（直線與原點的距離是d，方向角為）對f(x,y)做線積分，得到的像F(d,)就是函數f的Randon變換。標準的Randon變換的格式如下： (3)用求出的最大積分的只，求得的對應角度，就是二維碼的旋轉角度。此變換求得的旋

21、轉角度具有提高算法抗噪聲性的優點，但由于受到設定的條碼的旋轉角度范圍和步進角度的限制，算法的運算速度將受到一定影響。Hough變換基本原理：利用圖像二維空間和hough參數極坐標空間的點-線對偶關系，把圖像二維空間中的檢測問題巧妙地轉換到極坐標參數空間。在參數空間再進行簡單的累加統計，然后在hough參數空間尋找累加器最大值的方法來檢測圖像二維空間中的直線。Hough變換的優點是：受噪聲和曲線間斷的影響較小，對于形狀為正方形的QR碼，尤其具有一定的優勢。3.7 圖像校正圖像的校正就是對由于各種因素導致失真的圖像進行恢復原貌的操作。以QR碼為例，其幾何校正的基本方法是尋找QR碼的3個尋像圖形，根

22、據尋像圖形確定四個控制點，然后利用四個控制點進行圖像的校正。但是當圖像失真嚴重時，尋像圖像難以尋找，以至無法識別。得到四個控制點的算法15：1 把二值化的圖像灰度值取反 ，得到圖7(a)。2 對 圖7(a)進行多次的膨脹腐蝕，得到中間挖空的圖像圖7(b)。3 然后對圖7(b)進行邊緣檢測，得到圖7(c)。4 對圖7(c)進行hough變換，找出四條邊線，如圖7(d)，然后求出四條邊線的交點，得到四個控制點。 (a) 灰度化后的圖像 (b) 多次膨脹腐蝕后的圖像(c) 邊緣檢測后的圖像 (d) 提取四條邊線的圖像圖7 四個控制點的確定過程然后運用二維圖像的6參數投影變換15,16,17，可以將幾

23、何失真的圖像校正。如圖8所示。圖8 二維圖像投影變換得到校正后的像素坐標后，再進行雙線性插值，可直接得到校正后的圖像。值得注意的是：幾何校正之后的圖像并非嚴格意義上的原圖像，仍然存在少量的失真。如圖7中的圖像，失真最少的是左下角的部分，失真最大的是右上角的部分。如果使用8參數的仿射變換，校正的效果會更好，但其計算量過大，不易處理。3.8 圖像的采樣圖像的取樣就是對定位、校正后的圖像進行解碼得到其編碼信息的過程。以DM為例，其主要方法是：通過定位后的DM碼，得到版本號確定DM尺寸，并以此為依據畫網格，得到每個小格內代表的位是0還是1，就可以得到DM碼的點陣式數據流，經簡單的譯碼就可以還原DM碼的

24、內容。表1列舉DM碼的版本號與分區個數之間的關系。表1 DM碼的版本號與分區個數之間的關系版本號范圍符號分塊的個數1-9110-15416-211622-2436事實上，符號分塊的個數越多，基于分塊的網格取樣在提高識別率上的效果越好。4. 存在的問題域研究展望4.1 存在的問題前面介紹了基于圖像預處理的二維碼識別的基本流程以及現有的各種，比較之下回去發現，各種方法均有好處，相對的也都有缺點。從目前研究現狀來看，仍然存在的問題是：對非正常圖像的識別率不高，也就是說沒有一種通用的辦法能夠在識別QR碼的同時識別所有的DM碼，且識別率達到100%。4.2 研究展望圖像預處理技術是一門多學科的綜合研究問

25、題，涉及計算機視覺、信號處理、計算機圖形學、機器學習、成像傳感器、模式識別等，而二維碼是應用很廣泛的“商品”，對各種狀態下的二維碼的識別，會給社會各界帶來非常巨大的影響。未來對此技術的研究還可以集中在以下方面：1) 建立統一的圖像預處理技術理論研究圖像預處理的方法經過幾十年來科學理論的沉淀以及后人不斷的創新，其數量已經很多，但在這些理論的基礎上，整合出一套適用于各種碼制的處理方法是現在圖像處理領域急需解決的事情。2) 實現自動化與多層次的圖像處理一個理想的圖像預處理系統應該是全自動的，并且能夠提供多層次的分析。但是目前提出的基本都是分階段，半自動化的，需要人為對其方法進行選擇，判斷。未來的圖像

26、處理如果能夠通過機器的智能學習， 通過其自主的圖像處理，自動識別二維碼或圖像。將是一個很好的未來。5. 總結面向圖像預處理的二維碼識別在二維碼日益廣泛的應用中會變成研究的主流，如何找到充分、可靠、有說服力的方法則是未來研究的關鍵。本文主要介紹了二維碼圖像處理的基本流程，并對當前主要的處理辦法進行分析、比較和探討。該領域還存在在大量的問題和挑戰，深入的研究將可以獲得更多原創性的研究成果。參考文獻1 黃宏博，穆志純.基于圖像處理的復雜條件下手機二維碼識別J.北京信息科技大學學報,2011,26(5)：4044.2 中國物品編碼中心.GB/T 18284 2000,快速響應矩陣碼S. 北京:中國標準

27、出版社,2001.3 黃宏博,肖峻嶺,佟俐鵑. 基于Reed-Solomon算法的QR碼糾錯編碼J.計算機工程，2003.4 鄒沿新.Data Matrix二維條形碼圖像預處理及識別技術研究D.湖南.湖南大學.2009.5 張萌.基于二維條碼圖像的光照均衡VISI設計D.四川.電子科技大學.2013.6 李世進.數字圖像的平滑處理J.湖南科技學院學報.2008.1(29):23-24.7 S.J.KO,Y.H.Lee.Center Weighted Median Filter and their Application to Image EnhancementJ.IEEE Trans.circ.syst,1991,vol,38:984-933.8 A.R. Jimenez-Sanchez, J.D.Mendiola-Santibanez, I.R.Terol-Villalobors et