1、 . I / 47西南科技大學畢業設計（論文）畢業設計（論文）題目名稱：車輛牌照圖像識別算法研究與實現 . I / 47車輛牌照圖像識別算法研究與實現摘要：近年來隨著國民經濟的蓬勃發展，國高速公路、城市道路、停車場建設越來越多，對交通控制、安全管理的要求也日益提高。因此，汽車牌照識別技術在公共安全與交通管理中具有特別重要的實際應用意義。本文對車牌識別系統中的車牌定位、字符分割和字符識別進行了初步研究。對車牌定位，本文采用投影法對車牌進行定位；在字符分割方面，本文使用閾值規則進行字符分割；針對車牌圖像中數字字符識別的問題，本文采用了基于 BP 神經網絡的識別方法。在學習并掌握了數字圖像處理和模式

2、識別的一些基本原理后，使用 VC+6.0 軟件利用以上原理針對車牌識別任務進行編程。實現了對車牌的定位和車牌中數字字符的識別。關鍵詞：車牌定位；字符分割；BP神經網絡；車牌識別；VC+ . II / 47ResearchResearch andand RealizationRealization ofof LicenseLicense PlatePlate RecognitionRecognition AlgorithmAlgorithmAbstractAbstract: :In recent years, with the vigorous development of the nation

3、al economy，there are more and more construct in the domestic expressway, urban road, and parking area. The requisition on the traffic control, safety management improves day by day. Therefore, license plate recognition technology has the particularly important practical application value in the publ

4、ic security and the traffic control. In the paper, a preliminary research was made on the license location, characters segment and characters recognition of the license plate recognition. On the license location，the projection was used to locate the license plate; On the characters segmentation, the

5、 liminal rule was used to divide the characters; In order to solve the problem of the digital characters recognition in the plate, BP nerve network was used to recognize the digital characters. After studying and mastering some basic principles of the digital image processing and pattern recognition

6、, the task of license plate recognition was programmed with VC+ 6.0 using above principles. The license location and the digital characters recognition in the license plate were implemented.Keywords:Keywords: license location, characters segmentation, BP nerve network, license plate recognition, VC+

7、 . III / 47 . IV / 47目 錄第 1 章 緒論11.1 課題研究背景 11.2 車輛牌照識別系統原理 11.3 車輛牌照識別在國外研究現狀 21.4 本文主要工作與容安排 3第 2 章 車輛牌照的定位方法42.1 車輛牌照圖像的預處理 42.1.1 256 色位圖灰度化 42.1.2 灰度圖像二值化 52.1.3 消除背景干擾去除噪聲 62.2 車輛牌照的定位方法簡介 62.3 系統采用的定位方法 72.3.1 車輛牌照的水平定位 72.3.2 車輛牌照的垂直定位 72.3.3 定位的算法實現 102.4 實驗結果分析 12第 3 章 車輛牌照的字符分割133.1 車牌預處理

8、 133.1.1 去邊框處理 133.1.2 去噪聲處理 133.1.3 梯度銳化 153.1.4 傾斜調整 163.2 字符分割方法簡介 173.3 系統采用的分割方法 193.3.1 算法介紹 193.3.2 算法的實現 203.4 字符分割實驗結果 21 . V / 47第 4 章 特征提取與字符識別224.1 字符的特征提取 224.2 字符的識別方法簡介 234.3 系統采用的識別方法 244.3.1 人工神經網絡簡介 244.3.2 BP 神經網絡識別車牌 254.3.3 BP 神經網絡識別算法實現 284.4 實驗結果分析 29總結32致33參考文獻34 . 1 / 47第 1

9、章 緒論1.1 課題研究背景現代社會已經進入信息時代，計算機技術、通信技術和計算機網絡技術的不斷發展，自動化信息處理能力的不斷提高，在人們社會活動和生活的各個領域得到了廣泛的應用，在這種情況下，作為信息來源的自動檢測、圖像識別技術越來越受到人們的重視。 隨著汽車數量的急劇增加，車牌自動識別(license plate recognition, LPR)技術日益成為交通管理自動化的重要手段1。車牌自動識別技術是計算機視覺、圖像處理技術與模式識別等技術的融合，是智能交通系統中一項非常重要的技術。通過車輛牌照自動識別，就可以對運動車輛查詢相關的數據庫，根據提取的車輛信息，實現有針對性的車輛檢查，極大

10、的提高工作人員的效率，降低工作強度，同時也減少了國家財政收入的流失，減少交通事故的發生以與加強社會治安。因此對車牌識別技術研究有巨大的經濟價值和現實意義。由于車牌自動識別技術在智能化交通控制管理中發揮的重要作用，吸引了各國的科研工作者對其進行廣泛的研究，目前已有眾多的算法，有些已應用于交叉路口、車庫管理、路口收費、高速公路等場合。由于需適應各種復雜背景，加之要識別的車輛種類繁多，顏色變化多端，以與檢測時要適應不同天氣變化導致的不同光照條件，因此，目前的系統都或多或少地存在一些問題。但隨著計算機性能的提高和計算機視覺理論與技術的發展，這種技術必將日趨成熟。車牌的定位與識別技術，總體來說是圖像處理

11、技術與車牌本身特點的有機結合，當然也包括小波分析、神經網絡、數學形態學、模糊理論等數學知識的有效運用2。本課題是對汽車圖像進行分析，從算法角度來研究車牌的定位與識別。1.2 車輛牌照識別系統原理一個典型的車輛牌照識別系統(LPR)是由圖像采集系統和圖像識別系統組成的，如圖 1-13。當系統發現有車時，圖像采集系統便開始采集車輛牌照信息，得到的信息是圖像識別系統的輸入。通過識別系統的預處理，為目標搜索提供一個良好的定位環境。在預處理的基礎上把圖像中的車牌從背景中分割出來。對車牌中的字符 . 2 / 47做字符分割，最后把分割后的字符進行識別，便得到了汽車牌照的。整套系統實際是一種硬件和軟件的集成

12、。在硬件上，它需要集成可控照明燈、鏡頭、圖像采集模塊、數字信號處理器、存儲器、通信模塊、溫控模塊、單片機等；在軟件上，它包括車牌定位、車牌字符切割、車牌字符識別等算法。這樣一體化的結構形式能在現實中降低對環境的要求。CCD攝像機圖像輸入接口預處理字符識別顯示字符分割牌照與背景分割 圖圖 1-11-1 車輛牌照識別系統原理框圖車輛牌照識別系統原理框圖1.3 車輛牌照識別在國外研究現狀自 1988 年以來，人們就對車輛牌照識別系統進行了廣泛的研究，目前國外已經有眾多的算法，一些實用的 LPR 技術也開始用于車流監控、出入控制、電子收費等場合。然而無論是 LPR 算法還是 LPR 產品都存在一定的局

13、限性，都需要適應新的要求而不斷完善。如以色列 Hi-Tech 公司的 See/Car System 系列，它需要多種變形的產品來分別適應某一個國家的車牌；新加坡 Optasia 公司的 VLPRS 系列，只適合于新加坡的車牌；See/Car Chinese 系統可以對中國大陸的車牌進行識別，但都存在一定的缺陷，而且不能識別車牌中的漢字。我國在 90 年代初期開始了車輛牌照識別技術的研究。但由于以下幾個原因使我國的車輛牌照識別技術在研究和應用方面都有一定難度，且落后于其它國家：我國的標準汽車牌照是由漢字、英文字母和阿拉伯數字組成，漢字的識別與字母和數字的識別有很大的不同，從而增加了識別的難度。國

14、外許多國家汽車牌照的底色和字符顏色通常只有對比度較強的兩種顏色，而我國汽車牌照僅底色就有藍、黃、黑、白等多種顏色，字符顏色也有黑、紅、白等幾種顏色。其他國家的汽車牌照格式通常只有一種，而我國則根據不同車輛、車型、用途，規定了多種牌照格式。我國汽車牌照的規懸掛位置并不唯一，而且由于環境、道路或人為因素造成汽車 . 3 / 47牌照污染的情況比較嚴重，這都給車牌識別造成了一定的難度。因此，我國車輛牌照識別技術的提高和廣泛應用還需廣大科研工作者和相關交通部門的共同努力。1.4 本文主要工作與容安排本文主要研究車輛牌照識別系統中的數字識別技術，將數字圖像處理技術與模式識別技術緊密結合，針對汽車牌照字符

15、識別的特點，分析了車牌定位與分割、字符分割、特征提取、BP神經網絡等算法。在車牌定位、字符分割和特征提取的基礎上，詳細研究了車牌數字字符的識別。文章在接下來的第二章介紹了車輛牌照的定位方法；第三章介紹了車輛牌照的字符分割算法；第四章介紹了車輛牌照數字字符的識別。其中車輛牌照數字字符的識別是本課題的重點。文章在每一步處理后給出了實驗結果，并給出了最后的識別結果。 . 4 / 47 . 5 / 47第 2 章 車輛牌照的定位方法車輛牌照的定位方法是基于圖像處理的基礎上，對圖像進行分析、總結并經過大量的試驗所獲得的。定位方法的研究與車牌特征和圖像處理技術是分不開的。從自然背景中準確可靠地分割出車牌區

16、域是提高系統識別率的關鍵，但是由于車牌圖像攝于背景復雜且光照不均勻的自然場景，因而會出現顏色失真或低對比度的圖像，這給車輛牌照的定位帶來了很大的困難。為此人們進行了大量的研究，并取得了一定的成果。本課題中，根據車牌的二值圖像在水平和垂直方向的投影特性提出了基于二值化圖像投影法和數學形態學相結合的車牌定位算法，該算法具有快速、簡潔實用和與背景相關性小的特點。車牌的定位算法分為預處理、水平定位、垂直定位。其流程圖如圖 2-1 所示。圖圖 2-12-1 車輛車輛圖像輸入牌照區域定位中值濾波削弱背景干擾灰度圖像二值化彩色圖像灰度化裁減車牌子圖像牌照定位原理牌照定位原理2.1 車輛牌照圖像的預處理為了使

17、車牌能夠被精確定位，在定位搜索以前，要對車牌圖像進行預處理。為了能夠方便的進行后期的數字圖像處理，需要將彩色圖像轉化成 256 色的灰度圖后進行處理，然后對圖像做二值化處理，削弱背景干擾，消除噪聲。經過以上的預處理，就可以對車牌進行定位和分割處理。 . 6 / 472.1.1 256 色位圖灰度化由于 256 色的位圖的調色板容比較復雜，使得圖像處理的許多算法都沒有辦法展開，因此有必要對它進行灰度處理。所謂灰度圖像就是圖像的每一個象素的 RGB分量的值是相等的。彩色圖像的每個象素的 RGB 值是不同的，所以顯示出紅綠藍等各種顏色。灰度圖像沒有這些顏色差異，有的只是亮度上的不同。灰度值大的象素比

18、較亮，反之比較暗。圖像灰度化有各種不同的算法，比較直接的一種是給象素的RGB 值各自一個加權系數，然后求和。經常用到的灰度化公式由式(2-1)完成： (2-1)BGRI*114. 0587. 0*229. 0式(2-1)中為灰度值。I加權系數的取值是建立在人眼的視覺模型之上的，對于人眼較為敏感的綠色取較大的權值，對人眼較為不敏感的藍色則取較小的權值。這樣可以使得到的灰度圖像在視覺上更接近人的主觀感覺。應該注意的是最后得到結果一定要歸一到 0255之。2.1.2 灰度圖像二值化在進行了灰度化處理以后，圖像中的每個象素只有一個值，即象素的灰度值。它的大小決定了象素的亮暗程度。為了更加便利的開展下面

19、的圖像處理操作，還需要對已經得到的灰度圖像做一個二值化處理。圖像的二值化就是把圖像中的象素的灰度值根據一定的標準分化成兩種顏色。在系統中是根據象素的灰度值將圖像處理成黑白兩種顏色。圖像的二值化有很多成熟的方法：可以采用閾值分割法，也可以采用給定閾值法。閾值分割法可以分為全局閾值法和局部閾值分割法。所謂局部閾值分割法是將原始圖像劃分成較小的圖像，并對每個子圖像選取相應的閾值。在閾值分割后，相鄰子圖像之間的邊界處可能產生灰度級的不連續，因此需用平滑技術進行排除。局部閾值法常用的方法有灰度差直方圖法、微分直方圖法。全局閾值分割方法在圖像處理中應用比較多，它在整幅圖像采用固定的閾值分割圖像。根據閾值選

20、擇方法的不同，可以分為模態方法、迭代式閾值選擇等方法。這些方法都是以圖像的灰度直方圖為研究對象來確定閾值的。另外還有類間方差閾值分割法、二維最大熵分割法、模糊閾值分割法、共生矩陣分割法、區域生長法等等。在本系統中考慮到所要進行處理的圖像大多是噪聲比較少的灰度車牌，系統中采用全局閾值分割的方法進行處理，初始閾值的確定方法是由式(2-2)完成：T . 7 / 47 (2-2)3/minmaxmaxGGGT和分別是最高和最低灰度值。該閾值對不同牌照有一定的適應性，能夠保maxGminG證背景基本被置為 0，以突出牌照區域。經過二值化，可以進行下一步處理。 . 8 / 472.1.3 消除背景干擾去除

21、噪聲對二值化后的圖像進行相鄰象素灰度值相減，得到新的圖像，左邊緣可以直接賦值，不會影響整體效果。考慮到圖像中的文字是由短的橫豎線組成，而背景噪聲有一大部分是孤立噪聲，所以用模板(1，1，1，1) T 對圖像進行中值濾波，得到去除大部分干擾的圖像。2.2 車輛牌照的定位方法簡介經過以上的預處理，我們就可以對圖像進行車牌的定位和分割。為了快速、準確地定位車牌，目前已有很多學者提出許多定位算法。其中，眾多算法都是利用了車牌自身異于背景區域的特征來進行車牌定位的。這些特征包括車牌的顏色特征、幾何特征、紋理特征和經過處理運算后得到的車牌區域固有的特征(異于背景區域特征)等。車牌定位的算法基本上可以分為兩

22、大類：第 1 類是通過一個步驟將車牌定位出來；第 2 類是通過兩個步驟將車牌定位出來4。第 1 類：這類算法的主要特點是通過一個步驟就可以將車牌區域定位出來。其主要的算法介紹如下：(1)基于神經網絡的車牌定位方法：該方法首先是用神經網絡對大量的樣本圖像進行訓練，然后再進行圖像預處理，最后用訓練的神經網絡提取真正的車牌區域。該算法要求把圖像中每一個像素所提取特征輸入神經網絡來進行學習，計算量很大，同時需處理好網絡局部收斂的問題，且車牌定位時間長5。(2)基于模板匹配的車牌定位方法：該算法主要是設立一個滑動窗口，該窗口有若干向量值，利用該窗口在汽車圖像上滑動，并計算該窗口所覆蓋的那塊車牌圖像的向量

23、值，找出最佳的向量值，認為是車牌區域。(3)直線邊緣檢測：這種方法主要利用 Hough 變化檢測車牌周圍邊框直線。這種方法的缺點是 Hough 變換計算量大，對于邊框不連續的實際車牌，需附加大量的運算6。(4)統計直方圖與投影方法：該方法通過對圖像的水平和垂直兩個方向灰度投影直方圖來分析推斷出牌照的位置。該方法的缺點是對噪聲敏感，且牌照圖像存在傾斜時，不能達到預期的效果。第 2 類：即先對車輛圖像進行車牌的粗定位，然后再進行精定位。所謂粗定位 . 9 / 47有兩種含義：第 1 種粗定位的含義就是從車輛圖像中找出車牌的大致位置，它并不要求非常精確的定位出車牌的位置，只需要給出包含車牌的相對較小

24、或較大的一塊區域就達到目的；第 2 種粗定位的含義就是利用粗分割，即給出包含車牌區域在的若干候選區域，再從這些區域中提取車牌區域7。這里不再作詳細的論述。2.3 系統采用的定位方法在系統中，采用投影法來實現車輛牌照的定位。利用水平投影來檢測車牌的水平位置，利用垂直投影和形態學的方法檢測車牌的垂直位置8。2.3.1 車輛牌照的水平定位得到二值化圖像以后，首先把二值圖像投影到 y 軸。根據車牌特征，車牌區域中的垂直邊緣較密集，而且車牌一般懸掛在車身較低的位置其下方沒有很多的邊緣密集區域。因此在車牌對應的水平位置上會出現一個峰值，如圖 2-2 所示。峰值的兩個低谷點就是車牌的垂直位置，這樣就得到了包

25、含了車牌的帶狀區域。所以問題轉成確定低谷點的位置。但是從圖中可以發現投影圖不是十分的光滑，會給精確定位帶來一些困難，所以對投影圖進行平滑。窗口尺寸比較關鍵，選小了不足以平滑，選大了則會改變投影圖原有的基本變化特性。對于實際的投影曲線可以通過找差分曲線的過零點來確定低谷點，所以對平滑以后的投影圖求一階差分：)(nh (2-3) 1()()(nhnhnh找出其由正至負的點，也就是局部最小值。但是并不是所有的局部最小值之間都能稱為峰的，它可能附屬鄰近的一個峰，因而要確定哪一個局部最小值是峰谷，哪一個是毛刺。如何判決峰的獨立性呢？本文采取了 3 個判決依據：1. 獨立峰具有一定峰頂和峰谷的落差，當局部

26、最大值和鄰近的局部最小值的差大于閾值，則該局部最小值為谷底，反之則為毛刺。2獨立峰具有一定的寬度，這是由車牌的寬度信息決定的。3獨立峰具有一定的面積，這是因為在經過邊緣提取，二值化后，在車牌區域具有明顯的紋理特征。在光照均勻和背景不是很復雜的圖像中，車牌的峰值特性十分明顯，很容易就可以定位出車牌區域的水平位置。但在光照不均勻或背景復雜的圖像中峰值特性就不是很明顯了。如何準確地確定局部最小值是否為谷底，關鍵在于閾值的選取。2.3.2 車輛牌照的垂直定位 . 10 / 47根據車牌的特征可以知道，車牌在垂直方向的投影呈現有規律的“峰、谷、峰”的分布。字符與字符之間的間隔是近似相等的，而且字符的寬度

27、是近似相等的，而車 （a a）二值化圖像）二值化圖像 （b b）水平投影圖）水平投影圖圖圖 2-22-2 水平投影水平投影牌具有 7 個字符，所以車牌區域在垂直方向上的投影應該存在 6 個低谷點，而且相鄰低谷點之間的距離是近似相等的，第二和第三字符之間的距離略大于其他字符間的距離。但在現實中得到二值圖像的“峰、谷、峰”的特點并不十分明顯，采用這種方法對車牌的垂直位置進行定位效果不是很好，本文考慮使用形態學與投影法相結合的方法來對車牌進行垂直定位，下面簡單介紹圖像形態學9。最初形態學是生物學中研究動物和植物的一個分支，后來也用數學形態學來表示以形態學為基礎的圖像分析數學工具。形態學的基本思想是使

28、用具有一定形態的結構元素來度量和提取圖像中的對應形狀，從而達到對圖像進行分析和識別的目的。數學形態學可以用來簡化圖像數據，保持圖像的基本形狀特性，同時去掉圖像中與研究目的無關的部分。使用形態學操作可以實現增強對比度、消除噪聲、細化、填充和分割等常用的圖像處理任務。數學形態學的數學基礎和使用的語言是集合論，其基本運算有四種：膨脹(Dilation ) 、腐蝕(Erosion )、開啟(Open)和閉合(Close )。基于這些基本運算還可以推導和組成各種數學形態學運算方法。其運算對象是集合，通常給出一個圖像集合和一個結構元素集合，利用結構元素對圖像進行操作。結構元素是一個用來定義形態操作中所用到

29、的鄰域的形狀和大小的矩陣，可以具有任意的大小和維數。下面簡單介紹一下以上 4 種運算。1、膨脹膨脹的運算符為“”，圖像集合用結構元素來膨脹，記作，其定ABBA義見式（2-4），其中表示的映像，即與關于原點對稱的集合。式（2-4）表BBB . 11 / 47明，用對進行膨脹的過程是這樣的：首先對作關于原點的映射，再將其映像BAB平移，當與映像的交集不為空集時，的原點就是膨脹集合的像素。也就是xABB說，用來膨脹得到的集合是的位移與至少有一個非零元素相交時的原點BABAB的位置的集合。（2-4）ABxBAx|膨脹的作用效果如圖 2-3 所示。其中白色表示目標，背景為黑色，結構元素為一 33 正方形

30、對象。（a a）膨脹前）膨脹前 （b b）膨脹后）膨脹后圖圖 2-32-3 圖像膨脹前后的顯示效果對比圖像膨脹前后的顯示效果對比2、腐蝕腐蝕的運算符是，圖像集合用結構元素來腐蝕記作，其定義為：ABBA （2-ABxBAx)( |5）式（2-5）表明，用來腐蝕的結果是所有滿足將平移后，仍全部包含在ABBxB中的的集合，從直觀上看就是經過平移后全部包含在中的原點組成的集合。AxBA腐蝕的操作效果如圖 2-4 所示，其中白色為目標，黑色為背景，結構元素為一33 正方形對象。（a a）腐蝕前）腐蝕前 （b b）腐蝕后）腐蝕后圖圖 2-42-4 圖像腐蝕前后的顯示效果對比圖像腐蝕前后的顯示效果對比 .

31、12 / 473、開啟開啟的運算符為“ ”， 用來開啟記為，其定義如下：ABBA （2-6）BBABA)(4、閉合閉合的運算符為“ ”，用來閉合記為，其定義見式（2-7）：ABBA （2-7）BBABA)(開啟和閉合運算不受原點位置的影響，無論原點是否包含在結構元素中，開啟和閉合的結果都是一樣的。開啟和閉合操作的效果如圖 2-5 所示，其中白色為目標，黑色為背景。對形態學了解后，我們用形態學來進行定位，具體算法為：1、對得到的帶狀區域用結構算子先進行一次腐蝕運算，消除一些獨立的亮點，但使用的結構算子不能太大，否則會失去一部分車牌的信息。（a a）原圖）原圖 （b b）對原圖開啟操作后）對原圖開

32、啟操作后 （c c）對原圖閉合操作后）對原圖閉合操作后 圖圖 2-52-5 圖像的開啟、閉合操作的顯示效果圖像的開啟、閉合操作的顯示效果2、再進行二次膨脹運算，由于膨脹的目的是要把車牌區域連通，因此使用的結構算子和腐蝕的結構算子不一樣，要略大一些。3、最后進行一次開運算，將車牌區域平滑一下。可以發現車牌在圖像中形成了一個塊狀區域。如圖 2-6 所示。將得到的圖像再投影到垂直方向，再根據車牌的寬度信息，設定一個圍，可以把這個圍設置大些，這是因為經過形態學變化后，車牌的長度會變大，而且有可能把附近的一些雜點連在一起了，從而增大了車牌連通區域的長度，如果圍定的太小，就有可能檢測不到車牌區域10。2.

33、3.3 定位的算法實現利用投影法，在 Visual C+中用 C+語言對以上算法進行編程，對車輛牌照進 . 13 / 47行定位。實驗中水平方向上的定位函數為 HprojectDIB()；垂直方向上的定位函數為 VprojectDIB()；定位以后分割過程所用的函數為 TempSubert()；iTop 和iBottom 分別是車牌的上下邊緣，iLeft 和 iRight 為車牌的左右邊緣。定出車牌的四個邊緣以后，就可以通過分割函數 TempSubert()將車牌從源圖像中裁減出來，為了使裁減的準確，可以設置邊緣的微量調整。圖像定位算法流程圖如圖 2-7 所示。(a)(a) 水平投影分割得到的

34、圖像水平投影分割得到的圖像 (b)(b) 腐蝕運算得到的圖像腐蝕運算得到的圖像 (c)(c) 第一次膨脹運算得到的圖像第一次膨脹運算得到的圖像 (d)(d) 第二次膨脹運算得到的圖像第二次膨脹運算得到的圖像圖圖 2-62-6 形態學變化得到的圖像形態學變化得到的圖像 . 14 / 47圖圖 2-72-7 定位流程圖定位流程圖 . 15 / 472.4 實驗結果分析經實驗，大部分圖片中的牌照能夠被正確的定位出來如圖 2-8，極少部分牌照不能正確定位。實驗表明，投影法基本上實現了車輛牌照的定位，但同時不難看出被定位的車牌還包括車牌邊框，與理想要求還有很大差距，如果在這些車牌上進行字符分割，將會有很

35、大的困難。另外在實驗中還發現該算法對車牌背景環境要求比較嚴格，車牌如果比較傾斜或者車牌顏色與汽車顏色相近或者車牌背景中的噪聲較大，則定位起來比較困難，不能實現車牌的精確定位，以后需要進一步改進。圖圖 2-82-8 定位前后的圖像定位前后的圖像 . 16 / 47第 3 章 車輛牌照的字符分割在做字符分割以前，必須對定位出來的圖像做進一步的處理，要對車牌做去邊框處理、去噪聲處理、梯度銳化、傾斜度調整等預處理才能進行字符分割。3.1 車牌預處理3.1.1 去邊框處理一般藍底白字的車牌都有白色邊框，與字符的顏色一樣，它的存在將對后繼的字符識別造成影響，因此它的濾除十分必要。1、濾除上下邊框將檢測到的

36、二值牌照圖像進行水平投影，在 0IHeight 的圍，計算各 sumI，( sumI為從 0 到 Width 的圍，二值化牌照圖像的白像素點數)然后，將所有的sumI累加起來，記為一值，然后將該值除以 2*Height-(2/3)*Height，如果 sumI小于該商，就令該 sumI為 0。這樣直方圖中必有連零塊和非連零塊，測試每個非連零塊的寬度，如果它不在車牌高度的圍，就置其為零，那么就將邊框濾除了(其中Height，Width 為牌照圖像的高度和寬度)。2、濾除左右邊框濾除左右邊框的方法與濾除上下邊框的方法類似，只是閾值有些不同，不再贅述。3.1.2 去噪聲處理圖像在掃描或者傳輸過程中夾

37、帶了噪聲，去噪聲是圖像處理中常用的手法。通常去噪聲用濾波的方法，比如空間域濾波和同態濾波。采用合適的濾波方法不但可以濾除噪聲還可以對圖像進行銳化，增強圖像的邊緣信息。下面介紹幾種常用的濾波方法。1、鄰域平均法為了消除圖像中的噪聲，可以直接在空間域上對圖像進行平滑濾波。它的作用有兩種：一種是模糊；另一種是消除噪聲。空間域的平滑濾波一般采用簡單平均法進行，就是求鄰近像素點的平均亮度值，稱為鄰域平均法。鄰域的大小與平滑的效果直接相關，鄰域越大平滑的效果越好，但鄰域過大，平滑會使邊緣信息損失的越大，從而使輸出的圖像變得模糊，因此需要合理選擇鄰域的大小。典型的鄰域有兩 . 17 / 47種：四鄰域和八鄰

38、域，其模板見式（3-1）。如果圖像中的噪聲是隨機不相關的加性噪聲，窗口各點噪聲是獨立分布的，經過上述模板平滑后，信號與噪聲的方差比可提高許多倍。這種算法簡單，處理速度快，但它的主要缺點是在降低噪聲的同時使圖像產生模糊，特別在邊緣和細節處。而且，（3-1）010101010414M111101111818M隨著鄰域的增大，雖然增強了去噪聲的能力，但同時模糊程度也更嚴重。2、高通濾波在進行圖像處理時，我們經常要對圖像進行銳化以便突出圖像的邊緣。同樣的，可以采用在空間域對圖像進行濾波的方法，只不過這時采用的沖激響應陣列與空間域低通濾波時所采用的完全不同。采用高通濾波器讓高頻分量順利通過，而對低頻分量

39、則充分限制，使圖像的邊緣變得清晰，實現圖像的銳化。但是，對圖像進行空間域的高通濾波，在增強圖像邊緣的同時，孤立的噪聲點也得到了增強。常用于空間域高通濾波的沖激響應陣列有以下幾種： （3-2）0101510101H1111911112H1212521213H3、中值濾波中值濾波是一種非線性濾波，它也是一種鄰域運算，類似于卷積。但中值濾波的計算不是加權求和，而是把它鄰域的所有像素按灰度值進行排序，然后取該組的中間值作為鄰域中心像素點的輸出值。中值濾波的突出優點是在消除噪聲的同時，還能防止邊緣模糊。如果圖像的噪聲多是孤立的點，這些點對應的像素又很少，而圖像則是由像素較多、面積較大的塊構成，中值濾波效

40、果很好。4、同態濾波同態濾波器的思想就是用一系列方法把乘性信號變換成加性組合信號，經過處理后再反變換回乘性信號。同態濾波以圖像的照明反射模型作為頻域處理的基礎，它在數字圖像處理中有著十分重要的應用。這里不再詳細論述。去除噪聲處理要根據不同的噪聲特點選取合適的方法。本系統采用的是去除雜點的方法來進行去噪聲處理。具體的算法如下：掃描整個圖像，當發現一個黑色點 . 18 / 47的時候就考察和該點直接或間接相連接的黑色點的個數有多少，如果大于一定的值，就說明該點不是離散點，否則就是離散點，把它去除掉。在考察相連的黑色點的時候用的是遞歸的方法。 . 19 / 473.1.3 梯度銳化我們所得到的二值化

41、圖像的字體一般是比較模糊的，對識別造成了一定的困難，所以有時要對圖像進行銳化處理使模糊的圖像變得清晰，同時可以對噪聲起到一定的抑制和去除作用。圖像的銳化有很多方法，一種是微分法，一種是高通濾波法，梯度銳化的方法就是微分法的一種。梯度對應一階導數，梯度算子是一階導數算子。對一個連續函數它在位),(yxf置的梯度可以表示為一個矢量：),(yx （3-3）TTyxyfxfGGyxf),(這個矢量的幅度(也常直接簡稱為梯度)和方向角分別為： （3-2122)(yxGGfmag4） （3-)arctan(),(xyGGyx5） 以上三式中的偏導數需要對每個象素位置計算。在實際中常用小區域模板卷積來近似計

42、算。對和各用一個模板，所以需要兩個模板組合起來構成一個梯度xGyG算子。根據模板的大小，其中元素值的不同，人們提出了許多種不同的算子如圖 3-1。在這三個算子中，最簡單的算子是 Roberts 算子，Roberts 算子是效果比較好的一種，我們采用的就是這個算子，效果如圖 3-2 所示。算子運算時是采用類似卷積的方式，將模板在圖像上移動并在每個位置計算中心象素的梯度值。在邊緣灰度值過渡比較尖銳且圖像中噪聲比較小時，梯度算子的工作效果較好。-1-11-11-111-11-111121-1-2-1-1-2-121（a a）RobertsRoberts (b)(b) PrewittPrewitt (

43、c)(c) SobelSobel圖圖 3-13-1 幾種常見的梯度模板算子幾種常見的梯度模板算子通過圖 3-2 可以看出梯度銳化可以讓模糊的邊緣變的清楚，同時選擇合適的閾值還可以減弱和消除一些細小的噪聲。實驗證明梯度銳化具備一定的去噪聲能力，但同時也會對字符的邊緣有所損傷。 . 20 / 47從處理結果可以看出圖像的邊緣變得清晰而且少了很多細小的雜點，但梯度銳化有其自身的缺陷，當處理的圖像邊緣很細的時候可能造成邊緣信息的損失。在實驗中，如果圖像中的字符較為細小，則不使用梯度銳化。 （a a）原始圖像）原始圖像 （b b）利用）利用 RobertsRoberts 算子檢測到的邊緣算子檢測到的邊緣

44、 （c c）利用）利用 PrewittPrewitt 算子檢測到的邊緣算子檢測到的邊緣 （d d）利用）利用 SobelSobel 算子檢測到的邊緣算子檢測到的邊緣圖圖 3-23-2 梯度算子的檢測效果比較梯度算子的檢測效果比較3.1.4 傾斜調整雖然在拍攝車輛車牌時，可以調整 CCD 攝像機的俯仰角度、攝取方向和水平度，以保持車牌的橫向邊緣的傾斜度盡可能小，并且讓車牌在整幅圖像中處于相對居中的位置，即圖像的視覺中心上。但是，實際上 CCD 攝像機通常安裝在路邊或頂部，這將造成車輛車牌與 CCD 攝像頭成像平面不平行，產生不同程度的車牌圖像的傾斜與變形，影響車牌的檢測和分割。就圖像的旋轉傾斜的

45、問題，更多的情況下，圖像的水平校正是放在車牌的二值化和分割，甚至是在車牌字符切分之后再進行，這樣圖像的運算量大大減少。然而，傾斜的車牌圖像本身就極不利于車牌字符的切分，因此，將圖像水平校正放在圖像預處理過程中是切實可行的11。一般情況下，可將傾斜的車牌圖像近似看成一個平行四邊形，它有三種傾斜模式：水平傾斜見圖 3-3，垂直傾斜見圖 3-4 和水平垂直傾斜見圖 3-5，分別如下所示。水平傾斜時，字符基本上無傾斜，車牌的水平軸與圖像坐標系的水平軸有xx一個傾斜角度，只要求取，將圖像繞軸旋轉即可。垂直傾斜時，傾斜實際x上是同一行間像素的錯位偏移，只要檢測到垂直傾斜角度進行錯位偏移校正即可。水平垂直傾

46、斜時，既存在水平傾斜又存在垂直傾斜，是最一般的情況。可先檢測水平傾斜角度，進行水平傾斜校正，然后再求取垂直傾斜角度進行垂直傾斜校正。對車輛牌照做預處理以后就可以進行字符分割的步驟。 . 21 / 47xyx/y/x/xy/y(a) 水平傾斜水平傾斜（） （b） 水平傾斜水平傾斜（0）0 圖圖 3-33-3 水平傾斜水平傾斜ijij(a) 垂直傾斜垂直傾斜（） (b) 垂直傾斜垂直傾斜（）00 圖圖 3-43-4 垂直傾斜垂直傾斜xx/yy/xy/yx（a） 水平垂直傾斜水平垂直傾斜（） （b） 水平垂直傾斜水平垂直傾斜（0）0 圖圖 3-53-5 水平垂直傾斜水平垂直傾斜3.2 字符分割方法簡

47、介 . 22 / 47圖像分割是一種基本的計算機視覺技術，是由圖像處理進行到圖像分析的關鍵步驟，這是因為圖像的分割、目標的分離、特征的提取和參數的測量將原始圖像轉化為更抽象更緊湊的形式，使得更高層的分析和理解成為可能。圖像分割多年來一直得到人們的高度重視，至今已提出各種類型的分割算法12。字符分割的算法很多，通常根據處理對象的不同有許多相應的方法。為了實現更好的分割，有關景物的總體知識和先驗信息是很有用的，根據包含在圖像中的信息，可以定制相應的判決準則和控制策略，使其完成自動分割，比如對多行文本的處理，郵政部門對郵政編碼和地址的識別，金融等部門對支票簽名手寫字跡的分割識別等等，都是針對具體的不

48、同研究對象而采用不同的算法。傳統的字符分割算法可以歸納為以下三類：直接的分割法，基于識別基礎上的分割法，自適應分割線聚類法13。直接的分割法簡單，但它的局限是分割點的確定需要較高的準確性；基于識別結果的分割是把識別和分割結合起來，但是需要識別的高準確性，它根據分割和識別的耦合程度又有不同的劃分；自適應分割線聚類法是要建立一個分類器，用它來判斷圖像的每一列是否是分割線，但是對于粘連的字符是很難訓練的。因為分割不可能做到完全正確，現在有的算法已經把字符的分割作為不必要的步驟，而是直接把字符組成的單詞當作一個整體來識別。利用諸如馬爾可夫數學模型等方法進行處理，這主要是應用于文本識別。以上的字符分割算

49、法均是基于二值圖像進行的。考慮到二值圖像丟失掉了很多信息，而且可能會造成字符粘連、模糊或斷裂的缺陷，對灰度圖像的直接處理已經有人開始研究。在一般的字符識別系統中，字符識別之前要經過閾值化過程和行字切分過程，以分割出一個具體的二值表示的字符圖像點陣，作為單字符識別的輸入數據。其中，識別字符過程中的第一步就是要將獲得的數字灰度圖像轉變為數字二值圖像，這個過程稱為二值化過程，采用的技術，通常稱為閾值化技術。由于獲得的文本圖像不但包含了組成文本的一個個字符，而且包含了字符行間與字間的空白，甚至還會帶有各種標點符號，這就需要采用一定的處理技術，將文本中的一個個字符切分出來，形成單個字符的圖像陣列，以進行

50、單字識別處理。這就是字符文本的行字切分問題，分為行切分和字切分兩個主要步驟，首先由行切分得到一行行文本字行，然后在文本字行中進行列切分得到一個個單獨的字符點陣。車牌的字符切分是在車牌定位的基礎上，對取出的牌照圖像區域進行下一步處理，定出牌照上每一個字符的上下左右邊界，從而將牌照上的字符完整準確地切割 . 23 / 47下來，作為下一步字符識別的數據源。牌照切分是在二值圖上進行的。字符切分分為兩步進行，先進行字符的垂直切分，定出每個字符的左右邊界，然后進行字符的水平切分，定出每個字符的上下邊界。字符切割過程往往容易被人忽視，但是它對于字符識別的重要性是不言而喻的，因為切割錯誤的字符被正確識別的概

51、率基本上等于零。3.3 系統采用的分割方法根據以上介紹的算法，本文采用了一種比較實用的方法，通過對圖像的掃描，得到分割的字符。3.3.1 算法介紹經過處理后的車牌可以進行字符分割，本文的分割算法如下：1、先自上而下對圖像進行逐行掃描直至遇到第一個黑色象素點。記錄下來。然后在自下而上對圖像進行逐行掃描直至找到第一個黑色象素，記錄下來。這樣就可以找到圖像的大致高度圍。2、在上面得到的高度圍對圖像進行自左向右逐列進行掃描，遇到第一個黑色象素時認為是字符分割的起始位置，然后繼續掃描，直至遇到有一列中沒有黑色象素，則認為是第一個字符分割結束，然后繼續掃描，按照上面的方法一直掃描到圖像的最右端。這樣就得到

52、了每個字符比較精確的寬度圍。3、在已知的每個字符的比較精確的寬度圍，按照第一步的方法，分別進行自上而下和自下而上的逐行掃描來獲取每個字符精確的高度圍。經過以上 3 個步驟的循環，就可以實現字符的分割。字符分割以后要做歸一化和緊縮排列，以便做特征提取14。因為掃描進來的圖像字符大小存在差異，而相對來說，統一尺寸的字符識別的標準性更強準確率自然也更高，標準化圖像就是要把原來各不一樣的字符統一到同一尺寸，在本系統中是統一到同一高度然后根據高度來調整字符的寬度。具體算法為：先得到原來字符的高度，并與系統要求的高度作比較，得出要變換的系數，然后根據得到的系數求變換后應有的寬度。在得到寬度高度之后，把新圖

53、像里面的點按照插值的方法映射到原圖像中。圖像標準歸一化的高度和寬度信息可以通過一個對話框輸入，但為了以后特征提取的時候處理方便。建議歸一化的寬度為 8，高度為 16。 . 24 / 47經過標準歸一化處理后的各字符在圖像中的位置不定，要對它進行特征提取處理起來比較麻煩，所以要把歸一化處理后的字符進行緊縮排列，以形成新的位圖句柄，以方便下一步的提取工作至此已經基本上完成圖像中字符的分割工作。此外還可以采用其他方法以達到更好的效果。3.3.2 算法的實現根據以上算法在 VC+中用 C+語言編程，可以實現字符分割，并實現字符的歸一化和緊縮排列。實驗中的字符分割函數為 CharSegment()；Dr

54、awFrame()函數用來給分割后的字符周圍畫邊框；StdDIBbyRec()函數用來實現歸一化處理；緊縮排列由函數 AutoAlign()完成。下面圖 3-6 顯示了分割算法實現流程： . 25 / 47圖圖 3-63-6 分割算法的實現流程分割算法的實現流程 . 26 / 473.4 字符分割實驗結果實驗結果如下面幾幅圖所示，為了便于觀察分割結果，每個被分割后的字符都用方框分割開來。從實驗可以得出，該字符分割模塊基本上可以完成大部分的數字字符分割。圖 3-12 中“川”字被分割成了三份，這說明分割算法的正確性，但它對漢字的分割卻是錯誤的。圖 3-13 中為了可以清楚的觀察字符的緊縮排列，歸

55、一化的字符寬度為 12，高度為 24（圖 3-11 中的字符寬度為 8，高度為 16）。由于漢字結構比較復雜，所以該算法不能對漢字作字符的分割。在實驗時，圖中如果含有漢字，則系統就會出現錯誤而拒絕作字符分割，實現漢字分割還需要作進一步改進。圖圖 3-73-7 字符分割的結果字符分割的結果 圖圖 3-83-8 緊縮排列的結果緊縮排列的結果 圖圖 3-93-9 車牌的字符分割結果車牌的字符分割結果 圖圖 3-103-10 車牌的字符緊縮排列結果車牌的字符緊縮排列結果 . 27 / 47第 4 章 特征提取與字符識別經過上面的一系列變換，車牌中的字符被分割提取出來。下面就要從被分割歸一化處理完畢的字

56、符中提取最能體現這個字符特點的特征向量。將提取出的訓練樣本中的特征向量代入 BP 網絡之中就可以對網絡進行訓練，提取出待識別樣本的特征向量代入到訓練好的 BP 網絡中，就可以對字符進行識別。4.1 字符的特征提取特征提取的方法多種多樣，有逐象素特征提取法，骨架特征提取法，垂直方向數據統計特征提取法，13 點特征點提取法，弧度梯度特征提取法等很多種方法，根據具體情況的不同我們可以選擇不同的方法。1、逐象素特征提取法這是一種最簡單的特征提取方法，對圖像進行逐行逐列的掃描，當遇到黑色象素時取其特征值為 1，遇到白色象素時取其特征值為 0，這樣當掃描結束以后就形成了一個維數與圖像中象素點的個數一樣的特

57、征向量矩陣。2、骨架特征提取法兩幅圖像由于它們的線條的粗細不同，使得兩幅圖像的差別很大，但將它們的線條細化后，統一到一樣的高度，這時兩幅圖像的差距就不那么明顯。利用圖形的骨架作為特征來進行數碼識別，就使得識別有了一定的適應性。一般使用細化的方法來提取骨架，細化的算法很多如 Hilditch 算法、Rosenfeld 算法等。對經過細化的圖像利用 EveryPixel 函數進行處理就可以得到細化后圖像的特征向量矩陣。骨架特征提取的方法對于線條粗細不同的圖像有一定的適應性，但圖像一旦出現偏移就難以識別。3、垂直方向數據統計特征提取法這種算法就是自左向右對圖像進行逐列的掃描，統計每列黑色象素的個數，

58、然后自上向下逐行進行掃描，統計每行的黑色象素的個數，將統計結果作為字符的特征向量，如果字符的寬度 w，長度為 h，則特征向量的維數是 w+h。該提取方法的缺點是適應性不強，當字符存在傾斜和偏移時都會對識別產生誤差。4、13 點特征點提取法 . 28 / 47首先把字符平均分成 8 份，統計每一份黑色象素點的個數作為 8 個特征，分別統計這 8 個區域黑色象素的數目，可以得到 8 個特征。然后統計水平方向中間兩列和豎直方向中間兩列的黑色象素點的個數作為 4 個特征，最后統計所有黑色象素點的個數作為第 13 個特征。也就是說，畫 4 道線，統計線穿過的黑色象素的數目。可以得到 4 個特征示意圖，最

59、后將字符圖像的全部黑色象素的數目的總和作為一個特征總共即得到 13 個特征。13 特征提取法有著極好的適應性，但是由于特征點的數目太少所以樣本訓練的時候比較難收斂。系統采用了第一種方法即逐象素特征提取法做特征提取。因為這種方法算法簡單，運算速度快，可以用 BP 網絡很快的收斂，訓練效果好。4.2 字符的識別方法簡介同模式識別中的其它問題一樣，字符識別方法基本上也分成統計決策識別和句法結構識別兩大類，而每一類中又包含有許多具體的方法。然而無論采取何種識別方法，其中的關鍵都是特征的選取與提取以與相應的分類算法。與兩種識別方法相對應，特征也大體上分為統計特征和結構特征兩類。1、結構法結構方法是發展最

60、早的一種方法，它的基本思想是把字符圖像分割化為若干的基元，例如筆劃、拓撲點、結構突變點等，然后和模板比較進行判別。由這些結構基元與其相互關系完全可以精確地對字符加以描述。主要的方法有基于輪廓、骨架和字符鏈碼的方法。其主要優點在于對字符變化的適應性強，區分相似字符能力強。但是在實際應用中，面臨的主要問題是抗干擾能力差，因為在實際得到的字符圖像中存在著各種干擾如傾斜、扭曲、斷裂、粘連和對比度差等。這些因素直接影響到結構基元的提取，此外結構方法的描述比較復雜，匹配過程的復雜度因而也較高。2、統計法統計法依賴于大量的原始樣本和數值計算，它是從車牌字符原始數據中提取與分類最相關的信息，使得類差距極小化，