交通標志快速自動檢測算法的研究

通過收集道路標記信息來識別景觀地圖是一個難度較大的問題之一。自然場景中的交通標志檢測存在許多困難。對圖像進行邊緣檢測并通過對交通標志幾何形狀的分析來檢測標志是交通標志檢測的一種常用方法;基于顏色的圖像分割則是交通標志檢測的另外一種常用的方法。在現有的各種交通標志檢測方法中,基于邊緣檢測的方法大多涉及到復雜的圖像運算,方法的實時性不好;基于HSV或其他顏色空間的顏色分割方法實時性不強,基于RGB顏色空間的顏色分割方法的實時性較好,但易受到光照條件的影響。另外,大多數基于顏色的分割方法采用的是固定閾值法,導致了這些方法不能很好地適應于具有復雜背景的實景圖像中的交通標志檢測。再者,當前的研究主要使用的是單眼視覺,只能獲得交通標志的屬性信息,而很難獲取標志的幾何信息,如空間坐標、尺寸等。因此,針對移動狀態下拍攝的實景圖像,本文提出了一種交通標志快速自動檢測算法,該方法實現了黃色警告、紅色禁令和藍色指示這3類交通標志的快速自動檢測及其空間位置、尺寸等幾何信息的計算。1算法的原理1.1圖像的全局顏色特性本文采用RGB顏色空間進行彩色圖像的顏色分割。首先利用統計理論計算立體像對中左圖像R、G、B3個分量圖像的灰度平均值Ra、Ga、Ba,3個歸一化的灰度平均值Rr、Gr、Br,以及歸一化灰度值之間的差值ΔRB、ΔRG、ΔGB,并以此作為圖像的全局顏色特征,即刻畫圖像整體顏色特性的數值。Ra=255∑i=0(i×ΡRi)?Ga=255∑i=0(i×ΡGi)Ba=255∑i=0(i×ΡBi)Rr=Ra(Ra+Ga+Ba)?Gr=Ga(Ra+Ga+Ba)Br=Ba(Ra+Ga+Ba)ΔRB=|Rr-Br|?ΔRG=|Rr-Gr|?ΔGB=|Gr-Br|其中,PRi=nRi/N;PGi=nGi/N,PBi=nBi/N;nRi、nGi、nBi為R、G、B3個分量圖像中的各灰度級的像素數目;N為圖像中像素的總數。1.2背景回歸ljbyz的閾值,主要有以下幾種基針對黃色警告、紅色禁令和藍色指示這3類交通標志的自動檢測問題,利用自適應圖像分割算法將彩色圖像分割為3幅二進制圖像Binary-Y、Binary-R、Binary-B,從而濾除圖像中大量的非交通標志背景地物。下文以針對黃顏色的自適應圖像分割為例,給出具體算法。因為黃色是由紅色和綠色組合而成,所以在判斷圖像中某個像素是否為黃顏色時,主要考慮像素的紅色分量與藍色分量的歸一化值之間的差值Δrb、及綠色分量與藍色分量的歸一化值之間的差值Δgb是否滿足一定的閾值要求;再考慮到如果像素的綠色分量值過大,則像素的整體顏色會趨于綠色,所以,像素的紅色分量與綠色分量之間的差值R_G和Δrg也應滿足一定的閾值。黃顏色的像素在分割后的二值圖像上的對應像素值為1,而其他顏色的對應像素值為0。Binary_Y[i]={1?Δrb＞trjbyz＆Δgb＞tgjbyz＆R_G≥rjgyz＆Δrg＞rjgblyz＆ri＞min(Rr?Gr)＆gi＞min(Rr?Gr)0?其他情況式中,ri=Ri/(Ri+Gi+Bi),gi=Gi/(Ri+Gi+Bi),bi=Bi/(Ri+Gi+Bi),為像素顏色分量的歸一化值;Δrg=ri-gi,Δrb=ri-bi,Δgb=gi-bi,為像素顏色分量的歸一化值之間的差值;R-G=Ri-Gi為像素的紅色顏色分量和綠色顏色分量之間的差值;Δrb的閾值trjbyz和Δgb的閾值tgjbyz按如下的規則動態確定:trjbyz={rjbyz+c×(ri-max(Rr?Gr))?ri＞max(Rr?Gr)rjbyz+ri-Br?其他情況tgjbyz={gjbyz+c×(gi-max(Rr?Gr))?gi＞max(Rr?Gr)gjbyz+gi-Br?其他情況式中的變量c、rjgyz、rjgblyz、rjbyz、gjbyz按如下的方法自適應確定:c={0?max(Ra?Ga)＜168＆Rr＜0.337＆((ΔRB-ΔGB)＜0.011||(ΔRB-ΔGB)＞0.05)0?160＜max(Ra?Ga)＜168＆Rr＜0.331＆(ΔRB-ΔGB)＜0.0211?其他情況rjgyz={5?|Ra-Ga|＞5＆ΔRG＞0.0054?|Ra-Ga|≤5＆ΔRG＞0.005-3?min(Ra?Ga)＞180|Ra-Ga|?其他情況?rjgblyz={0?|Ra-Ga|＞5＆ΔRG＞0.005-0.004?min(Ra?Ga)＞180|Ra-Ga|×ΔRG?ΔRG≤0.005ΔRG?其他情況為了確定變量rjbyz的值,定義如下的條件:條件1為min((Ra,Ba)>180;條件2為(ΔRB+ΔGB)<0.023;條件3為min(ΔRB,ΔGB)>0.02&abs(ΔRB-ΔGB)<0.009;條件4為(ΔRB+ΔGB)<0.1;條件5為min(ΔRB,ΔGB)>0.03&abs(ΔRB-ΔGB)>0.013&Ra>160。則rjbyz的值按下式確定:rjbyz={3×min(ΔRB?ΔGB)?條件13×(ΔRB+ΔGB)?條件1取反&條件22×min(ΔRB?ΔGB)?條件1取反&條件2取反&條件31.4×max(ΔRB?ΔGB)?條件1取反&條件2取反&條件3取反&條件4&條件53×max(ΔRB?ΔGB)?條件1取反&條件2取反&條件3取反&條件4&條件5取反ΔRB?條件1取反&條件2取反&條件3取反&條件4取反變量gjbyz的初始值取3×min(ΔRB,ΔGB),并再定義如下的一些條件:條件1為min(ΔRB,ΔGB)<0.0003;條件2為min(ΔRB,ΔGB)<0.01;條件3為max(ΔRB,ΔGB)<0.026;條件4為abs(ΔRB-ΔGB)<0.006;條件5為0.02<min(ΔRB,ΔGB)<0.03;條件6為0.03<min(ΔRB,ΔGB)<0.04;條件7為min(ΔRB,ΔGB)>0.04。則gjbyz的值按下式確定:gjbyz={rjbyz?條件13×max(ΔRB?ΔGB)+ΔRB?條件1取反&條件2&條件33×max(ΔRB?ΔGB)-ΔRB?條件1取反&條件2&條件3取反6×max(ΔRB?ΔGB)?條件1取反&條件2&條件40.05?條件1取反&條件2取反&條件51.85×min(ΔRB?ΔGB)?條件1取反&條件2取反&條件5取反&條件6ΔGB/1.35?條件1取反&條件2取反&條件5取反&條件6取反&條件7另外,還有3種特殊情況下的相關變量確定方法:①當160<min((Ra,Ga,Ba))<165&ΔRB<0.004時,rjbyz=3×ΔRB;gjbyz=1.5×abs(Gr-Br);rjgyz=Ra-Ga;rjgblyz=Rr-Gr-0.01;②當Rr<Br&ΔRB>0.05時,rjbyz=ΔRB;gjbyz=rjbyz;rjgyz=-3;rjgblyz=Rr-Gr-0.01;③當max((ΔRB,ΔGB))<0.01時,rjbyz=24×max(ΔRB,ΔGB);gjbyz=18×max(ΔRB,ΔGB)。以上針對黃色警告標志的自適應圖像分割算法中的相關數值,是根據對不同光照條件下的100多幅實景圖像進行顏色分割實驗所確定出的統計數據。而對于針對紅色禁令標志和藍色指示標志的自適應圖像分割算法,可在上面黃色分割算法的基礎上,進行簡單的修改即可實現。限于篇幅,在此不進行詳述,只給出判斷像素i是否為紅顏色或藍顏色的圖像分割規則:Binary_R[i]={1?Δrb＞trjbyz＆Δrg＞trjgyz＆Δ2GRB＜thr3＆bi＞bblyz＆Δgb＜0.050?其他情況Binary_B[i]={1?Δbr＞bjryz＆Δbg＞bjgyz＆Bi＜byz0?其他情況其中,Δ2GRB=2Gi-Ri-Bi為綠色分量值的兩倍與紅色分量值和藍色分量值之間的差值。為了驗證本文的自適應圖像分割算法的有效性,選取了正常光照條件、較強光照條件和較暗光照條件3類光照條件下的自然場景圖像進行顏色分割實驗(見圖1),并將本文的自適應顏色分割和文獻的固定閾值顏色分割進行對比。1.3確定行結果區邊界在處理后的二值圖像上,依據灰度投影理論,按如下的方法確定標志候選區域。1)將二值圖像往行方向上進行投影,得到一維行投影向量H,并將H中的值大于0的區域稱為白色區域;選取H中寬度大于d1但小于d2的白色區域的邊界(本文d1取20,d2取600),作為標志所在行候選區域Hhxqy的上、下邊界sbj、xbj。2)在每個行候選區域內,對區域內的圖像進行列投影,得到一維列投影向量L;運用確定行候選區域邊界的方法,在列投影向量中選擇寬度大于d3但小于d4的白色區域的邊界(在檢測警告標志、禁令標志和指示標志時,d3分別取20、7和6,d4都取400),作為標志所在候選區域的左、右邊界zbj、ybj。3)當所有的行候選區域都按步驟2)的方法處理完畢,就得到了包含所有交通標志的候選區域bzhxqy。1.4行號的行號由于交通標志都具有固定的形狀和尺寸,所以可利用形狀分析的方法,在確定的標志候選區域中檢測出實際的標志區域。對于三角形標志、圓形標志和矩形標志,分別進行判斷。其中,Top-h、Bottom-h、Left-l、Right-l分別表示標志候選區域的上、下、左、右邊界;Left-s、Right-s分別表示候選區域左、右邊界上從上往下的第一個白色像素的行號;Left_x、Right_x分別表示候選區域左、右邊界上從下往上的第一個白色像素的行號;zxlh=(Left-l+Right-l)/2表示區域的中心的列號;zxhh=(Top-h+Bottom-h)/2表示區域的中心的行號;Top-z、Top-y分別表示候選區域上邊界上從左往右、從右往左的第一個白色像素的列號;Bottom-z、Bottom-y分別表示候選區域下邊界上從左往右、從右往左的第一個白色像素的列號。1區域的邊界特征①區域的尺寸比例特征0.7<(Bottom-h-Top-h)/(Right-l-Left-l)<1.4;②區域的邊界特征(Left_s-Top_h)>Δ,且(Right_s-Top_h)>Δ,且(Bottom_h-Left_x)<Δ2,且Bottom_h-Right_x)<Δ2。本文Δ取(Bottom_h-Top_h)/6,Δ2取(Bottom_h-Top_h)/2。2《x》檢測其為規制后期+cxa3或作c,且有且被其b.①區域的尺寸比例特征0.8<(Bottom-h-Top-h)/(Right-l-Left-l)<1.6;②區域的邊界特征(Left-s-Top-h)>Δ,且(Righ-s-Top-h)>Δ,且(Bottom-h-Left-x)>Δ,且(Bottom-h-Right-x)>Δ,且(Top-z+Top-y)/2-zxlh<Δ2,且(Bottom-z+Bottom-y)/2-zxlh<Δ2,且(Left-s+Left-x)/2-zxhh<Δ3,且(Right-s+Right-x)/2-zxhh<Δ3。本文Δ取6,Δ2取(Right-l-Left-l)/6,Δ3取(Bottom-h-Top-h)/6。③區域內白色像素占區域面積的比例,應大于0.1且小于0.5。④區域的圓形度yxd=4π×區域面積/(區域周長)2,圓形度應大于0.756。3ts-toh和且模型型標志的篩選①區域的尺寸比例特征0.6<(Bottom-h-Top-h)/(Right-l-Left-l)<3.2;②區域的邊界特征(Left_s-Top_h)<Δ,且(Right_s-Top_h)<Δ,且(Bottom_h-Left_x)<Δ,且(Bottom_h-Right_x)<Δ。本文Δ取12。另外,由于紅色禁令標志經常多個連排放在一起,所以對于那些高與寬的比例小于0.8或大于1.8,且邊界條件符合圓形特征的候選區域,需要按比例將區域進行平均分割,并再重新按圓形區域的形狀特征分析法判斷一次邊界條件,以判斷其是否為圓形的禁令標志。又由于某些指示標志的特殊性,在圖像的顏色分割時會將其一分為二,所以需要將同一行候選區域內、高度相似、且間距小于15個像素的兩個候選區域合并成一個區域。1.5同一標志區域的上、下邊界經過以上的步驟可在立體像對中的左影像上快速檢測出交通標志所在的區域,利用立體影像匹配技術可在右影像上檢測出左影像上標志對應的同名標志區域,過程為:①根據基于核線約束的立體圖像匹配方法,在右圖像上確定出同名標志區域的中心O′、區域上邊界的中點M′1和區域下邊界的中點M′2,從而確定了同名標志區域的上、下邊界R_sbj,R_xbj;②依據標志區域的比例關系,右圖像上同名標志區域的左、右邊界按如下方法求取:R-zbj=R-zxlh-(L-zxlh-L-zbj)×(R-xbj-R-sbj/L-xbj-L-sbj)R-ybj=R-zxlh+(L-ybj-L-zxlh)×(R-xbj-R-sbj/L-xbj-L-sbj)確定右圖像中同名標志區域的具體影像匹配方法可參看文獻,在利用立體影像匹配求取右圖像上的同名交通標志區域后,再利用立體攝影測量原理和車載移動測量系統的三維坐標解析模型,即可根據影像匹配的結果計算標志中心的空間坐標、標志的尺寸等幾何信息。2基于固定閾值圖像分割的檢測為了驗證本文方法的實際效果,編程實現了算法,并以車載移動測量系統在南京市及其周邊地區采集的自然場景道路圖像進行實驗,影像的大小均為1392像素×1040像素。車載數據采集系統的外觀和其拍攝的一對立體影像見圖2。用本文的自適應圖像分割算法,對圖2(b)進行圖像分割并濾波后的3幅二值圖像Binary-Y、Binary-R、Binary-B分別見圖3(a)～3(c)所示;利用灰度投影和形狀特征在值圖像上確定的標志區域在圖3(d)～3(f)中用矩形框