1、 一種環狀編碼標記點的設計及解碼算法作者金滔,董秀成機構西華大學信號與信息處理重點實驗室基金項目國家重大儀器設備開發專項項目(2016YFF010400預排期卷計算機應用研究2019年第36卷第5期摘要針對近景攝影測量中對編碼標志點的精確定位和準確識別的要求,提出一種環狀編碼標記點的設計和識別算法。在傳統環狀編碼標記點的基礎上添加3個定位符,用于確定標志點的精確位置和增加標志點的數量。解碼時先檢測定位符坐標及其在標志點中的位置,然后對編碼標志點進行透視變換以實現圖像校正的目的,最后用提出的基于圓環掃描的方法進行解碼。實驗結果表明,該算法對任意旋轉角度下的編碼標志點均能有較好的檢測識別效果;當攝

2、像機與標記平面的夾角小于65°時,其識別準確率可達99.3%;在復雜背景情況下的平均識別準確率為97.4%,誤識別率為1.25%,識別平均速率為2.15 s/幅。關鍵詞編碼標記點設計;編碼標記點識別;定位符;透視變換;解碼作者簡介金滔(1992-,男,四川合江人,碩士研究生,主要研究方向為機器人技術(xhujintao;董秀成(1963-,男,四川成都人,教授,碩導,碩士,主要研究方向為機器視覺、機器人技術.中圖分類號TP391.41投稿日期2017年11月6日修回日期2017年12月22日發布日期2018年4月18日引用格式金滔, 董秀成. 一種環狀編碼標記點的設計及解碼算法J/O

3、L. 2019, 36(5. 2018-04-18.第36卷第5期 計算機應用研究V ol. 36 No. 5 優先出版Application Research of ComputersOnline Publication基金項目:國家重大儀器設備開發專項項目(2016YFF010400作者簡介:金滔(1992-,男,四川合江人,碩士研究生,主要研究方向為機器人技術(xhujintao ;董秀成(1963-,男,四川成都人,教授,碩導,碩士,主要研究方向為機器視覺、機器人技術.一種環狀編碼標記點的設計及解碼算法 *金 滔,董秀成(西華大學 信號與信息處理重點實驗室, 成都 610039摘 要:

4、針對近景攝影測量中對編碼標志點的精確定位和準確識別的要求,提出一種環狀編碼標記點的設計和識別算法。在傳統環狀編碼標記點的基礎上添加3個定位符,用于確定標志點的精確位置和增加標志點的數量。解碼時先檢測定位符坐標及其在標志點中的位置,然后對編碼標志點進行透視變換以實現圖像校正的目的,最后用提出的基于圓環掃描的方法進行解碼。實驗結果表明,該算法對任意旋轉角度下的編碼標志點均能有較好的檢測識別效果;當攝像機與標記平面的夾角小于65°時,其識別準確率可達99.3%;在復雜背景情況下的平均識別準確率為97.4%,誤識別率為1.25%,識別平均速率為2.15 s/幅。Designing and d

5、ecoding algorithm of circular coded targetJin Tao, Dong Xioucheng(Signal &Information Processing Laboratory , Xihua University , Chengdu 610039, China Abstract: On the requests of coded targets in close range photogrammetry for precision location and accurate recognition, proposed a designing an

6、d decoding algorithm of circular coded target. This paper added three locators on the basis of traditional circular coded target to achieve precision position and increase the number of targets. Firstly, the algorithm detected the locator coordinates and their positions in the targets. Then, the per

7、spective transformation of the coded target was used to achieve image distortion correction. Finally, used the method based on the ring scan to achieve the decoding of the circular coded target. Experimental results show that the algorithm in this paper can have good detection and recognition result

8、s for all the coded targets which rotate any angle; when the angle between the camera and the marking plane is less than 65°, the recognition accuracy rate can reach 99.4%; the average recognition accuracy rate is 97.4%, false recognition rate is 1.25%, recognition rate is 2.15 seconds under th

9、e complex background.Key words: coded target design; coded target recognition; locator; perspective transformation; decode0 引言在計算機視覺領域中,為降低相機標定和三維數據拼接的復雜程度,廣泛使用編碼標記點作為特征點。編碼標記點的種類有點形編碼標記點、方形編碼標記點、分布式編碼標記點、顏色信息編碼標記點1、可糾錯標記點2和環狀編碼標記點3。但在近景攝影測量中使用常見的是環狀編碼標記點,因為其設計簡單,環境光照變化、圖像采集時標志點畸變對最終的解碼結果影響較小。目前,國內外

10、很多學者對環狀編碼標記點的檢測和識別做了大量研究工作并取得相應的成果。梁晉等人將編碼標記點用于多相機的全局標定中,光照和拍攝角度對解碼結果的影響較大4。解則曉等人根據環狀編碼標記點的仿射變換不變性提出的等分橢圓內切圓法,實現環狀編碼標記點的識別5。宋麗梅等提出ALPC (Affine LOG Polar Coordinate 變換將環形碼映射成平行直線,實現環狀編碼標記點的。但是該算法運算量大,識別效率低6。Hu 等根據提取得到的成像橢圓參數,反復采樣標記帶,最終實現解碼。但是該算法對編碼標志點成像要求較高,識別準確度不高7。為了實現攝影測量中標記點精確定位和提高編碼標記點檢測識別的魯棒性,本

11、文提出一種編碼標志點的設計和基于圓環掃描的解碼方法。在傳統編碼標記點的基礎上添加3個定位符,用于確定標志點的位置及增加標志點的數量。首先,依據定位符的特點檢測定位符位置。然后,根據定位符的位置對標志點圖像進行透視變換,實現對圖像的校正。最后,通過對編碼圓環進行掃描取點解碼。實驗結果表明,編碼標志點的設計及解碼算法對標志點圖像的旋轉和投影角度的影響較小。為近景攝影測量中提供一種編碼標志點和檢測算法。1 環狀編碼標記點的設計編碼標記點的設計應具有互異性、尺寸適當、易于檢測與定位和編碼標志點數目多的特點8。其中,Schneider CT 和Sinnreich 設計的環狀編碼標記點3,如圖1所示,其主

12、要組成部分為中心圓和外部均等12分的環狀編碼點構成,其中中心圓主要用于標記點定位,環狀編碼點主要用于標記點識別,實現快速、準確的同名標記點匹配。 環狀編碼標記點中每個編碼點在滿足編碼條件下可為黑或白,以二進制0和1分別代表白色和黑色,以任意一位編碼作為起始位順時針讀取產生1個碼值,12位共可以讀取12個二進制數,選取這12個二進制數對應的十進制數中的最小值作為該編碼環的編碼值。環狀編碼標記點的外圓環可以根據實際的進行不同數目的等分,比如10、12、15等分,不同的等分情況對應的標志點數和二進制數如表1所示。從表1中可以得出對于外圓環進行12等分而言,由于在解碼的后期對12位二進制數進行循環移位

13、的,其實際能表示的標志點個數為351個,與12位二進制數表示的個數4096相差甚遠,編碼標志點的數量大大減少。 本文在傳統的環形編碼標記點基礎之上重新設計編碼標志點,如圖2所示,即在現在編碼標志點的基礎之上添加3個相同的用于確定標志點位置的定位符以及增加標志點的數量。其中,編碼標志點的定位符在水平和垂直方向上黑白之間的像素點滿足黑:白:黑:白:黑=1:1:3:1:1的關系。而且在設計時左下角和右上角這兩個定位符的中心點是編碼標志點中心圓的圓心。三個定位符用于確定編碼標志點外圓環的相對位置。中心圓的直徑mm d 10=,圓環內側到中心圓圓心的距離mm r 251=,圓環內側到中心圓圓心的距離mm

14、 r 302=,定位符的長和寬均為mm c 14=,即在水平或垂直方向上黑色的寬度為mm a 2=,水平和垂直方向上兩個定位符之間的距離均為mm b 64=。因而各個參數滿足d r 5.21=、d r 32=、a d 5=,在實際的使用中可以根據需要放大或縮小整個編碼標志點的面積,但不能改變各個參數之間的相應關系。重新設計之后的編碼標志點具有如下兩個優點。一是在解碼的后期不需要對解碼得到的二進制進行循環移位,因而在外圓環為相同等分時,其表示的不同編碼標志點數量將大大增加。二是在解碼過程中確定編碼標志點中心時檢測定位符算法比檢測圓或橢圓算法簡單且效率更高。2 環狀編碼標記點的檢測和識別2.1 編

15、碼標記點檢測流程環狀編碼標記點檢測流程如圖3所示。首先,對CCD 攝像機采集得到的原始圖像進行預處理,包括圖像的灰度化和二值化,圖像預處理的目的在于減少彩色圖像存儲的信息量,為之后的算法設計減輕負擔,提高整個解碼的效率。其次,根據定位符的特點檢測定位符的中心位置并確定其具體的位置(左上點、右上點或左下點。然后,根據檢測出的3個定位符計算出用于透視變換的四邊形第四個點的位置,依據四邊形的四個點對整個圖像進行透視變換,即對傾斜、旋轉或畸變的原始圖像進行圖像校正。最后對校正后的圖像進行解碼。2.2 圖像預處理圖像預處理包括圖像灰度化和二值化。圖像的灰度化9是彩色圖像(RGB 模型中對分別對R 、G

16、、B 三個分量的量化過程,即三個通道轉換為一個通道的過程,取值范圍為0255。灰度化的方法有分量法(式1、最大值法(式2、平均值法(式3和加權平均法(式4。其中加權平均法是對R 、G 、B 用不同的權值加權求平均,對不同的分量使用不同的權值的可以得到適合于后期圖像處理的灰度圖像,因而本文選取加權平均法。圖1 傳統環狀編碼標記點0000表1 編碼數、標志點數與二進制數關系表編碼點數標志點數 二進制數 10 107 1024 12 351 4096 15 2191 32767 18 14601 262144 20524871048576圖2 添加定位符的編碼標記點mm r 251=mmd 10=m

17、 mr 302=圖3 編碼標記點解碼流程,(,(,(,(j i B or j i G or j i R j i f =(1 ,(,(,(max(,(j i B j i G j i R j i f = (2 3,(,(,(,(j i B j i G j i R j i f +=(3,(.,(.,(.,(j i B j i G j i R j i f 110590300+= (4 圖像的二值化是對灰度圖像信息的再次濃縮,使之變為只有0或255這兩個灰度值的圖像。二值化的方法有全局二值化和局部二值化,由于編碼標志點主要是由黑白兩種像素構成的,其灰度圖像的直方圖會存在兩個波峰,而且兩個波峰之間的間距會

18、很大,因而采用全局二值化較為合適。全局二值化中主要確定二值化的分割閾值,其中Otsu 算法10(又稱大律法或最大類間方差法 一種自適應的閾值確定的方法,通過搜索計算類間方差最大值,得到最優閾值,從而將背景和目標分割出來,且魯棒性較好。Otsu 算法中類間方差由式(8決定,采用遍歷的方法得到使類間方差最大的閾值,其中圖像的大小為n m ,1n 為灰度值小于閾值的像素個數,1w 為其對應的比例,2n 為灰度值小于閾值的像素個數,2w 為其對應的比例,且1n 、2n 、1w 、2w 滿足式(6的關系。11n m n =,22n m n =(5 n m n n =+21,121=+(6 2211+=(

19、7222211(-+-=g(8 2.3 定位符檢測識別定位的檢測依據定位符的特點,定位符在其水平和垂直方向上黑白像素點數量滿足黑:白:黑:白:黑=1:1:3:1:1。首先,定義一個元素個數為5的一維數組s5并全部初始化為0。從二值圖像中從左往右依此計算像素灰度值連續為0或255(即黑或白的像素個數并依次保存在數組s 中,當數組s 中5個元素全被賦值,此時需要判斷s0:s1:s2:s3:s4是否滿足1:1:3:1:1(在實際中因圖像的畸變,允許最大誤差為50%,如果條件滿足則此處可能存在定位符,然后初步計算出定位符在水平方向上中心點的橫坐標(縱坐標即為當前的行數,已知,根據定位符初步的坐標檢測其

20、在垂直方向是否滿足定位符的條件,如果滿足計算出在垂直方向上定位符的中心坐標(即Y 坐標。然后用剛計算得到的坐標值來判斷在水平方向上是否同樣符合定位符的特點,如符合則計算出定位符在水平方向上的中心坐標(即X 坐標。定位符檢測的流程圖如圖4所示,用同樣的方法檢測其余定位符的中心坐標。在得到3個定位符的中心坐標之后,需要判別定位符在編碼標志點中的具體位置,即檢測出定位符屬于圖5中的A 點(左下定位符、B 點(左上定位符或C 點(右上定位符。定位符位置檢測方法分為兩步:第一步是檢測出左上定位符(即B 點,先計算定位符之間的距離AB l 、BC l 、AC l ,再由AC AB l l <、AC

21、BC l l <即可求得左上定位符(B 點;第二步計算,如果0>,則說明此時A 點即為左下定位符,C 點即為左上定位符,如果0<,則說明此時C 點即為左下定位符,A 點即為左上定位符,根據具體情況做相應調整。2.4 標志點圖像透視變換檢測到3個定位符的中心坐標并確定其在編碼標志點的具體位置后,接下來就可進行圖像的透視變換。透視變換14指利用透視中心、像點、目標點三點共線的條件,按透視旋轉定律使承影面(透視面繞跡線(透視軸旋轉某一角度,破壞原有的投影光線束,仍能保持承影面上投影幾何圖形不變的變換,即將原始圖像投影到新的平面,其通用的變換公式為式(9。(9其中(v u ,是原始圖

22、像的坐標,透視變換后的坐標為(y x ,且w x x ''=,w y y ''=。對式(9進行矩陣運算可得:+=圖4 定位符檢測流程圖5 定位符位置關系圖下面以原圖像中正方形到變換圖像中為四邊形的透視變換 來說明變換矩陣各參數的求解,變換的4組點選,(00(00,y x 、,(01(11,y x 、,(11(22,y x 、,(10(33,y x 根據透視變換式(10可得:-+=-+=-+=-+=-+=-+=3233222322321332221221133212132031331111310y a a a y y a y a a a a y y a a a y

23、 a y x a a a x x a x a a a a x x a a a x a x (11為求解變換矩陣的參數,定義如下中間變量:-+-=-=-=-+-=-=-=3210323221132103232211y y y y y y y y y y y x x x x x x x x x x x (12當33,y x 均為0時可得透視變換矩陣T (式13。當33,y x 不為0時可得透視變換矩陣T (式14。+-+-+-+-=10032303212031130111201y x b y a y y x a x x a y a y y x a x x T (14 其中12213223y x y

24、 x y x y x a -=,12211331y x y x y x y x b -=。 所以,在已知透視變換在變換前對應圖像的4個點和圖像變換后所對應的4個點,可以解出透視變換矩陣,從而實現對整個圖像進行透視變換,完成對圖像的畸變校正。由于透視變換需要原始圖像和變換后圖像中4個相對應的點方可求出變換矩陣,而編碼標志點的定位符只有3個,因而在原圖像中第四個點是通過計算而得的,在式(15中點,(tY bottomRigh tX bottomRigh 為第四個計算的點坐標,(topLeftY topLeftX 為左上定位符坐標,(topRightX topRightY 為右上定位符坐標,(X b

25、ottomLeft Y bottomLeft 為左下定位符坐標。而變換后對應的4個點分別為,(start start 、,(start a start +、,(a start start +、,(a start a start +,其中a 為定位符AB 和BC 之間距離較小者,start 則為定位符寬度的0.65倍,start 的取值需保證左上和右上兩個定位符在圖像的顯示區域內。根據透視變換前后的4個點可以求解變換矩陣,然后再將圖像進行透視變換可得校正之后的圖像。-+=-+=topLeftY topRightY Y bottomLeft tY bottomRigh topLeftXtopRig

26、htX X bottomLeft tX bottomRigh (15為檢驗透視變換對圖像校正的效果,選取一組圖片進行檢測實驗。圖6左圖為原始圖像,圖6中圖為是二值化之后的圖像,圖6右圖為是透視變換之后得到的校正圖像。2.5 編碼標志點解碼在透視變換后得到校正圖像便可實現對編碼標記點的解碼。本文提出的基于圓環掃描的解碼方法,具體步驟如下:(1根據左下定位符(A 點和右上定位符(C 點計算中心圓圓心大致坐標,其大致坐標在這兩個定位符的中心位置;(2截取中心圓區域,在該區域中使用灰度重心法計算出中心圓圓心的坐標,(Y realCenter X realCenter ,并計算出中心圓的直徑d ;(3計

27、算圓環中心到中心圓圓心的距離r ,由第1節可知,圓環內側1r 和外側2r 與中心圓直徑的關系為d r 5.21=、d r 32=,因而圓環中心到中心圓圓心的距離d r 75.2=;(4定義元素個數為60的數組60record 并初始化全為0,該數組用于保存圓周上點的像素值;利用圓的參數方程(式16從圓環的正上方開始順時針方向每隔6°(圓周為360°,等分為60份對校正后的二值圖像進行取點并判斷該點的灰度值是0(黑還是255(白,是0則對應索引的數組index record 為1,否者為0。選取的60個點如圖7所示,其中紅色的點代表算法中取的點;+=+=sin cos r Y

28、 realCenter y r X realCenter x(16(5編碼標志點圓環為12等分,在圓環上取60個點,因而每個小環段對應5個點,對數組60record 依次取5個點并計算這5個點的值,如果其值大于3,則表明該小環段所對應的編碼值為1,反之則為0,將該數值保存在解碼結果數組12rlt 中;圖7最終解碼結果的二進制為1011001 10100;(6二進制解碼結果轉為十進制結果result ,轉換關系如式(17。=-=11112i ii rlt result(17圖6 透視變換效果圖圖7 圓環掃描示意圖優先出版 金 滔，等：一種環狀編碼標記點的設計及解碼算法 第 36 卷第 5 期 3

29、 實驗結果及分析 為驗證本文編碼標記點設計的合理性和解碼算法的有效性， 對 采 集 的 圖 像 進 行 解 碼 ， 算 法 運 行 環 境 為 計 算 機 CPU Intel(RCore(TMi3-4160 3.5GHz,內存 8GB,Windows 64bit 專業 版， 開發環境為 Microsoft Visual Studio 2010 中 MFC 應用程序。 對解碼結果進行統計，不同拍攝角度 q 和解碼結果正確率 p 之 間的關系詳見圖 10。 選取不同的標記點，并對標記點以其中心圓為旋轉中心旋轉不 同的角度（0360°，每次增加約 45°），且相機的光軸垂直 于編

30、碼標記點所在的平面進行檢測識別實驗，檢測結果如圖所 示。 在圖中， 第 1 行第 1 幅圖中的編碼標志點為標準位置安放， 即旋轉角度為 0°，從第 1 幅開始旋轉角度依次增加 45°，直 至第 9 幅旋轉角度為 360°，即回到標準位置。 100 95 90 p/(% 85 80 75 70 65 0 10 20 30 40 50 60 70 80 /(° 圖 10 不同角度下解碼正確率 從圖 10 中可知當其拍攝角度小于 65°時，綜合統計其解 碼準確率為 99.3%；角度為 70°、75°、80°時相應的準確率

31、 為 91.6%、83.3%、66.6%，即在大傾角情況下，識別效果還是 比較理想。其中拍攝角度為 60°、65°、70°、75°和 80°時 圖8 不同旋轉角度標志點解碼結果 解碼結果如圖 1115 所示。 圖 9 是對編碼標記點進行畸變校正后用于解碼的圖，從圖 9 中可得對于不同旋轉角度的編碼標志點，通過透視變換后均 能使其變換到標志點標準位置。透視變換對編碼標志點的畸變 校正很準確，適用于后期的解碼處理。 圖 11 傾角為 60°識別結果 圖9 畸變校正的編碼標志點圖 為驗證本文對編碼標記點解碼算法的魯棒性，采用不同的 傾斜角度

32、采集編碼標志點圖像進行實驗。圖像采集所使用的相 機是佳能相機 Canon EOS 550D，采集圖像的分辨率為 3968 ´ 2976。對含有十二個編碼標記點的平面從傾斜角度為 080° 進行圖像采集， 總共采集 80 幅圖像。 使用本文提供的解碼算法 圖 12 傾角為 65°識別結果 優先出版 金 滔，等：一種環狀編碼標記點的設計及解碼算法 第 36 卷第 5 期 圖 13 傾角為 70°識別結果 圖 16 SCARA 機器人上解碼結果 圖 14 傾角為 75°識別結果 圖 17 rethink robotics 機器人上解碼結果 表2 標記

33、點解碼性能對比表 準確率(% 97.4 97.1 95.2 90.3 錯誤率(%） 1.25 0.86 3.095 1.89 算法 本文 文獻5 文獻11 文獻12 解碼速度(s/幅 2.15 2.83 2.65 4.36 4 結束語 視覺測量中，對編碼標記點的檢測識別要求具有較高的穩 圖 15 傾角為 80°識別結果 定性和精確性。本文設計出在傳統編碼標記點的基礎上添加定 位符，用于確定標志點的精確位置和增加標志點的數量，為近 景攝影測量提供一種新的編碼標記點及其解碼算法。實驗結果 表明，本文算法對編碼標記點檢測和識別具有一定的魯棒性。 但是，本文算法針對傾角過大（80°

34、及以上），對定位符的成 像較模糊時可能識別不到，仍然有待改進。 為驗證本文改進的編碼標志點及其解碼算法在復雜的背景 下的解碼效果。將編碼標記點張貼在實驗室 SCARA 機器人和 rethink robotics 七軸機器人的機身上面，分別拍攝 10 幅圖像并 對其解碼，部分實驗結果如圖 16、17 所示，說明本文算法在復 雜的環境下表現出良好的識別效果。 將本文改進的編碼標志點及其解碼算法與其他文獻的解碼 算法從解碼時間、解碼結果的準確率和誤解碼率三個方面進行 比較， 結果如表 2 所示。 本文提出的算法檢測準確率為 97.4%， 誤識別率為 1.25%，識別平均速率為 2.15 秒/幅。對比

35、于其他文 獻的算法，本文算法的綜合性能最優。 參考文獻： 1 Moriyama T, Kochi N, Yamada M, et al. Automation target identification with the color-coded-target C/ Proc of International Archives of Photogrammetry and Remote Sensing. 2008: 39-44. 2 楊劍 , 韓建棟 , 秦品樂 . 視覺測量中可糾錯的編碼點識別及提取 J. 優先出版 金 滔，等：一種環狀編碼標記點的設計及解碼算法 第 36 卷第 5 期 光學精密工程, 2012, 20 (10