1、文章編號 : 100220446 ( 2008) 01 20085 2063一種基于任意點對的相機標定方法鐘志光 , 趙一鳴 , 林雪明(寧波大學科學技術學院 , 浙江 寧波 315211 )摘 要 : 提出了一種基于任意點對的幾何標定方法 ,用于標定相機外部參數 . 該方法考慮點對而不是單個點與相機的幾何關系 . 首先根據三個標定點對估計旋轉矩陣 ,然后根據相機和一個點對的幾何關系直接計算平移向量 .整個標定過程無需任何點對的絕對位置信息 ,而且對點對的位置關系也沒有任何限制 . 試驗結果表明了該方法的有 效性 .關鍵詞 : 相機標定 ; 外部標定 ; 運動估計 ; 姿態估計中圖分類號 :

2、TP24文獻標識碼 : AA Cam era Ca l ibra t ion M e thod Ba sed on A rb itra ry Po in t Pa ir sZHON G Zh i2guang, ZHAO Yi2m ing, L IN Xue2m ing( C ollege of S cience & Technology, N ingbo U n iversity, N ingbo 315211, Ch ina )A b stra c t: Th is p ap e r p re sen ts a simp le geom e tric app roach fo r c

3、a lib ra ting extrin sic cam e ra p a ram e te rs from a rb itra ry po in tp a irs. The p ropo sed m e thod con side rs the geom e tric re la tion sh ip s be tween a cam e ra and the po in t p a irs in stead of an ind ivid2 ua l po in t. It firstly e stim a te s the ro ta tion m a trix acco rd ing t

4、o th ree po in t p a irs, then d irec tly ca lcu la te s the tran sla tion vec to r from the geom e tric re la tion sh ip s be tween the cam e ra and one p a ir of the po in ts. The who le ca lib ra tion p roce ss doe snt need the ab so lu te po sition info rm a tion of any po in t p a irs, and it d

5、oe snt exe rt any re stric tion s on the po sition re la tion sh ip s among the po in t p a irs. Exp e rim en ta l re su lts show the effec tivene ss of the p ropo sed app roach.Keyword s: cam e ra ca lib ra tion; extrin sic ca lib ra tion; mo tion e stim a tion; po se e stim a tion1 引言 ( In troduc

6、t ion )相機標定在計算機視 覺 、機 器 人和 自動 化 以及 計算機集成制造系統等領域有重要應用. 幾十年來 , 大量的研究者一直致力于提出快速有效的算法來解 決這一問題 . 這些努力開始于攝影測繪學研究領域 , 并體現在隨后的計算機視覺研究領域.已有技術可以大致分為兩組 : 攝影測繪標定 1 , 2 和自標定 3 , 4 . 前者觀察一個標定參照物且該參照物 的三維空間信息是精確已知的. 這些方法需要昂貴的標定儀器和精心的試驗設計. 后者不需要任何標定目標 ,但由于有許多參數需要估計 ,不能保證總得 到可靠的標定結果 5 . 大多數已有方法都強調完全 的相機標定 ,即同時標定相機內部

7、和外部參數.然而 ,在許多應 用 中 , 如機 器人 視覺 、車 輛 導航 以及視覺安全系統等 ,內部相機參數只需標定一次 ,但外部相機參數不得不頻繁地標定. 對這些應用 ,可以假設內部相機參數已經被很好地標定 , 剩下的任 務是如何有效地標定外部相機參數 , 因為這些參數會隨著運動或別的影響因素而不停地變化. 因此 ,提出一種快速有效的外部相機參數標定方法是非常必 要的 .本文針對上述應用 , 提出 了一 種 根據 相機 和 標定點對之間的幾何關系標定外部相機參數的方法 . 該方法首先根據三個標定點對計算旋轉矩陣 , 但不 需要任何關于點對的精確三維信息 . 這與大多數已有標定方法不同 ,

8、也是該方法的一個很有吸引力的特征 ,因為旋轉矩陣的計算是外部參數標定的關鍵 . 計算出旋轉矩陣后 , 下一步是根據相機與一個標定 點對的幾何關系計算平移向量 . 這一步要求一個而3 基金項目 : 科技部技術創新基金資助項目 ( 06C26213311210 ) ; 浙江省教育廳高校科研計劃資助項目 ( 20061653 ) .收稿日期 : 2007 - 03 - 21且只需一個標定點對的相對位置信息是已知的 . 整個標定過程不需要任何標定點的絕對三維信息 . 與 已有標定方法相比 , 該方法所要求的已知信息是非 常少的 .與本 文 方 法 最 相 近 的 標 定 方 法 是 W ang 6 和

9、 鐘 7 的方法. 這兩種方法都需要選取四個特殊的標 定點 :文 6 要求三個點位于一條直線上 ,另一個位 于另外一條直線上 ,而文 7 要求一個點在原點 ,其 它的三個分別位于相互垂直的三條軸線上. 本文方法對標定點之間的位置關系沒有任何限制 , 而且當 旋轉參數較小時根據三個標定點就能獲得較好的估 計結果 .2 估 計 旋 轉 矩 陣 ( Ro ta t ion m a tr ix e st im a 2t ion )如圖 1所示 , 假定某個標定參照物上有 n + 1 個sin<, 那么 R 可以寫成R = RZ () RY ( < ) RX ()c< cc< s

10、- s<ss< c - csss< s + ccsc<cs< c + ss=cs< s - sccc<( 2 )如果三個旋轉角都較小 , 則 R 可以近似表示為 :1- <- 1<Ra=- ( 3 )1從而由式 ( 1 )可得 :g0 xg0 ygix× giy·11GixGiy- G0 x1- <- 1<- ·- G0 y= 0( 4 )特征點 G0 , G1 , Gn 在相機視域里. 在后面的, Gi ,1Giz - G0 z討論中 , 這些特征點被叫作標定點 , 它們之間的位置關系是任意的.

11、目標或世界坐標系由 G0 表示 . 點 Gi為了方便 , 假設g0 xg0 y1gixT在目標坐標系中的三維坐標 Gix , Giy , Giz 是已知的或是未知的 , 如果未知 , 則至少三個標定點之間的 相對三維信息是已知的 . Gi 在圖像平面上的投影 (成像 )叫做像點 gi , 它們在相機坐標系 C 下的正規化圖× giyA0 i=1以及TGixGiyGiz-G0 xG0 yG0 z像坐標 gix , giy , 1 (假設相機焦長為 1時圖像點的3維坐標 )是已知的 .B 0 i=再假設旋轉向量 w = , <,T , 那么由式 ( 4 )可以得到P0 i 

12、3;w = Q0 i( 5 )其中 ,P0 i = A3 B 2 - B 3 A2 , A1 B 3 - A3 B 1 , A2 B 1 - A1 B 2 Q0 i = - (A1 B 1 + A2 B 2 + A3 B 3 )A i 和 B i ( i = 1, 2. 3 ) 分別是向量 A0 i和 B 0 i的第 i個元素 . 根據前面的假設 , 它們都是已知的 .圖 1 相機與點對的幾何關系F ig. 1 Geom e tric re la tion sh ip s be tween a cam e ra and po in t p a irs類似地 , 如果選擇 G 和 G 或者 G

13、和 G 為點對 ,0 jij就可以得到與式 ( 5 ) 類似的方程 . 因此 , 可以解出旋轉向量 w 為根據圖 1, 假設選取 G0 和 Gi 為標定點對 , 則可以得到- 1PQ0 i0 iw =· Q0 j( 6 )P0 j( C G0 ×C G i ) · ( R ·G0 G i ) = 0( 1 )P ijQ ij其中 , 表達式 R ·G0 G i 表示將向量 G0 G i 由 G0 坐標系變換到 C 坐標系. R 是需要估計的旋轉矩陣 , 一般 由歐拉角表示. 假設 是偏航角 ( yaw ) , < 是俯仰角( p itch

14、 ) , 是 翻 滾 角 ( ro ll) , 以 及 c< = co s<、s< =如果標 定點 數大 于3, 為 提 高 估 計 算 法 的 魯 棒性 , 可以通過最小二乘法估計旋轉向量 , 即- T- T-w = ( P ·P ) ·P ·Q( 7 )-尤其適用.3 估計平移向量 ( Tran sla t ion vec tor e st im a 2t ion )一旦估計出旋轉矩陣 , 就 可以 根 據相 機和 任 何 一個點對之間的幾何關系直接計算出平移向量. 假 設 G0 和 Gj 是這個選取的點對 , 那么由圖 1可以得到其中 ,

15、P 是由 P ij構成的矩陣 , 而 Q 是由 Q ij構成的列向量.值得一提的是 , 多數已 有方 法 都是 根據 大 量的 已知標定點 , 通過非線性優化同時估計旋轉矩陣和平移向量 , 因而需要大量的已知信息 , 如每個特征點的三維坐標或各個特征點與相機投影中心連線的夾 角等 , 有些還需附加額外的限制 , 如共面 等 . 盡 管這些方法可以獲得較好的估計結果 , 但卻比較復雜 . 上 述方法只需至少 3 個標定點就能得到旋轉矩陣的線性解且不需要標定點的絕對三維信息 , 同時 , 對標定點之間的位置關系沒有任何限制 , 因而簡單靈活 , 便 于實際應用 .另一方面 , 上述線性估 計方 法

16、 只是 對小 角 度旋 轉參數的近似估計 . 隨著旋轉角度的增大 , 估計結果的準確性將隨之下降 . 此時 , 可以考慮用最小平方誤差方法進行非線性估計 . 把 ( 4 )式改寫成 ( C G0 ·C G j )co s =( 11 )C G0 · C G j和( ( R ·G G·C Gj )j )0co s =( 12 )· C G0 j由于已經得到 R , 根據上述方程和已知條件容易解出和 .假設 d = CG、d = CG以及d = R·G G,00jj0 j0 j則有下面的方程成立 .ddd0j0 jsin = sin (

17、+) = sin( 13 )A0 i · r1 r2 r3 ·B 0 i = 0( 8 )其中 , rk ( k = 1, 2, 3 )是 R 的第 k 列. 經過簡單運算 , 上式即等價于因為d 已知 , 就可以直接求出平移向量T 為0 jTgx0 xd0r1r2r3T =·( 14 )Tgy0 y2 2g0 x+ g0 y + 1D 0 i ( 1 ) D 0 i ( 2 ) D 0 i ( 3 ) ·= 0( 9 )1Tz其中 , d0 = d0 ·sin/ sin.jT其中 , D 0 i ( k ) ( k = 1, 2, 3 ) 是

18、 3 ×3 矩陣 B 0 i ·A0 i第 k行. 根據假設 , 它們是已知的. 當選取 G0 和 Gj 或者 Gi和 Gj 為點對時 , 也可以得到類似的方程. 顯然 , 如果4 試驗和分析 ( Exper im en ts an d ana ly s is)本節給出用上述線性與非線性方法標定相機外 部參數的模擬和實際試驗結果 . 由于旋轉矩陣的估 計是關鍵 ,這些試驗的焦點是測試估計的旋轉向量 .對非線性估計而言 , 旋轉 角的 初 始猜 測是 由 線 性解自動給出的 . 試驗中非線性優化工具是標準的 M a tlab 函 數 Fm in sea rch, 它 是 一

19、個 基 于 N e lde r2M ead 方法的多維非限制非線性最小化子例程. 其它有效的方法 ,如 N ew ton2B royden 也可以使用. 之所以選擇 Fm in sea rch,是因為它使用廣泛 , 并且便于再現 和 比 較試驗結果 . 試驗中 Fm in sea rch 的參數設置為 M ax2FunEva ls = 10000 , To lFun = 1 E - 6 , To lX = 1 E - 4.4. 1 模擬數據假定參考點 G0 的 世 界坐 標是 0, 0, 0 , 另外 9給定的標定點數是 n 個 , 那么總共可以得到 C2 個這n樣的方程 . 這樣 , 旋轉矩

20、陣就可以通過最小化這些方程的殘差的平方得到 , 即n - 1 nT T T T 2m inR( D ij ( 1 ) D ij ( 2 ) D ij ( 3 ) · rrr )1 2 3i = 0 j = i +1( 10 ) 而 R 的初始 猜 測 可 以 由 旋 轉 向 量 的 線 性 估 計 結 果 ( 7 )式給出 .本文定義旋轉角的變化范圍是 - 90 °, 90 °. 后 面的 試 驗 結 果 表 明 , 線 性 估 計 方 法 可 以 在 - 30 °,30 °范圍內得到較準確的估計結果 , 而非線性估計方法可以在旋轉角的整個變化

21、范圍內得到十分準確 的估計結果. 和預期的一樣 , 在 - 30 °, 30 °這一較小的變化范圍內 , 非線性估計結果要優于線性估計 結果. 這一簡單的估計方法能有如此令人鼓舞的性能得益于標定點對的使用 . 上述估計過程說明所有標定點和它們的像點提供的信息都能被充分利用 ,因而在那些只能得到少量已知信息的場合 , 該方法個特征點 G1 , G2 , G9 在一個邊長為 150 cm 的立方體內隨機產生 . 根據要求的標定點數 , 它們按順序從存儲這 10 個標定點的數組的頂部選取 , 即如果需要4 個標定點 , 那么數組的最前面的 4 個標定點被選取 用于試驗 , 目的是

22、保證用于不同試驗的數據的一致 性 . 除非特別聲明 , 所有試驗的基本參 數設 置 如下 :R ·G Gj平移向量 T = 25, 15, 200 cm, 標定點數 n = 3. 線性估計時實際的旋轉角是 , <, = 1 °, 1 °, 1 °, 而 在非線性估計時它們是 60 °, 40 °, 50 °.線性估計 :假定俯仰角 < 從 - 90 °變化到 90 °而保持翻滾角 和偏航角 為 0 °, 那么根據 3 個標定 點得到的旋轉參數估計結果如圖 2 所示 . 當俯仰角 由

23、0 °增加到 30 °時 , 估計的俯仰角由 0 °增加到 3017 °, 而當俯仰角增加到 40 °時 , 估計的俯仰角是 3413 °. 在 俯仰角由 0 °開始減小的情況下 , 估計結果是類似的.這些 結 果 顯 示 如 果 旋 轉 角 在 相 對 較 小 的 區 間 - 30 °, 30 °內變化 , 那么提出的線性方法根據少量 的標定點就能獲得相對準確的估計結果.非線性估計 :對照圖 2, 圖 4 表明了當俯仰角 <由 - 90 °變化到 90 °而翻滾角 與偏航角 保

24、持為 0 °時 3 個旋轉角的絕對估計誤差 . 顯然 , 非線性估計誤差比線性估計誤差要小得多. 而且可以看出 , 非線性 估計在幾乎整個俯仰角的變化范圍內都能得到準確的估計結果 . 值得 注意 的是 , 當 俯仰 角 等于 - 90 °或90 °時偏航角的估計誤差大于 0104 °, 可能的原因是此 時由線性估計獲得的初始猜測大大偏離它們的實際 值 .圖 4 < 變化時旋轉參數的非線性估計結果F ig. 4 Non linea r e stim a tion re su lts of ro ta tiona l p a ram e te rs w

25、hen < va rie s圖 2 < 變化時旋轉參數的線性估計結果F ig. 2 L inea r e stim a tion re su lts of ro ta tiona l p a ram e te rs when < va rie s當模型點數由 3 增加到 10 ,而俯仰角 、翻滾角和偏航角分別是 60 °、40 °和 50 °時 , 3個旋轉角的絕對估 計誤差如圖 5 所示. 顯然 , 估計誤差都非常小 ( 10 - 4數量級 )且隨著模型點增加變得越來越小 .當標定點數目由 3 增加到 10 ,同時 3 個實際的旋轉角都保持為

26、1 °時 ,估計結果如圖 3 所示. 可以看 出 ,估計的旋轉角越來越準確. 當標定點數大于等于8時 ,估計結果十分準確且穩定. 這表明要使提出的 線性方法獲得 盡 可能 好的 估 計 結 果 , 則 最 好 已 知 8 個以上的標定點.圖 5 n增加時旋轉參數的非線性估計結果F ig. 5 Non linea r e stim a tion re su lts of ro ta tiona l p a ram e te rs when n va rie s平移向量 :平移向量實際上是標定點 G0 在相機坐標系下的三維坐標 , 由于假設標定點的像點已知 ,因而平移向量完全由其深度坐標

27、 (即 Z 坐標 ) 決定 .圖 6 顯示了當 G0 與相機之間的距離 T3 (平移向量的圖 3 n增大時旋轉參數的線性估計結果F ig. 3 L inea r e stim a tion re su lts of ro ta tiona l p a ram e te rs when n inc rea se s第 3個分量 , 即 Z 坐標 ) 變化時 ,根據 4 個特征點得到的絕對深度估計誤差. 由該圖容易看出 ,絕對深度 估計誤差是很小的 (最大的也小于 013 cm ) , T3 的大 小對估計結果幾乎沒有影響 . 此外 ,由本文提出的非線性技術得到的深度估計結果更加準確.誤差 (最后

28、那個標定點的誤差 )小于 10 cm ,與其實際值 11415 cm 相比 ,該誤差是可以接受的 ,因為用于估 計的數據是有噪聲的 , 而且估計結果是由線性估計 技術得到的 .圖 8 實際圖像測試時 T3 的線性估計結果F ig. 8 L inea r e stim a tion re su lts of T3 in ac tua l im age te sting圖 6 T3 的線性估計結果F ig. 6L inea r e stim a tion re su lts of T3非線性估計 : 圖 9 表明了當相機平移是 50 , 0 ,80 cm 且旋轉角是 0 °, 40 &#

29、176;, 30 °時的絕對深度 (即 平移向量的第 3 個分量 T3 )估計誤差. 估計的旋轉角 是 0109 °, 40102 °, 30100 °. 由該圖明顯可以看出 , 估計結果非常準確 . 最大深度估計誤差 (最后那個標定 點的誤差 ) 大 約 是 113 cm , 與 該 標 定 點 實 際 的 深 度11415 cm 相比 ,該誤差是非常小的 .4. 2 實際試驗為驗證該方法的有效 性和 實用 性 , 我們 還 做了 一些實際試驗. 采用的相機有一個 p an2tilt控制單元 ,圖像分辨率是 768 ×584像素 . 為了方便

30、獲取標定點 ,選取一個有 4 ×4 cm 網格的標定參照物為目標 ,如圖7所示 . 從目標的兩個面上任意選取 10 個網格點作 為特征點且每個面選取 5 個 . 由于測試的目的不是圖像處理算法 , 因此這些特征點的圖像坐標是手工 獲取的 ,誤差一般是 13 個像素 .圖 9 實際圖像測試時 T3 的非線性估計結果F ig. 9 Non linea r e stim a tion re su lts of T3 in ac tua l im age te sting5 結論 ( C on c lu s ion )本文提出了一種基于任意點對標定相機外部參 數的方法. 該方法有較大的靈活性

31、 ,能適用于 3 個以 上的任何數目的特征點 , 不需要特征點的任何絕對 信息 ,而且對特征點的位置關系沒有任何限制. 提出 的方法首先獨立地估計旋轉參數 , 當目標旋轉角較 小時可以直接得到線性閉式解 , 而當旋轉參數較大圖 7 實際試驗的一幅典型圖像F ig. 7 A typ ica l im age fo r ac tua l exp e rim en ts線性估計 :首先讓相機平移 50 , 0 , 80 cm ,再分別繞其 Z 軸 、Y 軸和 X 軸旋轉 0 °, 5 °, 5 ° ,那么 10個 標定點的絕對深度 (即平移向量的第 3 個分量 T3 )

32、估 計誤差如圖 8 所示 . 估計的旋轉角是 - 0117 °, 5121 °,4185 °. 顯然 ,估計結果是比較準確的 ,最大深度估計m ing cam e ras J . In te rna tional Jou rna l of Comp u te r V ision,2001 , 45 ( 2 ) : 107 - 127.Bougnoux S. F rom p ro jec tive to Euc lidean sp ace unde r any p rac tica l situa tion, a c ritic ism of se lf2ca li

33、b ration A . P roceed ings of the 6 th In te rna tional Confe rence on Comp u ter V ision C . N ew D e lh i, In2 d ia: N a ro sa Pub lish ing Hou se, 1998. 790 - 796.W ang F Y. A simp le and ana lytica l p rocedu re fo r calib ra ting extrin2 sic cam e ra p a ram e te rs J . IEEE Tran saction s on R

34、obo tic s and A u2 tom a tion, 2004 , 20 ( 1 ) : 121 - 124.鐘志光 , 易建強 , 趙冬斌. 一種基于點對的相機幾何標定方法 J . 機器人 , 2005 , 27 ( 1 ) : 31 - 34 , 40.時可以通過最小平方誤差方法獲得非線性解且初始估計值由線性解直接給出 . 估計出旋轉矩陣后 ,平移 向量能直接計算得到 . 試驗結果表明 ,提出的線性估 計技術能在 - 30 °, 30 °旋轉范圍內得到較準確的估計結果 , 而非線性技術能在旋轉角度的整個變化 范圍 ,即 - 90 °, 90 °

35、;內 ,得到較高精度的解. 5 6 參考文獻( Referen ce s)B rown D. C. C lo se2range cam e ra calib ra tion J . Enginee ring, 1971 , 37 ( 8 ) : 855 - 866.Fa ig W. Ca lib ra tion of c lo se2range p ho togramm e try system s: M a the2 m a tica l fo rm u la tion J . Pho togramm e tric Enginee ring and R emo te Sen sing, 19

36、75 , 41 ( 12 ) : 1479 - 1486.L uong Q T, Fauge ras O. Se lf2ca lib ra tion of a moving cam e ra frompo in t co rre spondences and fundam en ta l m a trice s J . In te rna tiona lJou rna l of Comp u te r V ision, 1997 , 22 ( 3 ) : 261 - 289.A gap ito L , H aym an E, R eid I. Se lf2calib ra tion of ro

37、 ta ting and zoo2 7 1 Pho togramm etric 2 作者簡介 :鐘志光 ( 19742) ,男 ,博士 . 研究領域 : 智能機器人 ,無線傳 感器網絡 .趙一鳴 ( 1958 2) ,男 ,教授 . 研究領域 :虛擬現實 ,計算智能 .林雪明 ( 19602) ,男 ,副教授 . 研究領域 : 計算智能 ,無線傳 感器網絡 . 3 4 (上接第 84 頁 ) 6 M ake la H , Ko sk inen K. N aviga tion of ou tdoo r mob ile robo ts u sing dead reckon ing and visua lly de tec ted landm a rk s A . P roceed ings of the 5 th In te rna tiona l Confe rence on A dvanced Robo tic s C . P iscat2 away, NJ , U SA: IEEE, 1991. 1051 - 1056.L eona rd J J , D u rran t2W hyte H F. Mob ile robo t loca liza tion by track2ing g