1、攝像機標定和三維重建攝像機標定和三維重建胡占義胡占義中國科學院自動化研討所中國科學院自動化研討所方式識別國家重點實驗室方式識別國家重點實驗室主要內容主要內容1、引言、引言2、圖象的構成過程、圖象的構成過程3、傳統標定方法、傳統標定方法DLT方法，方法，RAC方法和簡易標定方法方法和簡易標定方法4、 預備知識預備知識5、攝像機自標定、攝像機自標定6、基于自動視覺的攝像機標定、基于自動視覺的攝像機標定7、分層重建實踐、分層重建實踐8、多視點幾何、多視點幾何引言引言幾個問題幾個問題什么是攝像機標定什么是攝像機標定 ？為什么要對攝像機進展標為什么要對攝像機進展標定定 ？為什么要研討不同的攝像為什么要研

2、討不同的攝像機標定方法？機標定方法？什么是三維重建什么是三維重建 ？為什么要進展三維重建為什么要進展三維重建 ？引言引言三維重建是人類視覺的主要目的，也是計算機視覺三維重建是人類視覺的主要目的，也是計算機視覺的最主要的研討方向的最主要的研討方向. (Marr 1982)所謂三維重建就是指從二幅和二幅以上圖象恢復空所謂三維重建就是指從二幅和二幅以上圖象恢復空間點三維坐標的過程。間點三維坐標的過程。三維重建的三個關鍵步驟三維重建的三個關鍵步驟 圖象對應點確實定圖象對應點確實定 攝像機標定攝像機標定 二圖象間攝像機運動參數確實定二圖象間攝像機運動參數確實定oIIMomm eel lwzwxwyR,T

3、圖象的構成過程圖象的構成過程和和攝像機針孔模型攝像機針孔模型O Ou uy yx xv vcXcZcY1OwXwZwYwOwwwZYX,cccZYX,vu,yx,uuYX ,ddYX ,坐標系攝像機光學成像過程的四個步驟 tzyxRzyxwwwccc11013wwwTcccxyxtRzyxC CB BA AB BO Onmf111fn fm 2、透視投影透鏡成像原理圖 ccczyxM,cXcZcYuYuXuuyxm,ccuzxfxccuzyfy101000000001cccuuczyxffyxz2、透視投影小孔成像模型ccuzxfx ccuzyfy 101000000001cccuuczyxf

4、fyxz2、中心透視投影模型cYuYuXcXcZccczyxM,1Ouuyxp,dt uYuXdruuyuduuxudyxyyyxxxuu,3、畸變校正徑向和切向畸變 a :barrel distortionb :pincushion distortionabuYuXAxis of min tangentialdistortionAxis of maxTangentialdistortionsincot00dyyvvdxydxxuuddd1Ovu,00,vudydx,4、圖像數字化1O0udydx0vdYdX1100sin/0cot100ddvuuyxvfuffvudyfdxfvu1,1110

5、0sin/0cot100ddKvuuyxvfuffvu攝像機的內參數矩陣攝像機的內參數矩陣 K線性攝像機成像模型1010000000011cccczyxffzyx1100sin/0cot100yxvfuffvuvuu110100000000100sin/0cot1300wwwTKvuuczyxotRffvfuffvuz11013wwwTcccxyxtRzyx傳統的攝像機標定方法傳統的攝像機標定方法特點特點要求攝像機標定塊，算法復雜，精度高要求攝像機標定塊，算法復雜，精度高直接線性變換直接線性變換DLT變換變換 DLT: Direct Linear TransformationAbdal-Azi

6、z和Karara于70年代初提出了直接線性變換像機定標的方法，他們從攝影丈量學的角度深化的研討了像機圖像和環境物體之間的關系，建立了像機成像幾何的線性模型，這種線性模型參數的估計完全可以由線性方程的求解來實現。 DLTDLT變換變換直接線性變換是將像點和物點的成像幾何關系在齊次坐標下寫成透視投影矩陣的方式： DLTDLT變換變換1143wwwZYXPvus其中 為圖像坐標系下的點的齊次坐標， 為世界坐標系下的空間點的歐氏坐標， 為 的透視投影矩陣， 為未知尺度因子。 1 ,vuwwwZYX,Ps43DLTDLT變換變換0034333231142322213433323114131211upuZ

7、puYpuXppZpYpXpupuZpuYpuXppZpYpXpwwwwwwwwwwww消去 ，可以得到方程組:s當知 個空間點和對應的圖像上的點時，可以得到一個含有2* 個方程的方程組： DLTDLT變換變換0AL其中 為 的矩陣， 為透視投影矩陣元素組成的向量 。 12*2NLATpppppppppppp343332312423222114131211,NNDLTDLT變換變換 像機定標的義務就是尋覓適宜的 ，使得 為最小，即 | ALL|minALL給出約束： 134pBCCCLTT1)(為 的前11個元素組成的向量， 為 前11列組成的矩陣， 為 第12列組成的向量。LCABALDLT

8、DLT變換變換134p能否合理？ 約束 不具有旋轉和平移的不變性,解將隨著世界坐標系的選取不同而變化.134p證明：世界坐標系作剛性坐標變換10tRPP那么3433323213134ptptptpp顯然在普通的情況下3434pp另一個約束 具有旋轉和平移的不變性1233232231pppDLTDLT變換變換1coscoscos322212由1321R3P3R2R312111,rrr332313,rrr322212,rrr),(333231ppp向量 , , 是兩兩垂直的單位向量1R2R3RR. Tsai 的 RAC的定標算法 80年代中期Tsai提出的基于RAC的定標方法是計算機視覺像機定標方

9、面的一項重要義務，該方法的中心是利用徑向一致約束來求解除 像機光軸方向的平移外的其它像機外參數，然后再求解像機的其它參數?；赗AC方法的最大益處是它所運用的大部分方程是線性方程，從而降低了參數求解的復雜性，因此其定標過程快捷，準確。簡 介zt像機模型 徑向一致約束 定標算法 主要內容 cocxcyouyuxczOwywzwx世界坐標系和攝像機坐標系的關系TzyxRzyxwwwccc像機模型ccczyxM,cY1OcXuYuuyxp,uXcZO攝像機坐標系和圖像坐標系的關系ccuccuzyfyzxfx,像機模型理想圖像坐標到實際圖像坐標的變換只思索徑向偏向 udddduddddyyxykyxy

10、xxkx)()(221221像機模型從實際圖像坐標到數字圖像坐標的變換 0101,vydvuxdsudydxx0uc1OdxdYdXdyuvm0v像機模型徑向一致約束 wYwOwZwXozPPcZdPuPcO1ocYuxuycX徑向一致約束: PPPOozd/1定標算法 1.利用徑向一致約束來求解 和 yxttR,xs定標步驟:2.求解有效焦距 、 方向上的平移和畸變參數 fz1k定標算法步驟一1.求解外像機參數旋轉矩陣 和 、 方向上的平移 Rxy由一個空間點 和其圖像投影點 ,根據徑向一致約束性 可以得到下面的方程 wiwiwiZYX,fifiyx ,PPPOozd/16151411312

11、111diTyyyxxyxyxyxywididiwididiwidiwidiwidixrtrtrttstrstrstrstZxYxXxyZyYyXywi其中 )(),(yiydixixdicvdycudx定標算法步驟一假設得到一系列數目大于7個的標志點和它們的對應投影圖像點，就變成了一個過限制方程組，可以由最小二乘法解出以下的7個變量61751641514313212111,rtartartatstarstarstarstayyyxxyxyxyxy2.計算 |yt1262524rrr由 |yt21272625aaa定標算法步驟一3.確定 xs1232221rrr由 ， xs|21232221y

12、taaa4.計算旋轉矩陣 和 ，并確定 的符號 Rxtyt先假定取正號，由以下的公式可以計算出旋轉矩陣 和 xtRyyyxyxyxytartartarstarstarstar766554332211,/,/,/xyxstat/4定標算法步驟一取世界坐標系中任一標志點 ,那么可以計算出其在wiwiwiZYX,像機坐標系中的坐標ywiwiwicixwiwiwicitZrYrXrYtZrYrXrX654321,同時取這個坐標點在圖像上的投影點)(),(1yfiydixfixxdiCydxCxdsx在實際像機系統中， 應該 和同號，假設計算出兩者異號，dixciXyt那么 取為負號。最后求解987,r

13、rr425196143853627,rrrrrrrrrrrrrrr定標算法步驟二 對于一個標志點，可以得到以下的兩個方程zwiwiwiywiwiwididididizwiwiwixwiwiwididididitZrYrXrtZrYrXrfyxkyytZrYrXrtZrYrXrfyxkxx987654221987321221)()( 1當不存在徑向畸變時， 。 01k)()()()(987654987321wiwiwidiywiwiwizdiwiwiwidixwiwiwizdiZrYrXrytZrYrXrftyZrYrXrxtZrYrXrftx 2 1式變為 式 2定標算法步驟二對于一系列的標志

14、點，那么構成了一個超定的方程組，可以 用線性最小二乘法求出 和 。ztf 當存在徑向畸變時，仍運用式 求出 和 的初始值，然后 2ztf將求出的 和 連同 作為條件，對式 進展非線性優化，01k 1ztf估計出 、 和 的真實值。ztf1k張正友的平面標定方法 0,YXMcXcZcYvum ,wXwZwYwOO張正友的平面標定方法根本原理：110121321YXtrrKYXtrrrKvus 在這里假定模板平面在世界坐標系 的平面上 其中， 為攝像機的內參數矩陣， 為模板平面上點的齊次坐標， 為模板平面上點投影到圖象平面上對應點的齊次坐標， 和 分別是攝像機坐標系相對于世界坐標系的旋轉矩陣和平移向量KTvum 1TYXM 1t321rrr0ZMHms其中21321trrKhhhH0211hKKhTT212111hKKhhKKhTTTT根據旋轉矩陣的性質，即 和 ，每幅圖象可以獲得以下兩個對內參數矩陣的根本約束021rrT121 rr由于攝像機有5個未知內參數，所以當所攝獲得的圖象數目大于等于3時，就可以線性獨一求解出K張正友的平面標定方法張正友方法所用的平面模板張正友的平面標定方法算法描畫張正