1、基于投影矩陣的數碼相機定位摘 要本文根據數碼相機定位的相關數據圖像，建立了一個多坐標系下投影矩陣的相機定位模型，并對模型進行了檢驗，使用立體幾何的方法解決了雙目定位。1.針對問題一，根據圖像坐標系、攝像機坐標系與世界坐標系之間關系及攝像機標定原理，引入了投影矩陣：導出了世界坐標系中的點與其投影點之間的關系：其中投影矩陣至少需要6個控制點才能確定。2.問題二是在問題一的基礎上，利用仿射變換的不變性，通過公切線交點法，確定出投影矩陣，從而得到靶標上圓的圓心在圖像坐標系和攝相機坐標系中的坐標。如下表： 圖像坐標系（322.37，191.52）（423.55，194.44）（645.71，214.19

2、5）（585.725,502.305）（284.62,501.39）攝相機坐標系（-50.2,50.925,417.20）（-23.4,50.15,417.20）（35.375,44.925, 417.20）（19.505,-32.295,417.20）（-60.155,-31.055,417.20）3.針對問題三，先求出靶標平面上特殊點（即控制點）在像平面上的坐標，然后將其與在像平面上相應點的距離作為檢驗模型的參數。通過測定得出該模型的誤差小于3個像素，由此得出該方法有較高的精度和穩定性。4.針對問題四，建立以靶標為面的空間直角坐標系，根據靶標及其對應的像，采用立體幾何的方法建立了相機相對位

3、置的數學模型，確定了兩個相機在坐標系下的坐標以及其光軸與靶標平面的夾角。關鍵字：世界坐標系 投影矩陣 控制點 幾何分析一 問題重述數碼相機定位在交通監管（電子警察）等方面有廣泛的應用。所謂數碼相機定位是指用數碼相機攝制物體的相片確定物體表面某些特征點的位置。最常用的定位方法是雙目定位，即用兩部相機來定位。對物體上一個特征點，用兩部固定于不同位置的相機攝得物體的像，分別獲得該點在兩部相機像平面上的坐標。只要知道兩部相機精確的相對位置，就可用幾何的方法得到該特征點在固定一部相機的坐標系中的坐標，即確定了特征點的位置。于是對雙目定位，精確地確定兩部相機的相對位置就是關鍵，這一過程稱為系統標定。標定的

4、一種做法是：在一塊平板上畫若干個點， 同時用這兩部相機照相，分別得到這些點在它們像平面上的像點，利用這兩組像點的幾何關系就可以得到這兩部相機的相對位置。然而，無論在物平面或像平面上我們都無法直接得到沒有幾何尺寸的“點”。實際的做法是在物平面上畫若干個圓（稱為靶標），它們的圓心就是幾何的點了。而它們的像一般會變形，則必須從靶標上的這些圓的像中把圓心的像精確地找到，標定就可實現。（1）建立數學模型和算法以確定靶標上圓的圓心在該相機像平面的像坐標, 這里坐標系原點取在該相機的光學中心，x-y平面平行于像平面；（2）對由題中給出的圖像分別給出的靶標及其像，計算靶標上圓的圓心在像平面上的像坐標, 該相機

5、的像距（即光學中心到像平面的距離）是1577個像素單位(1毫米約為3.78個像素單位)，相機分辨率為1024×768；（3）設計一種方法檢驗你們的模型，并對方法的精度和穩定性進行討論；（4）建立用此靶標給出兩部固定相機相對位置的數學模型和方法。二 模型假設（1）靶標為物平面；（2）相機在拍照時，機身不晃動且靶標也是靜止的；（3）在拍照時，光線充足；（4）不考慮拍照時發生畸變；（5）相機的焦距是不變的。三 符號說明靶標中某一點的坐標（世界坐標系）像坐標系下點的坐標攝像機坐標下點的坐標投影矩陣、外部參數矩陣、內部參數矩陣一個像素在軸和軸上的物理尺度光學中心在向坐標系下的坐標旋轉矩陣三維平

6、移向量焦距與一個像素物理尺寸的比旋轉矩陣中的元素靶標上圓共切線的切點靶標上圓共切線的切點的像靶標上圓的像靶標上圓的其它切點圓對應像中的切點靶標所在平面方程的系數、靶標平面法向量與軸和光軸的夾角，垂點及光軸與靶標平面的交點四 模型分析建立與求解4.1問題一由于物平面（靶標）與相機像平面是分離的，而且靶標中的點與像平面中的點是一一對應的關系，據此我們可以求得靶標中的點與像平面中的點滿足的矩陣方程式，只要確定投影矩陣，就可以確定靶標上任一點（例如圓的圓心）在該相機像平面的像坐標。這就是解決問題的相機模型。這里中的是圖像上定義的直角坐標系，每一個像素的坐標分別是指該像素在矩陣中的列數和行數，而坐標1是

7、指三維圖形所形成平面的像，稱為齊次坐標。4.1.1題目使用的四個坐標系（1）世界坐標系 圖一中，在世界坐標系中，三維空間中的一點可以表示為。在本題中，靶標上的點就是在世界坐標系中度量的。（2）照相機坐標系 圖一中，該坐標系以相機鏡頭的光學中心為原點,光軸為軸。攝像機坐標系上的一點可以表示為。（3）像素坐標系圖一中，每一個像素的坐標分別是指該像素在矩陣中的列數和行數。由于只表示像素位于矩陣中列數和行數，并沒有用物理單位表示出該像素在圖像中的位置，因而需要建立以物理單位（毫米）表示的圖像坐標系。（4）圖像坐標系圖1中，該坐標系以圖像內某一點為原點，軸與軸分別與軸平行，表示以毫米為單位的圖像坐標系坐

8、標。本題中，原點定義在相機的光軸與圖像平面是交點，該點為與圖像的中心處。圖14.1.2 四個坐標系之間的相互聯系（1）圖像坐標系與像素坐標系如圖2所示，若在坐標系（像素坐標系中）的坐標為，每一個像素在軸和軸上的物理尺度分別為，則圖像中任意一個像素在兩個坐標系下的坐標滿足如下公式：將公式（1）用齊次坐標表示：圖2（2）相機坐標系與世界坐標系在整個空間區域中，相機可安放在任何位置，從4.1.1中知道，世界坐標系是一個最為普遍意義的坐標系，是一個基準坐標系，根據相關資料2，設法找到相機坐標系與世界坐標系的關系。相機坐標系與世界坐標系之間的關系可以用旋轉矩陣尺和平移向量來描述，滿足下式：對（3）式的幾

9、點說明：1）分別表示兩個坐標系下的齊次坐標；2），為三維平移向量；3）是由相機所處外界環境決定的，稱為外部參數。（3）相機坐標系與像素坐標系相機坐標系與像素坐標系之間的關系是由相機自身的參數決定的，相機自身的參數主要有：焦距，像素是物理長度，光軸與像平面的交點。根據相關資料2，得到相機坐標系與像素坐標系之間的關系：注 上式中，為相機焦距，分別是每一個像素在軸和軸上的物理尺度；，稱為相機內部參數。4.1.3計算投影矩陣由（3）（4）兩式，得到像素坐標和空間某一點的世界坐標的關系：其中為投影矩陣且，即已知空間點的世界坐標和圖像坐標可求得矩陣。對于世界坐標系中的任意一點，只要求出矩陣，即可求出該點在

10、相機像平面上成像的像素位置，還可以根據（2）式得到圖像坐標系中具體坐標。4.1.4相機內外參數（、）的求解（1）由，可得：其中，矩陣中共含有17個未知參數，只要確定出這17個參數，就可求出矩陣。（2），得到部分約束條件如下：旋轉矩陣中雖然有9個未知參數，但只要確定其中三個，根據（7）式，另外的參數就可由這三個求得，即矩陣中有三個獨立參數。綜上所述，矩陣中需要確定的未知量有11個，這里定義控制點3：世界坐標系中某點所對應像素坐標系里的某點，這兩個點稱為一個控制點。一個控制點可以確定兩個方程（u方向v方向各一個），所以只需要取6個控制點便可以求取相機內部參數和外部參數，從而求出投影矩陣，即找出世界

11、坐標系內6個點和它們所對應像素坐標系內6個點的坐標，便可得矩陣。求得投影矩陣，根據（5）式，對世界坐標系內的任意點，都可以給出這點在像素坐標系的坐標，進而得到圖像坐標系中的坐標，如果像距已知，就是這點在相機坐標系中的坐標。4.2問題二 本題是問題一的模型在實際問題中的應用，解題思路是找出在原圖與照片中滿足幾何上一一對應的點，這些點稱為控制點，找到控制點，用解方程組的辦法確立（5）式的各個系數。根據題意，確定了（5）式的各個參數，也就得知模型的旋轉矩陣、平移向量，進而得到投影矩陣，這樣，（5）式就變為一個方程左邊是像平面坐標（像素坐標系）右邊是物平面坐標（在世界坐標系下，或者稱為靶標平面）的矩陣

12、方程，此時，只要知道物平面上任意點坐標（在世界坐標系下），就可以得到像平面坐標。4.1.1問題分析由題意，（5）式中的內部參數是可以確定的：（1）照片分辨率是1024×768，按照圖2建立像素坐標系，則（5）式中，；（2）每個像素的大?。唬?）在相機坐標系里相機光學中心（原點）到像平面的距離為，根據題意，；（4）視相機焦距為未知參數進行求解。綜上，（5）式中獨立的未知參數只有7個（旋轉矩陣有3個獨立的未知參數，平移向量有3個未知參數，焦距未知），每個控制點能確立兩個方程，最少需要找到四組控制點才能將7個參量確定。4.2.2模型建立求解4.2.2.1確定控制點首先要找到控制點，就是找到

13、物平面某點（世界坐標）與對應像平面的像（相機坐標）的坐標。找控制點的步驟：1）引理：若物平面上一直線經過某點，則該點在像平面上的像一定在的投影直線上；反之，若直線不經過點（光軸與共面的情況除外），則像平面上點的投影點一定不在直線在像平面的投影上。這個定理等價于直線所成的像仍然是直線（除直線與光軸重合的情況）。用反證法能簡單證明（證明略）。2）分析原圖（靶標），如下圖所示，做出過靶標中兩個圓的公切線，公切線的交點分別為，五個圓在像平面的像分別命名為，如下圖，由上面定理可知，原圖中的公切線在像平面的像仍然是閉合曲線的公切線，的像是閉合曲線的公切線的交點。我們取的原則是使點的分布盡量均勻，減小由于切

14、線判斷造成的誤差。圖3在世界坐標內的坐標根據題意可直接讀出，在像平面（像素坐標系）的坐標可以用Matlab軟件處理照片得到。3）確定要在像素坐標系內找到照片中閉合曲線的公切線的交點，公切線必須精確找到，尋找公切線產生誤差會對結果造成很大影響。采用Matlab命令分析和圖像觀察不失為尋找公切線的一個辦法。用繪圖軟件Photoshop能準確描繪出公切線，然后把照片導入Matlab，用imtool命令分析照片，用Pixel Region觀察放大后的照片像素點，這樣就可以直接在像素圖上讀取，如下圖：圖4用這種方法，讀出圖3中八組數據，數據見下表，這樣就有了八個控制點，表1組別像素坐標（287，146）

15、（682，177）（242，537）（609，534）組別像素坐標（327，467）（598，246）（556，470）（358，232）4.2.2.2模型求解四組控制點就可以確定投影矩陣，我們分別以，分別計算投影矩陣，然后取均值，由于時間倉促，我們并沒能夠做出很多組值來降低誤差，但是我們發現這兩組數據求得的投影矩陣很相似，而且求得的最后圓心的像坐標也很相似，所以將兩種方法求得的均值作為結果。（1）第一組數據求解用Matlab中fsolve函數求旋轉矩陣和平移向量，得如下結果：，由（8）（9）兩式求投影矩陣將和投影矩陣代入（5）式得靶標上的點在像素坐標系中的坐標，由（1）式還可以確定圖像坐標系

16、坐標，由于在相機坐標系中軸垂直于像平面，且像距為1577/3.78=417.20(mm)，可以確定相機坐標系坐標：表2像素坐標系坐標（318.25，189.46）（417.78，187.64）（640.96，211.34）（583.67，503.27）（280.56，502.65）圖像坐標系坐標（-51.32，51.47）（-24.93，51.95）（34.12，45.68）（18.96，-33.55）（-61.23，-31.39）相機坐標系坐標（-51.32，51.47，417.20）（-24.93，51.95，417.20）（34.12，45.68，417.20）（18.96，-33.55

17、，417.20）（-61.23，-31.39，417.20）（2）第二組數據求解，旋轉矩陣，平移向量，投影矩陣分別為：， 求出像素坐標系坐標、圖像坐標系坐標、相機坐標系坐標，這里只列出了像素坐標系坐標和相機坐標系坐標：表3像素坐標系坐標（326.49，193.58）（429.32，201.24）（650.46，217.05）（587.78，501.34）（288.68，500.13）相機坐標系坐標（-49.08，50.38，417.20）（-21.87,48.35，417.20）（36.63，44.17，417.20）（20.05,-31.04，417.20）（-59.08,-30.72，41

18、7.20）對于表2表3的數據取均值，得到結論：表4 像素坐標系坐標（322.37，191.52）（423.55，194.44）（645.71，214.195）（585.725,502.305）（284.62,501.39）相機坐標系坐標（-50.2,50.925,417.20）（-23.4,50.15,417.20）（35.375,44.925,417.20）（19.505,-32.295,417.20）（-60.155,-31.055,417.20）4.3檢驗模型方法 4.3.1檢驗模型在我們模型中，我們是選取八個公切線的交點，然后計算出投影矩陣，用投影矩陣計算圓心的像點坐標。對這個模型的可

19、行性進行檢驗。如圖7所示，在模型中用求解得到投影矩陣，為檢驗模型的可行性，在靶標上，取另外的公切線交點，用投影矩陣計算出這兩點在像平面的像點，而像平面上對應的公切線交點，比較和坐標之間的距離，距離越短，重合程度越高，我們在問題二中的模型越合理。如圖7，舉例說明圖5，經計算在像平面的投影為誤差小于3像素，說明我們的模型是合理的。4.3.2分析檢驗方法的精度和穩定度通過分析，影響檢驗方法精度和穩定度主要在兩個方面：（1）世界坐標系變換的算法本身的精度；（2）在求解的過程中用到的切線的描繪。參閱相關資料12，這個算法的精度和魯棒性（穩定性）都是非常好的，即使系統有大的波動，也能較好地恢復靶標的歐式度

20、量（坐標系的轉換）。所以在分析檢驗方法的精度主要考慮切線描繪的精度，也就是說，檢驗方法的精度和穩定度在受到切線誤差的影響越小，那么檢驗方法的精度和穩定度就越好。在求每條公切線的時候，都有可能產生誤差，這是因為在照片處理的過程中，不可能存在絕對圓滑的圖形，圖形的邊緣或多或少都是有“顆?！钡摹Ｋ哉`差的出現是隨機的，這個誤差可以認為是系統誤差，所以減小系統誤差的辦法就是多次測量，多次的試驗。在本題中，公切線有很多交點，可以選擇很多對點對模型進行度量，然后可以取像平面上點的參差平方和檢驗模型。所以，這種大量點檢驗的方法是精度較高穩定性較好，也是合理的。4.4問題四要根據題中所給的正方形靶標建立確定兩

21、相機方位的模型，只需求出相機透鏡光學中心（假設相機的位置由光學中心決定）在我們建立統一坐標系下的坐標，由于相機還有鏡頭的方向性，故我們還要得到它鏡頭的朝向。由于題中只給了一臺相機所拍攝的靶標的像，所以這臺相機的位置和方向是可以根據我們要建立的模型去確定的，而另外一臺相機的方位的確定采用類似的方法，即可得到它們的相對位置，確立的基本算法如下：第一步，由題中所給的圖2、3，以及第二問求得的五個圓心所在像的坐標（這里坐標系的原點在相機的光學中心），根據光學中透鏡成像的原理（圖五），設靶標所在面的方程為，將所得到圓心的像沿反方向與靶標平面相交一點，這樣可以得到五個圓心的位置，又因為這五個圓圓心的連線要

22、滿足圖2中正方形（邊長為100mm）這一要求，就可以列出對應的方程組，用相關的matlab軟件工具可以得到的值即唯一確定靶標的平面方程。圖 6第二步，在確定了靶標平面方程以后，由于前面解決問題都是建立在以相機鏡頭的光學中心為原點的空間坐標系中的，要確立相機的方位，我們需要建立另外一個參考坐標系，從而來得到相機在這個坐標體系下的具體位置，我們考慮將新坐標系的原點定在靶標平面正方形的中心位置上，以垂直靶標平面的軸為軸。在最初的坐標系（原點為鏡頭的光學中心）下，已知靶標平面的方程，由此確立了該面的法向量，可以求出其與軸方向單位向量的夾角，從而計算得出光軸與靶標平面的夾角。第三步，從鏡頭的光學中心（相機所在位置）引靶標平面的垂線并做出光軸在其面上的投影，設垂點為，光軸與靶標平面的交點為，現設定軸，以平行邊為軸，以垂直邊為軸。圖7第四步，確定相機的位置，首先確定坐標