工學碩士學位論文基于雙目視覺的三維信息恢復THREEDIMENSIONALINFORMATIONRECOVERYBASEDONBINOCULARVISION學科專業控制工程機電工程與自動化學院二零一六年六月摘要現實世界是一個三維立體世界，通常的二維顯示已很難滿足人們的需求，人們希望能夠真實的還原出空間物體的三維信息。隨著現代信息技術的飛速發展，三維顯示技術不斷走向成熟，它能夠真實再現客觀世界的場景，呈現出場景的深度、層次和真實性。越來越多的3D應用正在進入并改善著我們的生活。雙目視覺是機器視覺的一種重要形式，具有精度高、擴展能力強大，連續工作時間長、結果易于保存和復制等不可替代的優點，是目前應用比較廣泛的三維恢復技術之一。本文分別對雙目視覺系統的構建、雙目攝像機的標定、圖像的獲取與預處理、特征提取與匹配、深度信息恢復等五個部分進行討論與分析，主要的內容包括（1）搭建雙目視覺平臺，利用該平臺進行圖像的獲取，攝像機的標定，雙目立體匹配，以及三維深度信息提取。調整兩個攝像頭的高度，保證在使用過程中雙目攝像機成像處在同一水平線上，減小系統誤差。（2）結合平面標定模板的攝像機標定方法，使用MATLABGUI設計攝像機標定界面，該標定界面操作簡單、方便、快捷，簡化了攝像機標定工作。首先打印一個標準2D的79（252MM，324MM）棋盤格平面標定板，使用左、右攝像機從不同角度各拍攝20張棋盤標定模板圖像，輸入到所設計的攝像機標定界面，進行標定，求解出左、右攝像機參數。（3）使用已標定的雙目攝像機獲取立體圖像對，對獲取的圖像進行預處理，通常獲取的圖像中包含的信息量比較大，而且還有可能摻雜著各種噪聲。因此在進行立體匹配之前，需要把復雜的有噪聲的圖像簡單化。主要是對圖像進行灰度化處理、平滑濾波，減少圖像中的噪聲干擾，提高圖像邊緣的可檢測性，為雙目立體匹配打好堅實基礎。（4）雙目立體匹配主要是對待匹配的圖像和參考圖像進行特征點的檢測與匹配，得出兩幅圖像上對應特征點之間的差異，求出兩幅圖像的視差。選取四組不同的圖像對SIFT和SURF匹配算法在特征點檢測數量和算法運行時間上進行實驗對比，由實驗結果選擇性能較好的特征匹配算法，對目標圖像進行匹配，得到視差。（5）三維信息恢復是通過雙目視覺三角測量原理，計算出目標體的深度信息。通過改變雙目視覺系統與目標物體的距離，選取測量點進行測試，將實驗得到深度信息與真實信息比較，得到系統的誤差大小，實驗結果表明在雙目視覺系統的測量范圍內，本文的雙目視覺系統的總體誤差在5以內，誤差較小，為后續的應用奠定了理論基礎。關鍵詞雙目視覺；攝像機標定；立體匹配；三維信息恢復ABSTRACTTHEREALWORLDISATHREEDIMENSIONALWORLD,USUALLY,2DDISPLAYCANNOTMEETTHENEEDSOFHUMANBEINGSPEOPLEWANTTOBEABLETOTRULYRESTORETHETHREEDIMENSIONALINFORMATIONOFSPACEOBJECTSWITHTHERAPIDDEVELOPMENTOFMODERNINFORMATIONTECHNOLOGY,3DDISPLAYTECHNOLOGYHASBECOMEMATURE,ITCANREPRODUCETHEOBJECTIVEWORLDOFTHESCENE,SHOWINGTHEDEPTHOFTHESCENE,THELEVELANDAUTHENTICITYMOREANDMORE3DAPPLICATIONSAREENTERINGANDIMPROVINGOURLIVESBINOCULARVISIONISANIMPORTANTFORMOFMACHINEVISION,HASTHEADVANTAGESOFHIGHPRECISION,POWERFULEXPANSIONABILITY,LONGCONTINUOUSWORKINGTIME,RESULTSAREEASYTOSTOREANDCOPYIRREPLACEABLEBINOCULARVISIONISONEOFTHEMOREWIDELYUSED3DRECOVERYTECHNIQUESTHECONSTRUCTIONOFBINOCULARVISIONSYSTEM,BINOCULARCAMERACALIBRATION,IMAGEACQUISITIONANDPREPROCESSING,FEATUREEXTRACTIONANDMATCHING,DEPTHINFORMATIONRECOVERYAREDISCUSSEDANDANALYZEDINTHISARTICLE,MAINLYCOMPLETEDTHEFOLLOWINGWORK1BUILDAPLATFORMOFBINOCULARVISIONANDUSETHISPLATFORMFORIMAGEACQUISITION,CAMERACALIBRATION,BINOCULARSTEREOMATCHING,DEPTHANDTHREEDIMENSIONALINFORMATIONEXTRACTIONADJUSTTHEHEIGHTOFTHETWOCAMERAS,GUARANTEEINTHEPROCESSOFUSINGBINOCULARBINOCULARCAMERAIMAGINGATTHESAMELEVEL,REDUCETHESYSTEMERROR2COMBINEDWITHTHECAMERACALIBRATIONMETHODOFPLANECALIBRATIONTEMPLATE,USINGMATLABGUIDESIGNCAMERACALIBRATIONINTERFACE,THECALIBRATIONINTERFACEISSIMPLE,CONVENIENTANDFAST,ANDSIMPLIFIESFIRSTLYPRINTASTANDARD2D79252MM,324MMCHECKERBOARDPLANARCALIBRATIONBOARD,USETHELEFTANDRIGHTCAMERASSHOOTING20ACHESSBOARDCALIBRATIONTEMPLATEIMAGEFROMDIFFERENTANGLES,INPUTTOCAMERACALIBRATIONINTERFACEDESIGNEDTOCAMERACALIBRATIONANDSOLVETHELEFTANDRIGHTCAMERAPARAMETERS3USINGTHECALIBRATEDBINOCULARCAMERATOOBTAINTHESTEREOIMAGE,BEFORESTEREOMATCHING,COMPLICATEDNOISYIMAGENEEDSTOBEPREPROCESSEDMAINLY,SMOOTHINGFILTERINGFORGRAYIMAGETOREDUCETHEINTERFERENCEOFTHENOISEOFIMAGETOENHANCEIMAGES,IMPROVEIMAGECONTRAST,IMPROVETHEDETECTIONOFIMAGEEDGE,PROVIDEDASOLIDFOUNDATIONFORSTEREOMATCHING4BINOCULARSTEREOMATCHINGISMAINLYTODEALWITHTHEMATCHINGIMAGEANDREFERENCEIMAGETODETECTANDMATCHTHEFEATUREPOINTS,ANDTOFINDOUTTHEDISPARITYBETWEENTHETWOIMAGESSELECTFOURDIFFERENTSETSOFIMAGESTOSIFTANDSURFMATCHINGALGORITHMINNUMBEROFFEATUREPOINTSDETECTIONANDRUNNINGTIMEOFTHEALGORITHMWERECOMPAREDACCORDINGTOTHEEXPERIMENTALRESULTS,WESELECTBETTERPERFORMANCEOFTHEFEATUREMATCHINGALGORITHMTOMATCHTHETARGETIMAGEANDOBTAINTHEDISPARITYVALUE53DINFORMATIONRECOVERYISTHROUGHTHEBINOCULARVISUALTRIANGULATIONPRINCIPLECALCULATEDTHEDEPTHINFORMATIONOFTHEOBJECTBYCHANGINGTHEDISTANCEBETWEENTHEBINOCULARVISIONSYSTEMANDTHEOBJECT,THEMEASUREMENTPOINTSARESELECTEDTOBETESTEDTHEEXPERIMENTALRESULTSARECOMPAREDWITHTHEREALINFORMATION,ANDTHEERRORSIZEOFTHESYSTEMISOBTAINEDTHEEXPERIMENTALRESULTSSHOWTHATINTHEMEASUREMENTRANGETHETOTALERROROFTHEBINOCULARVISIONSYSTEMISLESSTHAN5THISLAYSTHETHEORETICALFOUNDATIONFORTHEFOLLOWINGAPPLICATIONKEYWORDSBINOCULARVISIONCAMERACALIBRATIONSTEREOMATCHINGTHREEDIMENSIONALINFORMATIONRECOVERY目錄摘要VABSTRACTVII目錄IX第一章緒論111研究的背景與意義112國內外研究概況2121國外研究概況3122國內發展現狀與前景分析413論文主要工作和結構安排5131主要工作5132結構安排6第二章攝像機標定及其界面設計821攝像機模型8211圖像坐標系、攝像機坐標系與世界坐標系9212線性攝像機模型13213非線性攝像機模型15214鏡頭畸變的校正1722攝像機標定18221線性攝像機標定19222雙目視覺攝像機標定2223攝像機標定界面設計2324本章小結29第三章圖像預處理與邊緣檢測3131圖像獲取3132圖像預處理32321灰度變換32322平滑濾波3433邊緣檢測37331邊緣檢測理論38332邊緣檢測算子39333實驗結果與分析4234本章小結44第四章雙目立體匹配算法4541立體匹配原理45411匹配基元的正確選擇45412匹配約束條件45413匹配算法分類4742特征點檢測47421基于改進的HARRIS角點檢測算法47422角點檢測結果對比5043特征匹配算法52431基于SIFT的立體匹配算法52432基于SURF的立體匹配算法59433SIFT、SURF算法對比分析6244本章小結66第五章三維信息恢復6751雙目視覺三角測量原理6752系統組成69521硬件組成69522系統工作流程7053三維信息恢復實現71531攝像機標定實現71532雙目立體匹配實現77533三維深度信息提取78534誤差分析8254本章小結82第六章總結與展望8361總結8362展望83參考文獻85作者在攻讀碩士學位期間發表的論文91作者在攻讀碩士學位期間參與的項目92致謝93第一章緒論11研究的背景與意義機器視覺1最先應用的領域是工業制造，因為通過機器視覺的自動識別功能，可以非常好的代替人眼識別。在一些不適合于人工作業的危險工作環境或人眼視覺難以滿足要求的場合，常用機器視覺來替代人工視覺；在大批量工業生產過程中，不再依靠人來完成，用人眼視覺檢查產品質量效率低且精度不高，用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。機器視覺就是利用機器來代替人的眼睛，不僅要獲取簡單的圖像而且要通過機器本身的機器視覺系統對所獲圖像的各種信息進行處理、分析和計算，并對計算結果做出相應的定量解釋和定性分析，從而進行相應的決策3。在工業方面，隨著工業40的興起帶動機器視覺升級，對機器視覺設備需求大幅增溫。相關產品開發商正著力研發3D視覺感測技術，讓機器視覺設備不僅能判斷物件顏色，更能辨別出質感和空間位置，大幅提高辨識精準度，以滿足更精密的自動化控制應用。在生活娛樂方面，虛擬現實（VR）最為火爆，虛擬現實技術就是利用計算機生成一種模擬環境讓參與者置身于計算機生成的三維圖像世界中，感受逼真的三維世界。在VR系統中，雙目立體視覺起了很大作用。通過對攝像頭的實時畫面進行分析，采用立體視覺技術來獲取圖像的深度圖，得出深度信息進而可以感知深度。對于人來說，人眼是高級的視覺系統，人的視覺系統具有識別能力強、分辨率高、能快速適應靈活多變的外部環境等優點。但也有其自身的缺點，例如人的雙眼不能長時間的工作，否則獲取外界信息的能力就會降低，人眼在特定的環境時，它的識別能力也有一定的限制，還有就是受情緒的影響很大。表11是機器視覺與人眼視覺在不同類別下的對比。表11機器視覺與人眼視覺比較類別人眼視覺機器視覺適應性適應性強，可在復雜及變化的環境中識別目標適應性差，易受背景及環境變化的影響智能具有高級智能智能很差，不能很好地識別變化的目標灰度分辨力差，一般能分辨64個灰度級強，具有多個灰度級速度01秒的視覺暫留使人眼無法看清楚快速運動的目標快門時間可達到10微妙左右，處理器的速度越來越快運動分析定量分析定量分析，但受限制感光范圍400NM750NM范圍的可見光紫外光、紅外光、可見光環境要求對環境溫度、濕度的適應性差對環境適應性強觀測精度精度低，無法量化精度高，可到微米級，易量化測距可以定量估計能力非常有限二維描述高度發達對目標能較好的描述三維描述高度發達非常低級其他主觀性，受情緒影響，易疲勞客觀性，可連續工作12國內外研究概況隨著計算機技術的快速發展，機器視覺也相應地獲得了飛速發展，一些新概念、新方法和新理論相繼出現，與之相關的機器視覺的成本也隨之大幅度的降低，機器視覺具有非常突出的特點，符合現代工業的發展要求，使得機器視覺在世界范圍內得到了廣泛的應用2。全球范圍內，機器視覺產業主要在北美、歐洲以及日本地區發展迅速，正處于產業成熟期，在工業40等市場熱點的推動下，歐美、日本等國在機器視覺技術方面將會有不斷的發展與創新，國際市場上的機器視覺規模不斷的增長。另外，中國機器視覺市場正在繼北美、歐洲和日本之后，成為該領域世界第四大市場，占81（如圖11所示），正在引起世界各大廠商越來越多的重視。01203405607北美歐洲日本中國其他6114950840710圖11全球機器視覺市場地區分布圖121國外研究概況在國際上，歐美、日本等發達的國家和地區利用堅實的、強大的工業基礎，投入大量的人力、財力、物力來研究和開發機器視覺，不僅在硬件方面開發投入使用，而且對軟件也進行不斷升級，提高算法的優越性。通過理論與實際應用的結合，不斷將理論研究投入到實際應用中去，致使機器視覺不斷的發展進步，取得了非常好的成果。例如，華盛頓大學與微軟公司合作為火星衛星“探測者”號研制了寬基線立體視覺系統，使“探測者”號能夠在火星上對其即將跨越的幾千米內的地形進行精確的定位導航3。系統采用非線性優化得到兩次拍攝圖像時攝像機的相對準確的位置，利用魯棒性強的最大似然概率法結合高效的立體搜索進行圖像匹配，得到亞像素精度的視差，并根據此視差計算圖像對中各點的三維坐標。日本大阪大學自主開發了一套自適應雙目視覺伺服系統，該自適應雙目視覺系統對未知運動方式的目標物體能夠實現非常好的自適應跟蹤4。美國麻省理工學院利用雙目立體視覺系統，通過三角測量原理求出目標物體的深度信息，再采用改進圖像分割方法，可以在非常快速的環境中對視頻圖像進行目標物體位置的分割，并取得了非常好的效果5。日本東京大學機將機器人整體姿態信息整合到實時雙目立體視覺系統中，整合之后的雙目立體視覺系統可以對機器人進行導航，實時的躲避障礙物6。由于機器視覺本身的結構就非常的復雜，所以只能不斷的進行科學研究與創新。雖然機器視覺技術還面臨很多問題，但是發達國家和地區在這一領域仍然處于國際領先地位。122國內發展現狀與前景分析隨著我國經濟的快速發展，對機器視覺技術的需求越來越廣泛，推動了機器視覺技術的迅速發展，國內相關高校、研究所和企業在機器視覺技術領域不斷的進行積極的探索和大膽的嘗試，將視覺理論與實際應用緊密結合，并逐步將機器視覺技術應用到工業生產。比如，西北工業大學博士研究生針對雙目視覺系統結構，采用三角法建立了雙目視覺測量系統的結構參數模型，分析雙目視覺系統結構參數與空間被測點之間的關系特性，研究各結構參數對測量精度誤差分布的影響，通過仿真實驗給出了小誤差時的結構參數的最佳取值范圍7。上海大學通信與信息工程學院提出了基于神經網絡的雙目立體視覺攝像機標定方法8。首先對攝像機進行線性標定，然后通過網絡訓練建立起三維空間點位置補償的多層前饋神經網絡模型，此方法對雙目立體視覺攝像機的標定具有較好的通用性。東南大學在雙目視覺基礎上提出了新的特征匹配算法，該特征匹配算法能夠完成非接觸式的測量，并且測量精度較高，該匹配算法對測量的對象沒有特殊的要求，可以是三維不規則的偏轉線圈8。浙江大學機械學院通過建立雙目立體視覺系統，采用透視成像的原理對多自由度的機械設備進行檢測，可以實現精確的位姿動態檢測，取得了較好的成效9。哈爾濱工業大學提出了異構雙目活動視覺系統，該雙目活動視覺系統能夠對全自主的足球機器人進行導航，實現足球機器人的一系列動作10。維視圖像公司采用雙目相機，從相機內參數標定、鏡頭畸變標定、雙目立體匹配等方面取得了非常好的效果。該系統可以實現機器人導航、微操作系統的參數檢測、三維測量和虛擬現實等應用。還有的高校與相關機器視覺的企業進行密切的合作，將機器視覺理論研究與企業相結合，把研究成果落到實處，逐漸地應用到現實生活中，同時企業也不斷的加大投入，取得了全面的發展和改進，獲得了一定的成果。我國的機器視覺應用范圍涵蓋了工業生產、農業生產、軍事、航空航天、氣象預測、天文觀測、公安偵查、交通運輸管理、食品藥品安全、科學研究等各行各業。在我國，機器視覺較發達國家起步較晚，機器視覺行業存在非常大的發展空間，行業市場規模在不斷擴大，對機器視覺的需求巨大。13論文主要工作和結構安排131主要工作本論文以機器視覺理論為基礎，主要從系統的搭建、攝像機的標定及界面設計、圖像濾波與邊緣檢測、特征點的檢測與立體匹配算法、深度信息的提取等部分對雙目視覺進行了研究與實驗，詳細講解了基于雙目視覺的三維信息恢復。所做的主要工作如下（1）研究了雙目視覺理論知識，搭建了本文的雙目視覺平臺，利用該平臺進行圖像的獲取，攝像機的標定，雙目立體匹配，以及三維深度信息提取。調整兩個攝像頭的高度，保證在使用過程中雙目攝像機成像處在同一水平線上，減小系統誤差。（2）通過對攝像機標定技術的學習，結合張正友平面棋盤格標定法，使用MATLABGUI設計出攝像機標定界面，該標定界面既可以標定單目視覺的攝像機，也可以同時標定雙目視覺的左、右兩個攝像機。制作平面棋盤格標定板，使用左、右兩個攝像機各拍攝20幅標定板圖像，輸入到標定界面，計算出攝像機的相關參數。（3）詳細分析了改進的HARRIS角點檢測算法，通過對五組不同的圖像進行角點檢測實驗，從實驗結果可以看出，改進后的算法，即加入區域像素的相似度優化的HARRIS角點檢測算法檢測出的角點數量增加，并且算法核心部分的平均消耗時間比未優化的算法提高了20左右。（4）對SIFT特征匹配算法與SURF特征匹配算法進行了詳細的分析，通過多組實驗直觀的比較兩種匹配算法在特征點檢測和算法運行時間上的性能，結合實驗結果分析兩種匹配算法的優缺點。根據本文后續的應用，將雙目視覺應用于掃地機器人導航，避障，選取綜合性能較好的SURF匹配算法，進行雙目立體匹配，獲取視差，為后續的三維信息提取做準備。（5）使用已標定的雙目攝像機獲取目標物體圖像，根據雙目視覺三角測量原理得出的深度信息計算公式，求出目標物體的深度信息。改變目標物體與雙目攝像機的距離，通過多組實驗測量雙目攝像機與目標物體的距離，比較真實距離與雙目視覺測量距離的誤差，由多組實驗結果可以看出，在雙目攝像機成像范圍內，本文的雙目視覺系統的測量誤差總體保持在5以內，為采用雙目視覺系統進行導航、避障的掃地機器人應用提供了理論支持。132結構安排論文具體結構安排如下第一章為緒論，介紹了機器視覺研究的背景與意義，國內外研究的概況。總結本人所做的工作，并對論文的結構作了安排。第二章對攝像機成像的幾何模型，攝像機坐標系統，圖像坐標系和世界坐標三者三者之間的關系以及攝像機鏡頭畸變的校正進行了簡要介紹，分析了線性攝像機標定的原理以及雙目攝像機的標定方法，并介紹使用MATLABGUI設計的攝像機標定界面，該界面操作簡單、方便、快捷，可以很好的對攝像機參數進行標定。第三章基于MATLAB的圖像處理，主要是對獲取來的原始圖像進行灰度化處理、圖像濾波處理以及圖像的邊緣檢測。圖像濾波是為了改善圖像的質量，從圖像中剔除不相關的信息，以還原圖像中真實的和有用的信息。經過預處理后的圖像只帶有邊緣信息，簡化圖像信息的同時增強了邊緣信息，從而提高了后續的特征提取、匹配的可靠性。第四章是雙目立體匹配算法，介紹了特征匹配的基元選擇，匹配約束條件，匹配方法的分類以及SIFT特征匹配算法、SURF特征匹配算法。研究基于HARRIS算子的特征點提取方法，并在HARRIS角點檢測算法進行閥值判斷之前加入圖像區域像素的相似度優化，提高特征點檢測效果。選取四組不同的圖像進行實驗，對SIFT特征匹配算法和SURF特征匹配算法的性能進行對比，結合實驗結果選擇合適的特征匹配算法，獲取視差。第五章是三維信息恢復，對雙目立體視覺三維信息恢復的原理進行分析，簡化三角測量原理獲得三維深度信息，推到出深度信息的計算公式，并利用標定得到攝像機內部參數與匹配得到的視差值，計算目標物體的三維深度信息。通過改變雙目攝像機與目標物體之間的距離進行不同的實驗，由實驗結果分析了誤差大小和來源。第六章是對論文研究工作進行總結，并在此基礎上對本文研究工作中存在的不足之處提出了進一步的研究和改進方向。第二章攝像機標定及其界面設計機器視覺應用中，為確定空間物體上的三維坐標點與其在圖像中對應點之間的相互關系，必須建立攝像機成像的幾何模型，該幾何模型參數就是攝像機參數，求解參數的過程就稱為攝像機標定1112。攝像機參數的標定是非常關鍵的環節，其標定結果的精度直接影響攝像機工作產生結果的準確性。因此，做好攝像機標定是做好后續工作的前提。21攝像機模型攝像機成像的過程如圖21所示，二維圖像上的每個點與三維空間物體表面相對應的點幾何位置有關，這些在攝像機二維圖像上的點的位置與空間點之間的相互關系，由攝像機成像幾何模型來確定，攝像機成像幾何模型的參數稱為攝像機參數。在實際應用中，攝像機的幾何模型通常用數學模型來描述，它可以分為線性模型（也稱為針孔模型）和非線性模型1314。外參數攝像機內參數攝像機圖21圖像形成過程211圖像坐標系、攝像機坐標系與世界坐標系如圖22所示，建立以像素為單位的平面直角坐標系。以像素為單位VU的坐標系的橫坐標與縱坐標分別是該像素點在攝像機二維圖像中相應的列數UV與行數15。O0O1U0,V0UVYX圖22圖像坐標系由于坐標系只代表二維圖像中像素點的列數與行數，而像素點在二維,VU圖像中的位置關系沒有用物理單位表示出來，所以，還需要建立用物理單位（比如單位為毫米）來表示的圖像坐標系。將攝像機的光軸與二維圖像平YX面的交點定義為圖像坐標系的原點為，該點一般位于二維圖像平面的中心1O1處，也稱為攝像機圖像的主點。并且圖像坐標系的軸與像素為單位坐標系下的軸平行，圖像坐標系的軸與像素為單位坐標系下的軸平行。假設UYV代表在坐標系下的坐標，與分別表示每個像素點在圖像坐,0V1OVUDXY標系橫軸和縱軸上的長度與寬度大小。圖像中的每個像素點在坐標系XVU中的坐標和在坐標系中的坐標之間都存在如下的轉換關系Y0VDYUX（21）假設式（21）中物理坐標系中的單位為毫米，那么的單位為DX，那么的單位就是像素，即和的單位一樣都是像素。像素毫米DXU將式（21）轉化為矩陣形式1011VDYVU（22）式（22）的逆關系式可表示為101VUDYXDXY（23）攝像機可以放置在三維空間中的任意位置，這就需要由軸構成的WZYX,世界坐標系來描述攝像機的空間坐標。圖23所示是攝像機成像幾何關系，其中點是攝像機的中心，軸和軸與圖像平面的的軸與軸平行，軸為OCXCYXYC攝像機的光軸。攝像機光軸與二維圖像平面的交點，稱為圖像坐標系的原點，1O由點與軸構成攝像機坐標系，的長度為攝像機的焦距。CZYX,1OF世界坐標系是用來描述攝像機在空間中的位置，并且三維空間中的任何物體的位置信息也可以用世界坐標系來描述，如圖23中坐標系稱為WZYX世界坐標系，旋轉矩陣和平移矩陣表示從世界坐標系到相機坐標系的轉換。RT假設空間一點在世界坐標系下的齊次坐標是，在攝像機坐標下PTWZYX1,的齊次坐標是，則攝像機坐標系下的坐標與世界坐標系下的坐標TCZYX1,有如下的轉換關系110WWTCCZYXMTRZ（24）其中，為是的正交單位矩陣，也稱為旋轉矩陣，是三維的平移矩陣。R3T矢量，是的矩陣。0,1M4,CCCZYXPCZWOWXWYWZ1OXYOCXCYP圖23攝像機坐標系與世界坐標系OCYXPQCZYXPQ0,TR圖24攝像機坐標系與世界坐標系之間的轉換關系如圖24所示，從攝像機坐標系下到世界坐標系下的轉換，是通過旋轉矩陣和平移矩陣來實現。RT在三維空間中，可以將旋轉變換拆解為繞各自軸，軸，軸的二維旋轉XYZ的組合形式，其中旋轉的軸線的度量保持不變。最終一個旋轉變換可以等價于在另一個不同的坐標系下對點位置的重新描述。圖25所示的是繞三個坐標軸旋轉不同角度。XYZYZXZYXXYZZXY圖25坐標旋轉示意圖如果按照順序分別繞軸旋轉角度，和，那么最終的旋轉矩陣RZYX,是矩陣、矩陣以及矩陣的乘積，其中XRZRCOSIN0I01XR（25）（26）COS0SIN1IY1IZR（27）因此，旋轉矩陣ZYXR平移矩陣用來表示將一個坐標系下的原點轉換到另一個坐標系下的原點，T或者說平移向量是轉換之后的第一個坐標系原點與第二個坐標系原點之間存在的偏差。假設空間一點在世界坐標系的下的坐標轉換到在攝像機坐標系下之0P后，該點坐標變為點的坐標，這兩者的關系表示為，則可OPC0TPRC以用三個角度，和表示繞不同坐標軸的三維旋轉變換，用三個參數表示三維平移。,ZYX212線性攝像機模型用線性模型（針孔模型）表示任一點在像平面中的投影位置，,CZYXP任一點的投影點都是（即光心，也是投影中心）與點,CZYXP,YXPO的連線與圖23中像平面的交點。對應比例關系可得,CZFYYXXC（28）在攝像機坐標系內，由三角形相似性原理可得，表示焦距，單ZXFXCF為毫米。將式（28）寫成齊次坐標與矩陣的形式為101CCCZYXFZYX（29）將式（22）與（23）代入式（29），得到點坐標與投影點的坐標PP的關系為,VU1010011WTCZYXTRFVDYUXZVUWWTYXXMZYXTRVKU2101（210）其中，；為投影矩陣，完全取決于DXFKXYFKYM431四個參數，矩陣中的參數就是攝像機的內部參數，矩陣中的0,VUKYX12M參數是攝像機的外部參數，攝像機外部參數完全由攝像機坐標系相對于世界坐標系的空間位置轉換關系確定。如果已知攝像機的內部參數和攝像機的外部參數之后，可以通過式（210）求出矩陣。則對空間中的一點，坐標為，就可以逆向的求解MTWZYXP1,出與點相對應的圖像中點的位置為。當已知投影矩陣和時，式PP,VUMWX（210）給出的三個方程中，消去就可以解出的值，反之則不成立，如CZ,果想求解空間點的坐標，知道了空間點對應的圖像點的位置，經管PPP,VU再已知攝像機內外參數，也是不能唯一的確定圖像點對應的空間點的值。WX在式（210）中，是的不可逆矩陣，盡管已知了投影矩陣和圖像位置M43M，消去式（210）中的，但是這樣僅僅只能得到關于的兩個,VUCZWZY,線性方程組，由這兩個線性方程所構成的方程組都是射線的方程，也就是OP說，投影點為的全部空間點均在該射線上，如圖23所示，當已知攝像機POP圖像中的點時，由線性攝像機成像幾何模型可知，對于任何的空間點，只要該空間點位于射線上，則該空間點所對應的攝像機圖像上的點都是點，OPP所以，這樣的空間點有無數多個，很難唯一的確定。將式（29）寫成歸一化形式，得10101WCZYXFZYX（211）將式（22）帶入式（211），得到1010101WCZYXFVDYUXZVU1010WYXZYXVKU（212）定義歸一化圖像坐標為,NYX1011VUKYN（213）由式（212）與式（213）可得101CCCNZYXZYX（214）所以，式（214）中，與，的關系為NXYCXYCCZCNZYY（215）213非線性攝像機模型非線性的攝像機模型，是指攝像機在成像過程存在畸變與小孔成像模型所成的像有差別。在有畸變的情況下，需要一個非線性的攝像機模型來描述這種畸變，便于后續對攝像機畸變進行有效的校正。攝像機畸變的校正首先需要通過攝像機標定獲得攝像機的內部參數矩陣和畸變參數，得到這些參數之后才能對存在畸變的圖像進行校正。對于有的攝像機透鏡系統在設計或裝配過程中可能會引起圖像點的偏離，導致攝像機成像出現誤差，這種誤差被稱為光學畸變，如圖26所示。,ZYXFXYZXY,DDYXI圖26畸變示意圖攝像機的畸變類型有很多種，主要可以分為偏心畸變、薄棱鏡畸變和徑向畸變。徑向畸變會在徑向位置上產生偏差，薄棱鏡和偏心畸變主要會產生徑向和切向兩個方向上的偏差。徑向畸變主要由攝像機鏡頭形狀因素引起，這種畸變關于攝像機的光心對稱，向內側凹陷的畸變類型稱為枕形畸變，向外側凹陷的畸變稱為桶形畸變，如圖27左圖所示。數學模型可由式（216）表示。2221YXKYXKRYX（216）其中，為徑向畸變系數。21,K偏心畸變主要是由于各種原因導致攝像機的光心與幾何中心不能完全對齊造成的，偏心畸變包括徑向畸變和切向畸變兩種，如圖27中右圖所示，偏心變形的數學模型可以用式（217）表示。32221YXPYDYX（217）其中，為偏心畸變系數。21,P薄棱鏡畸變是由于攝像機鏡頭在設計加工、安裝中造成的誤差，最終導致攝像機鏡頭發生徑向和切向偏差，式（218）是薄棱鏡畸變的數學模型。21YXSPY（218）其中，為薄棱鏡畸變系數。21,SAB桶形畸變A枕形畸變點位置實際像點位置理想像DTDR切向畸變徑向畸變DTR圖27攝像機畸變類型綜上所述，攝像機畸變可以用式（219）表達式統一表示。,YXYXPDRYXX（219）一般來說，在要求不是非常高的使用條件下，徑向畸變完全可以描述攝像機的非線性畸變，如果需要考慮鏡頭畸變，就要對攝像機線性成像模型進行修正，加入畸變因素。假設實際圖像中的像素坐標為，理想狀態下圖像中的,YX像素坐標為，則理想坐標、實際坐標和畸變偏差之間關系如式（220）所,YX示。YXY（220）214鏡頭畸變的校正由于攝像機鏡頭都是采用的透鏡，根據透鏡所具有的結構特點，多數攝像機在成像過程中都可能會存在鏡頭畸變，對攝像機成像模型影響最大的是徑向畸變，在一般情況下只需要考慮攝像機鏡頭的一階和二階徑向畸變就能夠滿足實際中的需要，假定攝像機的鏡頭在軸和軸方向上的畸變系數是相同的，XY則徑向畸變模型可以用式（221）表示。2221YXKYXKYX（221）其中，為校正前的圖像坐標，為校正后的圖像坐標，為,YX,1K2一階徑向畸變和二階徑向畸變系數。將式（221）轉換到像素坐標有22210YXKYXKVU（222）其中，為校正前的圖像像素坐標，為校正后的圖像像素坐標。如,VU,VU果有幅圖像，能獲得組方程組。表示為式（223）。MM（223）VUKYXVYXVUUYXYXMMMMM1220220121021102寫成矩陣形式DDK（224）然后，通過線性最小二乘的方法求出徑向畸變系數T1（225）當攝像機的一階徑向畸變系數和二階徑向畸變系數求出后，就可以進1K2K一步優化所有的參數，經過非線性校正及優化后徑向畸變的現象將極大的改善。22攝像機標定攝像機標定是利用標定模板的參考點坐標和它的圖像坐標），（ZYX來確定攝像機內部的幾何參數（內部參數）以及攝像機在三維世界中的），（VU坐標關系（外部參數）。內部參數包括攝像機鏡頭焦距，鏡頭畸變系數，F），（SK圖像坐標原點等參數。外部參數是選擇矩陣和平移矩陣。），（0VURT221線性攝像機標定攝像機標定是獲取擺放在攝像機前方一定距離的具體參數已知的標定物的圖像，標定參照物如圖28所示，并根據攝像機拍攝的不同角度的標定參照物的圖像，采用標定算法計算出攝像機的內部參數與攝像機的外部參數。在標定參照物上的每所有特征點（圖28中每個小正方體的頂點）在制作時都需要非常準確的測定該特征點在世界坐標系中的空間位置，只有每個小正方體的頂點信息被精確的測定，才能保證攝像機標定的精度。圖28標定參照物由獲得的標定參照物圖像求出投影矩陣，將式（210）展開寫成M113432211WKKCKKZYXMZVU（226）其中，為空間中第個特征點的坐標，為第個特1,WKKZYXK1,KVU征點的圖像坐標，為投影矩陣的行列的元素。將式（226）拆分寫成IJMMIJ如下三個方程11343323222141312MZYXMZVUWKKWKCKKKKCKWKKWKCK（227）將式（227）中第一式與第三式，第二式與第三式分別消去，可得兩個CKZ關于的線性方程，如式（228）所示。IJM（22834323124322131MVZYVMXZYXUUKWKWKWKWKKWK）式（228）表示，如果已知標定模板上的個點，并且已知個點的空間NN坐標為和圖像點坐標為，可得,1,KZYWK,1,KVU（22934341321423143211111111110001000MUMVUYVXVZYXZUUZYXZYXVXXNWNWNWNWNWWWW）由式（210）可知，矩陣不會影響與之間的轉換關系，M,W,所以，令，得到關于矩陣中其它元素的個線性方程組，方程組中134MMN2的未知數的個數為11個，記為向量，為11維向量，將式（229）簡寫成MUK（230）其中，為式（229）左邊的矩陣，為未知的11維向量，為式12NMU（229）右邊的維向量，已知，當時，式（230）線性方程組2,1的解可以用最小二乘法求出。則，與構成了所要求解的矩陣，只要34M已知6個或者6個以上的空間中點與這些空間點所對應的圖像坐標系中的坐標，就可以求出矩陣，求出矩陣后，將結果帶入到式（210）表示的關系，進M一步的求解出攝像機的內部參數與攝像機的外部參數。將矩陣分解成與攝像機內部參數、攝像機外部參數有關的關系式為100132103244ZYXYXTRTVKUM（231）其中，為矩陣的第行的前三個元素組成的行向量；,21IMI為矩陣第行第四列元素；為旋轉矩陣的第行；3,4IMI3,21IRRI分別為平移向量的三個分量。ZYXT,T由式（231）可得ZYYZXXTRVKVKTUM3002132414（232）比較式（232）等號兩邊可得，。由于是單位正交矩陣的第三34R3行，所以，由可以解出，再根據下列式子求解出1|3R1|34M|134M的值。YXKVU,033402143302342113234132430011|MTVKUTRMVKURKRVUZYXYXYXYX（233）222雙目視覺攝像機標定雙目攝像機標定1617與單目攝像機標定的區別是，用兩個攝像機同時觀察周圍環境，需要通過攝像機標定，測量兩個攝像機之間的相對位置關系（如圖29所示）。在雙目攝像機標定過程中可以先用單目攝像機標定的方法，對左、右兩個攝像機單獨進行標定，通過單獨標定分別得到左、右攝像機各自的內部參數與外部參數。WXWYWZP1O2O1X1Y1Z2Z2X2YP1L2L1P2P2P1,TR2,TR1I2I1C2C圖29雙目攝像機幾何關系假如用攝像機外參數中的旋轉矩陣和平移矩陣表示世界坐標系與攝1R1T1像機坐標系之間的轉換關系；用攝像機外參數中的旋轉矩陣和平移矩陣表2R2T示世界坐標系與攝像機坐標系之間的轉換關系，那么對任意一個世界坐標系2C中的點，坐標為，該點在攝像機坐標系與攝像機坐標系下的坐標分PWX1C2C別為，由雙目攝像機的關系可得下列關系式1C2（234）2211TXRWC將式（234）消去后得21211TRTCC（235）所以，兩個攝像機之間的關系可用表示為T,21TRT（236）由式（234）（236）知，若對左、右兩個攝像機分別單獨進行標定，得到攝像機的旋轉矩陣和平移矩陣，攝像機的旋轉矩陣和平移矩陣，1C11T2C2R2T則雙目攝像機的幾何關系可以通過式（236）計算得到。在計算時需要TR,將左、右兩個攝像機單獨標定中的矩陣拆分，以便于求解出攝像機的旋轉M1C矩陣和平移矩陣，攝像機的旋轉矩陣和平移矩陣。1R1T2C2R2T23攝像機標定界面設計攝像機標傳統的定方法中，都需要利用三維立體標定物體，該標定物體要求在制作，加工過程中需要保證標定物上每個特征點的精度，最終保證攝像機標定結果的精度。而二維平面標定模板的攝像機標定方法，只需要攝像機從不同角度拍攝二維平面標定模板，獲取一定數量的二維標定模板圖像，基于二維平面標定模板的攝像機標定方法使用方便、靈活且標定精度較高18。基于二維平面標定模板的標定過程可以分為兩步第一步，求解二維平面標定模板與圖像平面之間的矩陣轉換關系，在求解矩陣轉換關系時不需要考慮攝像機的成像幾何模型，只需要知道平面標定模板坐標系中的點和對應的攝像機圖像坐標中的點的關系，兩個坐標系中點的對應關系可以利用最小二乘法求解得到。第二步，利用第一步的關系求解出攝像機的內部參數矩陣和外部參數矩陣。根據計算所得二維平面標定模板和圖像平面的矩陣轉換關系列寫出與攝像機內部參數相關的方程組，求出該方程的解，即可以得到攝像機的內部參數。由于攝像機鏡頭畸變的存在，通過求解該方程得到的內部參數可以作為初始值進行優化，從而得到攝像機各參數的精確值，從而提高攝像機的標定精度。根據二維平面標定方法可知，由線性攝像機模型，可得式（237）111321WWZYXTRAZYXTRAVUS（237）把世界坐標系所在的平面置于標定模板所在的平面，即。將式0（237）變形為式（238）110121WWYXTRAYXTRAVUS（238）其中，表示旋轉矩陣的第列向量。令，IRITYXM，則式（238）可簡寫為TVUM1HMS（239）其中132132121HHTRA（240）即為單應性矩陣。有式子可以推出HMHMS13213HXSYVU（241）從而推得23213211HYHVYVHUU（242）令3212321312HHH（243）則010HVYVXYUUX（244）將式（244）寫成的形式，則矩陣最小特征值所對應的特征向量SHST就是該方程的最小二乘解。再根據所求的，求解出。由于上式中所求得的HH與真實的可能差一個比例系數，所以，將式（240）改寫成下列形式HTRAH21321（245）與為單位正交向量，有，且，所以得到攝像機內1R221T021RT部參數求解的兩個約束條件21211HAHATT（246）令32311BABT1120202020202022VUVUVUVV是對稱矩陣，可以用6維的向量來表示BTBBB321321（247）假設的第列向量可以表示為的形式，那么HI321IIIIHHBVHTIJITI（248）其中3313132121JIJIJJIJJIJIJIJIIJHHHHV若有幅攝像機標定模板的圖像，就可以得到關于的形式NB0B（249）其中矩陣V是，假如，則就能被唯一的求解出來，進而計算出攝623NB像機的5個內部參數，參數計算公式如式（250）所示。/2130211112313120230UVUVUFBFSFBVBV（250）矩陣求得之后，再根據攝像機的內部參數矩陣，利用下列式子可以計HA算出每幅平面標定模板圖像的外參數，外參數計算公式為|1|,22131321HAHATRRR（251）以上求解旋轉矩陣的誤差較大，需要用最大似然估計來進行優,321RR化。基于MATLABGUI21編程實現攝像機標定，采用的是二維平面棋盤格模板，改變二維平面棋盤模板的不同角度，獲取圖像，通過圖像處理，計算出攝像機的參數，棋盤標定模板如圖210所示。WYWZWXWO圖210標定模板由二維平面標定的原理可知，攝像機從不同角度獲取一定數量的棋盤格標定模板圖像，通過處理之后，利用MATLABGU設計出的攝像機標定界面，將拍攝得到的一定數量的棋盤格標定模板圖輸入到標定界面，設置相應的棋盤格參數，提取出棋盤格的角點信息，計算出攝像機的內部參數、外部參數和畸變參數。該標定界面可以實現快速、準確、自動處理。圖211給出了所設計的攝像機標定界面工作流程。NYNY圖211攝像機標定界面設計流程采用MATLABGUI設計的自動攝像機標定，該攝像機標定界