機器視覺：8.多視圖幾何與三維重構圖像拼接雙目立體視覺系統運動恢復結構三維重構極線幾何與基礎矩陣總結極線幾何與基礎矩陣極線幾何本質矩陣基礎矩陣基礎矩陣的求解方法1.2本質矩陣Part14本質矩陣對歸一化相機拍攝的兩個視點圖像之間的極線幾何關系進行代數描述。歸一化相機的內參矩陣為單位矩陣，即本質矩陣——概念

1.2本質矩陣Part15向量叉乘可通過下式重新定義：本質矩陣——數學知識

1.2本質矩陣Part16假設兩個相機均為歸一化相機，相機的內參矩陣均為單位矩陣。因此，像素坐標和空間點坐標的關系如下：本質矩陣——推導

因此，像素坐標系的齊次坐標與空間點在相機坐標系下的非齊次坐標相同。1.2本質矩陣Part17

本質矩陣——推導本質矩陣1.2本質矩陣Part18

本質矩陣——推導

1.2本質矩陣Part19結論本質矩陣——推導

1.2本質矩陣Part110結論本質矩陣——推導

1.3基礎矩陣Part111基礎矩陣對一般透視相機拍攝的兩個視點的圖像之間的極線幾何關系進行代數描述。與本質矩陣不同的是，基礎矩陣對相機的內參矩陣沒有要求。基礎矩陣——概念1.3基礎矩陣Part112求解基礎矩陣的思路是將其變換到歸一化相機上?；A矩陣——推導

1.3基礎矩陣Part113結論基礎矩陣——推導

1.3基礎矩陣Part114

基礎矩陣——小結1.4基礎矩陣的求解方法Part115

基礎矩陣——八點法求解

1.4基礎矩陣的求解方法Part116

基礎矩陣——八點法求解

1.4基礎矩陣的求解方法Part117

基礎矩陣——八點法求解1.4基礎矩陣的求解方法Part118

基礎矩陣——歸一化八點法求解1.4基礎矩陣的求解方法Part119基礎矩陣——歸一化八點法求解

運動恢復結構運動恢復結構問題歐式結構恢復透視結構恢復N視圖的運動恢復結構問題2.1運動恢復結構問題Part221

問題描述2.1運動恢復結構問題Part222在三維重構及SLAM領域，常用的運動恢復結構有兩種具體形式:歐式結構恢復和透視結構恢復。歐式結構恢復適用于相機內參數已知、外參數未知的情況，通常用于掃地機器人或者自動駕駛車輛，可以預先標定好相機的內參數，用于運動恢復結構問題的求解。透視結構恢復適用于相機內參數、外參數均未知的情況，通常用于從互聯網上下載一組數據集而不知道相機具體參數的情況。兩種典型的運動恢復結構問題2.2歐式結構恢復Part223

歐式結構恢復問題（相機內參數已知，外參數未知）2.2歐式結構恢復Part224

兩視圖的歐式結構恢復

2.2歐式結構恢復Part225（1）利用SVD方法分解本質矩陣兩視圖的歐式結構恢復

2.2歐式結構恢復Part226

兩視圖的歐式結構恢復（4）通過重構單個或多個點找出正確解

2.2歐式結構恢復Part227歐式結構恢復的歧義問題歐式結構恢復無法估計場景的絕對尺度，恢復出來的歐式結構與真實場景之間相差一個相似變換，恢復的場景與真實場景之間僅存在相似變換的重構稱為度量重構，如圖所示。度量重構2.3透視機構恢復Part228透視結構恢復的問題（相機內參數、外參數均未知）

2.3透視機構恢復Part229透視結構恢復的歧義問題

透視結構恢復歧義2.3透視機構恢復Part230兩視圖的透視結構恢復

2.3透視機構恢復Part231兩視圖的透視結構恢復

2.4N視圖的運動恢復結構問題Part232

n張圖像進行運動恢復結構

N視圖的運動恢復結構問題2.4N視圖的運動恢復結構問題Part233光束平差法（BundleAdjustments）對場景中任意三維點，由從每個視圖所對應的的相機的光心發射出來并經過圖像中對應特征點后的光線，都將交于一個真實值的點，對于所有三維點，則形成相當多的光束；實際過程中由于噪聲等存在，每條光線幾乎不可能匯聚于真實值的一點，因此在求解過程中，需要不斷對待求信息進行調整，來使得最終光線能交于一個重構點。光束平差法的直觀解釋2.4N視圖的運動恢復結構問題Part234光束平差法（BundleAdjustments）

光束平差法的直觀解釋雙目立體視覺系統平行視圖非平行視圖3.1平行視圖Part336基礎矩陣的另一種形式

3.1平行視圖Part337基礎矩陣的另一種形式

3.1平行視圖Part338極線幾何特例：平行視圖極線幾何的一種特例是當兩個相機的成像區域平行，且兩個區域在同一平面上，稱為平行視圖。平行視圖如下圖所示。平行視圖3.1平行視圖Part339極線幾何特例：平行視圖

平行視圖3.1平行視圖Part340極線幾何特例：平行視圖

平行視圖

3.1平行視圖Part341平行視圖的三角測量

平行視圖模型的俯視圖3.1平行視圖Part342平行視圖的三角測量由兩幅平行視圖圖像經過計算獲得下方的視差圖，圖中顏色越淺的部分對應視差值越大，距離相機也越近。由于遮擋現象的存在，被遮擋部分點的深度信息是無法獲取的，在視差圖中以黑色像素標出。所有點的視差計算后，進一步可得到這些點的三維坐標，即目標的三維點云信息。視差圖與深度圖3.2非平行視圖Part343非平行視圖

雙目視覺圖像校正原理3.2非平行視圖Part344

雙目視覺圖像校正原理非平行視圖3.2非平行視圖Part345

雙目視覺圖像校正原理

非平行視圖3.2非平行視圖Part346

雙目視覺圖像校正原理

非平行視圖3.2非平行視圖Part347

雙目視覺圖像校正結果

非平行視圖圖像拼接特征點提取與匹配單應性矩陣求解圖像配準圖像融合4.1特征點提取與匹配Part449特征點提取與匹配圖像拼接的基礎是特征點的檢測與匹配。常用的特征點檢測算法有SIFT、ORB和SURF，在第5章中已經詳細介紹了三種特征點檢測算法的步驟。在對需要匹配的兩張圖像進行特征提取之后，會得到兩張圖像的關鍵點和對應的描述子。根據兩張圖片對應描述子向量的相近程度，進行匹配。在5.2節中介紹了特征匹配的幾種方法，使用基本的暴力匹配法進行匹配如下圖所示。在利用這些特征匹配方法進行初步匹配后，可以使用RANSAC算法對初步匹配的結果進行篩選。暴力匹配示意圖Part450單應性變換

4.2單應性矩陣的求解Part451世界坐標系和像素坐標系之間的關系

4.2單應性矩陣的求解Part452世界坐標系和像素坐標系之間的關系

4.2單應性矩陣的求解不同相機視角下的投影結果Part453單應性矩陣利用SIFT等特征點檢測算法可以得到對應圖像之間的匹配點，利用這些匹配點的坐標即可求解出單應性矩陣。求解單應性矩陣最少需要4對點，具體步驟如下：由：可以得到：4.2單應性矩陣的求解

Part454單應性矩陣

4.2單應性矩陣的求解

Part455單應性矩陣

4.2單應性矩陣的求解

Part456單應性矩陣

4.2單應性矩陣的求解

Part457單應性矩陣

4.2單應性矩陣的求解

Part458單應性矩陣

4.2單應性矩陣的求解

Part459圖像配準

4.3圖像配準Part460圖像配準根據內點集中的所有匹配點，計算所得的單應性矩陣即為最優解，可以在圖像拼接中達到比較好的效果，如下圖所示：4.3圖像配準特征點匹配結果Part461圖像配準根據之前所求出的單應性矩陣，對圖像做透視變換，即可得到與基準圖像相同視角下的圖像，如下圖所示：4.3圖像配準圖像配準結果Part462圖像融合

4.4圖像融合圖像融合結果三維重構Part564三維重構的常見方法基于視覺幾何的方法：這類方法利用相機的幾何關系和對應點之間的幾何約束來恢復三維結構，例如基于三角測量的方法和基于立體視覺的方法?；诮Y構光的方法：這類方法利用結構光投射的模式和相機捕捉的圖像來恢復物體表面的三維結構，例如利用激光投射的方法和利用編碼光條的方法。基于深度學習的方法：近年來，隨著深度學習技術的發展，越來越多的研究將深度學習應用于三維重建領域，例如利用卷積神經網絡進行三維重建。5.1三維重構Part565三維重構的常見方法本章將重點介紹基于視覺幾何的方法基于視覺幾何的三維重建方法是一種通過分析圖像之間的幾何關系來恢復物體或場景的三維結構的技術。5.1三維重構基于視覺幾何的三維重建方法主要流程Part566基于視覺幾何的三維重建方法相關搜索5.1三維重構

Part567基于視覺幾何的三維重建方法相關搜索5.1三維重構

Part568基于視覺幾何的三維重建方法相關搜索5.1三維重構

Part569基于視覺幾何的三維重建方法5.1三維重構

增量重建Part570基于視覺幾何的三維重建方法5.1三維重構

增量重建Part571基于視覺幾何的三維重建方法5.1三維重構圖像配準（ImageRegistration）：在開始重建之后，通過PnP問題的求解，可以解算出新的相機的位姿，同時將新的圖像不斷加入到系統中；在PnP過程中外點會造成較大的影響，因此一般會采用RANSAC等較為魯棒的算法。三角化（Triangulation）：根據新配準的圖像來計算場景點，并將新的場景點并將其與原有的場景點進行融合。增量重建Part572基于視覺幾何的三維重建方法5.1三維重構

增量重建Part573基于視覺幾何的三維重建方法稀疏模型5.1三維重構稀疏模型是指在初始階段通過相關搜索和增量重建得到的模型。相關搜索通過分析輸入數據中的特征，比如圖像或點云數據，來識別場景中的關鍵特征點或結構。增量重建則是指通過逐步添加新的數據來不斷完善模型。在稀疏模型階段，通常會得到一個粗略的場景結構，其中包含一些關鍵點和基本形狀的信息。Part574基于視覺幾何的三維重建方法稠密模型5.1三維重構稠密模型是在稀疏模型的基礎上進一步完善得到的模型。在這個階段，通常會利用稀疏模型中的關鍵點和結構信息，通過填充和插值等方法，將場景中的空白區域填充得更加密集和細致。這個過程可以使用各種算法和技術，比如三維重建算法、體素填充等，以提高模型的密度和準確度。Part575基于視覺幾何的三維重建方法3D模型5.1三維重構3D模型是指最終得到的完整的三維場景模型。在稠密模型的基礎上，通過進一步的處理和優化，比如表面平滑、紋理映射等，得到一個高質量的三維模型。這個模型可以用于各種應用，比如虛擬現實、游戲開發、工程設計等領域。Part576基于視覺幾何的三維重建方法三維重建結果5.1三維重構前面介紹了相關搜索和增量重建兩個關鍵步驟，在此基礎上可以根據任務需要對重建結果進行上色等操作。下圖展示了利用7.5萬張圖像重建的羅馬場景。上部是部分原始圖像，下部分為重構的三維點云。Part577基于視覺幾何的三維重建方法三維重建結果5.1三維重構基于視覺幾何的三維重建結果總結小結參考文獻Part679通過極線幾何約束，當已知一張圖像中的特征點檢測對應圖像的匹配點時，可以將搜索范圍縮小到對應的極線上，從而大大提高了搜索效率?；A矩陣描述了同一空間點在二相機投影的對應關系，基礎矩陣可通過八點法求解。、運動恢復結構能夠從多張圖像中恢復出相機的參數以及目標物體三維結構，在圖像拼接、三維重構等領域有廣泛應用。通過雙目相機對應點的視差，可以得到點的深度信息。利用單應性變換關系可以實現圖像拼接?；谝曈X幾何的三維重建通過