第四章計算機視覺三維測量與建模由運動恢復結構南京航空航天大學研究生教育教學改革專項（優質教學資源建設）項目資助01對極幾何】9在基于影像的三維重建處理之前，參考影像上的像素點m對應的三維空間點M在場景中的準確位置是未知的，但它必然在一條通過攝影中心C且與成像平面相交于班點的直線（視線）上。直線，在待匹配的影像的像平面上的投影是線l’，那么在這個像平面上的對應的投影點班'也要在這條線上。更進一步，所有位于C、C’和雅三點所確定的平面上的空間點，在兩幅影像上的投影都會落在直線l和l’上?？芍?，每個點的對應點都在l’上，反之亦然。對極幾何對極幾何基礎矩陣F有一些重要的特性（1）如果西是一對攝像機矩陣(P，P’)的基礎矩陣，則五是按相反順序對(P',P)的基礎矩陣。（2）對于第一幅影像中的任意點班，對應在另一幅影像上的極線為l’=Fm。類似地，I=F^Tp'表示與第二幅影像中的m'對應于第一幅影像的極線。（3）對于任何點班（e除外），極線l’=Fm包含第二幅影像中的極點e'。因此，對于所有點m，e滿足e’^T(Fmi)=0，總有(e^T)=0，因此eTF=0，即e'是萬的左零向量。類似地，Fe=0，即e是田的右零向量。對極幾何本質矩陣E（EssentialMatrix）是由攝像機的外參數確定的，與攝像機的內參數元素無關。本質矩陣就是在歸一化影像空間坐標條件下的基礎矩陣的特例，基礎矩陣是本質矩陣在不考慮攝像機內參標定矩陣的推廣。與基礎矩陣相比，本質矩陣西具有較小的自由度和附加的性質。對極幾何02影像的單應變換】9影像的單應變換影像的單應變換03求解二視圖的基礎矩陣01八點算法基礎求解二視圖的基礎矩陣以用八點算法求解二視圖的基礎矩陣有兩個步驟：建立線性方程4f=0，由系數短陣A的最小奇異值對應的奇異向量f求出初始線性解區。根據奇異性約束，使Frobenius范數1取得最小值的作為最終的解。八點算法的優點是容易實現，且線性求解的運行速度快；然而缺點也很明顯，即該算法對噪聲敏感。12求解二視圖的基礎矩陣02歸一化八點算法在實踐中，將方程組歸一化非常重要。系數矩陣A的元素是由影像像素坐標計算而來的，數值變換區間相差多個數量級。這種情況下SVD分解極易受坐標值測量噪聲的干擾，而使結果不穩定。03非線性最小二乘算法八點算法最小化的誤差是一個代數錯誤，然而理想的最小化目標函數是一個幾何意義上的標量?？梢圆扇〉恼`差測量是點與外極線之間的距離D（m，l）。假設每個特征點上的噪聲都是獨立的零均值高斯，所有點的標準差都相同，則以下形式的最小化會產生最大似然解。求解二視圖的基礎矩陣求解二視圖的基礎矩陣首先對待處理的影像進行高斯濾波平滑處理，去除影像中的高斯噪聲，有效抑制高斯噪聲這樣的高頻分量。高斯°波就是對整幅影像進行加權平均的過程，每個像素點的值都由其本身和鄰域內的其他像素灰度值經過加權平均后得到。例如，使用3x3的高斯模板加權平均公式如下：01Canny算法的具體實現過程如下。02在高斯濾波后，計算像素的梯度幅值和具體方向。該步驟可選用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用較多的是Sobel算子。求解二視圖的基礎矩陣01隨機抽樣一致性檢驗RANSAC下面總結了二視圖的對極幾何求解過程。在兩幅影像上分別使用特征提取算法提取特征點，并且對兩幅影像的特征點進行特征匹配，獲得初始匹配點對。從所有的匹配點對中，隨機抽樣選取7組匹配點對，根據7組點對，計算一個基礎矩陣F并統計能夠滿足F的正常值，inlier）個效。求解二視圖的基礎矩陣01隨機抽樣一致性檢驗RANSAC統計inlier的比例，如果滿足式（4.25）中的F＞95%，則繼續下一步；否則，跳回第（2）步。使用所有的inlier，重新計算一個優化的F。根據開尋找新的匹配點對。再一次使用所有的匹配點對，優化F。求解二視圖的基礎矩陣02RANSAC舉例使用魯棒算法能夠根據兩幅影像的像點特征對應，求解二視圖的基礎矩陣衛。根據RANSAC算法剔除誤匹配可以有效地改善衛的求解效率和精度。圖4.5給出了一組檢驗RANSAC算法的實驗圖，圖片內容為北京市密云區古北水鎮景區的復古建筑照片，兩幅影像分別為在進行RANSAC驗證前、后的特征匹配對應結果。求解二視圖的基礎矩陣兩個視圖射影幾何的計算要求匹配點對所對應的內容是在三維場景中的，并且運動不僅僅是純旋轉。如果觀察到的三維場景只覆蓋一個平面區域，則基礎矩陣最多只能確定三個自由度。當攝像機的運動是純旋轉時也是奶此。只有一個投影中心，是不能觀測到深度信息的。在沒有噪聲的情況下，對這些退化情況的檢測不會太困難。但實際采集的數據是存在噪聲的，方程中剩余的自由度是由噪聲決定的，此時估計退化問題就顯得更加困難。求解二視圖的基礎矩陣可以用與4.3節中介紹的二視圖幾何計算類似的方式確定三視圖或四視圖兒何。由于滿足三視圖或四視圖幾何的結構點肯定也會滿足二視圖幾何的結構，因此可以采用級聯的方式進行匹配。求解二視圖的基礎矩陣04攝像機位置姿態和場景結構恢復攝像機位置姿態和場景結構恢復攝像機位置姿態和場景結構恢復對于每一幅新添加的影像視圖，首先確定它在現有重建結構中的位置姿態參數，然后更新重建結構，如圖4.8所示。攝像機位置姿態和場景結構恢復關聯三個點是恢復影像的姿態所需條件最少的情況，稱為透視三點（Perspective-3-Point，P3P）問題。擴展到更多的點，此時問題被稱為PnP(Perspective-n-Point)。PnP描述了己知n個三維空間點以及它們的對應匹配影像上的像點坐標時，如何求解影像的位姿。如圖4.9所示，實際上，最少3組不共線的匹配點對就可以估計一幅影像的位置姿態。攝像機位置姿態和場景結構恢復05光束法平差】9攝像機拍照的時候，三維空間點投影到影像上的過程是實際投影。根據影像的肉外參數和像平面點的匹配信息，可以用三角測量重建三維空間點坐標。將重建得到的三維空間點按照影像的投影矩陣進行再次虛擬投影，會得到在影像上的第二次投影的像素坐標，即重投影。圖4.10表示了一個簡單的SfM光束法平差中的空間點和像平面點的對應關系。光束法平差是以一個投影光束作為平差計算的基本單元，以透視投影的成像方程作為數學模型的基本方程。光束法平差】9最小二乘（LeastSquares,LS）法是對過擬合模型的一種最優解估計方法，它是應用最為廣泛的一種凸優化求解方法。過擬合的情形也可以稱為超定系統(Overdetermined

System)。在一組包含未知數的方程組中，如果方程的數量大于未知數的數量，那么這個系統就是一個超定系統。超定方程組一般是沒有解析解的，只能求近似解。最小二乘法就是求超定方程組近似解的一種方法。在高斯白噪聲的假設條件下，最小二乘解等價于極大仙然估計解。光束法平差在非線性最小二乘法中，高斯——牛頓(Gauss-Newton，GN)算法具有收斂速度快的特點，因此被廣泛采用。光束法平差列文伯格-馬奎特(Levenberg-Marguardt，LM)算法是一種帶有阻尼項的改化GN算法。通過阻尼項的調節作用，該算法在初始解遠離最優解時，有最速下降法的特點；在當前解靠近最優解時，收斂速率較快，相當于GN算法。列文伯格——馬奎特(Levenberg-Marguardt，LM)算法是一種帶有阻尼項的改化GN算法。通過阻尼項的調節作用，該算法在初始解遠離最優解時，有最速下降法的特點；在當前解靠近最優解時，收斂速率較快，相當于GN算法。光束法平差光束法平差光束法平差光束法平差06應用舉例目前，關于改進和完善SIM技術的研究主要集中在兩個方面：(1）實時性，同時計算多個攝像機的歐氏重建，即實時在線地估計攝像機的位置姿態參數，甚至在未知攝像機參數的情況下估計內參數，這類研究在增強現實應用中具有重要的作用：(2）規模性，研究奶何有效地重構出涵蓋更長的攝像機拍照軌跡，獲得更大、更復雜的三維場景結構，這類研究主要面向城市類型的大規模建模應用。目前，關于改進和完善SIM技術的研究主要集中在兩個方面：（1）實時性，同時計算多個攝像機的歐氏重建，即實時在線地估計攝像機的位置姿態參數，甚至在未知攝像機參數的情況下估計內參數，這類研究在增強現實應用中具有重要的作用；（2）規模性，研究奶何有效地重構出涵蓋更長的攝像機拍照軌跡，獲得更大、更復雜的三維場景結構，這類研究主要面向城市類型的大規模建模應用。應用舉例07