立體視覺與三維重建

立體視覺系統立體視覺（StereoVision）是從來自兩個攝像機的一對圖像中獲取深度信息的過程，這些攝像機從不同但已知的位置觀察同一場景。立體視覺被廣泛用于三維導航、三維定位、目標追蹤和機器人研究等領域。運動結構恢復（StructurefromMotion）是從來自同一攝像機的一對圖像中獲取深度和運動信息的過程，這些圖像從不同位置查看同一場景。立體視覺系統-世界坐標系中被測目標表面上任一點P(Xw,Yw,Zw)，在左相機坐標系中像面上的投影點為pL(uL,vL)，在右相機坐標系中像面上的投影點為pR(uR,vR)。用有兩個相機的雙目視覺系統觀察,并且如果能確定像點(uL,vL)和(uR,vR)對應于同一空間特征點P(Xw,Yw,Zw),就可以通過兩個像點與相機光心所構成的兩直線的交點計算出點P(Xw,Yw,Zw)的確切位置。立體視覺系統雙目視覺系統可基于兩個相機所采集的圖像中兩個同源點（HomologousPoints）之間的距離，由三角幾何法重建空間三維信息。同源點是空間某點在不同圖像中的成像點，又稱為共軛點（ConjugatePoints）。它們在圖像中的距離差異稱為視差（Disparity）。立體視覺系統研究雙目系統時一般先要明確研究過程所涉及的以下幾種類型的坐標系：世界坐標系。預先在環境中選擇的基準三維坐標系，用來描述相機和環境中物體的坐標位置。在雙目視覺系統中，一般將左相機坐標系定義為世界坐標系。相機坐標系。以相機光心為原點，光軸為Z軸的三維坐標系。在雙目系統中，左右兩個相機坐標系可通過旋轉和平移進行轉換。圖像坐標系。相機所成圖像的二維坐標系，可以用像素數量描述，也可以用物理尺寸描述。對于相機坐標系中的某個三維空間點，可通過三角投影變換計算得到其在圖像坐標系中像點的位置。立體視覺系統若定義左相機坐標系就是世界坐標系，那么世界坐標系中的點Pw(Xw,Yw,Zw)到左相機的圖像坐標系中的位置可直接通過三角投影關系計算得到該點在右側相機圖像坐標系中的位置同樣可以通過投影變換計算得到平視雙目系統一個理想的簡化情況假設兩個相機相同并且與X軸對齊，我們能找到點Pw的深度Zw的表達式嗎？只要左相機像面上的任意一點能在右相機像面上找到同源的匹配點，就可以根據視差確定該點的三維坐標。更進一步，只要被測目標像面上的所有點都可在另一相機中找到同源點，就可以確定被測目標的三維坐標平視雙目系統立體視覺系統標定為了能利用立體視覺系統的視差計算三維深度信息，必須首先設法得到立體視覺系統的以下信息：相機的內部參數。包括各相機的焦距、光心以及畸變模型等。相機的外部參數。包括各個相機坐標系與世界坐標系之間的旋轉和平移關系。相機間的相對位置關系。包括各個相機坐標系與其他相機坐標系之間的旋轉和平移關系，以及多幅圖像中同源像點所對應空間點的坐標等。立體視覺系統標定在實際工程實踐當中，將獲取上述各種信息的過程稱為對立體視覺系統的校準（StereoCalibration）過程。為實現對立體視覺系統的校準，通常會讓立體視覺系統的各個相機對同一校準點陣進行圖像采集，然后根據點陣信息計算各種參數。設雙目立體視覺系統中左右相機坐標系相對世界坐標系的旋轉和平移矩陣分為(RL,tL)和(RR,tR)，則三維世界坐標系中的點Pw(Xw,Yw,Zw)在兩個相機坐標系中的坐標PL(XL,YL,ZL)和PR(XR,YR,ZR)可通過坐標旋轉和平移得到。用矩陣表示為立體視覺系統標定一般立體視覺系統自然界中不存在兩個相同的照相機，因為在制造過程中會引入兩個照相機之間始終存在小的對準誤差。在實踐中，無法確切知道相機光心的確切位置。在水平軸上對齊兩個相機非常困難為了使用立體相機，需要知道每個相機的內在外在參數，即相機之間的相對位姿（旋轉，平移）→通過相機校準可以解決這個問題一般立體視覺系統為了估計

Pw的3D位置，可以構建左右攝像機的方程組三角剖分是在給定一組相應的圖像位置和已知攝像機位姿的情況下確定點的3D位置的問題。一般立體視覺系統目標：識別左右圖像中的對應點，它們是同一3D場景點的重投影典型相似性度量：歸一化互相關（NCC），平方差總和（SSD），一致性變換一般立體視覺系統在二維圖像上搜索在計算上非常昂貴！可以在一維中進行對應搜索嗎？一般立體視覺系統極線幾何理論可用于研究立體視覺系統各個相機圖像中，同源像點之間的關系，它不僅在雙目立體視覺圖像的對應點匹配有著重要作用，而且在三維重建和運動分析中也具有廣泛應用。立體視覺系統中的極線幾何常涉及以下幾個關鍵的定義：極線幾何與立體匹配向量叉積采用兩個向量并返回垂直于兩個輸入的第三個向量兩個平行向量的叉積等于0向量叉積也可以表示為一個斜對稱矩陣和一個向量的乘積極線幾何理論

極線約束本質矩陣極線幾何理論極線約束方程反映了相機坐標系中的兩個同源像點p1(x1,y1)和p2(x2,y2)之間的約束關系本質矩陣E（EssentialMatrix）是一個大小為3×3，秩是2的矩陣本質矩陣實際上描述左右相機坐標系之間的旋轉和平移關系。它只與相機之間的相對位置有關，與各個相機自身的焦距、光心和傳感器像素大小等內部參數無關。本質矩陣僅適用于兩個相機坐標系中的同源像點的物理坐標轉換，而不能在它們的圖像像素坐標之間建立聯系。極線幾何理論

極線約束基礎矩陣極線幾何理論極線幾何理論立體匹配過程通過單相機和立體視覺系統的校準過程，可以得到同源像點在不同相機坐標系或圖像坐標系中坐標之間的關系。要基于視差來計算空間點的深度信息，還需要進一步對圖像進行調整（ImageRectification），使兩個相機的圖像共面且“行對齊”，以簡化計算過程。平視雙目系統模型雖然可極大地簡化深度信息的計算，但它卻是一個極為理想化的模型?，F實世界中幾乎無法使兩個相機的像面完全共面，因此無法從物理上實現平視雙目系統，而只能最大限度地按照其特點進行近似配置。不過，通過對圖像進行畸變校正、旋轉平移和行對齊等調整過程，卻可以將“近似的平視雙目系統”變換為近乎理想的平視雙目系統。立體匹配過程立體匹配過程立體匹配過程假定左右相機圖像之間的位置關系可由旋轉矩陣R和平移向量T表示。讓左右圖像坐標分別旋轉RL和RR，使它們均與兩相機光心和投影中心所構成向量的和（亦為向量）平行。雖然分別旋轉左右相機坐標可使兩圖像共面，但兩共面圖像中的像素行卻并不一定對齊。這對實現后續的圖像對準過程不利，因此還需要對兩圖像進行調整。立體匹配過程在左右相機采集到被測目標的原始圖像后，圖像調整過程會先對各種畸變進行矯正，然后調整左右圖像使它們共面且行對齊。對于每個調整后的圖像（c）中的整數坐標，圖像調整過程都會從矯正圖像（b）中找到對應坐標，然后映射到原始圖像（a）中的浮點數坐標。然后再用其周圍的整數坐標像素值通過插值算法得到浮點坐標處的像素值。而該像素值就作為調整后的圖像（c）中整數坐標處的像素灰度。最后通常需要對調整后的左右圖像進行剪裁（d），取出用來計算深度信息的交集部分。立體匹配過程立體匹配過程對應點匹配過程通常輸出左右圖像的視差圖（DisparityMap）。視差圖以立體視覺系統左右圖像中任一幅圖像為參考（通常取左圖），其大小與參考圖像大小相同，但各元素值為左右圖像同源點視差值。由于兩幅圖像同源點之間視差值通常較小，因此一般都會通過一個因子對視差值進行倍增（如乘以16）再進行顯示。由于平視雙目視覺系統中空間點到相機的距離與視差成反比，因此視差圖中的像素越亮（灰度值越大），則表示對應的空間點離相機越近；相反，較暗的像素則表示空間點離相機較遠。立體匹配過程尋找對應像素點過程中常用的三條約束分別是:唯一性約束：左圖像中的一個給定像素點不能對應于右圖像中多于一個像素點單調次序約束：如果在左圖像中一個像素位于另一個像素的左邊(或者右邊)，那么在右圖像中該像素的對應像素也位于另一像素對應像素的左邊(或者右邊)，反之亦然，也即像素間的次序在左右圖像中是保持不變的連續性約束：視差圖在圖像中的各個區域應該是連續變化的立體匹配過程立體匹配過程立體匹配過程常見的兩種對應點匹配算法：塊匹配算法（BlockMatching）和半全局匹配算法（Semi-GlobalMatching）。塊匹配算法的執行速度較快半全局匹配算法則能提供間隔更小的視差圖，并能適應細節較少或幾乎無紋理的圖像。立體匹配過程常見的兩種對應點匹配算法：塊匹配算法（BlockMatching）和半全局匹配算法（Semi-GlobalMatching）。塊匹配算法的執行速度較快，半全局匹配算法則能提供間隔更小的視差圖，并能適應細節較少或幾乎無紋理的圖像。塊匹配算法可分為前置濾波（Prefiltering）、匹配（Correspondence）和后置濾波（Postfiltering）3個階段。前置濾波主要用來減小圖像中的亮度差異，增強圖像中的高頻細節。該過程可通過Sobel濾波器或歸一化響應濾波器（NormalizedResponseFilter）來實現。立體匹配過程而使用該濾波器內核對圖像增強時，采用以下方法取值：I=Min[Max(ISobel,-Icap),Icap]歸一化響應濾波器通過在圖像中滑動尺寸為5×5、7×7或其他奇數大小的窗口（最大為21×21），并通過以下方法來計算窗口中心位置的新像素值：I=Min[Max(ICenter-Iavg,-Icap),Icap]為降低噪聲和其他因素的影響，在搜索匹配點時可在右圖像中沿極線滑動一個小窗口，并計算左圖像中同樣大小的窗口內各特征像素點與右側滑動窗口內各像素之間的絕對值差之和（SumofAbsoluteDifferences,SAD），最后從中選出SAD最小的窗口作為匹配窗口。立體匹配過程對應點匹配過程可通過下述步驟描述：（1）構造一個小窗口（類似卷積核）。（2）用窗口覆蓋左邊的圖像，選擇出窗口覆蓋區域內的所有像素，包括特征像素。（3）同樣用窗口覆蓋右邊的圖像并選擇出覆蓋區域的像素點。（4）左邊覆蓋區域減去右邊覆蓋區域，并求出所有像素點差的絕對值之和（SAD）。（5）移動右邊圖像的窗口，重復步驟（3）和（4）。（6）找到這個范圍內SAD值最小的窗口，即找到了左邊圖像的最佳匹配的像素塊。立體匹配過程后置過濾包括兩個步驟：首先，根據用戶設定的視差獨特性比例（UniquenessRatio）參數和紋理閾值（TextureThreshold）參數，濾除不符合條件的像素點。視差獨特性比例參數用于描述有效匹配點的視差相對于其他像素點處視差的獨特性，其取值范圍為0~100，值越小說明匹配點相對其他像素的獨特性越低。紋理閾值參數用來規定某一像素對應的有效匹配點處SAD應達到的最小值。然后再使用斑點濾波器（SpeckleFilter）對剩余像素點進行過濾。斑點濾波器（SpeckleFilter）檢查每個像素周圍用戶指定的窗口范圍內的像素，并剔除超出用戶設定的斑點范圍或窗口視差范圍閾值參數的像素。立體匹配過程半全局匹配算法會先計算每個像素點的視差，組成視差圖，然后再設置下面和視差圖相關的全局能量函數，并使這個能量函數最小，以求解每個像素的最優視差。通過控制懲罰系數P1和P2，并使上述能量函數最小化，就能得到一個理想的視差圖。然而，利用上述函數在一個二維圖像中尋找最優解是一個極其復雜的問題，耗時特別大，因此需要將函數求解近似分解為多個一維的線性問題。而且每個一維問題都可以用動態規劃來解決。因為1個像素有8個相鄰像素，因此一般分解為8個一維問題。立體匹配過程若用Lr(p,d)為從當前