1、立體視覺(jué)匹配4分開(kāi)放分類(lèi)：人工智能圖像處理計(jì)算機(jī)視覺(jué)收藏分享到頂2編輯詞條 目錄· 1 背景· 2 發(fā)展與現(xiàn)狀· 3 問(wèn)題描述· 展開(kāi)全部摘要糾錯(cuò)編輯摘要立體視覺(jué)匹配（Stereo Correspondence）的目標(biāo)是從不同視點(diǎn)圖像中找到匹配的對(duì)應(yīng)點(diǎn)。立體視覺(jué)匹配（Stereo Correspondence）是計(jì)算機(jī)視覺(jué)中的一個(gè)重要而又非常困難的問(wèn)題，它的目標(biāo)是從不同視點(diǎn)圖像中找到匹配的對(duì)應(yīng)點(diǎn)。立體視覺(jué)匹配- 背景    人類(lèi)的雙目立體視覺(jué)系統(tǒng)是一個(gè)非常智能的系統(tǒng)。場(chǎng)景中的光線(xiàn)在人眼這個(gè)精密的成像系統(tǒng)中

2、被采集，通過(guò)神經(jīng)中樞被送入包含有數(shù)以?xún)|計(jì)的神經(jīng)元的大腦中被并行的處理，得到了實(shí)時(shí)的高清晰度的準(zhǔn)確的深度感覺(jué)信息。憑借著大腦的智能與人類(lèi)的知識(shí)，即使是高度近視的人，在摘掉眼鏡之后仍然能夠得到比較準(zhǔn)確的深度感。這樣智能的系統(tǒng)，使得人類(lèi)對(duì)環(huán)境的適應(yīng)能力大大提高，很多復(fù)雜的動(dòng)作能夠得以完成： 如行走、體育運(yùn)動(dòng)、駕駛車(chē)輛以及進(jìn)行科學(xué)實(shí)驗(yàn)等。相比之下，機(jī)器的立體視覺(jué)系統(tǒng)則要落后得多。相機(jī)采集到的圖像數(shù)據(jù)中可能存在較大的噪聲，相機(jī)參數(shù)也有可能不對(duì)稱(chēng)； 用于處理圖像的計(jì)算機(jī)大部分還是馮$cdot$諾依曼結(jié)構(gòu)的串行計(jì)算機(jī)，處理能力與人腦相差甚遠(yuǎn)。計(jì)算機(jī)視覺(jué)的研究歷史也不長(zhǎng)：上世紀(jì)七十年代末之

3、前的視覺(jué)研究主要集中于生理學(xué)和心理學(xué)上；在大衛(wèi)·馬爾提出了視覺(jué)計(jì)算模型以后，人們才慢慢的開(kāi)始利用計(jì)算機(jī)和數(shù)學(xué)模型進(jìn)行視覺(jué)處理。早期的立體視覺(jué)，由于受限于硬件條件，只能對(duì)圖像上的特征點(diǎn)進(jìn)行匹配， 得到離散點(diǎn)的深度信息。 然而， 計(jì)算機(jī)硬件的發(fā)展非常迅速，正如摩爾定律所指出的，每 18 個(gè)月，計(jì)算機(jī)的硬件價(jià)格就下降一半，而性能則提高一倍。當(dāng)計(jì)算機(jī)的處理能力不斷提高的時(shí)候，人們開(kāi)始嘗試計(jì)算整幅圖的稠密對(duì)應(yīng)關(guān)系，同時(shí)也開(kāi)始采用一些更加復(fù)雜更加準(zhǔn)確的數(shù)學(xué)工具進(jìn)行計(jì)算。當(dāng)前計(jì)算機(jī)立體視覺(jué)的水平與人類(lèi)的雙目視覺(jué)水平還相距甚遠(yuǎn)，對(duì)它的研究仍然是一個(gè)非常活躍的領(lǐng)域。大量的

4、學(xué)校、公司以及研究機(jī)構(gòu)的研究人員仍然在進(jìn)行著對(duì)計(jì)算機(jī)立體視覺(jué)的研究，這是因?yàn)橛?jì)算機(jī)立體視覺(jué)與人眼立體視覺(jué)相比，主要有以下不可替代的優(yōu)點(diǎn)：  * 精度高。人眼的立體感知能力雖然很強(qiáng)，能夠很輕松的正確判斷出兩個(gè)物體的深度順序，但是卻無(wú)法得到其精確的距離信息。然而，使用計(jì)算機(jī)立體視覺(jué)，通過(guò)精確的標(biāo)定，使用合適的計(jì)算方法，在匹配正確的情況下可以得到非常精確的深度和位置等數(shù)值信息，這使得機(jī)器人的精密控制、三維模型重建等工作可以更好的完成。  * 擴(kuò)展能力強(qiáng)大。由于計(jì)算機(jī)硬件和軟件不像人類(lèi)的器官那樣不可改變，計(jì)算機(jī)立體視覺(jué)可以從各個(gè)方面對(duì)其進(jìn)行擴(kuò)展，以滿(mǎn)足不同應(yīng)用的

5、需求。首先，計(jì)算機(jī)立體視覺(jué)并不限于雙目視覺(jué)，很多系統(tǒng)使用了三相機(jī)、多相機(jī)甚至相機(jī)矩陣采集圖像。相機(jī)的擺放方式除了類(lèi)似人眼的水平擺放，還可以采用垂直擺放、環(huán)繞擺放以及立體擺放等多種靈活的方式，有一些系統(tǒng)的相機(jī)間的關(guān)系還可以根據(jù)需要進(jìn)行動(dòng)態(tài)變化。此外，除了可見(jiàn)光，使用特殊的相機(jī)，還可以采集到其它各種類(lèi)型的輸入數(shù)據(jù)，如紅外線(xiàn)、核磁共振等。所以說(shuō)，計(jì)算機(jī)立體視覺(jué)技術(shù)具有強(qiáng)大的擴(kuò)展能力，能夠提供比人眼立體視覺(jué)系統(tǒng)更豐富的信息。  * 除了以上的兩個(gè)特點(diǎn)，計(jì)算機(jī)還具有連續(xù)工作時(shí)間長(zhǎng)、不易損壞、保密性好、沒(méi)有培訓(xùn)成本、結(jié)果易于保存和復(fù)制等優(yōu)點(diǎn)。由此看來(lái)，對(duì)于立體視覺(jué)匹配的研究，能夠大大的增強(qiáng)計(jì)算機(jī)

6、或機(jī)器人對(duì)環(huán)境的感知能力，使得機(jī)器人能夠更好的適應(yīng)環(huán)境、更加智能，從而能夠更好的為人們服務(wù)。如今立體視覺(jué)技術(shù)主要應(yīng)用于如下一些領(lǐng)域：三維環(huán)境感知與建模、機(jī)器人導(dǎo)航、物體跟蹤與檢測(cè)以及圖像分割等。隨著立體視覺(jué)技術(shù)的進(jìn)一步發(fā)展，可能會(huì)有更多的領(lǐng)域使用這項(xiàng)技術(shù)。立體視覺(jué)匹配-發(fā)展與現(xiàn)狀    如前所述，計(jì)算機(jī)視覺(jué)起始于大衛(wèi)·馬爾等人提出的視覺(jué)的可計(jì)算模型。最簡(jiǎn)單的的匹配算法利用匹配點(diǎn)周?chē)粋€(gè)固定大小的窗口的灰度分布，在一個(gè)可能的視差范圍內(nèi)，通過(guò)尋找兩個(gè)對(duì)應(yīng)窗口圖像向量的歸一化相關(guān)值的最大值得到視差，這一類(lèi)方法也被稱(chēng)為“區(qū)域匹配”方法（Area

7、0;Matching）。區(qū)域匹配的一個(gè)假設(shè)是空間的平面是所謂的正平面，也就是與相機(jī)平面平行的平面，而實(shí)際的場(chǎng)景中存在著大量的非正平面，因此人們開(kāi)始考慮利用一些更有意義的特征點(diǎn)（感興趣點(diǎn)）來(lái)進(jìn)行匹配， 這種方法也被稱(chēng)為特征匹配（Feature Matching）方法，如 Marr和 Poggio 提出了多尺度的匹配算法，利用不同的 Laplacian 過(guò)零點(diǎn)以及梯度進(jìn)行匹配。立體視覺(jué)匹配的另一個(gè)挑戰(zhàn)在于匹配的歧義性：對(duì)于一幅圖上的某個(gè)像素或特征，另一幅圖像可能有若干特征與之相似，如何選擇正確的匹配是一個(gè)困難而又必須解決的問(wèn)題。Barn 提出了松弛標(biāo)號(hào)法（Relaxation-Label

8、ing），利用平滑性和投票的策略解決歧義性問(wèn)題；Pollard 等人定義了離散視差的視差梯度，通過(guò)限制視差梯度減小歧義情況下的錯(cuò)匹配；Marr 和 Poggio 以及 Zitnick 和 Kanade 采用了合作的匹配框架，試圖通過(guò)多個(gè)特征的匹配信息以及唯一性假設(shè)來(lái)解決歧義。 更好的方法是采用全局的方法進(jìn)行求解，把多個(gè)像素或特征的視差求解歸一到一個(gè)能量框架下。使用了能量?jī)?yōu)化的框架之后，能量函數(shù)的定義和優(yōu)化變成了兩個(gè)較為獨(dú)立的問(wèn)題， 可以分別加以研究和解決。在定義能量函數(shù)方面，不同的算法采用不同的匹配信息和不同的先驗(yàn)假設(shè)來(lái)描述能量函數(shù)中的不同部分，通過(guò)這些假設(shè)把大量的特征聯(lián)系

9、起來(lái)，聯(lián)合求解以消除歧義。在能量?jī)?yōu)化方法方面，較傳統(tǒng)的有模擬退火（Simulated Annealing）算法、最可靠有限算法等。近些年，基于圖切割（Graph-Cuts）和置信度傳遞（Belief-Propogation）的優(yōu)化算法逐漸被廣泛采用。以上算法的速度都較慢，主要原因在于當(dāng)平滑函數(shù)為一般函數(shù)的時(shí)候，以上的能量?jī)?yōu)化函數(shù)是一個(gè) NP難題。為了提高效率，一些研究人員考慮采用具有低階多項(xiàng)式復(fù)雜度的動(dòng)態(tài)規(guī)劃算法，此時(shí)需要把優(yōu)化局限于單條掃描線(xiàn)或把多連通的圖變成一棵樹(shù)。立體視覺(jué)匹配-問(wèn)題描述    圖 1：標(biāo)準(zhǔn)配置下雙目立體視覺(jué)的幾何模型和視差

10、的定義。圖中 c 和 c' 分別為參考相機(jī)和匹配相機(jī)的光心， Z 為空間中點(diǎn) P 的深度，B 為基線(xiàn)長(zhǎng)度，視差定義為 P 點(diǎn)在兩相機(jī)中成像的水平坐標(biāo)的差值 x - x'。立體視覺(jué)匹配問(wèn)題的輸入為若干不同視角的相機(jī)采集的圖像，輸出是這些圖像上的點(diǎn)的對(duì)應(yīng)關(guān)系。圖 1 為標(biāo)準(zhǔn)配置下雙目立體視覺(jué)的幾何模型。c 和 c' 為兩相機(jī)的光心，f 為焦距，B 為兩光心的連線(xiàn)，也稱(chēng)為基線(xiàn)，過(guò)光心且垂直于成像平面的直線(xiàn)稱(chēng)為光軸。所謂標(biāo)準(zhǔn)配置是指兩個(gè)相機(jī)的光軸垂直于基線(xiàn)且互相平行。設(shè)兩相機(jī)的焦距相等，且相機(jī)的坐標(biāo)系的水平坐標(biāo)與基線(xiàn)方向平行， 則空間中的點(diǎn) P 在兩相機(jī)上成的像具有相

11、同的豎直坐標(biāo)，這個(gè)特點(diǎn)也叫立體視覺(jué)的外極線(xiàn)（Epipolar Line）(所謂的外極線(xiàn)是指外極平面和圖像平面的交線(xiàn)，其中外極平面是包含兩個(gè)焦點(diǎn)和空間點(diǎn)的平面)約束。對(duì)于一般配置的相機(jī)（如圖 2），通過(guò)相機(jī)標(biāo)定和配準(zhǔn)，可以得到標(biāo)準(zhǔn)配置下的圖像。如無(wú)特殊說(shuō)明， 本文余下的部分所涉及的立體匹配問(wèn)題，都是建立在標(biāo)準(zhǔn)配置下的幾何模型。圖 2：一般位置的相機(jī)的立體成像幾何模型。通過(guò)相機(jī)的標(biāo)定和配準(zhǔn)，我們可以得到標(biāo)準(zhǔn)配置下的圖像，如圖中的虛線(xiàn)所示。圖中的$c$和$c'$為左右相機(jī)的光心，e 和 e' 稱(chēng)為外極點(diǎn)，M 為三維空間中的一點(diǎn)，m 和 m' 分別為 M 在兩相機(jī)上的成的像。設(shè) P 點(diǎn)投影到兩相機(jī)后的圖像分別為 x 和 x'， 我們說(shuō) x 和 x' 是一對(duì)對(duì)應(yīng)點(diǎn)。如果我們用 x 和 x' 來(lái)表示它們的水平坐標(biāo)，這兩個(gè)點(diǎn)的對(duì)應(yīng)關(guān)系可以由如下定義的視差來(lái)描述：    d = x - x'通過(guò)簡(jiǎn)