1、精選優(yōu)質(zhì)文檔-傾情為你奉上計算機(jī)雙目立體視覺 雙目立體視覺技術(shù)是仿照人類利用雙目線索感知深度信息的方法，實(shí)現(xiàn)對三維信息的感知。為解決智能機(jī)器人抓取物體、視覺導(dǎo)航、目標(biāo)跟蹤等奠定基礎(chǔ)。 雙目立體視覺（Binocular Stereo Vision）是機(jī)器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應(yīng)點(diǎn)之間的位置偏差，來獲取物體三維幾何信息的方法。融合兩只眼睛獲取的圖像并觀察它們之間的差別，使我們可以獲得明顯的深度感，建立特征間的對應(yīng)關(guān)系，將同一空間物理點(diǎn)在不同圖像中的映像點(diǎn)對應(yīng)起來，這個差別，我們稱作為視差（Disparity）圖像。雙目立

2、體視覺系統(tǒng)立體視覺系統(tǒng)由左右兩部攝像機(jī)組成，如圖，世界空間中的一點(diǎn)A(X,Y,Z)在左右攝像機(jī)的成像面和上的像點(diǎn)分別為 和。這兩個像點(diǎn)是世界空間中同一個對象點(diǎn)A的像，稱為“共軛點(diǎn)”。知道了這兩個共軛像點(diǎn)，分別作它們與各自相機(jī)的光心和的連線，即投影線和，它們的交點(diǎn)即為世界空間中的對象點(diǎn)A。這就是立體視覺的基本原理。雙目立體視覺智能視頻分析技術(shù)恢復(fù)場景的3D信息是立體視覺研究中最基本的目標(biāo)，為實(shí)現(xiàn)這一目標(biāo)，一個完整的立體視覺系統(tǒng)通常包含六個模塊：圖像獲取、攝像機(jī)標(biāo)定、特征提取、立體匹配、三維恢復(fù)和視頻分析（運(yùn)動檢測、運(yùn)動跟蹤、規(guī)則判斷、報警處理）。圖像獲?。↖mage Acquisition）數(shù)字

3、圖像的獲取是立體視覺的信息來源。常用的立體視覺圖像一般為雙目圖像，有的采用奪目圖像。圖像的獲取方式有很多種，主要有具體運(yùn)用的場合和目的決定。立體圖像的獲取不僅要滿足應(yīng)用要求，而且考慮視點(diǎn)差異、光照條件、攝像機(jī)的性能和場景特點(diǎn)等方面的影像。攝像機(jī)標(biāo)定（Camera Calibration）圖像上每一點(diǎn)的亮度反映了空間物體表面某點(diǎn)反射光的強(qiáng)度，而該點(diǎn)在圖像上的位置則與空間物體表面相應(yīng)點(diǎn)的幾何位置有關(guān)。這些位置的相互關(guān)系由攝像機(jī)成像幾何模型來決定。該幾何模型的參數(shù)稱為攝像機(jī)參數(shù)，這些參數(shù)必須由實(shí)驗(yàn)與計算來確定，實(shí)驗(yàn)與計算的過程稱為攝像機(jī)定標(biāo)。立體視覺系統(tǒng)攝像機(jī)標(biāo)定是指對三維場景中對象點(diǎn)在左右攝像機(jī)圖

4、像平面上的坐標(biāo)位置和與其世界空間坐標(biāo)A（X, Y, Z）之間的映射關(guān)系的確立，是實(shí)現(xiàn)立體視覺三維模型重構(gòu)中基本且關(guān)鍵的一步。特征提?。‵eature Acquisition）特征提取的目的是獲取匹配得以進(jìn)行的圖像特征，圖像特征的性質(zhì)與圖像匹配的方法選擇有著密切的聯(lián)系。目前，還沒有建立起一種普遍適用的獲取圖像特征的理論，因此導(dǎo)致了立體視覺研究領(lǐng)域中匹配特征的多樣化。像素相位匹配是近二十年才發(fā)展起來的一類匹配算法。相位作為匹配基元，本身反映著信號的結(jié)構(gòu)信息，對圖像的高頻噪聲有很好的一直作用，適于并行處理，能獲得亞像素級精度的致密視差。但存在相位奇點(diǎn)和相位卷繞的問題，需加入自適應(yīng)濾波器解決?；蛘呤窍?/p>

5、素的集合，也可以是它們的抽象表達(dá)，如圖像的結(jié)構(gòu)、圖像的目標(biāo)和關(guān)系結(jié)構(gòu)等。常用的匹配特征主要有點(diǎn)狀特征、線裝特征和區(qū)特征等幾種情形。一般而言，尺度較大的圖像特征蘊(yùn)含較多的圖片信息，且特征本身的數(shù)目較少，匹配效率高；但特征提取和描述過程存在較大的困難，定位精度也較差。而對于尺度較小的圖像特征來說，對其進(jìn)行表達(dá)和描述相對簡單，定位的精度高；但由于特征本身數(shù)碼較多，所包含的圖像信息少，在匹配時需要采用較為嚴(yán)格的約束條件和匹配策略，一盡可能的減少匹配歧義和提高匹配效率?？偟膩碚f，好的匹配特征應(yīng)該具有要可區(qū)分性、不變性、唯一性以及有效解決匹配歧義的能力。圖像匹配（Image Matching）在立體視覺中

6、，圖像匹配是指將三維空間中一點(diǎn)A（X, Y, Z）在左右攝像機(jī)的成像面和上的像點(diǎn)和對應(yīng)起來。圖像匹配是立體視覺中最重要也是最困難的問題，一直是立體視覺研究的焦點(diǎn)。當(dāng)空間三維場景經(jīng)過透視投影（Perspective Projection）變換為二維圖像時，同一場景在不同視點(diǎn)的攝像機(jī)圖像平面上成像會發(fā)生不同程度的扭曲和變形，而且場景中的光照條件、被測對象的幾何形狀和表面特性、噪聲干擾和畸變、攝像機(jī)特性等諸多因素的影響都被集中體現(xiàn)在單一的圖像灰度值中。顯然，要包含了如此之多不利因素的圖像進(jìn)行精準(zhǔn)的匹配是很不容易的。根據(jù)匹配基元的不同，立體視覺匹配算法分為三大類：區(qū)域匹配、特征匹配和相位匹配。這三類算

7、法因匹配基元的不同，它們判斷對應(yīng)點(diǎn)匹配的理論依據(jù)也有所不同，同時匹配基元的穩(wěn)定性、致密性和歧義性程度直接決定了各類算法的基本特性。另一方面，對于不同的匹配基元，相似性測度的算法模型可以是通用的，比如都可以用距離測度來進(jìn)行匹配度量。而且，各類匹配算法中不乏一些共有的約束條件。特征點(diǎn)的定位 視差測距原理 當(dāng)攝像機(jī)的幾何位置固定時，視差就只與d有關(guān)三維恢復(fù)（3D Reconstruction）在完成立體視覺系統(tǒng)的攝像機(jī)標(biāo)定和圖像匹配工作以后就可以進(jìn)行被測對象表面點(diǎn)的三維信息恢復(fù)。影響三維測量精度的因素主要有攝像機(jī)標(biāo)定誤差、CCD成像設(shè)備的數(shù)字量化效應(yīng)、特征提取和匹配定位精度等。視頻分析（運(yùn)動檢測、運(yùn)

8、動跟蹤、規(guī)則判斷、報警處理）通過視差計算，得到全屏幕的視差圖像后，采用背景建模的方式，得到運(yùn)動前景物的視差圖像，再進(jìn)行膨脹和腐蝕算法進(jìn)行圖像的預(yù)處理，得到完整的可供分析的前景運(yùn)動物體視差圖。采用運(yùn)動跟蹤算法，全屏實(shí)時檢測物體的大小、運(yùn)動軌跡，并與事先設(shè)置的規(guī)則進(jìn)行對比，如果有人進(jìn)入或者離開設(shè)置的報警區(qū)域，系統(tǒng)則實(shí)時報警。視差：I1=rgb2gray(imread('scene_left.jpg');I2=rgb2gray(imread('scene_right.jpg');subplot(131);imshow(I1);subplot(132);imshow(I

9、2);d=disparity(I1,I2);subplot(133);imshow(d);I1=rgb2gray(imread('scene_left.jpg');I2=rgb2gray(imread('scene_left.jpg');subplot(131);imshow(I1);subplot(132);imshow(I2);d=disparity(I1,I2);subplot(133);imshow(d);極線：極平面與圖像平面的交線；極平面：空間點(diǎn)、兩像機(jī)光心決定的平面；epipolarLine計算兩幅圖像的極線load stereoPointPair

10、sfLMedS,inliers=estimateFundamentalMatrix( matchedPoints1, matchedPoints2, 'NumTrials', 4000);I1=imread('scene_left.jpg');figure;subplot(121);imshow(I1);title('Inliers and Epipolar Lines in First Image');hold on;plot(matchedPoints1(inliers,1),matchedPoints1(inliers,2),'go

11、');epiLines = epipolarLine(fLMedS',matchedPoints2(inliers,:);pts = lineToBorderPoints(epiLines,size(I1);line(pts(:,1,3)',pts(:,2,4)');% show the inliers in the second image.I2=imread('scene_right.jpg');subplot(122);imshow(I2);title('Inliers and Epipolar Lines in second Im

12、age');hold on;plot(matchedPoints2(inliers,1),matchedPoints2(inliers,2),'go');epiLines = epipolarLine(fLMedS',matchedPoints1(inliers,:);pts = lineToBorderPoints(epiLines,size(I2);line(pts(:,1,3)',pts(:,2,4)');truesize;對應(yīng)點(diǎn)的估計基礎(chǔ)矩陣estimateFundamentalMatrix左右兩幅圖像相對應(yīng)的點(diǎn)之間的關(guān)系可以通過本質(zhì)矩陣

13、或是基礎(chǔ)矩陣來表明。本質(zhì)矩陣是攝像機(jī)標(biāo)定的情況下用的，公式：其中和分別是兩個齊次攝像機(jī)的坐標(biāo)向量。本質(zhì)矩陣是奇異矩陣，并有兩個相等的非零奇異值，秩為2.本質(zhì)矩陣是攝像機(jī)非標(biāo)定的情況下用的，公式：基礎(chǔ)矩陣的秩為2.load stereoPointpairsF = estimateFundamentalMatrix( matchedPoints1, matchedPoints2)I1=imread('scene_left.jpg');I2=imread('scene_right.jpg'); cvexShowImagePair(I1,I2,'matchedP

14、oints in Left Image','matchedPoints in Right Image', 'MultipleColors',matchedPoints1,matchedPoints2); 問題： cvexShowImagePair在matlab中找不到源程序.所以無法顯示匹配的點(diǎn)>> fourF = 0.0000 0.0000 -0.0209 -0.0000 0.0000 -0.0214 0.0202 0.0190 0.9992極點(diǎn)：基線與兩攝像機(jī)圖像平面的交點(diǎn)；基線：左右兩相機(jī)光心的連線；判斷圖像是否包含極點(diǎn) isEpipo

15、leInImageload stereoPointPairsF = estimateFundamentalMatrix( matchedPoints1, matchedPoints2);imageSize = 200 300;isIn,epipole=isEpipoleInImage(F,imageSize)isIn = 0epipole = 114.8720 222.6113isIn說明的是圖像是否包含極點(diǎn)，epipole標(biāo)準(zhǔn)極點(diǎn)的位置。 基于雙目立體視覺的物體深度信息提取系統(tǒng)研究攝像機(jī)標(biāo)定，圖像預(yù)處理，立體匹配以及深度信息提取 攝像機(jī)標(biāo)定 圖像上每一個像素的灰度反映了空間物體表面某點(diǎn)的反射

16、光的強(qiáng)度，而該點(diǎn)在圖像上的位置則與空間物體表面對應(yīng)點(diǎn)的幾何位置有關(guān)。這些位置的相互關(guān)系，由攝像機(jī)成像系統(tǒng)的幾何投影模型所決定。 I1=rgb2gray(imread('cup_left.jpg');subplot(321);imshow(I1);I2=rgb2gray(imread('cup_right.jpg');subplot(322); imshow(I2); %檢測特征點(diǎn)pts1 = detectSURFFeatures(Iin);Pts2 = detectSURFFeatures(Iout);featuresIn, validPtsIn = extra

17、ctFeatures(I1, pts1);featuresOut, validPtsOut = extractFeatures(I2, pts2); %匹配特征點(diǎn)indexPairs = matchFeatures(features1, features2);matchedPts1 = validPts1(indexPairs(:,1);matchedPts2 = validPts2(indexPairs(:,2);subplot(323); showMatchedFeatures(Iin,Iout,matchedPts1,matchedPts2);title('Matched SUR

18、F points, including outliers'); % Exclude the outliers and compute the transformation matrixtform,inlierPtsOut,inlierPtsIn = estimateGeometricTransform(.matchedPts2,matchedPts1,'similarity');subplot(324); showMatchedFeatures(Iin,Iout,inlierPts1,inlierPts2);title('Matched inlier point

19、s'); % Recover the original image I from IoutoutputView = imref2d(size(I1);Ir = imwarp(I2, tform, 'OutputView', outputView);subplot(325); imshow(Ir); returns an image that is SCALE times the size of A, which is a grayscale, RGB, or binary image. SURFPoints, extractFeatures, matchFeatures, detectBRISKFeatures, detectFASTFeatures, detectHarrisFeatures, detectMinEigenFeatures, detectMSERFeaturesdetectSURFFeatures load stereoPointPairs fLMedS, inliers = estimateFundamentalMatrix(. matchedPoints1, m