第九章：機器視覺基礎

引言眼睛是心靈的窗戶，人類通過眼睛來感知物體的形狀、色彩位置，人類視覺感知信息約占人類所有感官信息的80%；機器人也一樣，機器人的智能化發展必然依賴機器人視覺技術的發展，而機器人視覺技術的基礎便是視覺圖像處理9.1圖像傳感器與視覺系統機器人視覺系統主要包括光源、鏡頭、相機、信息處理器、視覺算法軟件等部分。物體反射光源光線，通過鏡頭在相機中成像，通過圖像處理算法處理圖像得到需要的信息，再將其傳送到執行單元進行運動控制。機器人機器人視覺系統9.1圖像傳感器與視覺系統——光源作用：使物體的重要特征可見，同時抑制物體不需要的特征。常用光源：白熾燈熒光燈氙燈LED對于每種不同的檢測對象,必須采用不同的照明方式才能突出被檢測對象的特征,有時可能需要采取幾種方式的結合。9.1圖像傳感器與視覺系統——鏡頭鏡頭：鏡頭屬于光學部分，用于控制成像光線，也決定了成像的大部分屬性。其主要參數如下：焦距：從鏡頭的中心點到焦平面上所形成的清晰影像之間的距離。焦距的大小決定著視角的大小。光圈：用F表示，以鏡頭焦距f和通光孔徑D的比值來衡量，控制進入相機的光量。9.1圖像傳感器與視覺系統——鏡頭景深：被攝物體聚焦清楚后，在物體前后一定距離內，其影像仍然清晰的范圍。焦距越短、光圈越小，景深越大。視場：視場是指通過相機鏡頭所攝取到的景物范圍；視(場)角：從相機后結點到畫幅邊緣所形成的夾角。9.1圖像傳感器與視覺系統——鏡頭分類：按照焦距的長短和所拍攝畫面影響的特點，可將鏡頭分為標準鏡頭、廣角鏡頭、魚眼鏡頭、長焦鏡頭和變焦鏡頭等。標準鏡頭：視角50°左右，焦距50mm左右。成像效果與人眼類似，畫面貼切自然。廣角鏡頭：視角大(70°以上)，焦距偏小(30mm以下)，景深大，畸變大。9.1圖像傳感器與視覺系統——鏡頭魚眼鏡頭：視角180°左右，焦距16mm以下，屬于極端的超廣角鏡頭，一般用于天文觀測。長焦鏡頭：又稱遠攝鏡頭，視角12°以下，焦距200mm以上。景深小，視角小，畸變小，適宜人像、遠距拍攝。9.1圖像傳感器與視覺系統——圖像傳感器作用：將通過鏡頭投影到傳感器的圖像傳送到能夠儲存、分析和顯示的機器設備上。分類：按照傳感器類型可以分為CCD相機、CMOS相機CCDCMOS圖像傳感器是視覺成像技術的關鍵部件，會影響到目標成像質量和后續的圖像處理效果。好的圖像傳感器可以生成清晰、噪聲少、動態范圍高的圖像。9.1圖像傳感器與視覺系統——圖像傳感器屬性CCDCMOS成像質量噪聲隔離性好，成像質量較好集成度高，相互之間光、電、磁干擾嚴重，噪聲大功耗三組電源供電，耗電量大耗電量小，CCD的1/8到1/10信息讀取方式存儲的電荷信息需要在同步信號控制下一位一位轉移后讀取光電轉換之后直接產生電壓信號速度電荷一位一位轉移讀取，速度慢采集光信號的同時就可以讀取，可以達到極高幀率隨著CCD和CMOS技術的發展，二者的性能差異在逐漸縮小，CMOS成本低應用廣泛，但追求消費級產品一般還是用CCD。CMOS和CCD對比9.2圖像幾何變換與攝像機成像模型透鏡成像可以更好地控制進光量等成像參數，但是也會因為透鏡本身的原因帶來圖像畸變等現象，因此需要進行相機標定。最早的相機成像原理是基于小孔成像原理，當代的相機則是基于透鏡成像。小孔成像早期相機結構現在相機結構9.2圖像幾何變換與攝像機成像模型相機標定內容分為兩部分：(1)標定從像素坐標系到世界坐標系需要的參數；(2)標定相機的畸變參數視覺系統中，有像素坐標，圖像平面坐標，攝像機坐標，世界坐標四種坐標系。像素坐標：圖像陣列中的位置(u,v)圖像平面坐標：場景點在圖像平面上的投影坐標以攝像機主點為原點攝像機坐標：以攝像機（觀察者）為中心的三維坐標世界坐標：絕對坐標系中的三維坐標9.2圖像幾何變換與攝像機成像模型世界坐標系?相機坐標系

相機坐標系?圖像坐標系

圖像坐標系?像素坐標系相機標定可以確定坐標轉換需要的各種參數(內參、外參)9.3空間濾波圖像濾波：圖像在獲取的過程中，會由于多種因素的影響而產生質量的退化，而圖像濾波往往用于預處理，以提高待處理圖像的圖像質量。噪聲圖像1噪聲圖像2圖像濾波根據處理域不同分為空間濾波和頻域濾波9.3空間濾波平滑線性濾波器線性空間濾波處理經常被稱為“掩模與圖像的卷積”,類似的,濾波模板有時也稱為"卷積模板","卷積核"w11w12w13w21w22w23w31w32w33

x都是一些加權線性操作，所以稱為線性濾波器9.3空間濾波均值濾波器用鄰域像素的線性加權值替代原圖像素值，用于降低噪聲；圖像邊緣也是由圖像灰度尖銳變化帶來的特性,所以均值濾波還是存在有邊緣模糊負面效應。噪聲圖像3x3均值濾波器9x9均值濾波器9.3空間濾波統計排序(非線性)濾波器：對圖像領域內像素按照一定統計特性、數理特征進行排序等，替代原始圖像像素值。f11f12f13f21f22f23f31f32f33常見的非線性濾波器：中值濾波：選取鄰域內中值最大值濾波：選取鄰域內最大值最小值濾波：選取鄰域內最小值與線性濾波器相比，計算量相對較大不用設計權重，只需要利用鄰域的統計信息9.3空間濾波中值濾波3x3中值濾波器9x9中值濾波器噪聲圖像中值濾波對脈沖噪聲(也稱椒鹽噪聲)非常有效；對于線、尖頂等細節多的圖像不宜采?中值濾波。9.3空間濾波銳化空間濾波器：用來增強圖像邊緣及灰度突變區域，使圖像變得清晰。圖像銳化通過微分算子實現。拉普拉斯算子：是二維圖像函數各向同性的二階導。拉普拉斯運算卷積核擴展卷積核I：圖像x,y：坐標9.3空間濾波原始圖像拉普拉斯算子作用后圖像拉普拉斯算子銳化圖像拉普拉斯算子：一般將濾波后的圖像加在原圖上，起到銳化圖像的作用。用二次微分正峰和負峰之間的過零點來確定，對孤立點或端點更為敏感，因此特別適用于以突出圖像中的孤立點、孤立線或線端點為目的的場合。同時也易受噪聲影響，一般需要提前去噪。9.3空間濾波微分算子中，基于一階微分的sobel算子也是銳化濾波器常用的一種，常用于提取圖像中的邊緣。對噪聲具有平滑作用，提供較為精確的邊緣方向信息，是一種較為常用的邊緣檢測方法。

原圖9.4頻域濾波

頻域濾波往往用于去除圖像中的高頻或者周期性噪聲原圖頻域圖像9.4頻域濾波低頻信號包含圖像的輪廓，高頻信號包含圖像的細節保留頻域圖像中不同半徑內的信號成分，逆變換到原圖效果如下：原圖9.4頻域濾波常用的頻域低通濾波器為高斯低通濾波器。高斯低通濾波器(GLPF)的傳遞函數為高斯低通濾波器在低頻到高頻之間過渡較平滑，具有通低頻阻高頻的效果。

9.4頻域濾波通過高頻信號的衰減來實現頻域平滑原圖高頻成分一般為噪聲或者邊緣信息，高斯濾波后圖像更為平滑低通濾波之后的圖像9.5圖像分割圖像分割是指根據灰度、顏色、紋理和形狀等特征把圖像分成互不交迭的區域，有助于進一步的圖像理解。圖像分割算法分為基于灰度、邊緣、區域、圖論及能量泛函的分割方法，也是當前視覺領域的研究熱點之一。圖像分割進行目標物體區域提取9.5圖像分割

12.5圖像分割大津閾值分割算法分割示例：可以快速根據圖像灰度自動確定二值化需要的最佳閾值，具有較好的環境光線適應性；屬于全局分割，內容灰度級較復雜時，局部分割效果往往不會很好。9.5圖像分割思路：檢測灰度級或者結構具有突變的地方，表明一個區域的終結，也是另一個區域開始的地方。方法：先確定圖像中的邊緣像素，然后再把這些像素連接在一起就構成所需的區域邊界。常見的邊緣類型常見的邊緣提取方法圖像剖面一階導數二階導數上升邊緣下降邊緣脈沖邊緣屋頂邊緣Roberts算子sobel算子LoG算子canny算子其中效果公認比較好的是Canny算子9.5圖像分割Canny算子：是John.F.Canny于20世紀80年代提出的一種多級邊緣檢測算法，Canny首先思考定義了最優邊緣檢測的定義：好的檢測：算法能夠盡可能多地標識出圖像中的實際邊緣；好的定位：標識出的邊緣要盡可能與實際邊緣盡可能接近最小響應：邊緣只能標識一次，并且圖像噪聲不應標識為邊緣為了滿足這些要求，Canny設計了邊緣檢測的5個步驟：（1）高斯濾波器，平滑去噪(噪聲不應被標識成邊緣)（2）計算每個像素點的梯度強度和方向(梯度是邊緣計算基礎)（3）非極大值抑制消除誤檢邊(與實際邊緣盡可能接近)（4）雙閾值確定真實和潛在的邊緣(盡可能多地標識邊緣)（5）通過抑制孤立的弱邊緣最終完成邊緣檢測(與實際邊緣盡可能接近)9.5圖像分割1.高斯濾波器去噪2.計算每個像素點的梯度強度和方向高斯濾波原圖可以看出，邊緣寬度較寬且內部存在較弱的邊緣干擾經過高斯低通濾波，圖像更為平滑9.5圖像分割3.非極大值抑制消除誤檢邊邊緣(1)真正的邊緣點只有一個；(2)過像素點方向為梯度方向的直線與該像素點臨近的八像素點所組成的矩形，相交于dTmp1和dTmp2；(3)根據g1,g2和g3，g4估算出交點像素，如果該像素點均大于兩交點像素則為極大值邊緣點，否則為非邊緣點。可以看出，邊緣寬度都變成了單像素寬度9.5圖像分割4.雙閾值確定真實和潛在的邊緣設定雙閾值，邊緣強度大于高閾值的可以確定是邊緣點(真實邊緣，如左圖所示)，邊緣小于低閾值的可以確定不是邊緣，介于兩閾值之間的為潛在邊緣。5.通過抑制孤立的弱邊緣最終完成邊緣檢測真實邊緣是以高閾值為界限的，所以存在較多截斷邊緣，此步驟在真實邊緣鄰域內查找高于低閾值的潛在邊緣點，并將其置為真實邊緣，迭代該過程完成邊緣檢測。9.6特征提取圖像特征是圖像分析和理解的基礎。常見的低層圖像特征包括顏色特征、紋理特征和形狀特征等。顏色特征采用圖像區域內所有像素的顏色信息對圖像進行描述。顏色直方圖是最常用的顏色特征提取方法。圖像顏色直方圖顏色直方圖表示圖像顏色的組成分布，即各種顏色出現的概率。可用于衡量圖像間的全局差異，對物理變換不敏感。

9.6特征提取紋理特征可表示圖像中周期性變化的結構組織和排列屬性。常用的紋理特征提取方法包括統計分析法、模型分析法、幾何分析法和頻譜分析法。Gabor濾波器可視化結果

Gabor紋理特征：用Gabor函數作為單位沖擊響應的帶通濾波器，以檢測圖像中不同方向的邊緣，進而提取紋理特征。9.6特征提取形狀特征根據描述對象不同可分為基于輪廓的形狀描述符和基于區域的形狀描述符。后者的抗干擾能力更強。Zernike矩屬于基于區域的形狀描述符，其公式如下：其中，(a)原圖像(b)旋轉45°(c)縮小一半(d)加入噪聲類別原圖13.657913.281513.984212.9264旋轉12.777012.384213.719313.7747縮放12.745410.892013.751111.5310噪聲13.655113.270713.980112.9347各個圖像的Zernike矩9.7圖像匹配圖像匹配分為基于灰度、特征、相位的匹配，其中最為經典是基于灰度的NCC算法。NCC(Normalizedcrosscorrelation)歸一化交叉相關性，計算時，模板圖像在目標圖像上從左到右從上到下逐像素滑動，計算公式如下：

9.7圖像匹配互相關結果的峰值所在位置即為匹配到的模板圖像位置減去均值除以方差的歸一化操作使得NCC算法可以抵抗線性光照變化9.8圖像拼接圖像拼接是將一組存在重疊區域的圖像序列進行空間配準和圖像融合，形成一幅全景圖像的過程，主要包括兩個步驟：圖像配準和圖像融合。原始圖像拼接圖像9.8圖像拼接圖像配準：計算空間變換參數，使圖像序列之間相互重疊部分的坐標點對準以Harris特征點為例，具體步驟如下：特征點提取：分別提取參考圖像和待拼接圖像的Harris角點特征點配準：通過NCC算法計算相關性找到配準點對變換參數估計：使用透視變換模型估計圖像變換參數NCC相關性計算公式9.8圖像拼接圖像融合：對拼接后圖像中的重疊區域進行融合，使拼接后的圖像在視覺上保持一致以漸入漸出法為例，具體公式如下：待融合圖像融合后圖像

9.9視覺標定徑向畸變：圖像像素點以畸變中心為中心點，沿著徑向（矢徑方向）產生的位置偏差，從而導致圖像中所成的像發生形變，切向畸變相對較小，一般忽略不計。公式：枕形畸變:??>0

無畸變:??=0

桶形畸變:??<0圖像往往含有畸變，故相機標定還包括畸變矯正參數的計算9.9視覺標定標定內容:攝像機內參和外參

標定內容:徑向畸變參數通常使用前兩項，即k1和k2，對于畸變很大的鏡頭，如魚眼鏡頭，可以增加使用第三項k3來進行描述。9.9視覺標定——張正友標定法簡介：針對辦公、家庭使用的桌面視覺系統(DVS)的標定。特點：設備要求低，操作繁瑣，更加靈活，魯棒性較高條件：只需要相機在至少兩個不同方向拍攝一張平面圖案步驟：1.打印一張棋盤格A4紙張（黑白間距已知），并貼在一個平板上2.針對棋盤格拍攝若干張圖片（一般10-20張）3.在圖片中檢測特征點（Harris特征）4.利用解析解估算方法計算出5個內部參數，以及6個外部參數5.根據極大似然估計策略，設計優化目標并實現參數的優化以上這些步驟在matlab中和opencv中均有集成，支持傻瓜式操作，但是有必要了解一下張正友標定法的原理。9.9視覺標定——張正友標定法基本原理在這里假定模板平面在世界坐標系的平面上其中，為攝像機的內參數矩陣，為模板平面上點的齊次坐標，為模板平面上點投影到圖像平面上對應點的齊次坐標，和分別是攝像機坐標系相對于世界坐標系的旋轉矩陣和平移向量9.9視覺標定——張正友標定法根據旋轉矩陣的性質，即和，每幅圖像可以獲得以下兩個對內參數矩陣的基本約束：H由于攝像機有5個未知內參數，所以當所攝取得的圖像數目大于等于3時，就可以線性唯一求解出9.9視覺標定——張正友標定法張正友標定法標定過程張正友標定法可獲得亞像素精度點坐標，但也引入了誤差，當鏡頭畸變較大時，誤差也會增大(matlab工具箱比opencv更好用一些)張正友標定法標定板提取角點標定過程9.9視覺標定——張正友標定法標定后圖像矯正效果原始圖像校正后圖像圖像相減中心區域需要矯正的幅度最小，越往邊緣需要矯正的幅度越大中國領先的智能制造裝備、產品與方案專家9.10立體視覺雙目視差：因為人的左、右眼有間距（大約6cm），造成兩眼的視角存在細微的差別。雖然差距很小，但經視網膜傳到大腦里，便會產生遠近的深度，從而產生立體感。雙目視覺系統：運用兩個相同攝像機對同一場景從不同角度成像，從而根據三角測量原理恢復場景的深度信息。中國領先的智能制造裝備、產品與方案專家9.10立體視覺三角測量原理根據三角形相似有：聯立(1),(2)得：(2)注意b,f是已知的(標定)，要實現雙目立體視覺測距，最關鍵的是計算視差，即獲得空間同一物點P在左右兩幅圖像上投影點之間的對應關系。(1)左相機右相機焦距距離物體成像平面中國領先的智能制造裝備、產品與方案專家9.10立體視覺消除畸變通過標定得到的內參中的畸變參數可以對圖像進行去除畸變操作消除徑向和切向方向上的鏡頭畸變中國領先的智能制造裝備、產品與方案專家9.10立體視覺相機校正：輸出行對準的圖像，實現方式是極線約束極線約束：想要計算視差，必須知道該點在兩幅圖像上像點的對應位置，這一過程稱為立體匹配，極線約束就是用來輔助尋找圖像對應點位置的。三維空間中一點p，投影到兩個不同的平面I1、I2，投影點分別為p1，p2p、p1、p2在三維空間內構成一個平面SS與面I1的交線L1過p1點，稱之為對應于p2的極線，同理S與I2的交線稱之為對應于p1的極線將面搜索約束為線搜索，減少匹配搜索空間中國領先的智能制造裝備、產品與方案專家9.10立體視覺極線約束的標準形式將雙目相機轉換成標準形式，在水平極線約束上尋找對應點標準形式中國領先的智能制造裝備、產品與方案專家9.10立體視覺圖像匹配：查找左右圖像中對應的像素點，輸出視差圖在設定的搜索范圍內尋找最相似的像素點，計算對應的視差視差圖校正后的圖像對雙目立體匹配中國領先的智能制造裝備、產品與方案專家9.10立體視覺雙目立體視覺的應用雙目立體視覺是機器視覺中獲得三維信息的主要手段移動機器人工業三維測量，精度最高可達0.001mm抓取機器人，手眼系統9.11視覺檢測目標檢測：怎么檢測和識別出圖像中的物體，如汽車、牛？9.11視覺檢測干擾因素多光照的影響物體姿態的影響背景混淆遮擋類內差異視點的影響9.11視覺檢測計算量大一幅圖像中像素個數多，目前每秒約產生300G像素的圖像/視頻數據 -Google圖片搜索中已有幾十億幅圖像 -全球數字照相機一年產生180億張以上的圖片 -全球一年銷售約3億部照相手機人的物體識別能力是強大的 -靈長類動物約使用大腦皮層的一半來處理視覺信息 -可以識別3,000-30,000種物體 -物體姿態可允許30度以上的自由度。9.11視覺檢測分類器：獲取訓練數據，進行特征提取之后，訓練分類器分類器輸入：檢測區域的特征向量輸出：0/1或者概率9.11視覺檢測通過滑動窗口（slidingwindows）搜索感興趣的物體，通過訓練分類器來判斷窗口內是否含有目標物體。Car/non-carClassifier0(NO)/1(YES)9.11視覺檢測經典的特征提取+分類器的目標檢測算法就是HOG特征+SVM（支持向量機）的模式。近年來，深度學習模型逐漸取代傳統機器視覺方法而成為目標檢測領域的主流算法，但了解經典的目標檢測算法有利于我們理解檢測問題的本質，作為了解深度學習算法的基礎。獲取正樣本集并計算HOG特征獲取負樣本集并計算HOG特征利用SVM訓練正負樣本，得到Model利用分類器Model進行滑動搜索計算非極大值抑制滑窗搜索相似區域非極大值抑制9.12視覺跟蹤視覺跟蹤：通過視覺檢測、跟蹤算法和跟蹤平臺的配合實現對目標的全自動實時定位和跟蹤。應用領域快速準確魯棒(1)圖像采集目標平面