1、機(jī)器視覺應(yīng)用實(shí)驗(yàn)報(bào)告 姓 名 黃柱漢 學(xué) 號(hào) 201341304523 院 系 機(jī)械與汽車工程學(xué)院 專 業(yè) 儀器儀表工程 指導(dǎo)教師 全燕鳴 教授 2015年04月16日華南理工大學(xué)實(shí)驗(yàn)報(bào)告課程名稱： 機(jī)器視覺應(yīng)用機(jī)械與汽車工程學(xué)院系 儀器儀表工程專業(yè) 姓名 黃柱漢實(shí)驗(yàn)名稱 機(jī)器視覺應(yīng)用 實(shí)驗(yàn)日期2015.4.16 指導(dǎo)老師 全燕鳴一、 實(shí)驗(yàn)?zāi)康闹饕康挠幸韵聨c(diǎn)：1. 實(shí)際搭建工業(yè)相機(jī)、光源、被攝物體圖像獲取系統(tǒng)，自選Labview或Matlab、Halcon、Ni Vision軟件平臺(tái)，用打印標(biāo)定板求解相機(jī)內(nèi)外參數(shù)以及進(jìn)行現(xiàn)場(chǎng)系統(tǒng)標(biāo)定；2. 進(jìn)行一個(gè)具體實(shí)物體的攝像實(shí)驗(yàn)，經(jīng)圖像預(yù)處理和后處理

2、，獲得其主要形狀尺寸的測(cè)量（二維）3. 進(jìn)行一個(gè)具體實(shí)物體的攝像實(shí)驗(yàn)，經(jīng)圖像預(yù)處理和后處理，識(shí)別出其表面缺陷和定位。二、 實(shí)驗(yàn)原理“機(jī)器視覺”是用機(jī)器代替人眼來進(jìn)行識(shí)別、測(cè)量、判斷等。機(jī)器視覺系統(tǒng)是通過攝像頭將拍攝對(duì)象轉(zhuǎn)換成圖像信號(hào)，然后再交由圖像分析系統(tǒng)進(jìn)行分析、測(cè)量等。一個(gè)典型的機(jī)器視覺系統(tǒng)包括照明、鏡頭、相機(jī)、圖像采集卡和視覺處理器5個(gè)部分。HALCON是在世界范圍內(nèi)廣泛使用的機(jī)器視覺軟件，擁有滿足各類機(jī)器視覺應(yīng)用的完善開發(fā)庫。HALCON也包含Blob分析、形態(tài)學(xué)、模式識(shí)別、測(cè)量、三維攝像機(jī)定標(biāo)、雙目立體視覺等杰出的高級(jí)算法。HALCON支持Linux和Windows，并且可以通過C、

3、C+、C#、VisualBasic和Delphi語言訪問。另外HALCON與硬件無關(guān)，支持大多數(shù)圖像采集卡及帶有DirectShow和IEEE1394驅(qū)動(dòng)的采集設(shè)備，用戶可以利用其開放式結(jié)構(gòu)快速開發(fā)圖像處理和機(jī)器視覺應(yīng)用軟件，具有良好的跨平臺(tái)移植性和較快的執(zhí)行速度。本實(shí)驗(yàn)包括對(duì)被測(cè)工件進(jìn)行尺寸測(cè)量和表面缺陷檢測(cè)。尺寸測(cè)量是通過使用機(jī)器視覺來對(duì)考察對(duì)象的尺寸、形狀等信息進(jìn)行度量；缺陷檢測(cè)是通過機(jī)器視覺手段來分析零部件信息，從而判斷其是否存在缺陷。尺寸測(cè)量和表面缺陷檢測(cè)均可以通過邊緣檢測(cè)來實(shí)現(xiàn)。圖像邊緣是指其周圍像素灰度后階變化或屋頂狀變化的那些像素的集合，它存在于目標(biāo)與背景、目標(biāo)與目標(biāo)、區(qū)域與區(qū)

4、域，基元與基元之間。它具有方向和幅度兩個(gè)特征。沿邊緣走向，像素變化比較平緩；而垂直于邊緣走向，像素變化比較劇烈，而這種劇烈可能呈現(xiàn)階躍狀，也可能呈現(xiàn)斜坡狀。如圖1所示，邊緣上的這種變化可以用微分算子檢測(cè)出來，通常用一階或二階導(dǎo)數(shù)來檢測(cè)邊緣。不同的是，一階導(dǎo)數(shù)認(rèn)為最大值對(duì)應(yīng)邊緣位置，而二階導(dǎo)數(shù)則以過零點(diǎn)對(duì)應(yīng)邊緣位置。a) 圖像灰度變化b) 圖像灰度一階導(dǎo)數(shù)c) 圖像灰度二階導(dǎo)數(shù)圖1 圖像灰度變化與導(dǎo)數(shù)在傳統(tǒng)邊緣檢測(cè)方法里，基于一階導(dǎo)數(shù)的邊緣檢測(cè)算子有Robert算子、Sobel算子、Prewitt算子等。三、 實(shí)驗(yàn)器材 MER-500-7UM彩色數(shù)字相機(jī), 鏡頭位computar 8mm,單個(gè)像

5、素尺寸2.2x2.2 um；三腳架；標(biāo)定板,厚度3.8mm；計(jì)算機(jī)；被測(cè)工件；游標(biāo)卡尺。四、 實(shí)驗(yàn)內(nèi)容與步驟1. 實(shí)驗(yàn)內(nèi)容：(1)搭建視覺測(cè)量系統(tǒng)；(2)采集標(biāo)定板與被測(cè)工件圖像；(3)利用HALCON軟件進(jìn)行相機(jī)標(biāo)定，同時(shí)分別對(duì)被測(cè)工件進(jìn)行尺寸測(cè)量與缺陷檢測(cè)。2. 待測(cè)對(duì)象描述：尺寸測(cè)量與缺陷檢測(cè)的對(duì)象是一塊有五個(gè)開孔的小型面板，如圖2所示，面板表面較粗糙，對(duì)于光源系統(tǒng)及其背景選擇有較高要求。在使用中，開孔的作用是或者定位，若孔的尺寸過大(或過小)，會(huì)導(dǎo)致外接接口安裝不穩(wěn)定(或定位不準(zhǔn)確)。同樣，若存在不規(guī)則缺陷使得開孔過大(或過小)，亦會(huì)導(dǎo)致上述結(jié)果，故對(duì)此面板在使用前進(jìn)行尺寸測(cè)量與缺陷檢

6、測(cè)是非常必要的。圖 2 被測(cè)工件圖像3. 實(shí)驗(yàn)步驟：(1) 根據(jù)現(xiàn)場(chǎng)環(huán)境，選擇合適的機(jī)架安放地點(diǎn)光照強(qiáng)度適合、穩(wěn)定，安裝位置平坦。(2) 利用扳手等工具，將三腳架、相機(jī)和鏡頭組裝好。其中盡量保持相機(jī)鏡頭的中心線與測(cè)量平面的法線平行；(3) 啟動(dòng)計(jì)算機(jī)，打開大恒圖像采集軟件。將相機(jī)與計(jì)算機(jī)連接。(4) 在測(cè)量平面上放置白色背景（白紙），將標(biāo)定板放在白色背景上，調(diào)整標(biāo)定板的位置，使得標(biāo)定板完全落在相機(jī)視場(chǎng)內(nèi)部，對(duì)標(biāo)定板進(jìn)行圖像采集。(5) 通過平移、旋轉(zhuǎn)或改變其與成像平面的夾角改變標(biāo)定板的位置，直至完成15次標(biāo)定板圖像采集工作，得到部分標(biāo)定板圖像如圖3所示。abcdef圖 3 部分標(biāo)定板圖片(6)

7、 保持相機(jī)所有狀態(tài)不變，放置好被測(cè)工件，根據(jù)被測(cè)工件材質(zhì)選擇合適的背景色調(diào)，調(diào)整光源強(qiáng)度與打光方式。對(duì)被測(cè)工件進(jìn)行圖像采集，視覺測(cè)量平臺(tái)如圖4所示。圖 4 視覺測(cè)量平臺(tái)(7) 利用HALCON軟件編寫工件的尺寸測(cè)量程序，面板尺寸測(cè)量的流程如圖5所示。圖 5 尺寸測(cè)量流程圖(8) 測(cè)量缺陷幾何參數(shù)：利用HALCON軟件編寫測(cè)量程序，流程如圖6所示：圖 6 尺寸測(cè)量與確定缺陷幾何參數(shù)流程圖五、 數(shù)據(jù)記錄1攝像機(jī)標(biāo)定：使用標(biāo)定板圖像進(jìn)行標(biāo)定1) 打開HALCON軟件，出現(xiàn)界面如圖7所示；圖7 HALCON軟件界面2) 點(diǎn)擊“助手”“打開新的Calibration”創(chuàng)建新的Calibration，加載

8、描述文件（注意文件路徑不能夠包含中文字符），標(biāo)定板厚度是3.8mm，單個(gè)像元的寬和高都是2.2um，焦距默認(rèn)值即可，如圖8 a)所示； a) Calibration界面1 b) Calibration界面2圖8 標(biāo)定界面3) 加載標(biāo)定板圖像（注意文件路徑不能夠包含中文字符），如圖8 b)所示，標(biāo)定過程中提示某圖像“檢測(cè)出品質(zhì)問題”不用移除，若提示某圖像“提取標(biāo)志點(diǎn)失敗”，則必須移除，否則無法進(jìn)行標(biāo)定操作，這里將“確定”的圖像設(shè)為參考位姿；4) 點(diǎn)擊“標(biāo)定”，得到對(duì)應(yīng)的攝像機(jī)內(nèi)外參數(shù)，如圖9 a)所示；a) 攝像機(jī)標(biāo)定結(jié)果1b) 攝像機(jī)標(biāo)定結(jié)果2圖9 攝像機(jī)標(biāo)定結(jié)果5) 在標(biāo)定助手代碼生成界面點(diǎn)

9、擊“插入代碼”，將代碼插入到程序窗口的結(jié)果，如圖9 b)所示；6) 利用算子校正位姿，排除相機(jī)沒有嚴(yán)格垂直安裝對(duì)后續(xù)測(cè)量尺寸帶來的干擾。代碼：set_origin_pose(CameraPose,0,0,0.00246,PoseNewOrigin)2尺寸測(cè)量：1) 加載面板圖像，直接將圖像拖放到HALCON軟件中（圖像是灰度圖像），如圖10所示；代碼：read_image (Hhm2, C:/Users/Administrator/Desktop/hhm2.bmp)圖10 面板灰度圖像2) 提取感興趣區(qū)域（RIO），點(diǎn)擊“編輯ROI：ROI” “繪制感興趣區(qū)域”“插入代碼”，如圖11所示； 代

10、碼：gen_rectangle2 (ROI_1_0, 794.269, 1017.31, rad(59.3003), 485.18, 248.842)dev_set_draw(margin)reduce_domain(GrayImage, ROI_0, ImageReduced)感興趣區(qū)域 感興趣區(qū)域 a) 感興趣區(qū)域圖1b) 感興趣區(qū)域圖1c) 感興趣區(qū)域圖2圖11 感興趣區(qū)域圖3) 閾值分割，點(diǎn)擊“灰度直方圖”“改變輸出顏色”“改變閾值”“插入代碼”獲得被測(cè)區(qū)域，如圖12 a）所示；代碼：threshold (ImageReduced, Regions, 74, 255)4) 提取邊緣輪廓

11、，點(diǎn)擊“特征直方圖” “改變輸出顏色”“改變所需特征”“改變閾值”“插入代碼”獲得符合特征的區(qū)域，如圖12 b）和c）所示；代碼：connection(Regions, ConnectedRegions) select_shape (ConnectedRegions, SelectedRegions, area, and, 1753.22, 12516.9) 圖12 被測(cè)區(qū)域圖5) 選用合適方法擬合，獲得被測(cè)區(qū)域最小外接圓形，同時(shí)獲得與圓的圓心和半徑，如圖13所示；代碼：smallest_circle(SelectedRegions, Row, Column, Radius)gen_circl

12、e (Circle, Row, Column, Radius)a) 被測(cè)區(qū)域最小圓形b) 被測(cè)區(qū)域最小圓形參數(shù)圖13 被測(cè)區(qū)域最小圓形將像素坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)：image_points_to_world_plane(CameraParameters, PoseNewOrigin, Row, Column, mm, X, Y)三個(gè)圓心之間的距離6) 實(shí)驗(yàn)數(shù)據(jù)記錄：面板圓形形3面板圓形2面板圓形1 圖14 被測(cè)區(qū)域最小圓形圖表1 面板尺寸表單位：mm面板圓心1和2面板圓心1和3面板圓心2和3實(shí)測(cè)距離17.6826.8012.62HALCON計(jì)算距離18.706332.938414.71973. 缺

13、陷檢測(cè)缺陷標(biāo)定的主要思路：以圖中缺陷與圓形孔所成圖像就是橢圓，所以利用橢圓面積減去原先圓的面積就是缺陷的面積，從而得到缺陷圖像。缺陷標(biāo)定流程步驟命令得到圖像1讀取圖像(灰度圖)read_image (Hhm2, C:/Users/Administrator/Desktop /hhm2.bmp)2選取感興趣區(qū)域(預(yù)測(cè)未存在缺陷時(shí)孔的形態(tài))gen_region_runs (ROI_“area”)；”area為數(shù)集，由于數(shù)集較長(zhǎng)故不列出”reduce_domain(Image000, ROI_0, ImageReduced)3閾值分割threshold(Hhm2,Region, 90, 255)co

14、nnection(Region, ConnectedRegions)4最小外接圓形get_image_size(ImagePart, Width, Height)edges_sub_pix(ImageWorld, Edges, canny, 1, 20, 40)5 把線條擬合成橢圓fit_ellipse_contour_xld(Edges, fitzgibbon, -1, 0, 0, 200, 3, 2, Row, Column, Phi, Radius1, Radius2, StartPhi, EndPhi, PointOrder)6缺陷輪廓的區(qū)域就是橢圓的面積減去小圓（橢圓短徑為半徑的圓）

15、RT:=3.14*Radius1*Radius2RT1:=3.14*Radius2*Radius2QueXian:=RT-RT12.實(shí)驗(yàn)結(jié)果表2 儀表面板缺陷尺寸實(shí)測(cè)/ mmHALCON計(jì)算/ mm長(zhǎng)徑4.114.98534短徑3.223.65419六、數(shù)據(jù)分析處理1. 游標(biāo)卡尺實(shí)測(cè)面板圓形圓心1和2的距離L1=16.68mm；面板圓心1和3的距離L2=26.80mm；面板圓心2和3的距離L3=12.62mm；利用HALCON軟件標(biāo)定后，測(cè)面板圓形圓心1和2的距離L1=18.7063mm；面板圓心1和3的距離L2=32.9384mm；面板圓心2和3的距離L3=14.7197mm；HALCON軟件測(cè)得值與游標(biāo)卡尺測(cè)得值的絕對(duì)誤差：相對(duì)誤差： 2.缺陷幾何參數(shù)測(cè)量與誤差游標(biāo)卡尺實(shí)測(cè)長(zhǎng)徑；游標(biāo)卡尺實(shí)測(cè)短徑 HALCON軟件標(biāo)定后，測(cè)得長(zhǎng)徑，短徑；HALCON軟件測(cè)得值與卡尺長(zhǎng)徑絕對(duì)誤差： 長(zhǎng)徑相對(duì)誤差： 短徑絕對(duì)誤差： 短徑相對(duì)誤差： 誤差分析： (1) 圖像采集時(shí)，工件未放置于相機(jī)的成像中心，選用物距太大，相機(jī)中心線并沒有垂直測(cè)量平面；(2) 被測(cè)工件開孔尺寸小，實(shí)際尺寸與缺陷的測(cè)量困難，尤其是缺陷的長(zhǎng)度與開孔的寬度；(3) 工件輪廓分辨率不夠高，使得提取輪廓