傳感器及RFID應用技術圖像識別技術應用掌握圖像識別技術的概念及應用，掌握圖像識別系統的組成。理解圖像、圖像采集、像素、圖像分辨率、色彩空間、灰度變換、二值化、圖像分割、邊緣檢測、降噪、模板匹配等概念。知識要點會使用辦公軟件中的調色板設置RGB/HSL模式下的顏色；會根據圖像識別的要求選用相機；會使用百度識圖識別一個歷史人物；會簡單的視覺系統設備選型。技能要點項目目標某型活塞零件需要進行視覺檢測和掃碼入庫，為機器人選擇機器人視覺系統。任務目標1.圖像識別的基礎知識2.圖像識別系統的組成3.圖像識別的工作內容4.圖像識別系統的應用目錄1）圖像識別的發展

圖像識別（ImageRecognitionTechnology），是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對象的技術。文字識別數字圖像處理與識別物體識別一般是識別字母、數字和符號，從印刷文字識別到手寫文字識別，應用非常廣泛。數字圖像與模擬圖像相比具有存儲，傳輸方便可壓縮、傳輸過程中不易失真、處理方便等巨大優勢，這些都為圖像識別技術的發展提供了強大的動力。物體的識別主要指的是對三維世界的客體及環境的感知和認識，它以數字圖像處理與識別為基礎，結合人工智能、系統學等學科的研究方向，其研究成果被廣泛應用在各種工業機器人及探測機器人上。1.圖像識別的基礎知識統計模式識別圖像識別的基礎知識2）圖像識別的方法圖像識別問題的數學本質屬于模式空間到類別空間的映射問題。目前，圖像識別方法主要有三種：結構模式識別模糊模式識別1.圖像識別的基礎知識圖像識別的基礎知識3）圖像識別的應用（1）識別（a）識別二維碼

（b）直接部件標識（DPM）（c）識別生產日期

（d）識別文字（OCR）圖10.1圖像識別應用于字符識別在識別應用中，圖像識別系統可以識別條形碼（一維碼）、DataMatrix碼（二維碼如圖；可以識別直接部件標識（DPM），；可以通過元件、標簽和包裝上印刷的字符來識別元件；應用光學字符識別（OCR）能夠讀取PDF文檔、圖片、掃描儀上的文字信息并轉換為WORD文檔、電子表格或PDF；1.圖像識別的基礎知識圖像識別的基礎知識（2）定位定位主要應用于確定元件在二維或三維空間內的位置和方向。如圖10.2（a）所示，也可以將定位和機器人連接，引導機器人動作，如圖10.2（b）所示。（a）設備、工件定位

（b）引導機器人動作圖10.2圖像識別應用于定位1.圖像識別的基礎知識圖像識別的基礎知識（3）測量

圖像識別可以測量元件的外形尺寸，如圖10.3（a）所示。也可以進行3D檢測，如圖10.3（b）所示。基于測量結果，可以判斷產品是否合格。（a）尺寸檢測

（b）3D檢測圖10.3圖像識別應用于字符識別1.圖像識別的基礎知識圖像識別的基礎知識（4）外觀檢測圖像識別可以應用于元件外觀檢測。如可集中進行IC的各項外觀檢測，如圖10.4所示。可以檢測IC的引腳數、IC的寬度、IC的位置偏移、測量IC引腳距離、測量IC字符缺損、檢測表面污跡等，功能強大。圖10.4圖像識別應用于IC芯片外觀檢測1.圖像識別的基礎知識圖像識別系統的組成

典型的圖像識別系統由：照明光源、鏡頭、CCD相機、圖像采集卡、圖像處理系統及其它外部設備組成，如圖10.5所示。圖10.5圖像識別系統基本構成2.圖像識別系統的組成圖像識別系統的組成1）光源（1）光源的知識光源：正在發光的物體稱為光源，光源可以是天然的或人造的，應用于圖像識別系統中的光源通常是LED光源。光的三原色：三原色學說認為在視網膜上分布有三種不同的視錐細胞，分別含有對紅（700nm）、綠（546.1nm）、藍（435.8nm）三種光敏感的視色素；當某一定波長的光線作用于視網膜時，以一定的比例使三種視錐細胞分別產生不同程度的興奮，這樣的信息傳至中樞，就產生某一種顏色的感覺。2.圖像識別系統的組成圖像識別系統的組成（2）照明光源的參數色溫，單位是開爾文（K）：當光源所發出的光的顏色與“黑體”在某一溫度下輻射的顏色相同時，“黑體的溫度就稱為該光源的色溫。“黑體”的溫度越高，光譜中藍色的成分則越多，而紅色的成分則越少。照度，單位被照面上接收到的光通量稱為照度。如果每平方米被照面上接收到的光通量為1（lm），則照度為1（lx）。單位：勒克斯（lx或Lux）。壽命，光源的半衰期要長，且在半衰期內，光譜穩定，亮度衰減小。發熱特性，光源的工作溫度要低，避免高溫損壞被檢測物。信噪比，信噪比高，抗干擾能力強。閃爍頻率，在交流、直流供電下，光源的閃爍頻率。外形尺寸，便于安裝。2.圖像識別系統的組成圖像識別系統的組成（3）常用的光源顏色光源的顏色也對圖像的成像有影響。針對不同檢測物體的表面特征和材質，選用不同顏色，也就是不同波長的光源，能夠達到更加理想的拍攝效果。（a）白色光對成像結果的影響

（b）紅色光對成像結果的影響圖10.6不同顏色光源對成像結果的影響2.圖像識別系統的組成圖像識別系統的組成（c）綠色光對成像結果的影響

（d）藍色光對成像結果的影響圖10.6不同顏色光源對成像結果的影響2.圖像識別系統的組成圖像識別系統的組成

從上面不同顏色光源的特征可以發現，某種顏色的光源照射在同種顏色的物體上，視野中的物體就是發亮的。2.圖像識別系統的組成（4）照明方式

①背光照明

入射光照明是指光源在相機和被檢測物之間，而背光照明使用從被檢測物背面照射的照明方式，被檢測物在相機與光源之間，如圖10.7所示。（a）背光照明

（b）入射光照明圖10.7背光照明與入射光照明圖像識別系統的組成2.圖像識別系統的組成

②同軸光源

同軸光源（也叫漫射同軸燈、金屬平面漫反射照明光源）從側面將光線發射到半反射鏡上，反射鏡再將光線反射到工件上，提供了幾近垂直角度的光線，從而能夠獲得比傳統光源更均勻、更明亮的照明，提高圖像識別的準確性。如圖10.8所示。（a）同軸光源

（b）同軸光源的工作原理圖10.8同軸光源圖像識別系統的組成2.圖像識別系統的組成

使用同軸光源照明時，光線照射到工件后進入相機，在工件表面凹凸不平的部分產生漫反射，可以從被測物的不光滑表面上獲得帶有少量陰影的穩定圖像。部分應用實例如圖10.9所示。標準照明下：邊緣不明顯，因為漫反射和鏡面反射光都被CCD接收同軸照明下：凹陷區域的光發生擴散，顯得較暗，從而能夠輕松識別邊緣（a）沖壓部件的檢測2.圖像識別系統的組成標準照明下：各種成分的光線向所有角度反射，造成各個部件的圖像不一同軸照明下:從彎曲到平坦的變化能清楚地識別，平坦區域在CCD中被良好地突出（b）螺絲頭的檢測2.圖像識別系統的組成③環形光源環形光源是指LED陣列成圓錐狀以斜角照射在被測物體表面，通過漫反射方式照亮一小片區域。與檢測目標的距離恰當時，環形光源可以突出顯示被測物體的邊緣和高度變化，突出原本難以看清的部分，適合用于邊緣檢測、金屬表面的刻字和損傷檢測，也可用于電子零件、塑膠成型零件上的文字檢查，可有效去除因小型工件表面的局部反射造成的影響。④條形光源使用條形光源可以均勻照射寬廣區域，其方向性好，尺寸靈活多變，結構可自由組合，角度也可自由調整，條形光源可應用于金屬表面檢測、表面裂紋檢測以及LCD面板檢測等。圖像識別系統的組成2.圖像識別系統的組成⑤圓頂光源圓頂光源（又叫穹頂光源、DOME光源、連續漫反射光源）是指LED環形光源安裝在碗狀表面內且向圓頂內照射，來自環形光源的光通過高反射率的擴散圓頂進行漫反射，實現均勻照明的照明方式。對于形狀復雜的工件，圓頂光源可以將工件各個角度照亮，從而消除反光不均勻的地方，獲得工件整體的無影圖像。圓頂光源適用于各種形狀復雜的工件，通常可用于以下情況：飲料罐上的日期文字檢查，手機按鍵上的文字檢查，金屬、玻璃等反射較強的體表面的檢測，彈簧表面的裂縫測等。圖像識別系統的組成2.圖像識別系統的組成2）相機相機模擬式相機數字式相機機械技術計算機技術微電子技術傳感技術光學技術相機:采用光電陣列圖像傳感器，將光點圖像信息轉換為對應的電信息，再加特定處理并進行存儲，是一個典型的光機電一體化產品。圖像識別系統的組成2.圖像識別系統的組成如圖10.10（a）所示為便攜式卡片數碼相機，10.10（b）為專業級單反數碼相機。圖10.10數碼相機圖像識別系統的組成2.圖像識別系統的組成數碼相機通常由鏡頭、圖像傳感器、A/D模數轉換器、MPU微處理器、LCD液晶顯示器、存儲卡、輸出接口等部分組成。如圖10.11所示。圖10.11數碼相機的組成圖像識別系統的組成2.圖像識別系統的組成圖像識別系統的組成

數碼相機的鏡頭是由一塊或者多塊光學玻璃或塑料組成的透鏡組，用于收集光線，產生銳利的圖像，數碼相機使用四種鏡頭定焦鏡頭：價格便宜且適合抓拍，但使用很受局限。自動調焦的光學變焦鏡頭：類似于攝像機的鏡頭，具備“廣角”與“遠攝”選項和自動聚焦功能。數字變焦鏡頭：在圖像傳感器中獲取像素并進行軟件數字插補，以形成完整大小的圖像，這種方法形成的圖像可能有顆粒感或模糊。可更換鏡頭：高級單反數碼相機可以使用35mm相機使用的鏡頭。2.圖像識別系統的組成

圖像傳感器是數碼相機的核心部件，其像素決定了數碼相機的成像質量。圖像傳感器的尺寸通常小于24mm×35mm，但包含了幾百萬乃至上千萬個具有感光特性的光敏元件-光電二極管，每個光敏元件為一個像素。圖像傳感器互補金屬氧化物半導體(CMOS)電荷耦合器件(CCD)CCD器件需要在同步信號控制下逐位讀取，信息讀取復雜，速度慢；三組電源供電，耗電量大，但技術成熟，成像質量好。CMOS電路簡單，成像質量比CCD要低一些，占據圖像傳感器的中低端市場。2.圖像識別系統的組成

與民用相機相比，工業相機在圖像穩定性、抗干擾能力和傳輸能力上有著更大的優勢，是組成圖像識別系統的關鍵部件。圖10.12有關工業相機的各種參數2.圖像識別系統的組成圖像識別系統的組成表10.2工業相機的相關參數2.圖像識別系統的組成圖像識別系統的組成（1）工業相機的核心—CCD圖像傳感器CCD的作用就像傳統的膠片一樣，用來承載圖像，但它能夠把光學影像轉換成數字信號。1、成像點呈XY縱橫矩陣排列；2、每個成像點由一個光電二極管和其控制的一個鄰近電荷存儲區組成。3、光電二極管將光線轉換為電荷，聚集的電荷量與光線強度成正比。4、在讀取這些電荷時，各行數據被移動到緩存器中。每行的電荷信息被連續讀出，再通過電荷/電壓轉換器和放大器傳至圖像采集卡。2.圖像識別系統的組成（2）焦距

焦距，也稱為焦長，指從透鏡中心到光聚集焦點的距離；也是相機中從鏡片光學中心到底片或圖像傳感器成像平面的距離。短焦距的光學系統往往比長焦距的光學系統具有更佳的聚光能力。焦距的計算方法：焦距=傳感器尺寸×鏡頭到物體的距離÷視野圖10.13焦距計算示例焦距f=1500mm×4.8mm÷250mm=28.8mm2.圖像識別系統的組成圖像識別系統的組成（3）光圈和景深

對于已經制造好的鏡頭，不能隨意改變鏡頭的直徑，但是可以通過在鏡頭內部加入多邊形或者圓形并且面積可變的孔狀光柵來達到控制鏡頭進光量的目的，這個裝置就是光圈。

作用：控制鏡頭孔徑大小的部件，用以控制景深、鏡頭成像質量，同時可以和快門速度協同控制進光量光圈f值=鏡頭的焦距÷光圈孔徑焦距不變的情況下，f值越小，光圈孔徑越大，進光量越多，畫面比較亮，主體背景虛化越大；f值越大，光圈孔徑越小，進光量越少，畫面比較暗，主體前后越清晰。2.圖像識別系統的組成用于調節光圈大小的光圈環位于鏡頭上，上面顯示可調光圈系數（f值范圍為2-16）如圖10.14所示。圖10.14調節光圈的光圈環光圈孔徑和f值成反比，進光量和光圈孔徑的平方成正比，也就是和f值的平方成反比，如圖10.15所示。因此，光圈環轉動格，進光量相差一倍。圖10.15光圈大小與孔徑和進光量的關系2.圖像識別系統的組成

對于上文中提到的“主體背景虛化”、“主體前后清晰”，其實還有一個更加專業的名詞來形容這種圖像效果—景深，如圖10.16所示。圖10.16景深2.圖像識別系統的組成圖識別系統的組成

在光學中，尤其是錄影或是攝影，景深是一個描述在空間中可以清楚成像的距離范圍的術語。雖然鏡頭只能夠將光聚集到某一固定的距離（即焦距），遠離此點則會逐漸模糊，但是在某一段特定的距離內，影像模糊的程度是肉眼無法察覺的，這段距離就是景深。景深之內的影像比較清楚，景深之外的影像則比較模糊。

景深通常由物距、鏡頭焦距以及鏡頭的光圈值所決定。如果固定光圈值，則增加放大率時，不論是更靠近拍攝物或是使用更長焦距的鏡頭，都會減少景深的距離；減少放大率時，則會增加景深。如果固定放大率，則增加光圈值會增加景深，減少光圈值會減少景深。2.圖像識別系統的組成（4）快門速度

快門速度是攝影中常用的用于表達曝光時間的專門術語，即相機快門開啟的有效時間長度。總的曝光量和曝光時間成正比，也可以說是和光到達膠片或圖像傳感器的持續時間成正比。快門速度和鏡頭的光圈大小一起決定光到達膠片或圖像傳感器的量。圖像識別系統的組成2.圖像識別系統的組成圖像識別系統的組成3）圖像采集卡

圖像采集卡實際上是一塊板卡，如圖10.17所示為研華PCIe-1674PC/1672PC視頻采集卡，可以連接在計算機的PCIe擴展槽上（就是顯卡旁邊的插槽），其主要功能就是完成圖像數字化處理與傳輸。圖10.17研華視頻采集卡2.圖像識別系統的組成圖像識別系統的組成

不同型號圖像采集卡的區別主要表現在輸入信號、圖像質量、總線形式、處理功能等方面。在選擇圖像采集卡時，首先需要考慮的就是相機的輸出信號類型（模擬信號還是數字信號），據此來選擇不同的圖像采集卡。

圖像質量由于不同板卡使用的芯片及設計的不同有較大差異。同時，不同用途的圖像采集卡的圖像質量及價格也有很大的差別。目前使用較多的總線有PCI、PC/104-Plus、PCI-E、MimiPCI及筆記本所用的PCMCIA總線。PCI總線的缺點是總線的抗震動能力不強，總線帶寬限133MB，圖像傳送速度平均50~90MB，對于大量數據無法傳輸。2.圖像識別系統的組成圖像識別系統的組成4）圖像識別的新發展雙目立體識別是新發展起來的一種重要圖像識別的形式，它是基于視差原理并利用成像設備從兩個視點觀察同一景物，以獲取在不同視角下的感知圖像，根據圖像之間像素的匹配關系，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。

雙目立體識別系統由左右兩臺性能相當、位置固定的攝像頭獲取同景物的兩幅圖像，通過兩個相機所獲取的二維圖像來計算出景物的三維信息。組建一個完整的雙目立體識別系統一般需要經過相機標定、圖像匹配、深度計算等步驟。2.圖像識別系統的組成圖像識別系統的組成

雙目立體識別廣泛應用在機器人導航、精密工業測量、物體識別、虛擬現實、場景重建以及勘測領域。雙目立體識別測量方法具有效率高、精度合適、系統結構簡單、成本低等優點，非常適合于制造現場的在線非接觸產品檢測和質量控制。圖10.18視覺傳感器Kinect2.圖像識別系統的組成1)圖像和圖像采集（1）圖像的概念

圖像是人對視覺感知的物質再現。這個詞匯是圖像識別技術的基礎，圖像采集、圖像處理和圖像分析都是與圖像相關的概念。

圖像可以由光學設備獲取，如相機、鏡子、望遠鏡及顯微鏡等；也可以人為創作，如手工繪畫。圖像可以記錄、保存在紙質媒介、膠片等對光信號敏感的介質上；而隨著信號處理理論和數字采集技術的發展，越來越多的圖像以數字形式存儲。所以，本項目中“圖像”一詞實際上是指數字圖像。

圖像分為靜態圖像（如圖片、照片等）和動態圖像（如視頻等）兩種。下面將對數字圖像的三個參數—像素、分辨率和色彩空間進行介紹，讓大家更加了解圖像。3、圖像識別的工作內容圖像識別的工作內容①像素

像素是圖像顯示的基本單位，通常被視為圖像的最小完整采樣。每個像素都承載著圖像中的信息，在很多情況下，它們采用點或者方塊顯示，如圖10.19所示。通常每個像素都含有以下信息：圖像中的位置（行，列）位置光強度黑白圖像的灰度值彩色圖像的RGB色彩值圖10.19像素3、圖像識別的工作內容圖像識別的工作內容②分辨率分辨率泛指圖像或顯示系統對細節的分辨能力。日常用語中的分辨率多用于表示圖像清晰度，分辨率越高，代表圖像質量越好，越能表現出更多的細節。屏幕分辨率是屏幕每行的像素點數乘以每列的像素點數。每個屏幕都有自己的分辨率，屏幕分辨率越高，所呈現的色彩越多，清晰度越高。圖像分辨率是指每英寸圖像內的像素點數。分辨率越高，像素的點密度越高，圖像越逼真；但相對的，因為記錄的信息過多，文件也就會越大。3、圖像識別的工作內容

做大幅的噴繪時，要求圖片分辨率要盡可能高，就是為了保證每英寸的畫面上擁有更多的像素點。圖10.20所示為不同分辨率的圖像差別。圖10.20不同分辨率的圖像差別（圖中的N×N表示的是相鄰邊的像素數）1×12×25×510×1020×2050×50100×1003、圖像識別的工作內容圖像別的工作內容

描述圖像分辨率的單位有DPI（點每英寸）、LPI（線每英寸）PPI（像素每英寸）。從技術角度說，“像素“只存在于計算機顯示領城，而“點“只出現于打印或印刷領域。很顯然，適用于項目內容的分辨率單位是PPI，其計算公式為式中，X表示長邊像素數，Y表示寬邊像素數，Z表示圖像對角線長度。根據此公式可知，如果保持圖像的尺寸不變，將圖像的分辨率提高一倍，則圖像的像素數變為原來的4倍，即圖像文件的大小也變為原來的4倍。3、圖像識別的工作內容圖像識別的工作內容③色彩空間

使用RGB（紅色、綠色、藍色）色彩空間進行定義，紅色、綠色，藍色被當作X、和z坐標軸。也就是說、任意種顏色在RGB空間中都能找到一個唯一的三維坐標值（R、G、B）。每個坐標值的范圍都是0~255，由8位二進制數保存（28=256）。如圖10.21（a）所示為顏色設置對話框中的RGB模式。（a）RGB顏色模式圖10.21顏色設置對話框中不同的顏色模式3、圖像識別的工作內容圖像識別的工作內容除了RGB色彩空間之外，常用的還有HSL色彩空間，其采用圓柱坐標系表示色調（Hue）、飽和度（Saturation）和亮度（Lightness）。如圖10.21（b）所示顏色設置對話框中的HSL模式。一樣可以通過調整色調、飽和度和亮度來獲取不同的顏色。

（b）HSL顏色模式圖10.21顏色設置對話框中不同的顏色模式3、圖像識別的工作內容圖像識別的工作內容（2）數字圖像的獲取

最初的相機獲得的圖像以模擬圖像的形式存在。如果想要利用數字計算機處理模擬圖像，就必須將模擬圖像轉換為用數字方式表示的數字圖像文件，即數字圖像。

數字圖像的采集過程可以概括為：首先，光經過鏡頭聚焦在圖像傳感器上；然后，圖像傳感器將光信號轉變為電信號，傳輸給A/D轉換器，由A/D轉換器完成數字化變換；最后，由圖像采集卡輸出到圖像處理裝置。圖10.22所示為數字圖像采集過程示意圖。圖10.22數字圖像采集過程示意圖3、圖像識別的工作內容A/D轉換器數字化過程量化采樣采樣就是將圖像在空間上離散化，通常是將在二維空間上連續的圖像在水平和垂直方向上等間隔地分割成矩形的網狀結構，進而得到若干個被稱為像素的方形小區域。經過采樣后，圖像在空間上離散為像素，但像素的顏色幅值仍為連續量。將采樣所得的各像素的顏色幅值進行離散化的過程，稱為量化。圖像識別的工作內容3、圖像識別的工作內容

經過采樣和量化后，每一幅圖像都被離散化為一個個像素，成為一個由像素組成的二維矩陣，矩陣中的每個元素對應了一個像素，如圖10.23所示。圖10.23像素矩陣化的圖像信息3、圖像識別的工作內容圖像識別的工作內容2）圖像處理圖像處理，就是對圖像進行分析、加工和處理，使其滿足圖像識別以及其他要求的技術。圖像處理是信號處理在圖像領域上的一個應用，目前大多數的圖像是以數字形式存儲的，因而圖像處理在多數情況下指數字圖像處理。圖像處理是信號處理的子類，與計算機科學、人工智能等領域也有密切的關系。很多傳統的一維信號處理的方法和概念仍然可以直接應用在圖像處理上，比如降噪、量化等。然而，圖像屬于二維信號，和一維信號程比，它有自己特殊的一面，處理的方式和角度也有所不同。3、圖像識別的工作內容圖像識別的工作內容（1）顏色處理①灰度變換

灰度圖像是每個像素只有一個采樣顏色的圖像，得到灰度圖像的過程被稱為灰度變換。如圖10.24所示為九寨溝珍珠灘瀑布的標準圖像與灰度圖像的對比。圖10.24標準圖像與灰度圖像的對比3、圖像識別的工作內容圖像識別的工作內容灰度圖像的每個像素通常由8位二進制數來保存，有256種灰度表（0~255）。這種精度剛剛能夠避免可見的條帶失真，并且非常易于編程。每一種顏色都可以由個分別代表紅、綠、藍的三維向量表示，向量中每個分量都需要由8位存儲，那么每個像素點需要24位，因此彩色圖像的信息量較大。灰度圖像與RGB圖像相比，后續圖像處理的計算量大大減少。與黑白雙色圖像不同，灰度圖像中的不同像素在黑色與白色之間還有許多級的顏色深度，這些顏色深度經常是在單個電磁波頻譜（如可見光）內測量每個像素的亮度得到的。但要注意的是，在數字圖像領域之外，“黑白圖像”也表示“灰度圖像”，就如灰度的照片通常也稱為“黑白照片”。3、圖像識別的工作內容圖像識別的工作內容②二值化

二值化是進行圖像分割前經常使用的一種顏色處理方法。在二值化圖像時，會把大于某個臨界灰度值（閾值）的像素灰度設為灰度極大值（255，即白色），把小于這個值的像素灰度設為灰度極小值（0，即黑色），從而實現二值化。圖10.25灰度圖像與二值圖像的對比3、圖像識別的工作內容圖像識別的工作內容（2）幾何變換

幾何變換是指從具有幾何結構的集合至其自身或其他此類集合的一種映射。具體來說，幾何變換是一個函數，其定義域與值域為點集合。

幾何變換可以按其操作集合的維度來分類（可分為平面變換與空間變換），也可依據其保留的性質來分類，如圖10.26所示。平移：保留距離與方向角度。歐氏：保留距離與角度。相似：保留距離間的比例。仿射：保留平行關系投影：保留共線性圖10.26各種幾何變換3、圖像識別的工作內容圖像識別的工作內容（3）圖像分割與邊緣檢測

圖像分割指的是將數字圖像細分為多個圖像子區域，并提取出感興趣目標的過程。它是由圖像處理到圖像分析的關鍵步驟，其目的是簡化或改變圖像的表示形式，使得圖像更容易被理解和分析。

圖像分割是將目標分割出來，針對的是目標對象；而邊緣檢測是通過圖像的梯度變化將圖像中梯度變化明顯的地方檢測出來，針對的是邊緣信息。二者雖然有包含關系，但針對的目標有所不同。3、圖像識別的工作內容圖像識別的工作內容

邊緣檢測是圖像處理中，尤其是特征檢測中的一個研究領域，其目的是標識數字圖像中亮度變化明顯的點。未經處理的灰度圖像如圖10.27（a）所示，經過邊緣檢測處理后如圖10.27（b）所示。（a）灰度圖像

（b）邊緣檢測

（c）降噪處理圖10.26邊緣檢測與降噪處理3、圖像識別的工作內容（4）降噪圖像噪聲是圖像中一種亮度或顏色信息的隨機變化（被拍攝物體本身并沒有），通常是電子噪聲的表現，如圖10.26（c）所示。它一般是由相機的傳感器和電路產生的，也可能是受膠片顆粒或者圖像傳感器中不可避免的散粒噪聲影響產生的。圖像噪聲是圖像拍攝過程中不希望存在的副產品，給圖像帶來了錯誤和額外的信息。（c）降噪處理圖10.26邊緣檢測與降噪處理3、圖像識別的工作內容圖像識別的工作內容3）圖像分析（1）圖像分析用途圖像處理側重于信號處理方面的研究，如圖像對比度的調節、圖像編碼、降噪等。圖像分析的側重點在于研究圖像的內容，包括但不局限于使用圖像處理的各種技術，它更傾向于對圖像內容的分析、解釋和識別。圖像分析和計算機科學領域中的模式識別、計算機視覺關系更密切一些。3、圖像識別的工作內容圖像識別的工作內容（2）模板匹配模板匹配的本質是基于圖像內容的檢索，屬于圖像分析領域最常用的技術之一。其目的是在給定查詢圖像的前提下，依據內容信息或指定查詢標準，在圖像數據庫中搜索并查找出符合查詢條件的相應圖像。互聯網上傳統的搜索引擎，包括百度、Google都推出了相應的圖片搜素功能，但是這種搜索主要是基于圖片的文件名建立索引來實現查詢功能（或許也利用網頁上的文字信息）。這種從查詢文字、文件名，最后到圖片查詢的機制并不是基于圖像內容的檢索。3、圖像識別的工作內容圖像識別的工作內容

百度識圖提供了人物、商品、建筑、藝術、影視、美食、游戲等圖片的識別功能。如圖10.28所示為植物識別功能。用戶想要在網上搜索某種不認識的植物，可以通過手機或相機拍攝該植物的相片，上傳到百度識圖。通過在軟件的內部進行圖像特征提取，然后在網站的數據庫中跟眾多商品的圖像進行查詢和比對，即可找到符合特征條件的植物。3、圖像識別的工作內容模板匹配的核心包括以下三部分。①特征提取圖像特征包括基于文本的特征（如關鍵字、注釋等）和視覺特征（如色彩、紋理、形狀、對象表面等）兩類。視覺特征又可分為通用的視覺特征和領域相關的視覺特征。前者用于描述所有圖像共有的特征，與圖像的具體類型或內容無關，主要包括色彩、紋理和形狀，這些特征又被稱為底層特征；后者則建立在對所描述圖像內容的某些先驗知識（或假設）的基礎上，與具體應用緊密相關，如人的面部特征或指紋特征等。3、圖像識別的工作內容圖像識別的工作內容②相似度測量從圖像中提取的特征可以組成一個向量，兩個圖像之間可以通過定義一個距離或者相似性的測量度來計算相似度。③模板查詢模板查詢有著不同的查詢方式，典型的三個查詢方式如下。按例查詢：用戶提供一個查詢圖像，在數據庫中搜索相似圖像。按繪查詢：用戶在類似畫筆的接口上進行簡單的繪畫，以此為標準進行查詢。按描述查詢：例如指定條件可以是30%的黃色、70%的藍色等。3、圖像識別的工作內容（3）其它功能圖像識別的工作內容①識別物體幾何中心位置在制造裝配等應用中、物體的位置起著十分重要的作用。確定物體中心位置的方法很多，如采用物體的外接矩形、物體矩心（區域質心）等來表示物體的位置。當物體的邊球已知時，可用其外接矩形的尺寸來刻畫它的基本形狀圖10.29所示。求物體在坐標系方向上的外接矩形，只需計算物體邊限點的最大和最小坐標值，就可以得到物體的水平和重直跨度。圖10.29區域外接矩形3、圖像識別的工作內容圖像識別的工作內容

②識別物體顏色

顏色是彩色圖像的直特征之一，其描述方法與所采用的顏色模型有關，常用的顏色模型有RGB和HSL。

③識別物體形狀

形狀識別是指采用邊界輪廓對比的方式（邊緣檢測）獲取當前圖像和模型的相似程度，產品色彩細微的差異不容易導致相似度的下降。

④識別旋轉角度角點是最適合計算工件旋轉角度的特征。角點檢測算法主要分為基于圖像邊緣和基于圖像灰度兩類。前者在圖像分割的基礎上提取邊界構成鏈碼，并將邊界上轉折較大的點看作角點，該算法過于復雜，且計算量較大，而后者避開了這些缺陷。3、圖像識別的工作內容圖像識別的工作內容4）結果輸出（1）輸出對象和輸出內容①結果輸出對象圖像識別的結果由視覺系統的存儲單元發出，結果輸出對象通常分為兩種：顯示設備（如顯示屏）和上位機。顯示屏顯示的內容往往是軟件界面、相機捕捉畫面等內容，以方便用戶操作和監控識別系統。通常應用在工業機器人識別系統中的上位機有PLC、PC和機器人控制器。②輸出內容圖像識別系統的輸出內容見表10.3。3、圖像識別的工作內容圖像識別的工作內容3、圖像識別的工作內容（2）與上位機的通信方法

對圖像識別系統而言，通信非常重要，它是共享數據、支持決策和實現高效率一體化流程的一種方式。圖像識別控制系統的上位機通常是PC、PLC或工業機器人控制器。聯網后，視覺系統可以向PC傳輸檢測結果以進行進一步分析。要把圖像識別系統集成到工廠的機器人成其他自動化裝置上需要找到一種二者相互支持的通信方式或協議。常見的通信方式和協議如下。①并行通信通過并行接口，在圖像識別系統和外部裝置之間進行通信。②串行通信通過RS-232或RS-485串行接口，可以與絕大多數的機器人控制器通信。③工業以太網協議允許通過以太網網線連接PC和其他裝置，無需復雜的接線方案和價格高昂的網絡網關。常見的以太網協議有以下幾種。3、圖像識別的工作內容TCP/IP

客戶機/服務器讓圖像識別系統能夠輕易通過以太網與其他系統和控制裝置共享數據，無須開發代碼。現場總線網絡

通常需要一個協議網關附件將圖像識別系統添加到現場總線網絡，往往不同品牌的產品會使用不同的網絡通信協議，但其本質都是以太網通信如西門子常用的PROFINET，歐姆龍常用的EtherCAT，施耐德的ModbusTCP/IP等，可根據現場實際情況來選用合適的品牌。

圖像識別控制器與上位機根據接口的不同通過不同的通信線纜連接，并根據各種通信協議進行通信。常用的幾種通信連接如圖10.30所示。3、圖像識別的工作內容圖像識別的工作內容圖10.30視覺系統的通信連接3、圖像識別的工作內容圖像識別的工作內容圖中三種道信方式的優缺點見表10.43、圖像識別的工作內容1）圖像識別系統開發步驟圖像識別系統開發也是一個系統工程，需要按照以下步驟進行開發。①需求了解、分析、確認；②樣品準備、測試；③系統軟、硬件選型；④系統開發設計；⑤現場試運行、大量測試；⑥系統的局部修改和完善；⑦系統驗收；⑧人員培訓與系統維護。4、圖像識別系統的應用2）三角測量4、圖像識別系統的應用三角測量在三角學與幾何學上是一借由測量目標點與固定基準線的已知端點的角度，測量目標距離的方法。一個景像點和它在兩個相機中的成像點形成一個三角形。如果已知兩個相機之間的基線距離l和相機發射光線形成的夾角，則到物體的距離就可以計算出來，如圖9.31所示。圖9.31三角測量原理

（9-1）（9-2）3）圖像識別系統應用案例工業生產中絕大多數機器人的圖像識別系統是配合輸送鏈搭建的，工業機器人只起到執行工件取放的作用。輸送鏈面臨的問題：由于輸送鏈始終是運動的，且很多輸送鏈的速度可調，這就造成圖像識別系統如果在此時捕捉到的工件，在工業機器人動作的彼時位置就發生了變化。為了知道某一時刻待處理工件在輸送鏈上的準確位置，引入輸送鏈跟蹤系統的概念。顧名思義，輸送鏈跟蹤系統能夠跟蹤輸送鏈上的工件，使執行裝置能夠知曉某一時刻輸送鏈上工件的準確位置。尤其是隨著工業機器人在物流、包裝等行業越來越多的應用，輸送鏈跟蹤系統與機器人系統的組合也成了一種常見的組合形式。4、圖像識別系統的應用3）圖像識別系統應用案例

在輸送鏈跟蹤的硬件組態中，首先需要一條輸送鏈，輸送鏈上需要固定一個同步開關。同步開關用于記錄工件通過同步開關的時刻，工件通過同步開關時即觸發一個同步信號，記錄工件初始位置，搭配增量式編碼器可以計算出工件與同步開關的相對位置。對于圖像識別伺服系統來說，多數采用的是相機觸發機制，這里可將相機當作同步開關。同步開關可以有不同的觸發方式，常見的同步開關還有紅外線觸發、手動觸發、連續觸發等。對于相機觸發機制，每當工件通過相機下方，即觸發一個信號，此信號就作為機器人的同步信號。編碼器安裝在輸送鏈的驅動單元上，以記錄輸送鏈的位移。輸送鏈跟蹤系統如圖9.32所示。4、圖像識別系統的應用3）圖像識別系統應用案例

4、圖像識別系統的應用圖9.32輸送鏈跟蹤系統[項目實踐]現有某型活塞零件需要進行視覺檢測和掃碼入庫，其工藝流程如下。（1）機器人將活塞零件移動至視覺檢測位置。（2）視覺檢測系統檢測活塞零件，頂部LOGO形狀。（3）如果檢測結果為零件合格，那么機器人在活塞零件上貼標簽，標簽信息通過掃碼記錄。（4）如果檢測結果為零件不合格，那么機器將活塞放入廢品。根據以上要求，選擇合適的機器人視覺系統。[項目實踐]

1、機器人視覺系統概述機器人視覺系統是指機器代替人眼的功能，實現對外界物體測量和判斷的系統，工業相機是機器視覺系統的重要組成部分和主要信息來源，其主要功能是獲取機器視覺系統所需處理的原始圖像，如圖9.33所示，機器視覺系統的工作流程為圖像輸入、圖像處理、圖像輸出三部分，其中視覺傳感器實現對外界物體的圖像采集，以完成圖像輸入。系統對原始圖像進行分析判斷后，將分析結果輸出到控制系統中上位機或某些執行機構（機器人），以完成后續作業。常見的與視覺系統結合使用的設備有PLC、計算機和工業機器人等。[項目實踐]

1、機器人視覺系統概述圖9.33機器人視覺系統工作原理[項目實踐]

1、機器人視覺系統概述在工業機器人與是機器視覺集成的伺服系統（即機器人視覺系統，也稱手眼系統）中，機器人通過工業相機獲取環境中的圖像，并經視覺處理器進行處理和分析后，轉換為能讓機器人識別的信息，確定物體的位置和狀態。根據視覺