機器視覺：9.視覺系統(tǒng)的實現(xiàn)與應(yīng)用圖像采集卡鏡頭機器視覺相機

計算硬件平臺

機器視覺光源機器視覺軟件視覺系統(tǒng)的實現(xiàn)Part13基于PC的機器視覺系統(tǒng)構(gòu)成光源相機鏡頭圖像采集卡計算硬件平臺視覺軟件平臺機器視覺光源照明方式光源類型1.1照明方式Part15光源的功能：照亮目標，提高亮度和對比度形成有利于圖像處理的成像效果，降低系統(tǒng)的復雜性和對圖像處理算法的要求減小或消除環(huán)境光干擾，保證圖像穩(wěn)定性，提高視覺處理的精度及效率1.1照明方式Part16光源的關(guān)鍵要素：入射角光束方向性光譜光強均勻性1.1照明方式Part17根據(jù)入射角度的照明方式分類：光源照明方式指的是照明設(shè)備如何放置和照射光線的方向和角度，它對于照明效果可產(chǎn)生重要的作用1.1照明方式Part18明場照明——部分明場部分明場照明具有較小立體角，僅從單一方向（如點光源）或較小角度范圍（如環(huán)形光源、條狀光源）直接照射到物體上1.1照明方式Part19明場照明——全明場同軸漫射照明方式全明場照明具有大立體角，從多個不同方向照射物體，可消除表面不平整時產(chǎn)生的陰影、遮擋等問題。為保證全方向、無反光的照明效果，采用漫射照明方式，物體表面照射相對均勻。全明場根據(jù)不同照明方式又可分為同軸漫射照明、球形漫射照明等1.1照明方式Part110明場照明——全明場球形漫射照明方式球形漫射照明通過內(nèi)部球形散射，可產(chǎn)生接近理想的漫射光，然后再投射到物體上。1.1照明方式Part111明場照明——全明場面光源明方式

面光源采用大面積平面照射，光源前部加有擴散片，保證其投射光強均勻

1.1照明方式Part112暗場照明暗場照明是相對于物體表面提供小于45°的低角度照明。。暗場照明應(yīng)用于對表面部分有突起的部分的照明或表面紋理變化的照明。

1.1照明方式Part113背光照明暗場照明是相對于物體表面提供小于45°的低角度照明。。暗場照明應(yīng)用于對表面部分有突起的部分的照明或表面紋理變化的照明。

1.1照明方式Part114不同照明方式下硬幣成像對比1.2光源類型Part115光源分類：按光源形狀，機器視覺光源又可分為背光源、條形光源、環(huán)形光源、同軸光源按照顏色分類，常用的光源光色主要有白色、藍色、紅色、綠色、紅外、紫外1.2光源類型Part116常用形狀光源的照明原理及主要應(yīng)用場景1.2光源類型Part117不同顏色光源的應(yīng)用場景機器視覺相機視覺傳感器相機接口鏡頭接口2.1視覺傳感器Part219機器視覺相機工業(yè)相機作為機器視覺系統(tǒng)的核心組件之一，本質(zhì)作用是將光信號轉(zhuǎn)換成為有序的電信號。這一過程需要經(jīng)過高速A/D轉(zhuǎn)換，然后將數(shù)字信號傳送到處理器中進行進一步的處理、分析和識別。2.1視覺傳感器Part220按照工作原理——CCDCMOSCCD芯片的工作原理是將轉(zhuǎn)換成的電信號按順序傳送到一個共同輸出結(jié)構(gòu)，然后把電荷轉(zhuǎn)換成電壓，接著再將這些信號送到緩沖器并存儲，其靈敏度較高、噪點低。CMOS芯片是將轉(zhuǎn)化成電信號直接集成在芯片上，因此電子元件能夠快速地讀取成像數(shù)據(jù)，所以其讀取速度較快且隨著CMOS工藝和技術(shù)不斷提升，其價格也相對低廉，在機器視覺行業(yè)中已占據(jù)主導地位。2.1視覺傳感器Part221按照結(jié)構(gòu)特性——線陣相機

面陣相機線陣傳感器工作時類似于掃描儀，一行或多行像素進行循環(huán)曝光，在電腦上逐行生成一幀完整圖像，掃描速度比較快。應(yīng)用在特殊的需要移動的機器視覺成像場景，如大面積檢測、高速檢測、強反光檢測以及印刷、紡織等行業(yè)。線陣傳感器單幀成像圖像傳感器的掃描方式2.1視覺傳感器Part222按照結(jié)構(gòu)特性——線陣相機

面陣相機面陣相機傳感器則是像素點按照矩陣排列，傳感器曝光(行曝光或幀曝光)完成后直接輸出一幀圖像，可以應(yīng)用與大多數(shù)機器視覺場景中面陣傳感器單幀成像圖像傳感器的掃描方式2.1視覺傳感器Part223按照曝光形式——全局快門

卷簾快門全局快門拍攝動態(tài)圖像全局快門是指整個芯片的每行像素全部同時進行曝光，每一行像素的曝光開始和結(jié)束時間相同。曝光完成后，數(shù)據(jù)開始逐行讀出，其相機傳感器曝光、數(shù)據(jù)讀出的時間長度一致，但結(jié)束數(shù)據(jù)讀出的時刻不—致。全局快門相機則常常應(yīng)用于動態(tài)場合。2.1視覺傳感器Part224按照曝光形式——全局快門

卷簾快門卷簾快門拍攝動態(tài)圖像卷簾快門是指芯片開始曝光的時候，每行均按照順序依次開始曝光。第一行曝光結(jié)束后，便立即開始讀出數(shù)據(jù)，數(shù)據(jù)完全讀出后，下一行再開始讀出數(shù)據(jù)，如此循環(huán)，其不同行的像素曝光開始和結(jié)束時間不同卷簾快門相機主要應(yīng)用于靜態(tài)或者低速場合2.2相機接口Part225模擬接口

數(shù)字接口工業(yè)相機是機器視覺系統(tǒng)中的圖像采集設(shè)備，它需要與圖像處理設(shè)備相連接，將采集到的圖像數(shù)據(jù)傳遞給后者，二者的連接是通過相機接口來實現(xiàn)的。相機接口可以分為模擬接口和數(shù)字接口兩大類。模擬接口主要是利用模擬數(shù)據(jù)采集卡與圖像處理設(shè)備相連，數(shù)據(jù)傳遞的速度和精度都較差，但由于價格低廉，目前在機器視覺系統(tǒng)中還有少量應(yīng)用，數(shù)字接口是目前相機接口的主流技術(shù)。2.2相機接口Part226數(shù)字接口——CameraLink接口CameraLink是一種高速接口，專為相機接口設(shè)計，充分考慮了數(shù)據(jù)格式﹑觸發(fā)、相機控制、高分辨率和幀頻等因素，同時數(shù)據(jù)的傳輸率高達1Gbit/s，傳輸距離可達10m。CameraLink接口提供了低、中、高檔三種支持格式，可滿足不同帶寬傳遞需求。圖像卡和攝像機之間的通信采用了LVDS(LowVoltageDifferentialSignaling)格式，速度快，抗噪性好2.2相機接口Part227數(shù)字接口——IEEE1394接口IEEE1394接口，也稱為火線(FireWire)接口，是一種數(shù)字相機和電腦連接的接口標準，采用即插即用串行接口，最遠傳輸距離可達72米，可以支持最高3200Mbit/s的傳輸速度。FireWire接口協(xié)議提供了“保證速度模式”與“保證傳輸模式”兩種數(shù)據(jù)傳輸格式，支持熱插拔，可形成星狀、鏈狀等連接方式。該接口具有快速傳輸、遠距離傳輸、自帶電源、體積小、高分辨率和幀頻等優(yōu)點，適用于顯微鏡、醫(yī)學成像和實時速度要求不是非常極端的場合，且不需要另外配置圖像卡。2.2相機接口Part228數(shù)字接口——USB接口相機USB3.0接口是高速、穩(wěn)定的數(shù)據(jù)傳輸接口，最高理論速率5Gbps，常用于高速攝像等，數(shù)據(jù)吞吐量大、響應(yīng)快，易與PC連接，但傳輸距離僅3-5m。相比USB2.0，其延遲低、帶寬高，能傳高分辨率、高幀率圖像視頻，還支持更多電源輸出。USB3.0攝像頭圖像采集速率可達120幀/秒，滿足高速采集需求，現(xiàn)成許多高速圖像采集和視頻傳輸設(shè)備首選接口。2.2相機接口Part229數(shù)字接口——GigabitEthernet(GigE)GigE基于Ethernet協(xié)議，傳輸速度可選10、100、1000Mbps，用RJ45接口和網(wǎng)線能傳100m，光纖連接更遠。NBSET標準支持2.5Gbps、5.0Gbps和10Gbps速度，即2.5GigE、5GigE和10GigE。GigE能用大多數(shù)PC網(wǎng)卡，有便捷軟硬件支持，PoE供電可讓相機從主機取電，無需外接電源。2.3鏡頭接口Part230工業(yè)相機與鏡頭連接的接口：CS、C、F、Mxx（xx為直徑）相機法蘭距：相機安裝面到傳感器的光學距離鏡頭法蘭距：鏡頭接口處基準面到像平面的距離鏡頭3.1鏡頭Part332鏡頭和相機配套工作，完成對周圍場景的圖像采集工鏡頭參數(shù)包括：焦距、視場、分辨力、對比度、MTF、景深3.1鏡頭Part333工業(yè)鏡頭參數(shù)——焦距和視場焦距：在機器視覺系統(tǒng)中指從鏡片中心到底片或CCD等成像平面的距離。視場（FOV）：整個系統(tǒng)能夠觀察的物體的尺寸范圍，可分為水平視場和垂直視場。視場角（AFOV）：以鏡頭為頂點，通過鏡頭的最大成像范圍的兩邊緣所構(gòu)成的夾角3.1鏡頭Part334工業(yè)鏡頭參數(shù)——焦距和視場

3.1鏡頭Part335工業(yè)鏡頭參數(shù)——焦距和視場鏡頭的焦距：光學放大倍率：3.1鏡頭Part336工業(yè)鏡頭參數(shù)——分辨力分辨力:鏡頭再現(xiàn)物體細部的能力。如果需要分辨的被測物體上的細節(jié)越小，那么對鏡頭分辨力的要求就越高3.1鏡頭Part337工業(yè)鏡頭參數(shù)——分辨力

3.1鏡頭Part338工業(yè)鏡頭參數(shù)——對比度與MTF對比度：在給定的分辨力下，黑色線條與白色線條區(qū)分的程度。Imax、Imin分別是黑白線條對應(yīng)的最大、最小成像亮度，通常以像素灰度值為單位3.1鏡頭Part339工業(yè)鏡頭參數(shù)——對比度與MTF調(diào)制傳遞函數(shù)（MTF）：一定空間頻率下的對比度值，反映鏡頭在線對空間頻率變化時形成的對比度變化3.1鏡頭Part340工業(yè)鏡頭參數(shù)——景深景深：在與垂直于鏡頭光軸的同一平面內(nèi)，最遠和最近能夠滿足圖像清晰度要求的點之間的距離3.1鏡頭Part341遠心鏡頭糾正傳統(tǒng)工業(yè)鏡頭視差而設(shè)計，它可以在一定的物距范圍內(nèi)使得到的圖像放大倍率不會變化圖像采集卡4.1圖像采集卡Part443現(xiàn)代機器視覺處理平臺需要數(shù)字圖像輸入，因此當相機為模擬接口時，需要圖像采集卡將模擬量轉(zhuǎn)換為數(shù)字量圖像信號的接收與A/D轉(zhuǎn)換模塊，負責圖像信號的放大與高速數(shù)字化控制輸入/輸出接口，協(xié)調(diào)機器視覺相機進行同步拍照或?qū)崿F(xiàn)異步重置拍照、定時拍照等總線接口，通過計算硬件內(nèi)部總線高速輸出數(shù)字數(shù)據(jù)

模擬圖像采集卡GigE圖像采集卡USB圖像采集卡CameraLink圖像采集卡計算硬件平臺CPU與基于PC的視覺硬件平臺圖形處理器現(xiàn)場可編程門陣列特定應(yīng)用硬件加速器5.1CPU與基于PC的視覺硬件平臺Part545在基于PC構(gòu)建機器視覺系統(tǒng)時，一般使用CPU實現(xiàn)視覺處理計算。CPU是PC的核心組件。

CPU的多核結(jié)構(gòu)和單指令多數(shù)據(jù)（SIMD）技術(shù)在機器視覺中發(fā)揮著巨大的作用,SIMD是現(xiàn)代CPU支持的并行計算模式，它采用單指令同時對多個數(shù)據(jù)執(zhí)行相同的操作,可以將一條指令應(yīng)用到一個數(shù)據(jù)向量上，從而實現(xiàn)高效的并行運算。5.2圖形處理器Part546GPU不僅是一個功能強大的圖形引擎，還是一個高度并行化的計算處理器，具有高吞吐量和高內(nèi)存帶寬，可用于大規(guī)模并行算法

為了利用并行編程創(chuàng)建高性能的GPU加速應(yīng)用程序，研究了各種開發(fā)平臺，如計算統(tǒng)一設(shè)備架構(gòu)（CUDA）和開放計算語言（OpenCL）5.3現(xiàn)場可編程門陣列Part547GPU數(shù)據(jù)吞吐量高，計算加速快，但功耗較高，同時結(jié)構(gòu)復雜，難以和其他芯片集成，因此在物聯(lián)網(wǎng)設(shè)備等功耗受限或航天等特定場景中難以應(yīng)用。現(xiàn)場可編程門陣列（FPGA）則提供了替代方案。現(xiàn)代FPGA通常包含：用于乘積累加（MAC）運算的數(shù)字信號處理（DSP）單元用于組合邏輯運算的查找表（LUT）用于片上數(shù)據(jù)存儲的塊RAM5.4特定應(yīng)用硬件加速器Part548谷歌開發(fā)的基于定制ASIC的張量處理單元（TPU）技術(shù)，為深度學習計算和加速提供了獨立的硬件支持Intel的Nervana神經(jīng)網(wǎng)絡(luò)處理器（NNP）、Mobileye專門用于自動駕駛視覺處理的EyeQ等也都提供了低功耗的專用視覺處理平臺蘋果公司從A11開始推出的“神經(jīng)引擎”是專用于特定機器學習和視覺算法的處理內(nèi)核，包括FaceID、增強現(xiàn)實等

高通和海思麒麟等也均在移動平臺芯片中加入專用神經(jīng)處理單元（NPU），以提高機器視覺和神經(jīng)網(wǎng)絡(luò)處理效率，與常規(guī)ARM核相比，可將吞吐量和能效提高一個數(shù)量級以上。

機器視覺軟件開源視覺框架與OpenCV商業(yè)機器視覺軟件6.1開源視覺框架與OpenCVPart650OpenCV（OpenSourceComputerVisionLibrary）是目前使用最為廣泛的開源機器視覺庫，包含超過2500個優(yōu)化算法，這些算法可用于處理和分析圖像、視頻、流媒體。

6.1開源視覺框架與OpenCVPart651通用圖像處理和機器視覺算法高層機器視覺算法人工智能和機器學習方法圖像采樣和視圖變換創(chuàng)建和分析二值圖像的方法OpenCV主要支持以下功能三維信息重構(gòu)方法底層數(shù)學處理方法圖形輸出圖像顯示界面方法數(shù)據(jù)結(jié)構(gòu)和算法數(shù)據(jù)持久化函數(shù)6.2商業(yè)機器視覺軟件Part652商業(yè)機器視覺軟件是指由廠商為各種應(yīng)用場景提供計算機視覺功能的專業(yè)收費軟件。與開源軟件相比，商業(yè)軟件成本高但功能更為專業(yè)，提供較好的服務(wù)。

6.2商業(yè)機器視覺軟件Part653商業(yè)機器視覺軟件是指由廠商為各種應(yīng)用場景提供計算機視覺功能的專業(yè)收費軟件。與開源軟件相比，商業(yè)軟件成本高但功能更為專業(yè)，提供較好的服務(wù)。

6.2商業(yè)機器視覺軟件Part654商業(yè)機器視覺軟件——HALCONHALCON是德國MVTec開發(fā)的一套機器