機器視覺報告學校：吉林大學課程教師：盧韶芳老師學院：通信工程學院姓名：焐嚟蕪必答題：機器視覺的應用及國內外開展現狀？答：1機器視覺關鍵技術的開展現狀圖1顯示了一個典型的工業機器視覺應用系統。從中我們能夠深刻地體會到機器視覺是一項綜合技術,其中包括數字圖像處理技術、機械工程技術、控制技術、光源照明技術、光學成像技術、傳感器技術、模擬與數字視頻技術、計算機軟硬件技術、人機接口技術等。以下就光源照明技術、光學鏡頭、攝像機、圖像采集卡、圖像信號處理以及執行機構等機器視覺關鍵技術的開展現狀進行闡述。1.1光源照明技術優良的光源和照明方案是目前機器視覺應用系統成敗的關鍵之一。一個好的光源與照明方案應當具有如下特點：盡可能突出物體的特征量,在物體需要檢測的局部與那些不重要部份之間盡可能產生明顯的區別,增加比照度;保證足夠的整體亮度;物體位置的變化不應該影響成像的質量。在機器視覺應用系統中一般使用透射光和反射光。對于反射光情況,應充分考慮光源和光學鏡頭的相對位置、物體外表的紋理、物體的幾何形狀等要素。光源設備的選擇必須符合所需的幾何形狀。同時,照明亮度、均勻度、發光的光譜特性也必須符合實際的要求,同時還要考慮光源的發光效率和使用壽命。表1列出了幾種主要光源的相關特性。其中,LED光源具有顯色性好、光譜范圍寬(可覆蓋整個可見光范圍)、發光強度高、穩定時間長等特點.近年來隨著LED制造工藝和技術的不斷開展成熟,價格逐步降低,其在機器視覺領域正得到越來越廣泛的應用。選用LED作為光源是一種趨勢。另外,高頻熒光燈因具有發光強度高、性價比高的優點,仍不失為某些應用場合的很好選擇。1.2光學鏡頭光學鏡頭成像質量的優劣直接關系到機器視覺系統的應用。其優劣程度可用像差的大小來衡量,常見的像差有球差、彗差.、像散、場曲、畸變、色差等六種。通常,光學鏡頭可分為定焦和變焦兩類。在檔次相同的情況下,定焦鏡頭比變焦鏡頭的像差要小。因為對變焦鏡頭必須折衷考慮以使各種不同焦距下的成像質量都相對較好。因此,在機器視覺應用系統中,通常優先考慮使用定焦光學鏡頭。此外還要考慮鏡頭的焦距、光闌系數、倍率、接口等問題。1.3攝像機視覺圖像獲取有兩種方式:主動視覺和被動視覺。主動視覺是指通過器件本身發光來產生視覺圖像。被動視覺那么指由傳感器被動接收目標環境反射光來產生視覺圖像。攝像機是常用的被動視覺傳感器,其核心部件是電子藕合器件(CCD)。CCD是近幾年開展起來的新技術,以其體積小、重量輕、壽命長且抗沖擊、清晰度高等特點在機器視覺系統中得到廣泛應用。CCD攝像機按照其使用的CCD器件可以分為線陣式和面陣式兩大類。線陣CCD攝像機一次只能獲得圖像的一行信息,被拍攝的物體必須以直線形式從攝像機前移過,才能獲得完整的圖像.它主要用于檢測條狀、筒狀產品,例如布匹、鋼板、紙張等。面陣攝像機可以一次獲得整幅圖像的信息。目前在機器視覺系統中,以面陣CCD的應用居多。CCD成品相機的分辨率不斷提高,2048X2048像素的CCD相機已很普遍。1.4圖像采集卡圖像采集卡是圖像采集局部和圖像處理局部的接口。由于圖像信號的傳輸需要很高的傳輸速度,通用的傳輸接口不能滿足要求,這是需要圖像采集卡的主要原因。圖像采集卡一般具有如下功能：(l)圖像信號的接收和A/D轉換模塊,負責將圖像信號放大和數字化;(2)攝像機控制輸入輸出接口,主要負責協調攝像機進行同步和實現異步重置拍照、定時拍照等;(3)總線接口,負責通過PC機內部總線高速傳輸出數字數據,一般采用PCI接口,傳輸速率可高達13oMbPs,完全能勝任高精度圖像的實時傳輸,且占用較少的CPU時間;(4)顯示模塊,負責高質量的圖像實時顯示;(5)通訊接口,負責通訊。其中(4)、(5)是某些圖像采集卡的附加增強功能。一些高檔的圖像采集卡還帶有DSP數字處理模塊,能進行高速圖像的預處理。1.5圖像信號處理正如人的視覺系統那樣,要將眼睛所獲得的視覺信息送到大腦進行綜合處理、“深加工”,機器視覺系統中,也要對采集到的圖像信號作進一步處理,這是機器視覺系統的關鍵之處。很多成熟的圖像處理技術、算法都可以直接應用于機器視覺系統。在機器視覺系統中,如何處理采集到的視覺信息是其核心所在。視覺信息的處理技術主要依賴于圖像處理方法,它包括圖像增強、數據編碼和傳輸、平滑、邊緣銳化、分割、特征抽取、圖像識別與理解等內容.經過這些處理后,輸出圖像的質量得到相當程度的改善,既優化了圖像的視覺效果,又便于計算機對圖像進行分析、處理和識別。圖像處理是一個很復雜的系統工程,無數學者及工程人員為每一個環節設計了諸多的算法,有關此方面的文獻很多。考慮到機器視覺系統多數應用場合具有高速、穩定的要求,采用的處理算法一般不應太復雜。在圖像信號的處理過程中,不管選用哪些算法,都要注意處理的速度必須大于或等于圖像的采集速度。目前,隨著計算機技術、微電子技術以及大規模集成電路技術的開展,為了提高系統的實時性,對圖像處理的很多工作都可以借助硬件完成,如DSP芯片、專用圖像信號處理卡等.而軟件那么主要完成算法中非常復雜、不太成熟或尚需不斷探索和改良的局部。TI公司推出的系列DSP產品TMS320C5000/6000系列大多可以應用于圖像信號的處理,且具有良好的實用性能。1.6執行機構機器視覺系統在功能上的最終實現,需要通過執行機構來完成。對于不同的應用場合,執行機構可以是機電系統、液壓系統、氣動系統中的一種。無論哪一種,除了要嚴格保證其加工制造和裝配的精度外,在設計時還需要對動態特性,尤其是快速性和穩定性給予充分重視.此外,需要指出的是,目前基于PC機的機器視覺系統結構沒有模塊化,安裝不方便,可移植性差,特別是與工業廣泛使用的PLC接口連接比較麻煩。從軟件和硬件開發兩個方面來考慮,都需要一種更適合工業需求的機器視覺組件.目前國外COGNEX公司已經開發出了一種叫做視覺傳感器的模塊化部件.這種視覺傳感器集成了光源、攝像頭、圖像處理器、標準的控制與通訊接口,自成為一個智能圖像采集與處理單元。其內部程序存儲器可存儲圖像處理算法,人們可使用PC機利用專用組態軟件編制各種算法,然后將它們下載到視覺傳感器的程序存儲器中。這種視覺傳感器將PC的靈活性與PLC的可靠性、分布式網絡技術結合了在一起.用這樣的視覺傳感器和PLC可以更容易地構成機器視覺系統.機器視覺技術的工業應用視覺的最大優點是與被觀測的對象無接觸,因此對觀測與被觀測者都不會產生任何損傷,十分平安可靠,這是其它感覺方式無法比較的。另外,視覺方式所能檢測的對象十分廣泛,可以說是對對象不加選擇。理論上,人眼觀察不到的范圍機器視覺也可以觀察,例如紅外線、微波、超聲波等人類就觀察不到,而機器視覺那么可以利用這方面的傳感器件形成紅外線、微波、超聲波等圖像。因此可以說是擴展了人類的視覺范圍。另外,人無法長時間或在某些惡劣環境下觀察對象,機器視覺那么不知疲勞,對環境的適應性強,能始終如一地觀測,所以機器視覺可以廣泛地和長時間地用于惡劣的工作環境。正因為具有上述特點,機器視覺才得以在工業應用中大顯身手,被廣泛應用于汽車、電子、電氣、機械、制藥、玻璃(陶瓷)、包裝、印刷、運輸、紡織等各個行業.目前,機器視覺的應用很大程度上仍局限于二維圖像的處理和識別,三位機器視覺的應用還很有限。工業視覺系統的應用大致分為三個方向:自動檢測、智能裝配以及視覺伺服系統。以下就從這三個方面介紹機器視覺的工業應用狀況。1自動檢測中的機器視覺自動檢測是生產自動化的重要環節。機器視覺在自動檢測中的應用極為廣泛,它包括幾何量計量測試和自動視覺識別檢測。幾何量計量測試技術是制造技術中不可缺少的環節。通用的光學儀器幾何量測量技術讀數過程繁瑣,測量時間長,人員主觀誤差較大,自動化程度低。機器視覺測量技術是測試領域中的新興一族。得益于計算機視覺技術的開展,目前有結構光測量、層析三維數字化測量、工業CT法、立體視覺、激光掃描測量和激光雷達等方法,它們各有優缺點。采用結構光的三角測量法,具有較高的測量精度和一定的測量范圍。原理是用一光束以一定角度投影到被測物外表,再以一定角度用攝像機攝取圖像,最后依據三角定理從二維圖像中提取第三維信息。該方法無法獲取被測物體內部的數據。層析三維數字化測量技術是對物體被銑出的等間隔斷層進行拍照,然后進行圖像處理,提取出斷層上物體的輪廓信息,進行三維重建,最后得出物體的CAD模型。該方法可實現任意復雜物體的完整測量,精度可達53微米,雖然防止了結構光法的缺點,但是檢測速度慢且具有破壞性.工業CT利用斷層掃描實現了結構的無損測量,但精度低且設備昂貴。立體視覺屬于三維測量,是人工智能與測量技術交叉而形成的智能測量。根本過程是用兩個攝像機從不同位置對物體攝像,在兩個攝像機的圖像平面上提取和匹配需要檢測的特征點,求出特征點在兩個圖像平面的坐標,再利用成像公式計算出測量點的三維空間坐標。該方法具有測量速度快、系統本錢低、安裝方便等優點,充分表達了機器視覺在幾何量計量測試中的應用價值和前景。自動視覺識別檢測目前已經用于產品外形和外表缺陷檢驗,如金屬外表視覺檢測、二極管基片檢查、印刷電路板缺陷檢查、焊縫缺陷自動識別等等。這些檢測識別系統屬于二維機器視覺,技術已經較為成熟。其根本流程是用一個攝像機獲取圖像,對所獲取的圖像進行處理及模式識別,檢測出所需的內容。2智能裝配中的機器視覺現代機電產品的裝配工作量占整個產品制造工作量的20%、70%,裝配時間占整個產品制造時間的40%、60%,裝配本錢約占產品本錢的30%、50%,且裝配質量對產品性能有直接影響。裝配工作由于其多樣性和復雜性,在實現自動化方面難點很多。上世紀80年代,裝配機器人的應用和柔性裝配系統的出現使自動裝配系統得到迅速開展.20世紀90年代后,應用領域對自動裝配技術提出了更高的要求。采用機器視覺技術的智能裝配就是這股技術革新浪潮中的熱點之一。視覺系統可以大大縮短產品開發時間,在不變更硬件的情況下處理各種零部件。機器視覺技術不僅可以用于完成一些看起來很簡單(如汽車零件裝配等)的任務,更可在惡劣或有害的工作環境下實現裝配。目前,在工業領域中,已經有很多以機械手、視覺系統為主體的帶感覺的機器人系統進入實用階段。例如晶體管自動焊接系統、管子凸緣焊接機器人、有視覺的裝配機器人、汽車車輪裝入輪毅作業的自動系統等等。機器人應用視覺的方式有很多種,如對機械手定位以及跟蹤目標提供反應控制信息;確定和區分零件的位置方位以拾取零件;控制對零件的裝配;引導焊縫機器人等。智能裝配中的機器視覺的難點在于對三維物體的定位和識別,主要研究重點是立體匹配和三維重建。文獻!14]針對三維零件識別的需要,提出一種新的三維重建方法。該方法將立體匹配轉換到波數域進行求解,對立體像進行適當變換后求出每幅圖像的局部相,根據局部相的性質,求出立體像與兩幅圖像之間的對應關系。為了便于實現并行處理,采用Hopfiekl神經網絡實現立體匹配過程,該方法采用BP神經網絡構造成三維重建神經網絡,將圖像上的二維點轉換成物體外表上的三維點,防止了傳統方法中需要通過對視覺系統進行精確校準來確定像平面和目標空間的關系以及通過迭代過程計算物體的三維點的復雜性。3視覺伺服系統視覺的非接觸測量特性使它對視覺伺服系統極為有用.一種典型的應用是將視覺傳感和操作集成在一個開環系統中,系統的精度直接依賴于視覺傳感和執行機構的精度.其控制采用開環視覺方法,即從圖像中抽取檢測物體的特征信息后驅動相應的執行機構運動,視覺信息僅作為指令依據。通常人們按照誤差信號的不同將視覺伺服控制系統分為三類:基于位置的視覺伺服系統、基于圖像的視覺伺服系統以及由上述兩種方法組合而成的混合視覺系統。在基于位置的伺服系統中,誤差信號在笛卡爾坐標系中給出.由于使用簡單的比例控制即可以使該系統穩定,因此此類系統的控制間題實質上轉變成根據圖像估計出目標相對位置的間題。在基于圖像的伺服系統中,誤差信號由圖像特征參數直接定義,主要涉及兩方面間題:(l)圖像的特征選擇和提取;(2)控制系統的分析和綜合。同基于位置的伺服系統不同,在基于圖像的伺服系統中,圖像特征的選擇將直接決定控制率和最終系統的穩定性和魯棒性等性能,因而所選擇的特征往往因系統而異,目的是使整個系統便于分析和設計。在上述機器視覺應用中,圖像的獲取大多是采用攝像機(如CCD)作為主要手段的。事實上,成像的方式除了可見光成像外,還有紅外成像、X光成像、超聲成像、微波成像等等。隨著傳感器技術以及相應成像技術的不斷開展和完善,機器視覺的可應用領域必將不斷擴展。而且目前機器視覺技術也已經沖破傳統視覺理念,有了在新領域應用的成功案例。參考資料：《機器視覺技術開展及其工業應用》，章煒，中國科學院上海技術物理研究所,上海，2006年2月。1機器視覺關鍵技術的開展現狀圖1說明機器視覺是一項綜合技術,包括圖像處理、機械工程技術、控制、電光源照明、光學成像、傳感器、模擬與數字視頻技術、計算機軟硬件技術(圖像增強和分析算法、圖像卡、I/O卡等)。這些技術在機器視覺中是并列關系,相互協調應用才能構成一個完整的工業機器視覺應用系統。機器視覺強調能夠適應工業現場惡劣的環境、有合理的性價比、較強的通用性和可移植性,即實用性;它更強調高速度和高精度,即實時性。機器視覺應用系統中,用到很多技術,但關鍵技術主要表達在光源照明、光學鏡頭、攝像機(CCD)、圖像采集卡、圖像信號處理以及執行機構等。光源照明好的光源和照明是目前機器視覺應用系統成敗的關鍵,應當具有以下特征：〔1〕盡可能突出目標的特征,在物體需要檢測的局部與非檢測局部之間盡可能產生明顯的區別,增加比照度；〔2〕保證足夠的亮度和穩定性；〔3〕物體位置的變化不應影響成像的質量。光源按其照射方法可分為背向照明、前向照明、結構光照明和頻閃光照明等。背向照明是被測物放在光源和攝像機之間,其優點是能獲得高比照度的圖像;前向照明是光源和攝像機位于被測物的同側,這種方式便于安裝;結構光照明是將光柵或線光源等投射到被測物上,根據它們所產生的畸變,解調出被測物的三維信息;頻閃光照明是將高頻率的光脈沖照射到物體上,攝像機拍攝要求與光源同步,這樣能有效地拍攝高速運動物體的圖像。照明亮度、均勻度、發光的光譜特性要符合實際的要求,同時還要考慮光源的發光效率和使用壽命。其中,LED光源具有顯色性好、光譜范圍寬(可覆蓋整個可見光范圍)、發光強度高、穩定時間長等優點,而且隨著制造技術的成熟,其價格越來越低,必將在現代機器視覺領域得到越來越廣泛的應用。光學鏡頭光學鏡頭一般稱為攝像鏡頭或攝影鏡頭,簡稱鏡頭,其功能就是光學成像。鏡頭是系統中的重要組件,對成像質量有著關鍵性的作用,在組建機器視覺系統時,硬件設備要根據實際需要選擇適宜口徑和焦距的鏡頭。表2是幾種常見鏡頭型號及其相關參數。CCD攝像機及圖像采集卡CCD(Chargecoupleddevice)攝像機及圖像采集卡共同完成對目標圖像的采集與數字化。目前,CCD、CMOS等固體器件已經是成熟的應用技術。線陣圖像敏感器件,像元尺寸不斷減小,陣列像元數量不斷增加,像元電荷傳輸速率得到極大提高。表3所示為一種高性能線陣CCD器件的參數。從中可以看到,線陣器件像元數和數據的傳輸率大大提高,而且器件設計集成了新的功能,具有可編程能力,如增益調整、曝光時間選擇、速率調節以及維護等。在線陣器件性能提高的同時,高速面陣圖像器件性能也在快速提高。某種超高速面陣CCD器件,允許的最大分辨率達1280X1024像素,最大幀率1MHz,可采集4幀圖像,且像素靈敏度達12bits。在基于PC機的機器視覺系統中,圖像采集卡是控制攝像機拍照完成圖像采集與數字化,協調整個系統的重要設備.一般具有以下功能模塊：〔1〕圖像信號的接收A/D轉換模塊,負責圖像放大與數字化；〔2〕攝像機控制輸入輸出接口,主要負責協調攝像機進行同步或實現異步重置拍照、定時拍照；〔3〕總線接口,負責通過計算機內部總線高速輸出數字數據,一般是PCI接口,傳輸速率可達130Mbps,完全能勝任高精度圖像的實時傳輸,且占用較少的CPU時間；〔4〕顯示模塊,負責高質量的圖像實時顯示；〔5〕通訊接口,負責通訊。目前,圖像采集卡種類很多,按照不同的分類方法,有黑白圖像和彩色圖像采集卡,有模擬信號和數字信號采集卡,有復合信號和RGB分量信號輸入采集卡.在選擇圖像采集卡時,主要應考慮到系統的功能需求、圖像的采集精度和與攝像機輸出信號的匹配等因素。圖像信號處理圖像信號的處理是機器視覺系統的核心。視覺信息的處理技術主要依賴于圖像處理方法,它包括圖像變換、數據編碼壓縮、圖像增強復原、平滑、邊緣銳化、分割、特征抽取、圖像識別與理解等內容。隨著計算機技術、微電子技術以及大規模集成電路的開展,為了提高系統的實時性,圖像處理的很多工作都可以借助硬件完成,如DSP芯片、專用圖像信號處理卡等,軟件主要完成算法中非常復雜、不太成熟或尚需不斷探索和改良的局部。處理時間上,要求處理速度必須大于等于采集速度,才能保證目標圖像無遺漏,完成實時處理。執行機構要實現工業領域機器視覺系統的最終目的還需執行機構來完成.不同的應用場合,執行機構可能不同,比方機電系統、液壓系統、氣動系統,無論哪一種,除了要嚴格保證其加工制造和裝配的精度外,在設計時還應對動態特性,尤其是快速性和穩定性給予充分重視。參考資料：中原工學院學報，《機器視覺的現狀及開展趨勢》，張五一,趙強松,王東云，中原工學院,鄭州，2008年2月。A局部〔選擇第二題〕問：在使用計算機時，當鼠標的光標在屏幕上而你又一時找不到時，你通常采取什么方法立即找到，為什么？答：我通常使用的方法是隨機位置的快速移動鼠標，這是屏幕上有圖像變化的位置就是鼠標的光標位置。因為我們的視覺系統對運動目標十分的敏感。鼠標的光標在不動的時候會出現視覺盲點，我們看不到鼠標的光標是因為它處于我們的視覺盲點中，當我們隨機快速移動鼠標時，它在屏幕上移動，我們的眼睛就會自己過濾掉那些不懂的圖像，而集中注意力與移動的圖像，消除了鼠標的光標的視覺盲點，我們就找到了鼠標的光標了。人們已提出了許多種理論來解釋對運動的感知。目前最廣為接受的理論之一與兩個因素有關：1、在視覺系統中存在著運動檢測器，它們能記錄影響視網膜中相鄰點的信號。2、是對人類自身運動的知識，它防止了將人體或人眼的運動歸于景物的運動。如同在所有的光學現象中，運動也只能在一定條件或限度內被感知到。如果把一個運動得非常慢的視覺可感知的邊緣投影到視網膜上，它將不會被認為是運動的〔盡管它有可能在其后被發現已經運動過了〕。如果這個視覺邊緣運動的非常快，他將被認為是模糊的。運動速度的上下限是一下變量的函數：〔1〕物體的尺寸大尺寸的物體需要多運動一些才能被看作是運動的。〔2〕亮度和反差它們越大，運動越被感知得明顯?！?〕環境運動的感知有一定的相對性，如果有固定的參考點，運動就容易感知到。B局部〔選擇第六題〕問：什么是輪廓？輪廓和區域有什么關系？一個非封閉輪廓表示什么？答：把邊緣連接起來就成為輪廓(contour)。輪廓可以是斷開的，也可以是封閉的。封閉輪廓對應于區域的邊界，而區域內的像素可以通過填充算法來填滿。斷開的輪廓可能是區域邊界的一局部，也可能是圖像線條特征，如手寫體筆畫、圖畫中的線條等。區域之間的比照度太弱或邊緣檢測閾值設置太高都有可能產生間斷的輪廓。輪廓可以用邊緣序列表或曲線來表示。曲線通常稱為輪廓的數學模型。曲線表示包括線段、二次曲線、三次樣條曲線等．下面是幾種輪廓表示的評價標準：高效：輪廓應該是一種簡單和緊湊的表示。精確：輪廓應能精確地逼近圖像特征。有效：輪廓應適合于后處理階段的計算。輪廓表示的精確性由以下三個方面因素決定：①用于輪廓建模的曲線形式；②曲線擬合算法的性能；③邊緣位置估計的精確度。輪廓的最簡單表示形式是邊緣有序表。這種表示的精確度就是邊緣估計的精確度，但其表示的緊湊性是最差的，因此不是一種有效的后續圖像分析表示方法。用適當的曲線模型來擬合邊緣會提高精確度，這是因為曲線模型擬合邊緣時往往具有均值化效應，因而可以減少邊緣位置誤差。曲線模型也會提高輪廓表示的經濟性，為后處理提供了一種更適合、更緊湊的表示，例如，一條直線上的邊緣集用一直線來擬合是表示這些邊緣的最簡單和最有效的方法，這一表示也簡化了后續處理〔如確定線的長度和方向〕；另外，由于估計直線與真實直線的均值方差小于真實直線與任何其它邊緣之間的均值方差，因此可以說這種表示也增加了精確度。輪廓曲線擬合通常采用內插曲線或逼近曲線來實現。一組稱為控制點的坐標點，內插是指一條曲線擬合這組控制點，使得曲線通過所有的控制點；逼近是指一條曲線擬合這組這組控制點，使得這條曲線非常接近這些控制點而無需一定通過這些點。在下面幾節中，假定由邊緣檢測器得到的邊緣十分準確，并使用內插值方法進行邊緣曲線擬合。邊緣表是邊緣點或邊緣段的有序集合。輪廓是邊緣表或用于表示邊緣表的曲線。邊界是包圍一個區域的封閉輪廓。在無特別說明的情況下，邊緣通常是指邊緣點。對大多數曲線擬合算法來說，只需要邊緣的位置信息。在很少的幾種情況下，即需要邊緣位置信息，也需要方向角信息，此時的邊緣是指邊緣段。C局部〔選擇第十題〕問：請說明拉普拉斯-高斯算法〔LoG算法〕是如何實現平滑、增強、檢測三項功能的。答：由于Laplace算子對噪聲比較敏感，為克服一些缺點，Marr和Hildreth提出了Log邊緣檢測算法，先用一個平滑濾波器對圖像進行低通