機器視覺引導第八章第八章機器視覺引導機器視覺引導定位8.1項目任務一：移動抓取8.2項目任務二：移動抓取固定裝配8.3第八章

機器視覺引導機器視覺引導定位018.1機器視覺引導定位?視覺引導定位的形式1.固定相機模式（eye-to-hand）相機安裝在設備機架上，不隨機器人（手）的運動而運動。相機對傳送過來的來料進行拍攝和粗定位，將定位信息傳輸給機器人（手），以便機器人（手）根據定位信息抓取來料，確保抓取的穩定性。相機的視野范圍包括了機器人（手）和工作區域。在這種模式下，機器人的手是移動的，而相機保持固定不動。通過使用固定相機模式，相機可以提供對整個工作區域的全局視野，用于感知和定位機器人（手）以及目標物體的位置和姿態。相機采集到的圖像數據可以通過機器視覺算法進行處理和分析，以實現目標物體的定位、路徑規劃和運動控制等操作。這種模式常用于需要對大型工作區域進行定位引導的場景，例如物料搬運、裝配和包裝等。8.1機器視覺引導定位?視覺引導定位的形式2.移動相機模式（eye-in-hand）也稱固定物體模式，即相機安裝于機械手頂端隨機械手一同運動。相機被安裝在機器人（手）的末端，相機的視野范圍主要集中在機器人（手）的工作區域內。在這種模式下，機器人（手）是移動的，而相機隨著機器人（手）的運動而變換位置和姿態。相機的安裝位置接近于目標物體，使得相機能夠提供更加細節和精確的圖像信息，用于實時感知和定位目標物體。機器人（手）的運動可以根據相機采集到的圖像數據進行調整和控制，以實現精確的定位和抓取操作。這種模式常用于需要進行精細操作和高精度定位的場景，例如裝配、精密加工和微操作等。固定相機模式和移動相機模式在功能上都可實現定位抓取與引導放置。兩者在保證功能的同時，能夠提供更多的安裝可能性以應對不同的環境與硬件條件限制。針對不同的設備安裝場景，為提升硬件安裝的適應性，固定相機模式與移動相機模式也可結合使用。8.1機器視覺引導定位?視覺引導定位的主要實訓項目機器視覺實訓平臺以鋰電池為產品載體，根據桌面流水搬運線是否參與，上料單元上引導抓取，以及裝配單元上裝配方式的不同來區分，實訓平臺可模擬工業現場上的8種引導定位應用場景。

抓取傳送放置上料單元流水線搬運單元裝配單元固定相機引導抓取引導抓取引導裝配無引導移動相機引導抓取無引導裝配無引導可以將1臺工業彩色相機安裝在吸嘴上端，作為移動相機；或者將相機安裝在上料單元上端，作為固定相機。另外兩臺工業彩色相機可以分別安裝在皮帶流水線上端、裝配單元上端，作為固定端相機。三臺相機的安裝方式可以根據實訓場景不同進行調整。8.1機器視覺引導定位?視覺引導定位的主要實訓項目1.固定抓在上料單元上，由固定相機拍照，引導機械手抓取。在裝配單元上，無相機拍照引導，機械手按既定位置自主裝配。2.移動抓在上料單元上，由機械手上的移動相機拍照，引導機械手抓取。在裝配單元上，無相機拍照引導，機械手按既定位置自主裝配。3.固定抓固定裝4.固定抓移動裝5.移動抓固定裝在上料單元上，由機械手上的移動相機拍照，引導機械手抓取。在裝配單元上，固定相機拍照，引導機械手裝配。6.固定抓皮帶抓移動裝7.移動抓皮帶抓固定裝8.移動抓移動裝8.1機器視覺引導定位?視覺引導定位的主要視覺工具對于相機引導機械手抓取產品，其標定步驟一般為：(1)棋盤格標定。用棋盤格標定板給相機做非線性標定；(2)N點標定。通常做9點標定。標定片不動，機器手帶動相機移動九個位置拍照，提取九點位置；或者機器手吸取標定片移動放置到9個位置，相機在固定拍照位拍照，但需要保證取放過程中標定片姿態不變動；(3)標定旋轉中心。通常做2點旋轉。機器手吸取標定片時，通過2點旋轉，即已知圓弧上2點坐標和兩點到圓心的夾角，可求出圓心坐標。結合機器人的旋轉中心，可計算工件實際發生的偏移量和旋轉，把補償量發送給機器人（手）。手眼標定工具手眼標定方法1）軟件用戶與運動機構工程師約定動作與指令流程；2）軟件層面，完成對待標定相機、標定模式、特征類型等參數的配置；3）運動機構（吸嘴/夾爪）帶動標定特征（標定板/實物），按約定流程進行運動（位移、旋轉），并發送指令給軟件；4）每次運動到約定點位，相機同步進行取像，對當前位置圖像進行特征抓取，獲取特征點圖像坐標；5）軟件結合每次運動收到的指令（機構物理坐標）與計算得到的圖像坐標，通過計算，最終取得由圖像到現實的坐標空間映射關系，完成標定。8.1機器視覺引導定位?視覺引導定位的主要視覺工具手眼標定可分為手動模式與自動模式。通常在項目前期的調試階段，當硬件設備或通訊不滿足自動標定的條件時，用戶可使用“手動模式”開展標定。視覺軟件方面主要做的工作包括設置業務模式，配置工具輸入，配置標定校準等視覺參數，手動執行程序，然后PLC等運動機構方面移動到適當位置并提供物理坐標，最后視覺軟件根據圖像坐標和機械手物理坐標，計算標定，形成標定文件。8.1機器視覺引導定位?視覺引導定位的主要視覺工具自動模式。在外部條件滿足的情況下，推薦用戶直接采用“自動標定”的模式。一個典型的自動標定流程可參考圖。也即視覺軟件和PLC等運動結構方面約定好標定指令，根據約定，視覺軟件和PLC運動機構自動配合，完成標定。8.1機器視覺引導定位?視覺引導定位的主要視覺工具2.“手眼標定”工具在V+程序設計界面中，“引導”組中，有“手眼標定”工具。手眼標定工具手眼標定工具包含五個配置頁面和一個結果頁面：標定配置圖像指令校準執行結果在V+程序設計界面中，“引導”模塊組中，包含“手眼標定”工具。8.1機器視覺引導定位?視覺引導定位的主要視覺工具2.“手眼標定”工具手眼標定工具包含五個配置頁面：標定配置、圖像、指令、校準、執行、結果。（1）標定配置標定配置頁面的主要功能為配置標定指令的輸入、設定標定場景類型。用戶完成本頁面的配置后，工具將按配置情況動態生成后續頁面。8.1機器視覺引導定位?視覺引導定位的主要視覺工具2.“手眼標定”工具（2）圖像頁面圖像頁面主要功能為配置輸入圖像，以及確定主機位的安裝方式、標定移動步數。8.1機器視覺引導定位?視覺引導定位的主要視覺工具2.“手眼標定”工具（3）指令頁面指令頁面如圖所示，主要展示標定運行所需的指令內容。8.1機器視覺引導定位?視覺引導定位的主要視覺工具2.“手眼標定”工具（3）指令頁面參考指令中“[]”部分的內容，需要用戶按實際情況給定。如[N]代表當前標定流程的序號，[C]代表對應的機位號，[P]代表標定運動的點位序號，而[X][Y][R]則代表運動機構在拍照位的坐標數據。而不帶“[]”部分的內容，則屬于固定指令字符。V+軟件和運動結構（PLC）經過約定，設置PLC和V+的標定指令。PLC標定控制指令格式主要為：指令頭+第幾個標定程序+固定指令+相機號+點位號+XYR。1）固定指令。主要有：1）SC--標定開始；2）HBF--從相機棋盤格標定；3）HBM--(主相機)棋盤格標定；4）HNM--主相機多點標定(固定)；5）HNME--主相機多點標定結束；6）EC--標定結束。8.1機器視覺引導定位?視覺引導定位的主要視覺工具2）示例指令。對于“移動抓+皮帶抓+固定裝”場景，三個相機機位聯合標定的完整指令如下所示。1）標定流程開始 Calib,[N],SC,0,0,0,0,02）從機位2棋盤格標定 Calib,[N],HBF,2,0,[X],[Y],[R]3）從機位3棋盤格標定 Calib,[N],HBF,3,0,[X],[Y],[R]4）主機位棋盤格標定 Calib,[N],HBM,1,0,[X],[Y],[R]5）主機位(平移1) Calib,[N],HNM,1,1,[X],[Y],[R]6）主機位(平移2) Calib,[N],HNM,1,2,[X],[Y],[R]7）主機位(平移3) Calib,[N],HNM,1,3,[X],[Y],[R]8）主機位(平移4) Calib,[N],HNM,1,4,[X],[Y],[R]9）主機位(平移5) Calib,[N],HNM,1,5,[X],[Y],[R]10）主機位(平移6) Calib,[N],HNM,1,6,[X],[Y],[R]8.1機器視覺引導定位?視覺引導定位的主要視覺工具2）示例指令。對于“移動抓+皮帶抓+固定裝”場景，三個相機機位聯合標定的完整指令如下所示。11）主機位(平移7) Calib,[N],HNM,1,7,[X],[Y],[R]12）主機位(平移8) Calib,[N],HNM,1,8,[X],[Y],[R]13）主機位(平移9) Calib,[N],HNM,1,9,[X],[Y],[R]14）主機位(旋轉1) Calib,[N],HNM,1,10,[X],[Y],[R]15）主機位(旋轉2) Calib,[N],HNM,1,11,[X],[Y],[R]16）主機位多點標定結束 Calib,[N],HNME,1,0,0,0,017）標定流程結束 Calib,[N],EC,0,0,0,0,0N:當前標定業務的序號(若存在多組標定時作為唯一性標志)，通常取1。XYR:拍照時運動機構的實際坐標,示例:200.2,8.8,30.5手眼標定工具指令分析：V+軟件和運動結構（PLC）經過約定，設置PLC和V+的標定指令：PLC標定控制指令格式主要為：指令頭+第幾個標定程序+固定指令+相機號+點位號+XYR。8.1機器視覺引導定位?視覺引導定位的主要視覺工具2.“手眼標定”工具（4）校準頁面校準頁面不是常規頁面。僅當用戶在“標定配置”頁面-特征樣式中選擇“棋盤格”選項，或在單相機模式選擇“實物”選項并啟用“畸變校準”時，才出現此頁面。此頁面主要用于配置棋盤格（標定片）特征的算法參數，包括校準模式、特征符號、基準符號及塊尺寸設定。8.1機器視覺引導定位?視覺引導定位的主要視覺工具2.“手眼標定”工具（5）執行頁面執行頁面主要展示標定執行過程中的結果圖像及視覺計算數據，其中視覺計算數據為運動機構在各拍照位的坐標數據與圖像經視覺算法處理后得到的特征點坐標。此頁面支持用戶按需切換手動/自動標定模式。8.1機器視覺引導定位?視覺引導定位的主要視覺工具2.“手眼標定”工具（6）結果頁面結果頁面主要展示標定結果的各項數據、可供用戶參考的標定評價，以及主、從機位經過標定最終產生的標定文件（ToolBlock）。標定文件被視覺軟件放置在程序文件夾下的“/Config/Guide/Calibratoin”文件夾下。8.1機器視覺引導定位?視覺引導定位的主要視覺工具2.“手眼標定”工具（6）結果頁面點擊“高級配置”，彈出如圖所示的ToolBlock視覺工具塊，視覺工具塊主要有CogCalibCheckboardTool，CogCalibNPointToNPointTool工具。可以打開CogCalibNPointToNPointTool工具，查看9個平移點的校準情況。8.1機器視覺引導定位?視覺引導定位的主要視覺工具3.“標準位示教”工具“標準位示教”工具是一種用于識別和定位工件的V+視覺工具。通過“標準位示教”工具，可以對工件進行視覺檢測、辨識和定位。此工具記錄特征點的圖像上的坐標與空間上的坐標以及特征角度。機器手將工件移動到相機拍照位置，并通過相機拍攝工件的圖像。在圖像中，機器手會標記并記錄工件上的特征點，這些特征點可能是關鍵的位置、輪廓或其他能夠用于定位和檢測的特征。“標準位示教”工具主要實現引導抓取、補正等場景的示教功能，即通過對示教產品進行特征定位，建立標準位置的特征模板。工具配置共分為3步：8.1機器視覺引導定位?視覺引導定位的主要視覺工具3.“標準位示教”工具（1）輸入設置用戶在此頁面需要配置輸入的信號數據與圖像。其中信號數據配置標準位示教指令的數據源；支持鏈接工具外部數據或手動輸入字符串。數據格式為“Train,[N],TTN,C,0,[X],[Y],[A]”（“[]”部分內容為需要外部按實際情況傳入的數據），“[X],[Y],[A]”分別代表把產品放置到示教位置時運動機構的坐標；而“輸入圖像”，具體是指把產品放置在示教位置后，相機在固定拍照位取到的圖像。8.1機器視覺引導定位?視覺引導定位的主要視覺工具3.“標準位示教”工具（2）“標定設置”界面。點擊“下一步”，進入“標定設置”界面。8.1機器視覺引導定位?視覺引導定位的主要視覺工具3.“標準位示教”工具（3）特征抓取點擊下一步，進入“特征抓取”界面。工具成功運行后，將輸出示教產品在標準位置的特征點圖像坐標。標準位示教工具特征抓取：抓取鋰電池的特征值，也就是對角線的交點，也即中心點（AC-BD）的X/Y值，和邊線AB的姿態，即R值。將成功運行的視覺工具塊（ToolBlock）可以導出為vpp文件，為后續引導抓取抓取的時候導入使用。第八章

機器視覺引導項目任務一：移動抓取028.2項目任務一：移動抓取任務要求：對于移動相機拍照引導抓取，即場景2，該項目模擬了一種自動化生產線上引導抓取和自主裝配的過程。在上料單元九宮格內任意放置若干3種不同類型的鋰電池，機械手在上料區依照規定順序走九宮格。在每一處駐留時，移動相機拍照，經過視覺處理區分料號，引導移動模組抓取工件，在裝配單元上放置好工件。然后，機械手回到上料單元的下一處九宮格位。循環往復，直至上料區所有的工件都取完放置好，程序結束。8.2項目任務一：移動抓取?任務實施1.硬件配置2.程序流程設計3.HMI界面設計8.2項目任務一：移動抓取?硬件配置（1）添加相機該項目只配置1臺相機：移動相機。在“設備”→“2D相機”→雙擊“海康威視”，添加相機到左側設備欄中，編輯相機名稱，選擇相機對應的IP地址，格式選擇Mono8，曝光5000μs。相機名取為移動CCD，IP地址：192.168.10.10；點擊“打開”，連接成功后，可以點擊圖層框右下角“打開視頻”，配合光源硬件查看圖像效果，通過調節光源亮度、鏡頭焦距等，得到合適的圖像。8.2項目任務一：移動抓取?硬件配置（2）添加光源添加兩個光源控制器（德創1、德創2），端口號分別為串口COM1和COM2，波特率為19200，8位數據位，1位停止位，無校驗。德創1控制4個通道光源，分別是：1）左條光；2）右條光；3）左面光；4）右面光。德創2控制4個通道光源，分別是：1）皮帶旁條光；2）移動相機環光；3）固定相機環光；4）皮帶相機環光。亮度可設置的范圍為0~255。8.2項目任務一：移動抓取?硬件配置（3）添加PLC“設備管理”→“PLC”→“三菱”，添加三菱PLC。如圖8-16所示。PLC端設置以下基本參數，通訊方式：TCP，IP地址：192.168.1.20，端口號：502，編碼：ASCII，數據格式：CDAB。8.2項目任務一：移動抓取所有需要用到的PLC和視覺軟件傳輸交換數據的寄存器地址和讀寫信號均和PLC端約定確認，通過“添加”功能進行逐一添加。所需用到的寄存器地址約定如下：1）PLC數據發送：D120-D149：相機標定數據頭+標定指令+點位號；D150-D165：相機標定X、Y、R坐標信息；D166：移動相機九宮格拍照點位號；D168：TPM指令代碼（標定、訓練吸嘴等）。2）PLC數據接收：D170：視覺軟件返回X軸坐標； D172：視覺軟件返回Y軸坐標；D174：視覺軟件返回R軸坐標； D190：視覺軟件返回結果。8.2項目任務一：移動抓取?V+程序設計流程（1）標定程序流程設計程序流程設計的第一步進行標定。如圖所示，拆除九宮格，將標定片放置在裝配單元上預定的固定初始位置（裝配單元上左后邊角處）。機械手吸取標定片，進行移動。將標定片放置在上料區（左側面光源）中心區后，機械手抬起，觸發移動相機拍照取像。機械手按照做9點平移和2點旋轉（回到中心點，然后吸取標定片旋轉30度）的路徑路線，依次觸發移動相機進行拍照取像。視覺軟件根據取像結果，進行分析和標定，形成標定文件。8.2項目任務一：移動抓取?標定程序設計1）等待觸發。在“信號”工具組中的“PLC掃描”工具，掃描接受PLC中的D168地址發來的“標定”指令--1，“觸發條件”設置變為1。也即如果收到PLC發送到D168地址的數據為1，就觸發標定流程。8.2項目任務一：移動抓取?標定程序設計2）解析指令字符串。觸發之后用“通訊”工具組中的“讀PLC”工具讀取PLC中的地址D120開始長度為92的指令字符串。8.2項目任務一：移動抓取?標定程序設計2）解析指令字符串。PLC發來的指令字符串中帶有空格和不可打印字符，占據了指令實際長度，為保證后續手眼標定工具讀取正確的指令，這里需要將其刪除。用“數據”工具組中的“字符串操作”工具將前面“讀PLC”工具接受到的字符串值去掉空格和不可打印字符，并將經過“字符串操作”上述操作后的值輸出，輸出變量命名為“@Trim2”。8.2項目任務一：移動抓取?標定程序設計3）打開光源。用“圖像”組中的“光源設定”工具，將移動相機拍照所需光源打開，各光源的強度設置如圖所示。采用“系統”組中的“延時”工具，將光源打開延時200ms，以確保取像時，有穩定的和足夠強度的光源。8.2項目任務一：移動抓取?標定程序設計4）手眼標定工具。“引導”行業模塊中，“手眼標定”工具將手（機械手）和眼（相機）的坐標系統一起來，解決相機與機械手之間的坐標轉換關系，讓機械手能夠精確抓取到相機定位的目標。“手眼標定”工具中，首先進行“標定配置”。“標定配置”頁面，“數據來源”即手眼標定需要的指令，即“字符串操作”工具輸出的“@Trim2”，標定模式：單相機；特征樣式：棋盤格。“①圖像”頁面，安裝方式：固定安裝；移動步數：9+2；圖像來源：相機取像；選擇設備管理內已有的1個相機，其中：機位編號1，即移動相機，在左側取料區拍照，此為主相機1。“②指令”頁面，此頁不需要進行配置，可以直接點擊右下角下一步。機位從中心點開始，按照S型走完9點平移后，回到中心點，再吸取標定片做30度旋轉。8.2項目任務一：移動抓取?標定程序設計4）手眼標定工具。“③校準”頁面，此處需要根據采用的標定片，對主相機進行Checkboard配置，即配置標定片相關參數。校準模式：Linear；特征符號：詳盡棋盤格；基準符號：Standardrectangles；基準符號有Standardrectangles、DotGridAxes、DataMatrix、DataMatrixWithGridPitch等幾種形式。塊尺寸（mm）：3×3。“④執行”頁面，此處不需要進行配置，可以直接點擊右下角下一步，也可查看實時狀態。8.2項目任務一：移動抓取?標定程序設計4）手眼標定工具。所有的標定計算完成后，彈出一個“標定完成”提示窗口，點擊“確定”，即可覆蓋當前的分數，生成新的標定文件。點擊【指令詳情】，可以實時查看輸入指令接收時間及信息，輸出指令發送時間及信息。點擊【N點詳情】按鈕，可以實時查看當前計算狀態，及拆分和計算出的圖像X、圖像Y（計算出的視野中心圖像坐標X/Y）、物理X、物理Y、物理R（軸發送的機械手坐標X/Y/R）。8.2項目任務一：移動抓取?標定程序設計4）手眼標定工具。“⑤結果”：此處不需要進行配置，可以查看標定的結果分數。顯示標定后生成標定文件的具體參數，支持對參數項設上下限，若最終結果超限，則工具自動提示。標定文件自動被保存在硬盤指定的文件夾下，如為程序文件夾下的“/Config/Guide/Calibratoin/”文件夾下的“1295_主機位1.vpp”文件。8.2項目任務一：移動抓取?標定程序設計5）關閉光源。用“圖像”組中的“光源設定”工具，將已經打開的各光源關閉。6）反饋信息。視覺軟件向PLC反饋“手眼標定”工具運行結果信息。采用“流程”工具組中的“分支”工具，建立“手眼標定”工具是否成功運行的兩個分支。如圖所示。當“手眼標定”工具執行成功，用“通訊”工具組中的“寫PLC”工具，將“1”寫入到PLC的D190地址中。失敗，則將“2”寫入到PLC的D190地址中。8.2項目任務一：移動抓取?標定程序設計（1）標定程序流程設計移動抓取的標定標定操作流程展示8.2項目任務一：移動抓取?V+程序設計流程（1）訓練吸嘴（標準位示教）程序流程設計在抓取任務之前，一定需要標準位示教，給抓取的點位一個標準值，讓之后的自動抓取流程都能參照標準位置進行抓取，此步驟叫“標準位示教”，也俗稱“訓練吸嘴”。將鋰電池放置在裝配單元上預定的固定初始位置（裝配單元上左后邊角處，電池凸起部分朝外）。機械手吸取鋰電池，進行移動，將鋰電池放置在上料區（左側面光源）中心區后，觸發移動相機拍照取像。視覺軟件根據取像結果，進行特征分析，輸出系統變量，導出視覺工具塊文件。8.2項目任務一：移動抓取?訓練吸嘴（標準位示教）程序流程設計1）等待觸發。在“信號”工具組中的“PLC掃描”工具，掃描接受PLC中的D168地址發來的“訓練吸嘴”指令--3，“觸發條件”設置變為3。也即如果收到PLC發送到D168地址的數據為3，就觸發訓練吸嘴流程。8.2項目任務一：移動抓取?訓練吸嘴（標準位示教）程序流程設計2）解析指令字符串。觸發之后用“通訊”工具組中的“讀PLC”工具讀取PLC中的地址D120開始長度為92的指令字符串。PLC發來的指令字符串中帶有空格和不可打印字符，占據了指令實際長度，為保證后續手眼標定工具讀取正確的指令，這里需要將其刪除。用“數據”工具組中的“字符串操作”工具將前面“讀PLC”工具接受到的字符串值去掉空格和不可打印字符，并將經過“字符串操作”上述操作后的值輸出，輸出變量命名為“@Trim2”。8.2項目任務一：移動抓取?訓練吸嘴（標準位示教）程序流程設計3）打開光源。用“圖像”組中的“光源設定”工具，將移動相機拍照所需光源打開，如左條光、右條光的光強都設置為255。采用“系統”組中的“延時”工具，將光源打開延時200ms，以確保取像時，有穩定的和足夠強度的光源。4）取像。用““圖像”工具組中的“取像”工具取到相機拍照的圖像。采用“系統”工具組中的“延時”工具，延時100ms，以確保取到穩定圖像。5）關閉光源。用“圖像”組中的“光源設定”工具，將打開光源關閉。8.2項目任務一：移動抓取?訓練吸嘴（標準位示教）程序流程設計6）標準位示教。“①輸入設置”：信號數據來自于解析出的PLC發出的訓練吸嘴指令字符串“@Trim2”，數據格式為“Train,[N],TTN,C,0,[X],[Y],[A]”。圖像為相機拍照取得的圖像。“②標定設置”：可打開文件夾，選擇前面標定形成的標定文件。如圖所示。8.2項目任務一：移動抓取?訓練吸嘴（標準位示教）程序流程設計6）標準位示教。“③特征抓取”：特征抓取選取“高級”模式，如圖所示。8.2項目任務一：移動抓取?訓練吸嘴（標準位示教）程序流程設計6）標準位示教。“③特征抓取”：視覺工具塊中各工具主要有：CogPMAlignTool,CogFixtureTool,CogFindCornerTool(A,B,C,D),CogFitLineTool(AC,BD),CogIntersectLineLineTool(AC-BD),CogFitLineTool(AB)。抓取鋰電池的特征值，也就是對角線的交點，也即中心點（AC-BD）的X/Y值，和邊線AB的姿態，即R值。將成功運行的視覺工具塊（ToolBlock）可以導出為vpp文件，為后續特征抓取的時候導入使用。8.2項目任務一：移動抓取?訓練吸嘴（標準位示教）程序流程設計7）寫入系統變量。先用“數據”工具組中的“數值計算”工具，用“deg”函數，將前面工具輸出的角度值由弧度轉變成角度值。8.2項目任務一：移動抓取?訓練吸嘴（標準位示教）程序流程設計7）寫入系統變量。把解析出來的機械手的坐標和姿態（RobotX/RobotY/RobotR）,以及抓取的圖像特征坐標值（ImageX/ImageY/轉換后的ImageR）值，分別寫入系統變量（1TRX/1TRY/1TRR，1TIX/1TIY/1TIR）。8.2項目任務一：移動抓取?訓練吸嘴（標準位示教）程序流程設計8）反饋信息。視覺軟件向PLC反饋“標準位示教”工具運行結果信息。采用“流程”工具組中的“分支”工具，建立“標準位示教”工具是否成功運行的兩個分支。當“標準位示教”工具執行成功，用“通訊”工具組中的“寫PLC”工具，將“1”寫入到PLC的D190地址中。失敗，則將“2”寫入到PLC的D190地址中。整個訓練吸嘴的程序設計流程如圖所示。移動抓取之標準位示教移動抓取之標準位示教的操作演示8.2項目任務一：移動抓取?V+程序設計流程（3）移動抓取程序流程設計經過標定程序和訓練吸嘴程序后，就可以進行移動抓取程序流程設計。在上料單元在九宮格內放有若干不同類型的鋰電池，機械手在上料區依照順序走九宮格。在每一處駐留時，移動相機拍照，視覺軟件處理，引導移動模組抓取工件，放置在裝配單元上。移動相機繼續在九宮格內平移拍照，發送坐標，引導機械手抓取電池并排在裝配單元上。直到左側所有的鋰電池都抓完，移動相機遍歷九宮格，沒有檢測到工件。機械手回到原點，運行結束。8.2項目任務一：移動抓取?移動抓取程序流程設計1）等待觸發。在“信號”工具組中的“PLC掃描”工具，掃描接受PLC中的D168地址發來的“移動抓取”指令--21，“觸發條件”設置變為21。也即如果收到PLC發送到D168地址的數據為21，就觸發移動抓取程序流程。2）解析指令字符串。PLC發來的字符串中帶有空格和不可打印字符。用“數據”工具組中的“字符串操作”工具來去空格和不可打印字符。如下圖所示，鏈接讀PLC寄存器中讀到的Value值字符串，選擇所有空格和不可打印字符進行刪除，并將出來后的字符串作為結果（“@Trim2”）進行輸出。8.2項目任務一：移動抓取?移動抓取程序流程設計2）解析指令字符串。將去除空格和不可打印字符后的字符串（@Trim2）進行分隔，分隔符為“,”。分隔后的子串從頭開始，以0依次索引排序。索引號0為機械手的X坐標值（RobotX，為字符串類型），將其進行輸出（“@Split1”）。索引號1為機械手的Y坐標值（RobotY，為字符串類型），將其進行輸出（“@Split2”）。8.2項目任務一：移動抓取?移動抓取程序流程設計先后用“數據”工具組中的“格式轉換”工具將前面解析出來的機械手的坐標X/Y字符串值轉換為實數類型。8.2項目任務一：移動抓取?移動抓取程序流程設計3）寫入系統變量。用“系統”工具組中的“寫變量”工具，將解析及格式轉化后的變量寫入系統變量TrigX，TrigY（機械手坐標值）。8.2項目任務一：移動抓取?移動抓取程序流程設計4）打開光源。用“圖像”組中的“光源設定”工具，將移動相機拍照所需光源打開，如左條光、右條光的光強都設置為255。采用“系統”組中的“延時”工具，將光源打開延時200ms，以確保取像時，有穩定的和足夠強度的光源。5）取像。用“圖像”工具組中的“取像”工具取到相機拍照的圖像。采用“系統”工具組中的“延時”工具，延時100ms，以確保取到穩定圖像。6）關閉光源。用“圖像”組中的“光源設定”工具，將打開光源關閉。8.2項目任務一：移動抓取?移動抓取程序流程設計7）特征定位。“引導”工具組中的特征定位工具和“標準位示教”工具幾乎完全一樣。主要目的輸出抓取鋰電池的中心點X/Y/R和結果圖像。“①輸入設置”：“信號數據”--因為之前工具已經輸出軸的坐標TrigX/TrigY，在此處，指令不需要實時軸位置，直接手動寫入指令：Train,1,TTN,1,0,0,0,0。“圖像”為取像工具輸出的Image。“②標定設置”：可打開文件夾，選擇前面標定形成的標定文件，即手眼標定工具輸出的主機位1的標定文件。“③特征抓取”：輸出鋰電池的中心點XYR和結果圖像，即抓取鋰電池的特征值，也就是對角線的交點，也即中心點（AC-BD）的X/Y值，和邊線AB的姿態，即R值。注意：此工具右側輸出X/Y/R，必須分別選擇左側ToolBlock輸出的X/Y/R，否則沒有結果。在此“特征定位”中的“③特征抓取”中，將前面“標準位示教”程序中的“③特征抓取”導出的VPP文件進行導入，抓取更準確。8.2項目任務一：移動抓取?移動抓取程序流程設計8）數據格式轉化。用“數據”工具組中的“格式轉化”工具將前面“特征定位”輸出的圖像姿態弧度值轉換成角度值。9）料號判斷。“判斷料號”工具為“ToolBlock”工具，用于區分鋰電池型號。主要思路是獲取目標區域，對其進行灰度直方圖運算，輸出其目標區域的灰度平均值，然后將其作為Toolblock的終端輸出。“判斷料號”的ToolBlock工具樹中有CogPMAlignTool，CogFixtureTool，CogHistogramTool-Top，CogHistogramTool-Tail等。8.2項目任務一：移動抓取?移動抓取程序流程設計9）料號判斷。對三類鋰電池進行分析，發現鋰電池的尾部和側部有差異，有的有缺口，有的沒有缺口。因而，分別設置鋰電池的尾部和邊部有缺口為目標區域，如圖所示，對其運用“Histogram”算法，進行灰度值平均值統計，將其區域直方圖統計的均值進行終端輸出（Top、Tail）。8.2項目任務一：移動抓取?移動抓取程序流程設計10）數據運算。①邏輯運算。采用“數據”工具組中的“邏輯運算”工具，將視覺工具輸出的Top、Tail和閾值（50），分別進行比較。如目標區域的灰度平均值小于50則輸出為True，代表此處為全黑色，表示目標區域沒有缺口；否則，輸出為False，代表此處有缺口。對Top、Tail目標區域的分析判斷結果分別輸出，命名為@Top，@Tail。8.2項目任務一：移動抓取?移動抓取程序流程設計10）數據運算。②字符拼接運算。如圖8-39所示，使用“數據”工具組的“字符串操作”工具，將邏輯運行輸出的兩個bool值進行拼接（@Top+@Tail），輸出拼接結果“@Combine1”，并選擇bool轉byte，True為1，False為0。工件上側邊緣頭部和尾部都沒有缺口則為true和true，輸出11，鋰電池類型為產品A型；兩側沒缺口，尾部帶缺口（Tail>50），輸出為01，鋰電池類型為產品B型；兩側有缺口，尾部沒缺口，輸出為10，鋰電池類型為產品C型。8.2項目任務一：移動抓取?移動抓取程序流程設計11）分支操作。如圖所示，用“流程”工具組中的“分支”工具，對于@Combine1的輸出建立三個分支，分別表示三種鋰電池型號：11（A型號）、10（B型號）、01（C型號）三種分支。先使用“變量”菜單欄創建string類型變量“Model”，為存儲料號名稱的變量。根據不同分支，將三條分支分別通過“系統”工具組中的“寫變量”工具，將料號名稱（A、B、C）寫到創建的變量“Model”中。也即根據視覺軟件分析的結果，將系統變量Model中寫入對應的鋰電池型號。“流程”工具組中的“分支選擇”工具為空，不需要輸入參數，但有收束分支為1條流程的作用，這里不可缺少。8.2項目任務一：移動抓取?移動抓取程序流程設計12）計算圖像坐標。因為受限于相機的工作距離和景深等因素，移動相機沒辦法拍到上料區九宮格內的所有鋰電池。要實現上料區全視野范圍可以拍到電池，就需要機械手遍歷9宮格，觸發移動相機拍照。當相機在進行標定的時候，鋰電池的圖像中心坐標值為CalibX和CalibY，系統已經記錄保存其位置。而當相機進行移動拍照時，其圖像中心坐標值也應該隨著機械手的移動而移動。要在標定位置時的圖像中心坐標值的基礎上做一定的偏移。此時，圖像坐標值X的計算公式為：@ImageX+@TrigX-CalibX。8.2項目任務一：移動抓取?移動抓取程序流程設計12）計算圖像坐標。@ImageX：也即本次“移動相機引導抓取”流程中的之前“特征定位”工具后輸出的ImageX。@TrigX：PLC發送過來的機械手坐標X，寫入系統變量中的TrigX，也即當前拍照時的軸坐標X。如果平移9次，就有9個不同坐標值。CalibX：標定時，在中心位置拍照時的機械手坐標X。此為固定坐標，每個設備機臺坐標值可能會不一樣。此坐標值已經存儲在PLC數據地址中，可在觸摸屏上【參數設置】→“參數設置2”界面上的，“移動相機左拍照位置”查詢到。8.2項目任務一：移動抓取?移動抓取程序流程設計12）計算圖像坐標。用“數據”工具組中的“數值計算”工具，計算在全局視野中的圖像坐標值。同樣，圖像坐標Y值坐標計算公式為：@ImageY+@TrigY-CalibY。用“數據”工具組中的“數值計算”工具，計算中在全局視野中的圖像坐標值。注：所有由移動相機計算出的圖像坐標均需計算偏移量（包括移動抓取和移動組裝）。8.2項目任務一：移動抓取?移動抓取程序流程設計13）引導計算。“引導”工具組中的“引導計算”工具有三種模式選擇，包括“引導抓取”、“引導組裝”、“位置補正”等模式。8.2項目任務一：移動抓取?移動抓取程序流程設計13）引導計算。在此場景中，選擇“引導抓取”模式，主要目的是通過“特征數據”和“訓練數據”，計算輸出軸的絕對抓取位置坐標AbsoluteX/AbsoluteY/AbsoluteR。8.2項目任務一：移動抓取?移動抓取程序流程設計14）寫入系統變量。將偏移計算的圖像坐標的X/Y和角度轉換后的R、“引導計算”工具輸出的軸抓取絕對位置分別存入“變量管理”中創建的6個系統變量（1Image_X/1Image_Y/1Image_R，1Robot_X/1Robot_Y/1Robot_R），以便后續組裝的引導計算中進行調用。8.2項目任務一：移動抓取?移動抓取程序流程設計15）發送坐標值給PLC。將經過引導計算的坐標值進行格式轉化，然后寫入PLC數據地址區域，引導機械手以標準位示教的姿態來抓取工件。①格式轉換。首先，采用“數據”工具組中的“格式轉換”工具，將數據從Double類型轉換為PLC能夠接受的Real類型。依次將引導計算工具輸出的軸的絕對抓取位置坐標AbsoluteX/AbsoluteY/AbsoluteR從Double類型轉換成Real類型。8.2項目任務一：移動抓取?移動抓取程序流程設計15）發送坐標值給PLC。將經過引導計算的坐標值進行格式轉化，然后寫入PLC數據地址區域，引導機械手以標準位示教的姿態來抓取工件。②給PLC發送數據。將轉換后的坐標值，機械手的坐標X/Y/R寫入和PLC約定好的數據存儲區（D120/D172/D174）8.2項目任務一：移動抓取?移動抓取程序流程設計16）反饋信息給PLC。使用“流程”工具組中的“分支”工具，給PLC的D190地址寫入不同數據。當“標準位示教”工具成功執行，用“通訊”工具組中的“寫PLC”工具將1寫入PLC的D190地址；如果工具未能成功執行，則將3寫入D190地址。8.2項目任務一：移動抓取?3.HMI界面設計

如圖所示，將移動抓取流程中的特征抓取圖像、以及是否成功抓取顯示在HMI界面上。將鋰電池的料號類型、經過引導計算后的鋰電池的中心點坐標X/Y和姿態R同樣在HMI界面上顯示出來。移動抓取移動抓取操作演示第八章

機器視覺引導項目任務二：移動抓取固定裝配038.2項目任務二：移動抓取固定裝配任務要求：對于移動相機引導抓取和固定相機引導裝配，即場景5，該項目模擬了一種自動化生產線上引導抓取和引導裝配的過程。如圖所示，在上料單元有三種不同類型的鋰電池，在九宮格內任意放置。通過移動相機在上料區走九宮格拍照，經過視覺處理區分鋰電池料號并引導移動模組抓取工件。固定相機位于料盤上方拍照，經過視覺處理找到即區分料盤類別，引導移動模組進行精準裝配，將鋰電池放置在相匹配的料盤中。8.2項目任務二：移動抓取固定裝配任務分析：首先第一步驟是添加設備、進行通訊。然后完成程序任務流程設計，需要通過DCCKVisionPlus程序編寫完成。根據工藝流程，移動相機在上料區走九宮格拍照，引導移動模組抓取工件。固定相機位于料盤上方拍照，引導移動模組進行精準裝配。程序任務流程主要包括四個子流程，即標定（2個相機聯合標定）、標準位示教（示范抓取工件的正確姿態）、移動相機引導抓取和固定相機引導組裝等。8.2項目任務二：移動抓取固定裝配?硬件配置（1）添加相機該項目需要配置2臺相機：移動相機、右側光源上方固定組裝相機。2臺相機的IP地址分別為：1號相機為移動CCD：192.168.10.10；2號相機為固定CCD：192.168.20.10。點擊“打開”，連接成功后，可以點擊圖層框右下角“打開視頻”，配合光源硬件查看圖像效果，通過調節光源亮度、鏡頭焦距等，得到合適的圖像。（2）添加光源添加兩個光源控制器（德創1、德創2），端口號分別為串口COM1和COM2，德創1控制4個通道光源。德創2控制4個通道光源。（3）添加PLC“設備管理”→“PLC”→“三菱”，添加三菱PLC。所有需要用到的寄存器地址和讀寫信號均和PLC端約定確認。8.2項目任務二：移動抓取固定裝配?程序流程設計（1）標定程序流程設計此場景需要在左、右側面上進行吸嘴操作，因而需要在左右兩個工作平臺上進行聯合標定，即在左側進行9+2點主相機拍照，并在右側進行1次從相機拍照，以實現兩個平臺的聯合標定和坐標系的統一。將移動相機設置為主相機，裝配單元上固定相機為從相機。將標定片放置在裝配單元上預定的固定初始位置。機械手吸取標定片，進行移動，將標定片放置在上料區中心區后，觸發移動相機拍照取像。主相機做9點平移和2點旋轉標定。標定結束后，機械手吸取標定片，搬運到從相機的下方。固定相機拍照，進行從相機的標定。從而2個相機的聯合標定結束，形成主、從相機的2個標定文件。8.2項目任務二：移動抓取固定裝配?標定程序流程設計1）等待觸發。在“信號”工具組中的“PLC掃描”工具，掃描接受PLC中的D168地址發來的“標定”指令--1，“觸發條件”設置變為1。觸發之后用“通訊”工具組中的“讀PLC”工具讀取PLC中的地址D120的指令字符串。2）解析指令字符串。使用“通訊”工具組中的“讀PLC”工具讀取PLC發來的，從D120開始的長度為92的字符串。用“數據”工具組中的“字符串操作”工具去掉空格和不可打印字符，將處理后的字符串作為結果（“@Trim2”）進行輸出。將（“@Trim2”）進行分隔，分隔符為“,”。索引號3為待標定相機的機位編號，輸出為“@Split1”：移動CCD相機設置為1，固定CCD相機設置為2。8.2項目任務二：移動抓取固定裝配?標定程序流程設計3）打開光源。運用“流程”工具組中的“分支”工具，根據之前分割出相機號的變量“@Split1”值（1、2）來選擇打開相應位置的光源，即通過“圖像”工具組中的“光源設定”工具來打開光源控制器所控制的相應光源通道。如圖所示。如果@Split為1，進入分支1：控制主相機1（移動相機）對應的光源開啟。左側取料位對應光源亮起，左、右側條光和左側面光開啟。如果@Split為2，進入分支2：控制從相機2（右側固定組裝相機）放料區對應的光源開啟，左、右側條光和右側面光開啟。8.2項目任務二：移動抓取固定裝配?標定程序流程設計用“流程”工具組中的“分支選擇”工具歸攏分支。采用“系統”工具組中的“延時”工具，將光源打開延時200ms。4）手眼標定。采用“引導”工具中的“手眼標定”工具，進行手眼標定。首先“標定配置”：“數據來源”即手眼標定需要的指令，即“字符串操作”工具輸出的“@Trim2”，標定模式：多相機；機位數量：2，特征樣式：棋盤格。5）關閉光源。用“圖像”工具組中的“光源設定”工具將所有的光源熄滅。6）反饋信息。標定步驟完成后，需要發送信號給PLC。根據“手眼標定”工具運行成功與否建立兩個分支。當“手眼標定”工具執行成功，用“通訊”工具組中的“寫PLC”工具，將“1”寫入到PLC的D190地址中。失敗，則將“2”寫入到PLC的D190地址中。8.2項目任務二：移動抓取固定裝配?標定程序流程設計此場景的標定流程圖如圖所示，包括PLC和V+通訊方式。聯合標定結束后，形成一個主相機的標定文件和一個從相機的標定文件，被系統存放在在當前程序文件夾下的“\Config\Guide\Calibration\”文件夾下，如“807_主機位1.vpp文件，807_從機位2.vpp文件”8.2項目任務二：移動抓取固定裝配?標準位示教程序流程設計使用“引導”工具組中的“標準位示教”工具。建立6個Double類型系統變量，分別是相機1拍照下的軸和圖像中心點坐標值和姿態值。使用“系統”工具組中的“寫變量”工具，將前面“標準位示教”工具輸出的機械手的坐標值和姿態X/Y/R，分別寫入變量1TRX/1TRY/1TRR；將前面“標準位示教”輸出的圖像中心點的ImageX/ImageY和經過轉換的圖像姿態值分別寫入變量1TIX/1TIY/1TIR。8.2項目任務二：移動抓取固定裝配?移動抓取程序流程設計1）等待觸發。通過“信號”工具組中的“PLC掃描”工具，掃描PLCD的168地址，“觸發條件”設置變為51。（注：為觸發自動運行時場景5的1號相機）。2）解析指令。使用“通訊”工具組中的“讀PLC”工具，讀取D120-D165地址內的字符串。使用“數據”工具組中的“字符串操作”工具，將讀出的字符串刪除空格和不可打印字符，輸出字符串，命名為“@Trim2”。用分隔符“,”分隔“@Trim2”，輸出字符串索引0，也即機械手X坐標值，命名為變量“@Split1”。輸出字符串索引1，也即機械手Y坐標值，命名變量“@Split2”，為后續調用。前面“字符串操作”工具分割輸出的都是string類型，使用“數據”工具組中的“格式轉換”工具分別將它們轉換為Double類型。3）寫入系統變量。雙擊“變量”菜單，添加兩個Double類型系統變量，命名為TrigX和TrigY。用“系統”工具組中的“寫變量”工具，分別將“@Split1”、“@Split2”經格式轉換后的X和Y，即當前拍照位置的軸的X，Y坐標值，相應寫入到變量TrigX和TrigY中。8.2項目任務二：移動抓取固定裝配?移動抓取程序流程設計4）光源打開和取像。用“圖像”工具組中的“光源設定”工具，打開“德創1”光源控制器的通道1~3通道光源，并設置合適亮度。采用“系統”工具組中的“延時”工具，延時100ms，保證取像效果。運用“圖像”工具組中的“取像”工具，移動相機拍照抓取圖像。采用“系統”工具組中的“延時”工具，延時200ms。然后，用“圖像”工具組中的“光源設定”工具，關閉相應光源。8.2項目任務二：移動抓取固定裝配?移動抓取程序流程設計5）特征定位。主要目的輸出抓取鋰電池圖像特征值X/Y/R和結果圖像。采用“引導”工具組中的“特征定位”工具。在此“特征定位”中的“③特征抓取”中，將前面“標準位示教”導出的VPP文件進行導入，抓取更準確。“特征定位”工具將圖像的X/Y/R輸出，分別為ImageX/ImageY/ImageR。輸出的ImageR為弧度值，需要用“數據”工具組中的“數值計算”工具將其轉換為角度值。6）判斷料號。“判斷料號”工具為“ToolBlock”工具，用于區分鋰電池型號。主要思路是獲取目標區域，對其進行灰度直方圖運算，輸出其目標區域的灰度平均值，然后將其作為Toolblock的終端輸出。“判斷料號”的ToolBlock工具樹中有PMAlign、Fixtue、Histogram等。對三類鋰電池進行分析。分別設置鋰電池的尾部和邊部有缺口為目標區域，對其運用“Histogram”算法，進行灰度值平均值統計，同時進行終端輸出（Top、Tail）。8.2項目任務二：移動抓取固定裝配?移動抓取程序流程設計7）數據處理。使用“數據”工具組的“邏輯運算”工具，對ToolBlock的終端輸出結果（Top、Tail）進行分析判斷。如目標區域的灰度平均值小于50則輸出為True，代表此處為全黑色，表示目標區域沒有缺口；否則，輸出為False，代表此處有缺口。對Top、Tail目標區域的分析判斷結果分別輸出，命名為@Top，@Tail。8.2項目任務二：移動抓取固定裝配?移動抓取程序流程設計7）數據處理。使用“數據”工具組的“字符串操作”工具，將邏輯運行輸出的兩個bool值進行拼接（@Top+@Tail），輸出拼接結果“@Combine1”，并選擇bool轉byte。輸出11，表示鋰電池類型為產品A型；輸出為01，表示產品B型；輸出為10，表示產品C型。8.2項目任務二：移動抓取固定裝配?移動抓取程序流程設計8）流程分支處理。使用“流程”工具組中的“分支”工具，來使得不同鋰電池類型（11、01、10）走各自分支。先使用“變量”菜單欄創建string類型變量“Model”，為存儲料號名稱的變量。根據不同分支，將三條分支分別通過“系統”工具組中的“寫變量”工具，將料號名稱（A，B，C）分別寫到創建的變量“Model”中。“流程”工具組中的“分支選擇”工具為空，不需要輸入參數，但有收束分支為1條流程的作用，這里不可缺少。8.2項目任務二：移動抓取固定裝配?移動抓取程序流程設計9）計算圖像坐標。用“數據”工具組中的“數值計算”工具來計算有偏移量的圖像坐標。計算公式為：@ImageX+@TrigX-CalibX。Y軸坐標計算公式為：@ImageY+@TrigY-CalibY。10）引導計算。“引導”工具組中的“引導計算”工具有三種模式選擇，包括“引導抓取”、“引導組裝”、“位置補正”等模式。在此場景中，選擇“引導抓取”模式，主要目的是通過“特征數據”和“訓練數據”，計算輸出軸的絕對抓取位置坐標AbsoluteX/AbsoluteY/AbsoluteR。8.2項目任務二：移動抓取固定裝配?移動抓取程序流程設計11）寫入變量。將偏移計算的圖像坐標的X/Y和角度轉換后的R、“引導計算”工具輸出的軸抓取絕對位置分別存入“變量管理”中創建的6個系統變量（1Image_X/1Image_Y/1Image_R，1Robot_X/1Robot_Y/1Robot_R），以便后續組裝的引導計算中進行調用。12）發送數據給PLC。PLC無法接受Double類型變量，需要用“數據”工具組中的“格式轉換”工具將引導計算輸出的軸的絕對X/Y/R轉換為Real類型。將格式轉換后的三個值用“通訊”工具組中的“寫PLC”工具，分別發送到PLC地址的D170、D172、D174（對應軸的X/Y/R坐標）。13）執行情況反饋回PLC。以本流程前面“特征定位”工具輸出的成功與否作為判斷而執行分支的依據。“特征定位”成功則發送1給PLC的D190地址；失敗則發3（表示當前宮格無產品），PLC接受到3后，則往九宮格內下一位置走。8.2項目任務二：移