基于雙目視覺與深度學習融合的低碳鋼焊縫幾何尺寸精準預測研究一、引言1.1研究背景與意義在現代工業制造中，焊接作為一種關鍵的連接技術，被廣泛應用于各個領域，如建筑、機械制造、汽車工業、航空航天等。低碳鋼，因其具有良好的焊接性、較高的強度和韌性以及相對較低的成本，成為焊接工藝中最常用的金屬材料之一。在建筑領域，低碳鋼用于構建大型鋼結構框架，確保建筑物的穩定性和安全性；在機械制造行業，低碳鋼是制造各種機械零部件的基礎材料，通過焊接實現零部件的連接和組裝。焊縫作為焊接接頭的關鍵部分，其幾何尺寸直接關系到焊接結構的性能和可靠性。準確控制和預測焊縫幾何尺寸對于保證焊接質量、提高生產效率以及降低生產成本具有至關重要的意義。合適的焊縫尺寸能夠確保焊透、熔合良好，避免出現未焊透、夾渣等缺陷，從而保證焊接結構的強度、剛度和穩定性，滿足設計要求。合理的焊縫尺寸設計能夠減少焊接變形和殘余應力，降低后續加工和返修的工作量，提高生產效率。如果焊縫尺寸過大，不僅會浪費焊接材料和能源，還可能導致焊接變形加劇，增加后續矯正的難度；而焊縫尺寸過小，則可能無法滿足結構的承載要求，影響焊接結構的安全性能和使用壽命。傳統的焊縫尺寸預測方法主要依賴于經驗公式和試驗數據，這些方法存在一定的局限性。經驗公式往往是基于特定的焊接條件和材料參數推導得出的，對于復雜的焊接過程和多樣化的焊接工藝參數，其預測精度難以保證。而且試驗方法雖然能夠獲得較為準確的結果，但需要耗費大量的時間、人力和物力，成本較高，且難以實時在線監測和預測焊縫尺寸。隨著計算機技術和圖像處理技術的飛速發展，基于視覺的焊縫檢測與測量技術逐漸成為研究熱點。雙目視覺技術通過模仿人類雙眼的視覺原理，利用兩個相機從不同角度獲取物體的圖像信息，能夠實現對物體三維尺寸的精確測量。將雙目視覺技術應用于焊縫幾何尺寸測量，具有非接觸、高精度、實時性強等優點，可以有效克服傳統測量方法的不足。深度學習作為人工智能領域的重要分支，具有強大的特征學習和模式識別能力。通過構建深度神經網絡模型，深度學習能夠自動從大量的數據中學習到復雜的特征和規律，實現對數據的準確分類和預測。在焊縫尺寸預測領域，將深度學習算法與雙目視覺技術相結合，可以充分發揮兩者的優勢。深度學習算法能夠對雙目視覺獲取的焊縫圖像數據進行深度分析和處理，提取出焊縫的關鍵特征，從而建立起焊縫幾何尺寸與焊接工藝參數、圖像特征之間的復雜映射關系，實現對焊縫幾何尺寸的準確預測。基于雙目視覺和深度學習的低碳鋼焊縫幾何尺寸預測研究，具有重要的理論意義和實際應用價值。從理論層面來看，該研究有助于深入理解焊接過程中焊縫形成的機理和規律，為焊接工藝的優化和控制提供理論依據。通過對大量焊縫圖像數據和焊接工藝參數的學習和分析，能夠揭示焊縫幾何尺寸與各種因素之間的內在聯系，豐富和完善焊接過程的理論體系。從實際應用角度出發，該研究成果可以為工業生產中的焊接質量控制和自動化生產提供有力支持。實現對焊縫幾何尺寸的準確預測，能夠幫助企業及時發現焊接過程中的問題，采取相應的措施進行調整和改進，提高焊接質量和生產效率，降低生產成本和廢品率，增強企業的市場競爭力。1.2國內外研究現狀雙目視覺技術在焊縫檢測領域的應用由來已久，眾多學者圍繞其展開了廣泛且深入的研究。在焊縫圖像采集方面，為獲取清晰、準確反映焊縫特征的圖像，學者們不斷探索優化相機的選型與布置方式。例如，選用高分辨率、低噪聲的工業相機，能夠有效提高圖像的清晰度和細節表現力，從而更精準地捕捉焊縫的微小特征；合理調整相機的角度和位置，確保能夠全面覆蓋焊縫區域，避免出現檢測盲區。在圖像預處理階段，采用濾波、增強等技術去除噪聲干擾、提高圖像對比度，為后續的特征提取和分析奠定堅實基礎。中值濾波能夠有效去除圖像中的椒鹽噪聲，高斯濾波則對高斯噪聲具有良好的抑制效果；圖像增強技術如直方圖均衡化，可通過調整圖像的灰度分布，使焊縫特征更加突出。在焊縫特征提取與測量方面，基于雙目視覺原理，研究人員提出了多種算法來實現對焊縫幾何尺寸的精確測量。一些經典算法通過對雙目圖像中的特征點進行匹配和計算，獲取焊縫的三維坐標信息，進而計算出焊縫的寬度、高度、熔深等幾何尺寸。張正友標定法是一種常用的相機標定方法，通過對棋盤格標定板的拍攝和計算，能夠準確獲取相機的內外參數，為后續的三維重建提供重要依據；SIFT（尺度不變特征變換）算法則能夠在不同尺度和旋轉角度下提取圖像中的穩定特征點，實現對焊縫特征的準確匹配和跟蹤。然而，傳統算法在面對復雜焊接環境時，存在一定的局限性。焊接過程中產生的弧光、飛濺、煙塵等干擾因素，會對圖像的質量和特征提取的準確性產生嚴重影響，導致測量精度下降。深度學習技術的快速發展，為焊縫尺寸預測帶來了新的機遇。深度學習算法在處理復雜數據和提取高級特征方面展現出強大的優勢，能夠自動從大量的焊縫圖像數據和焊接工藝參數中學習到焊縫幾何尺寸與各種因素之間的復雜映射關系。在焊縫尺寸預測模型的構建方面，一些研究采用卷積神經網絡（CNN）對焊縫圖像進行特征提取，通過多層卷積層和池化層的組合，自動提取焊縫的關鍵特征。AlexNet、VGGNet等經典的CNN模型在焊縫圖像特征提取中得到了廣泛應用，這些模型能夠學習到焊縫的紋理、形狀等特征，為后續的尺寸預測提供有力支持；同時，結合全連接層進行預測，將提取到的特征映射到焊縫幾何尺寸的預測值上。為了進一步提高預測精度，一些研究還引入了循環神經網絡（RNN）及其變體，如長短期記憶網絡（LSTM）和門控循環單元（GRU），以處理焊接過程中的時序信息。LSTM能夠有效捕捉時間序列中的長期依賴關系，對于分析焊接過程中隨時間變化的參數對焊縫尺寸的影響具有重要作用，從而提高預測的準確性。盡管基于雙目視覺和深度學習的焊縫尺寸預測研究取得了一定的進展，但仍存在一些不足之處和待解決的問題。一方面，現有研究中使用的數據集往往規模較小、多樣性不足，導致模型的泛化能力較差，難以適應復雜多變的實際焊接工況。在實際工業生產中，焊接工藝參數、材料特性、環境條件等因素都可能發生變化，而小規模的數據集無法涵蓋這些多樣性，使得模型在面對新的焊接條件時，預測精度會大幅下降。另一方面，深度學習模型的可解釋性較差，難以直觀地理解模型的決策過程和預測依據。在焊接質量控制中，需要對模型的預測結果進行深入分析和解釋，以便采取有效的措施進行調整和改進，但目前的深度學習模型在這方面存在一定的困難。此外，如何將雙目視覺技術與深度學習算法更有效地融合，充分發揮兩者的優勢，也是未來研究需要重點關注的方向。例如，如何優化圖像采集和預處理流程，使其更適合深度學習算法的輸入要求；如何改進深度學習模型的結構和訓練方法，提高模型對雙目視覺數據的處理能力和預測精度，都是亟待解決的問題。1.3研究內容與方法本研究主要圍繞基于雙目視覺和深度學習的低碳鋼焊縫幾何尺寸預測展開，具體內容涵蓋以下幾個方面：雙目視覺系統搭建：根據低碳鋼焊接的實際需求，選擇合適的工業相機，確保其具備高分辨率、低噪聲等特性，以獲取清晰準確的焊縫圖像；合理設計相機的安裝位置和角度，保證能夠完整覆蓋焊縫區域，并避免因視角問題導致的測量誤差；運用張正友標定法等經典方法對相機進行精確標定，獲取準確的相機內外參數，為后續的三維重建和尺寸測量奠定基礎。深度學習模型構建：深入研究各類深度學習算法，如卷積神經網絡（CNN）、循環神經網絡（RNN）及其變體長短期記憶網絡（LSTM）和門控循環單元（GRU）等，分析它們在處理焊縫圖像數據和提取焊縫特征方面的優勢和適用場景；結合低碳鋼焊縫的特點，對經典的深度學習模型進行優化和改進，例如調整網絡結構、參數設置等，以提高模型對焊縫幾何尺寸的預測精度；利用大量的焊縫圖像數據和焊接工藝參數對模型進行訓練和驗證，通過不斷調整訓練策略和參數，使模型能夠準確學習到焊縫幾何尺寸與各種因素之間的復雜映射關系。雙目視覺與深度學習融合：將雙目視覺獲取的焊縫圖像數據與深度學習算法相結合，實現對焊縫幾何尺寸的精確預測。探索如何將雙目視覺的三維信息優勢與深度學習的強大特征學習能力進行有效融合，例如在模型輸入階段，將雙目視覺獲取的圖像特征和三維坐標信息同時輸入到深度學習模型中，使模型能夠更全面地分析焊縫數據；研究如何利用深度學習算法對雙目視覺圖像進行預處理和特征提取，提高圖像的質量和特征提取的準確性，從而進一步提升焊縫尺寸預測的精度。在研究方法上，本研究將綜合采用以下幾種方法：實驗研究：搭建實際的焊接實驗平臺，采用不同的焊接工藝參數對低碳鋼進行焊接，并利用搭建的雙目視覺系統采集焊縫圖像數據；同時，對焊接后的焊縫進行實際測量，獲取焊縫的真實幾何尺寸，作為驗證深度學習模型預測結果的參考依據；通過大量的實驗，收集豐富的焊縫圖像數據和對應的焊接工藝參數，為深度學習模型的訓練和驗證提供充足的數據支持。理論分析：深入研究雙目視覺測量原理和深度學習算法的理論基礎，分析它們在焊縫幾何尺寸預測中的應用可行性和潛在問題；從理論層面探討如何優化雙目視覺系統的參數設置和深度學習模型的結構設計，以提高預測精度和系統性能；結合焊接工藝的相關理論，分析焊接過程中各種因素對焊縫幾何尺寸的影響機制，為實驗研究和模型構建提供理論指導。對比驗證：采用多種評價指標，如均方誤差（MSE）、平均絕對誤差（MAE）、決定系數（R2）等，對不同的深度學習模型和融合方法進行對比分析，評估它們在焊縫幾何尺寸預測中的性能優劣；將基于雙目視覺和深度學習的預測方法與傳統的焊縫尺寸預測方法進行對比，驗證本研究方法的優越性和創新性；通過對比不同的實驗條件和參數設置下的預測結果，進一步優化系統和模型，提高預測的準確性和穩定性。二、雙目視覺原理與技術2.1雙目視覺基本原理雙目視覺是基于視差原理，利用兩個相機從不同位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法，其工作機制與人類雙眼視覺類似。在日常生活中，人類依靠雙眼觀察周圍環境，由于雙眼之間存在一定的間距（通常約為65mm），當觀察同一物體時，物體在左右眼中的成像位置會略有不同，這種差異被稱為視差。大腦能夠根據視差信息判斷物體的遠近和深度，從而感知到三維世界。雙目視覺技術正是模仿這一過程，通過兩個相機模擬人類雙眼，獲取物體的二維圖像，并利用圖像處理算法計算視差，進而恢復物體的三維信息。具體而言，假設空間中有一點P，在左右兩個相機中的成像點分別為P_{left}=(X_{left},Y_{left})和P_{right}=(X_{right},Y_{right})。將兩相機固定在同一平面上，根據三角原理，點P在Y方向的坐標是相同的，即Y_{left}=Y_{right}=Y。視差被定義為相同點在左右相機X方向的偏差，即Disparity=X_{left}-X_{right}。通過相似三角形理論，可以推導出點P在左相機坐標系下的位置表達式。對于空間中任意一點，只要能在嚴格對齊的兩相機中找到其成像點，即可計算出其三維坐標。這一過程涉及到多個坐標系的轉換，包括像素坐標系、圖像坐標系、相機坐標系和世界坐標系。像素坐標系以圖像的左上角點為坐標原點，水平方向向右為x軸（u軸），數值方向向下為y軸（v軸），單位為像素。圖像坐標系以CCD圖像平面的中心為坐標原點，X軸和Y軸分別平行于圖像平面的兩條垂直邊，單位為毫米，用于表示像素在圖像中的物理位置。相機坐標系以相機光心為坐標原點，X軸和Y軸分別平行于圖像坐標系的X軸和Y軸，光軸為z軸，用于建立與三維世界的聯系。世界坐標系則是在現實空間中確定的一個基準坐標系，用于描述物體的實際位置。這些坐標系之間通過一系列的變換關系相互聯系，如平移、旋轉和縮放等，通過相機標定可以獲取這些變換關系的參數，從而實現從像素坐標到世界坐標的轉換。在實際應用中，雙目視覺系統獲取物體三維信息的過程通常包括以下幾個步驟。首先是雙目標定，這一步驟不僅要標定出兩個相機的內參，如焦距、主點位置等，還要標定出兩個相機之間的關系，包括旋轉矩陣R和平移矩陣T。通常使兩個相機對同一標定板進行多次取圖，分別標定出各自的內參和相對于標定板的外參，然后計算出兩相機位置間的關系。OpenCV中的stereoCalibrate函數在實現時會對多次計算的R、T進行優化，最終得到兩相機間的最優變換。雙目校正也是關鍵步驟之一。經過雙目標定后的兩相機在拍攝同一對象后，需要進行雙目校正。雙目校正多利用極線約束，使同一特征點位于左右相機兩張圖像水平方向的同一條直線上，即“把實際中非共面行對準的兩幅圖像，校正成共面行對準”。在這個過程中也會進行一些畸變校正。利用極線約束進行雙目校正后可以使特征點在兩幅圖像中都位于極線上，這樣在進行特征點匹配時僅需要在極線上進行搜索而不需要在整個二維圖像上進行搜索，大大減少了計算量。立體匹配是獲取三維信息的核心環節。立體匹配的目的是將左右相機圖像上的對應點匹配起來，由此計算視差。立體匹配有多種算法，根據最優化的理論方法不同，分為局部匹配算法和全局匹配算法；根據采用圖像表示的基元不同，又可分為區域立體匹配算法、基于特征的立方匹配算法和基于相位立體匹配算法等。區域立體匹配算法給定一幅圖像上的一點，選取該點鄰域內的一個子窗口，在另一幅圖像中的一個區域內，根據某種相似性，尋找與子窗口圖像最相似的窗口，得到的匹配窗口中對應的像素點就為該像素的匹配點，可獲得稠密視差圖。基于特征的立方匹配算法基于幾何特征信息（如邊緣、線、輪廓、興趣點、角點和幾何基元等）提取圖像的幾何特征點，針對幾何特征點進行視差估計，利用得到的視差信息重建三維空間場景，可獲得稀疏視差圖，通過插值可獲得稠密視差圖，算法速度快，但由于需要插值算法來計算缺失像素點的視差值，應用場景受限。基于相位立體匹配算法假設在圖像對應點中，其頻率范圍內局部相位相等，在頻率范圍內進行視差估計。通過立體匹配得到視差圖后，再根據視差與深度的關系，即可計算出物體的深度信息，進而得到物體的三維坐標，實現對物體三維信息的獲取。2.2雙目視覺系統組成與標定雙目視覺系統主要由硬件和軟件兩部分構成，硬件部分是獲取圖像數據的基礎，軟件部分則負責對數據進行處理和分析，實現對焊縫幾何尺寸的測量和預測。在硬件組成方面，相機和鏡頭是核心組件，它們的性能直接影響到圖像的質量和測量的精度。工業相機相較于普通相機，具有更高的分辨率、幀率和穩定性，能夠滿足焊接過程中對圖像采集的嚴格要求。在選擇相機時，需綜合考慮焊接場景的特點和需求，如焊接速度、焊縫尺寸大小等。對于高速焊接場景，應選擇幀率高的相機，以確保能夠捕捉到焊縫的動態變化；對于微小焊縫的測量，高分辨率相機則更為合適，能夠提供更清晰的圖像細節。鏡頭的選擇同樣關鍵，其焦距和視場角決定了相機的成像范圍和放大倍數。焦距較短的鏡頭視場角較大，適合拍攝較大范圍的場景，但對遠處物體的成像可能不夠清晰；焦距較長的鏡頭則可以放大遠處物體，適合對焊縫細節進行觀察和測量。此外，鏡頭的畸變特性也不容忽視，畸變會導致圖像中的物體形狀發生變形，影響測量的準確性。因此，應選擇畸變較小的鏡頭，并在后續的標定過程中對畸變進行校正。在搭建雙目視覺系統時，相機的安裝位置和角度的設計至關重要。兩個相機的光軸應盡量平行，且基線距離（兩相機光心之間的距離）要根據實際測量需求合理確定。基線距離越大，系統對深度的測量精度越高，但同時也會增加圖像匹配的難度和計算量；基線距離過小，則可能無法滿足測量精度的要求。通過精確調整相機的位置和角度，確保能夠完整覆蓋焊縫區域，并使焊縫在兩個相機圖像中的成像具有良好的對應關系，為后續的立體匹配和三維重建提供有利條件。雙目標定是雙目視覺系統的關鍵環節，其目的是獲取相機的內參和外參，以及兩個相機之間的相對位置關系，為后續的三維重建和尺寸測量提供準確的參數。相機內參描述了相機內部的光學和幾何特性，包括焦距、主點位置、徑向畸變系數和切向畸變系數等。焦距決定了相機對物體的成像大小，主點位置則是圖像坐標系的原點在像素坐標系中的位置，畸變系數用于校正鏡頭產生的徑向畸變和切向畸變。相機外參則描述了相機坐標系相對于世界坐標系的位置和姿態，通過旋轉矩陣和平移向量來表示。在本研究中，采用張正友標定法對相機進行標定。該方法通過拍攝棋盤格標定板的多幅圖像，利用角點檢測算法提取標定板上的角點坐標，然后根據相機成像模型和最小二乘法原理，計算出相機的內參和外參。具體步驟如下：首先，準備一張棋盤格標定板，其尺寸和方格大小已知；然后，在不同位置和角度下，使用左右相機分別對標定板進行拍攝，獲取多組圖像；接著，利用OpenCV等圖像處理庫中的角點檢測函數，檢測出每張圖像中標定板角點的像素坐標；之后，根據角點的世界坐標和像素坐標，結合相機成像模型，建立關于相機內參和外參的方程組；最后，通過最小二乘法求解方程組，得到相機的內參和外參。在標定過程中，為了提高標定精度，需要注意拍攝角度的多樣性和圖像的清晰度，確保角點檢測的準確性。同時，還可以對多次標定結果進行平均或優化處理，以減小誤差。計算兩個相機之間的關系，即旋轉矩陣R和平移矩陣T，是雙目標定的重要內容。通常使兩個相機對同一標定板進行多次取圖，分別標定出各自的內參和相對于標定板的外參，然后根據以下公式計算兩相機位置間的關系：\begin{align*}R&=R_r^{-1}\cdotR_l\\T&=R_r^{-1}\cdot(T_l-T_r)\end{align*}其中，R_r為右攝像頭經過張氏標定得到的相對標定物的旋轉矩陣，T_r為右攝像頭通過張氏標定得到的相對標定物的平移向量，R_l為左攝像頭經過張氏標定得到的相對相同標定物的旋轉矩陣，T_l為左攝像頭經過張氏標定得到的相對相同標定物的平移向量。在實際計算中，OpenCV中的stereoCalibrate函數會對多次計算的R、T進行優化，最終得到兩相機間的最優變換。通過準確的雙目標定，能夠建立起相機坐標系與世界坐標系之間的精確映射關系，為后續基于雙目視覺的焊縫幾何尺寸測量提供可靠的基礎。2.3雙目視覺關鍵技術2.3.1雙目校正雙目校正作為雙目視覺技術的關鍵環節，旨在通過特定的方法對雙目相機獲取的圖像進行處理，使其滿足后續立體匹配和三維重建的要求。在實際應用中，雙目相機由于安裝位置和角度的偏差，以及鏡頭本身的畸變等因素，采集到的圖像往往存在一定的幾何變形和位置偏差，這會給立體匹配帶來極大的困難，增加計算量和匹配誤差。因此，雙目校正的主要目的是消除這些偏差和畸變，使左右相機圖像中的對應點位于同一水平線上，從而簡化立體匹配過程，提高匹配的準確性和效率。雙目校正的核心原理是利用極線約束。極線約束是指在雙目視覺系統中，對于空間中的任意一點P，它在左右相機圖像平面上的投影點P_l和P_r分別位于兩條極線上，這兩條極線是由點P、左相機光心O_l和右相機光心O_r所確定的極平面與左右相機圖像平面的交線。在理想情況下，當左右相機的光軸平行且成像平面嚴格平行時，極線是水平的，并且對應點的縱坐標相同，此時立體匹配只需在同一行上進行搜索，大大減少了計算量。然而，在實際情況中，相機的安裝很難達到理想狀態，極線往往是傾斜的，對應點的縱坐標也不相同，這就需要進行雙目校正來使極線水平對齊。具體實現雙目校正時，通常需要先對相機進行標定，獲取相機的內參（如焦距、主點位置等）和外參（如旋轉矩陣R和平移矩陣T）。然后，根據標定結果，通過計算將相機的成像平面調整到同一平面上，并使極線水平對齊。一種常用的方法是基于張正友標定法的雙目校正算法，該算法通過拍攝棋盤格標定板的多幅圖像，利用角點檢測算法提取標定板上的角點坐標，進而計算出相機的內外參數。在得到相機參數后，通過構建旋轉矩陣和投影矩陣，對圖像進行變換，實現雙目校正。以OpenCV庫中的stereoRectify函數為例，它可以根據雙目標定得到的相機內參和外參，計算出左右相機的校正變換矩陣R_1、R_2和投影矩陣P_1、P_2。其中，R_1和R_2用于將左右相機的成像平面旋轉到同一平面上，P_1和P_2用于將圖像中的點投影到校正后的平面上。通過這些變換矩陣，對左右相機圖像進行重映射，即可得到校正后的圖像，使得對應點位于同一水平線上。在低碳鋼焊縫檢測中，雙目校正的效果直接影響到后續焊縫特征提取和尺寸測量的精度。經過雙目校正后，左右相機圖像中的焊縫特征點位于同一水平線上，在進行立體匹配時，只需在水平方向上搜索對應點，大大減少了搜索范圍和計算量，提高了匹配的準確性和效率。同時，校正后的圖像能夠更準確地反映焊縫的實際形狀和位置，為后續的焊縫尺寸測量和分析提供了可靠的基礎。2.3.2立體匹配立體匹配作為雙目視覺技術的核心環節，其目的是在左右相機獲取的兩幅圖像中，找到對應點之間的匹配關系，進而計算出視差，為后續的三維重建和物體尺寸測量提供關鍵數據支持。由于圖像中存在噪聲、遮擋、光照變化以及物體表面紋理特征不明顯等復雜因素，立體匹配一直是計算機視覺領域的研究難點之一。目前，立體匹配算法種類繁多，根據不同的分類標準，可以分為局部匹配算法和全局匹配算法；按照采用圖像表示的基元不同，又可分為區域立體匹配算法、基于特征的立方匹配算法和基于相位立體匹配算法等。區域立體匹配算法是一種基于圖像局部區域相似性的匹配方法。給定一幅圖像上的一點，選取該點鄰域內的一個子窗口，在另一幅圖像中的一個區域內，根據某種相似性度量準則，如歸一化互相關（NCC）、絕對差之和（SAD）、平方差之和（SSD）等，尋找與子窗口圖像最相似的窗口，得到的匹配窗口中對應的像素點就為該像素的匹配點。區域立體匹配算法的優點是計算相對簡單、速度較快，能夠獲得稠密視差圖，即視差圖中每個像素點都有對應的視差值。在一些對實時性要求較高的場景，如工業生產線上的焊縫實時檢測，區域立體匹配算法能夠快速提供焊縫的三維信息，滿足生產線上快速檢測的需求。然而，該算法也存在一定的局限性，它對圖像的噪聲和光照變化較為敏感，當圖像中存在噪聲或光照不均勻時，可能會導致匹配錯誤；而且在紋理特征不明顯的區域，由于子窗口之間的相似性難以區分，匹配精度會受到影響。基于特征的立方匹配算法則是基于圖像的幾何特征信息進行匹配，如邊緣、線、輪廓、興趣點、角點和幾何基元等。該算法首先提取圖像的幾何特征點，然后針對這些特征點進行視差估計，利用得到的視差信息重建三維空間場景。基于特征的立方匹配算法的優勢在于對噪聲和光照變化具有較強的魯棒性，能夠在復雜的環境下準確地提取特征點并進行匹配。而且算法速度相對較快，對于一些需要快速獲取物體大致三維信息的場景，如焊縫的初步檢測和定位，具有較好的應用效果。但該算法只能獲得稀疏視差圖，即視差圖中只有部分特征點有視差值，對于其他非特征點的視差值需要通過插值算法來計算，這在一定程度上會引入誤差，限制了其在對精度要求較高的焊縫尺寸測量中的應用。基于相位立體匹配算法假設在圖像對應點中，其頻率范圍內局部相位相等，通過在頻率范圍內進行視差估計來實現立體匹配。該算法利用了圖像的相位信息，對圖像的灰度變化和噪聲具有較好的適應性，能夠在低紋理區域和噪聲環境下獲得較好的匹配效果。在低碳鋼焊縫檢測中，對于一些表面紋理不明顯且存在焊接噪聲的區域，基于相位立體匹配算法能夠準確地找到對應點，計算出視差。然而，該算法的計算復雜度較高，需要進行復雜的頻率變換和相位計算，導致其運行速度較慢，在實際應用中需要較高的計算資源支持。在實際應用中，選擇合適的立體匹配算法需要綜合考慮多種因素，如應用場景的需求、圖像的特點、計算資源和時間限制等。對于低碳鋼焊縫幾何尺寸預測，由于需要高精度的三維信息來準確測量焊縫的寬度、高度和熔深等尺寸，通常會選擇精度較高的立體匹配算法，如結合了區域匹配和特征匹配優點的混合算法，或者在全局匹配算法的基礎上進行優化和改進，以提高匹配精度和魯棒性。同時，還可以通過對圖像進行預處理，如濾波、增強等操作，來提高圖像的質量，減少噪聲和光照變化對立體匹配的影響，進一步提升匹配效果。2.3.3點云生成與處理點云生成與處理是雙目視覺技術中實現物體三維重建和尺寸測量的重要環節。在通過雙目視覺獲取物體的視差圖后，需要將視差信息轉換為三維坐標信息，從而生成點云數據，點云數據能夠直觀地反映物體的三維形狀和表面特征。隨后，為了提高點云數據的質量和可用性，還需要對其進行一系列的處理操作，如點云濾波、配準等，這些處理技術對于后續的焊縫幾何尺寸分析和預測具有至關重要的作用。從視差圖生成點云的過程基于三角測量原理。已知雙目相機的內參和外參，以及視差圖中每個像素點的視差值，通過三角關系可以計算出該像素點在三維空間中的坐標。假設左右相機的基線距離為b，相機的焦距為f，視差為d，對于視差圖中的某一像素點，其在三維空間中的深度Z可以通過公式Z=\frac{bf}uza9zdi計算得出。再結合相機的內參和外參，利用坐標變換公式，就可以計算出該像素點在世界坐標系下的三維坐標(X,Y,Z)。將視差圖中所有像素點的三維坐標計算出來后，就可以生成點云數據，這些點云數據構成了物體的三維模型。點云濾波是點云處理的基本操作之一，其目的是去除點云中的噪聲點和離群點，提高點云數據的質量。常見的點云濾波算法包括高斯濾波、雙邊濾波、統計濾波和半徑濾波等。高斯濾波通過對鄰域內的點進行加權平均，來平滑點云數據，減少噪聲的影響。雙邊濾波不僅考慮了點的空間距離，還考慮了點的灰度值差異，能夠在平滑點云的同時保留邊緣信息。統計濾波則是根據點云數據的統計特性，如均值和方差，去除偏離均值較大的離群點。半徑濾波通過設定一個半徑范圍，去除在該半徑范圍內點數少于一定閾值的點，從而去除孤立的噪聲點。在低碳鋼焊縫點云處理中，由于焊接過程中會產生飛濺、煙塵等干擾，導致點云數據中存在大量噪聲點，通過點云濾波可以有效地去除這些噪聲點，使點云數據更加準確地反映焊縫的真實形狀。點云配準是將不同視角下獲取的點云數據對齊到同一坐標系下的過程，對于完整地重建物體的三維模型具有重要意義。在實際應用中，由于相機的移動或物體的轉動，可能需要從多個角度獲取點云數據，這些點云數據在不同的坐標系下，需要進行配準才能拼接成一個完整的三維模型。點云配準算法主要分為基于特征的配準算法和基于迭代最近點（ICP）的配準算法。基于特征的配準算法首先提取點云中的特征點，如角點、邊緣點等，然后通過匹配這些特征點來計算點云之間的變換矩陣，實現配準。ICP算法則是通過不斷迭代尋找對應點對，最小化對應點對之間的距離，從而計算出點云之間的最優變換矩陣。在焊縫點云配準中，通過將不同角度獲取的焊縫點云數據進行配準，可以得到更完整的焊縫三維模型，為準確測量焊縫幾何尺寸提供更全面的數據支持。點云生成與處理技術對于低碳鋼焊縫幾何尺寸分析和預測具有重要作用。高質量的點云數據能夠準確地反映焊縫的三維形狀和尺寸，為后續的焊縫質量評估和尺寸預測提供可靠的數據基礎。通過點云濾波和配準等處理操作，可以提高點云數據的精度和完整性，進一步提升焊縫幾何尺寸分析和預測的準確性。在實際應用中，還可以結合深度學習算法對處理后的點云數據進行分析，自動提取焊縫的關鍵特征，實現對焊縫幾何尺寸的準確預測。三、深度學習基礎與焊縫尺寸預測模型3.1深度學習概述深度學習作為機器學習領域的一個重要分支，近年來在眾多領域取得了顯著的進展和突破，其核心是構建具有多個層次的神經網絡，通過對大量數據的學習和訓練，自動提取數據的特征和模式，從而實現對數據的分類、預測、生成等任務。深度學習的概念源于人工神經網絡的研究，人工神經網絡是一種模擬人類大腦神經元結構和功能的計算模型，由大量的節點（神經元）和連接這些節點的邊組成。早期的神經網絡由于層數較少，計算能力有限，難以處理復雜的任務。隨著計算技術的不斷發展和算法的不斷改進，深度學習逐漸興起，通過增加神經網絡的層數和復雜度，使其能夠學習到更高級、更抽象的特征，從而在圖像識別、語音識別、自然語言處理等領域展現出強大的優勢。深度學習的發展歷程可以追溯到上世紀40年代，心理學家WarrenMcCulloch和數學家WalterPitts提出了M-P模型，這是最早的神經網絡模型，基于生物神經元的結構和功能進行建模，通過邏輯運算模擬了神經元的激活過程，為后續的神經網絡研究奠定了基礎。1949年，心理學家DonaldHebb提出了Hebb學習規則，描述了神經元之間連接強度（即權重）的變化規律，認為神經元之間的連接強度會隨著它們之間的活動同步性而增強，這一規則為后續的神經網絡學習算法提供了重要的啟示。在1950年代到1960年代，FrankRosenblatt提出了感知器模型，這是一種簡單的神經網絡結構，主要用于解決二分類問題。然而，由于感知器只能處理線性可分問題，對于復雜問題的處理能力有限，導致神經網絡研究在一段時間內陷入了停滯。1986年，DavidRumelhart、GeoffreyHinton和RonWilliams等科學家提出了誤差反向傳播（Backpropagation）算法，這一算法允許神經網絡通過調整權重來最小化輸出誤差，從而有效地訓練多層神經網絡，標志著神經網絡研究的復興。在反向傳播算法的推動下，多層感知器（MLP）成為了多層神經網絡的代表，MLP具有多個隱藏層，能夠學習復雜的非線性映射關系。隨著計算能力的提升和大數據的普及，基于多層神經網絡的深度學習逐漸成為神經網絡研究的熱點領域。1989年，LeCun等人提出了卷積神經網絡（ConvolutionalNeuralNetworks,CNN），CNN通過卷積操作提取局部特征，具有局部連接、權值共享等特點，適用于圖像等高維數據的處理。2012年，Krizhevsky、Sutskever和Hinton提出了AlexNet，一種深度卷積神經網絡，該網絡在當年的ImageNet圖像分類比賽中大幅度提高了分類準確率，引發了深度學習領域的革命。此后，CNN在圖像識別、目標檢測、圖像分割等領域取得了巨大的成功，各種改進的CNN模型不斷涌現，如VGGNet、ResNet、Inception等。循環神經網絡（RecurrentNeuralNetworks,RNN）是另一種重要的神經網絡模型，適用于處理序列數據，如文本、語音等。RNN通過引入循環連接，使得網絡能夠記住之前的輸入信息，從而對序列中的每個元素進行處理時，能夠考慮到其上下文信息。然而，傳統的RNN在處理長序列時存在梯度消失和梯度爆炸的問題，導致其性能受到限制。為了解決這些問題，1997年，SeppHochreiter和JürgenSchmidhuber提出了長短期記憶網絡（LongShort-TermMemory,LSTM），LSTM通過引入特殊的門結構，能夠有效地處理長序列數據，記住重要的信息，遺忘不重要的信息。此后，LSTM及其變體門控循環單元（GRU）在自然語言處理、語音識別等領域得到了廣泛的應用。除了CNN和RNN，深度學習領域還涌現出了許多其他重要的模型和技術，如生成對抗網絡（GenerativeAdversarialNetworks,GAN）、自編碼器（Autoencoder）、注意力機制（AttentionMechanism）、Transformer等。GAN由生成器和判別器組成，通過對抗訓練使生成器學會生成逼真的數據，在圖像生成、圖像編輯等領域取得了很好的效果。自編碼器是一種無監督學習模型，能夠自動學習數據的特征表示，用于數據壓縮、特征提取等任務。注意力機制則是一種能夠讓模型聚焦于輸入數據中重要部分的技術，在自然語言處理、計算機視覺等領域得到了廣泛的應用。Transformer模型摒棄了傳統的循環神經網絡和卷積神經網絡結構，完全基于自注意力機制，在自然語言處理等領域取得了突破性成果，基于Transformer的預訓練模型如BERT、GPT等在各種自然語言處理任務中表現出色。深度學習在圖像識別和數據預測中具有獨特的優勢。在圖像識別方面，傳統的圖像識別方法需要人工設計特征提取器，如SIFT、HOG等，這些方法往往依賴于特定的領域知識和經驗，且對圖像的變化較為敏感。而深度學習通過構建卷積神經網絡，能夠自動從大量的圖像數據中學習到圖像的特征，無需人工設計特征提取器，具有更強的泛化能力和適應性。CNN通過卷積層、池化層和全連接層的組合，能夠有效地提取圖像的局部特征和全局特征，從而實現對圖像的準確分類和識別。在數據預測方面，深度學習能夠處理復雜的非線性關系，通過對大量歷史數據的學習，能夠發現數據中的潛在規律和趨勢，從而實現對未來數據的準確預測。與傳統的預測方法相比，深度學習模型能夠更好地處理高維數據和噪聲數據，具有更高的預測精度和可靠性。3.2適用于焊縫尺寸預測的深度學習模型3.2.1卷積神經網絡（CNN）卷積神經網絡（ConvolutionalNeuralNetworks，CNN）作為深度學習領域的重要模型之一，在圖像識別、目標檢測、語義分割等諸多計算機視覺任務中展現出卓越的性能，尤其在焊縫圖像特征提取方面具有獨特的優勢。CNN的基本結構主要由卷積層、池化層、激活函數層和全連接層等部分組成，各層之間相互協作，實現對圖像數據的逐層抽象和特征提取。卷積層是CNN的核心組件，其主要作用是通過卷積操作提取圖像的局部特征。在焊縫圖像中，卷積層能夠捕捉焊縫的邊緣、紋理、形狀等關鍵特征。具體而言，卷積層使用一組可學習的卷積核（也稱為濾波器）在輸入圖像上滑動，通過計算卷積核與輸入圖像局部區域的點積，生成新的特征圖。每個卷積核都有特定的權重和偏置，這些參數在訓練過程中通過反向傳播算法不斷調整，以學習到對焊縫特征提取最有效的卷積模式。例如，一個3×3的卷積核在掃描焊縫圖像時，會對圖像中的每個3×3的局部區域進行加權求和，得到一個新的像素值，這個過程能夠突出圖像中的局部特征，如焊縫的邊緣信息。卷積層通過這種局部連接和權值共享的方式，大大減少了模型的參數數量，降低了計算復雜度，同時提高了模型對圖像特征的提取效率。池化層通常位于卷積層之后，其主要功能是對特征圖進行下采樣，降低特征圖的空間維度，同時保留重要的特征信息。在焊縫圖像特征提取中，池化層可以減少數據量，加快計算速度，并且在一定程度上增強模型對圖像平移、旋轉等變換的不變性。常見的池化操作有最大池化和平均池化。最大池化是在每個池化窗口中選取最大值作為輸出，這種方式能夠突出圖像中的顯著特征，如焊縫中的關鍵紋理和形狀特征；平均池化則是計算池化窗口內所有元素的平均值作為輸出，它可以對特征進行平滑處理，減少噪聲的影響。通過池化層的下采樣操作，不僅可以降低模型的計算負擔，還能避免過擬合問題，使模型能夠更好地泛化到不同的焊縫圖像數據。激活函數層用于為模型引入非線性特性，使模型能夠學習到更復雜的函數關系。在CNN中，常用的激活函數有ReLU（RectifiedLinearUnit）、Sigmoid、Tanh等。ReLU函數由于其簡單高效、能夠有效緩解梯度消失問題等優點，成為CNN中應用最廣泛的激活函數之一。其表達式為f(x)=max(0,x)，即當輸入大于0時，輸出等于輸入；當輸入小于等于0時，輸出為0。在焊縫圖像特征提取中，ReLU函數能夠將卷積層輸出的線性特征進行非線性變換，增強模型對焊縫復雜特征的表達能力，使模型能夠學習到焊縫圖像中更豐富的特征模式。全連接層位于CNN的最后部分，其作用是將前面卷積層和池化層提取到的特征圖轉換為最終的輸出結果。在焊縫尺寸預測任務中，全連接層將提取到的焊縫特征映射到焊縫的幾何尺寸預測值上。全連接層中的每個神經元都與上一層的所有神經元相連接，通過權重矩陣對輸入特征進行線性變換，然后經過激活函數得到輸出。在訓練過程中，全連接層的權重和偏置會根據損失函數的反饋不斷調整，以最小化預測值與真實值之間的誤差，從而使模型能夠準確地預測焊縫的幾何尺寸。CNN在焊縫圖像特征提取方面具有顯著的優勢。與傳統的手工設計特征提取方法相比，CNN能夠自動從大量的焊縫圖像數據中學習到有效的特征表示，無需人工設計復雜的特征提取算法，大大提高了特征提取的效率和準確性。通過多層卷積層和池化層的堆疊，CNN能夠逐步提取焊縫圖像的低級特征（如邊緣、紋理）和高級特征（如形狀、結構），從而對焊縫的整體特征有更全面和深入的理解。這種層次化的特征提取方式使得CNN能夠適應不同類型和復雜程度的焊縫圖像，具有較強的泛化能力。CNN對圖像的平移、旋轉、縮放等變換具有一定的不變性，能夠在不同的拍攝角度和圖像變形情況下準確地提取焊縫特征，提高了焊縫尺寸預測的魯棒性。3.2.2循環神經網絡（RNN）及其變體（LSTM、GRU）循環神經網絡（RecurrentNeuralNetworks，RNN）作為一種專門處理序列數據的神經網絡模型，在自然語言處理、語音識別、時間序列預測等領域有著廣泛的應用。在焊縫尺寸預測任務中，焊接過程中的各種參數（如焊接電流、電壓、焊接速度等）隨時間變化，形成了具有時間序列特性的數據，RNN能夠有效地處理這些序列數據，捕捉數據中的時間依賴關系，從而為焊縫尺寸預測提供有力支持。RNN的基本結構包含輸入層、隱藏層和輸出層，其核心特點是隱藏層之間存在循環連接，使得網絡能夠記住之前的輸入信息。在處理時間序列數據時，RNN會依次輸入每個時間步的數據，隱藏層根據當前輸入和上一時刻的隱藏狀態進行計算，更新隱藏狀態，并將其傳遞到下一個時間步。具體而言，在時刻t，輸入為x_t，隱藏層狀態為h_t，輸出為y_t，其計算過程可以表示為：\begin{align*}h_t&=\sigma(W_{xh}x_t+W_{hh}h_{t-1}+b_h)\\y_t&=W_{hy}h_t+b_y\end{align*}其中，W_{xh}、W_{hh}和W_{hy}是權重矩陣，b_h和b_y是偏置向量，\sigma是激活函數，常用的激活函數有Sigmoid、Tanh等。通過這種方式，RNN能夠對時間序列中的每個元素進行處理時，考慮到其上下文信息，從而更好地捕捉序列數據中的長期依賴關系。然而，傳統的RNN在處理長序列數據時存在梯度消失和梯度爆炸的問題。當時間步長較長時，梯度在反向傳播過程中會逐漸消失或迅速增大，導致模型難以學習到長距離的依賴關系。為了解決這一問題，長短期記憶網絡（LongShort-TermMemory，LSTM）和門控循環單元（GatedRecurrentUnit，GRU）等變體模型應運而生。LSTM通過引入特殊的門結構，有效地解決了長序列依賴問題。LSTM單元包含輸入門、遺忘門、輸出門和記憶單元。輸入門控制當前輸入信息的流入，遺忘門決定保留或丟棄記憶單元中的舊信息，輸出門控制記憶單元中信息的輸出。具體計算過程如下：\begin{align*}i_t&=\sigma(W_{xi}x_t+W_{hi}h_{t-1}+b_i)\\f_t&=\sigma(W_{xf}x_t+W_{hf}h_{t-1}+b_f)\\o_t&=\sigma(W_{xo}x_t+W_{ho}h_{t-1}+b_o)\\\tilde{c}_t&=\tanh(W_{xc}x_t+W_{hc}h_{t-1}+b_c)\\c_t&=f_t\odotc_{t-1}+i_t\odot\tilde{c}_t\\h_t&=o_t\odot\tanh(c_t)\end{align*}其中，i_t、f_t、o_t分別表示輸入門、遺忘門和輸出門的輸出，\tilde{c}_t是候選記憶單元，c_t是記憶單元，\odot表示逐元素相乘。通過這些門結構的協同作用，LSTM能夠根據當前輸入和之前的狀態，靈活地控制信息的流動和記憶單元的更新，從而有效地處理長序列數據。在焊縫尺寸預測中，LSTM可以捕捉焊接過程中不同時間點的參數變化對焊縫尺寸的影響，提高預測的準確性。GRU是LSTM的一種簡化變體，它將輸入門和遺忘門合并為更新門，同時將記憶單元和隱藏狀態合并。GRU的計算過程如下：\begin{align*}z_t&=\sigma(W_{xz}x_t+W_{hz}h_{t-1}+b_z)\\r_t&=\sigma(W_{xr}x_t+W_{hr}h_{t-1}+b_r)\\\tilde{h}_t&=\tanh(W_{xh}x_t+r_t\odotW_{hh}h_{t-1}+b_h)\\h_t&=(1-z_t)\odoth_{t-1}+z_t\odot\tilde{h}_t\end{align*}其中，z_t是更新門，r_t是重置門，\tilde{h}_t是候選隱藏狀態。GRU在保持與LSTM相似性能的同時，減少了參數數量，降低了計算復雜度，提高了訓練效率。在焊縫尺寸預測任務中，GRU同樣能夠有效地處理焊接過程中的時間序列數據，對焊縫尺寸進行準確預測。LSTM和GRU在焊縫尺寸預測中具有很大的應用潛力。它們能夠充分利用焊接過程中的時間序列信息，學習到焊接參數與焊縫尺寸之間的復雜關系，從而提高預測模型的準確性和魯棒性。在實際應用中，可以將LSTM或GRU與其他深度學習模型（如CNN）相結合，充分發揮各自的優勢，進一步提升焊縫尺寸預測的性能。例如，先使用CNN對焊縫圖像進行特征提取，然后將提取到的特征作為LSTM或GRU的輸入，讓其處理時間序列信息，實現對焊縫尺寸的準確預測。3.2.3其他相關模型（如U-Net等）U-Net作為一種經典的神經網絡模型，最初是為醫學圖像分割任務而設計的，其獨特的網絡結構在圖像分割領域取得了顯著的成果。在焊縫尺寸預測任務中，U-Net模型對提取焊縫輪廓特征具有重要作用，能夠為焊縫尺寸的準確測量提供有力支持。U-Net的網絡結構主要由編碼器和解碼器兩部分組成，整體呈現出對稱的“U”形結構。編碼器部分類似于傳統的卷積神經網絡，通過多個卷積層和池化層對輸入圖像進行下采樣，逐漸提取圖像的高級特征，同時降低特征圖的分辨率。在焊縫圖像中，編碼器能夠捕捉焊縫的整體形狀、紋理等特征，將圖像信息進行壓縮和抽象。具體而言，編碼器中的卷積層通過卷積操作提取圖像的局部特征，池化層則對特征圖進行下采樣，減少數據量，提高計算效率。隨著網絡層數的增加，特征圖的分辨率逐漸降低，而特征的抽象程度逐漸提高。解碼器部分與編碼器相對應，通過多個反卷積層（也稱為轉置卷積層）和上采樣操作對編碼器提取的特征進行上采樣，恢復圖像的分辨率，同時結合編碼器中相應層次的特征，逐步細化分割結果，實現對圖像中目標物體的精確分割。在焊縫尺寸預測中，解碼器能夠將編碼器提取的焊縫特征進行還原和細化，準確地勾勒出焊縫的輪廓。反卷積層通過對低分辨率的特征圖進行上采樣，增加特征圖的分辨率，使其與原始圖像的尺寸逐漸接近。在上采樣過程中，解碼器還會融合編碼器中對應層次的特征，這些特征包含了圖像的不同尺度和細節信息，能夠幫助解碼器更好地恢復焊縫的輪廓細節，提高分割的準確性。U-Net模型在圖像分割任務中具有諸多優勢，這些優勢使其在焊縫尺寸預測中對提取焊縫輪廓特征具有重要作用。U-Net采用了跳躍連接（skipconnection）的方式，將編碼器中不同層次的特征直接連接到解碼器中相應的層次。這種連接方式能夠有效地保留圖像的細節信息，避免在編碼和解碼過程中信息的丟失，使得模型在分割焊縫輪廓時能夠更加準確地捕捉到焊縫的邊界。通過跳躍連接，解碼器可以獲取到編碼器中不同尺度的特征，從而在恢復焊縫輪廓時，既能考慮到焊縫的整體形狀，又能關注到焊縫的細微特征，提高了分割的精度。U-Net在少量標注數據的情況下也能取得較好的分割效果，這對于焊縫尺寸預測任務來說非常重要。在實際應用中，獲取大量標注的焊縫圖像數據往往是困難且耗時的，U-Net的這一特性使得它能夠在有限的數據資源下，實現對焊縫輪廓的準確分割，為焊縫尺寸的測量提供可靠的基礎。在焊縫尺寸預測中，U-Net模型可以通過對焊縫圖像進行分割，提取出焊縫的輪廓，進而計算出焊縫的寬度、高度等幾何尺寸。通過對大量焊縫圖像的訓練，U-Net模型能夠學習到焊縫的特征模式，準確地將焊縫從背景中分割出來。然后，利用圖像處理算法對分割得到的焊縫輪廓進行分析和計算，即可得到焊縫的幾何尺寸。U-Net模型還可以與其他深度學習模型或傳統的圖像處理方法相結合，進一步提高焊縫尺寸預測的準確性。例如，將U-Net分割得到的焊縫輪廓作為輸入，輸入到其他模型中進行進一步的特征提取和尺寸預測，或者結合傳統的邊緣檢測算法對焊縫輪廓進行優化，從而得到更精確的焊縫尺寸。3.3模型訓練與優化在基于雙目視覺和深度學習的低碳鋼焊縫幾何尺寸預測研究中，模型訓練與優化是至關重要的環節，直接影響著模型的預測性能和準確性。模型訓練的首要任務是構建高質量的數據集，這是模型學習的基礎。數據采集過程中，需采用精心搭建的雙目視覺系統，對不同焊接工藝參數下的低碳鋼焊縫進行圖像采集。通過調整焊接電流、電壓、焊接速度等關鍵參數，模擬實際工業生產中的多種焊接工況，以獲取具有廣泛代表性的焊縫圖像數據。同時，為確保圖像數據的準確性和可靠性，需對采集到的圖像進行嚴格篩選，剔除因拍攝過程中出現的模糊、噪聲過大等質量不佳的圖像。數據標注是構建數據集的關鍵步驟，其準確性直接影響模型的訓練效果。對于焊縫圖像，需準確標注出焊縫的幾何尺寸，如寬度、高度、熔深等，以及焊縫的位置和形狀信息。標注過程通常由專業人員使用圖像標注工具完成，確保標注的一致性和準確性。為提高標注效率和質量，可制定詳細的標注規范和流程，對標注人員進行培訓，使其熟悉標注要求和標準。為增加數據的多樣性，提高模型的泛化能力，還需進行數據增強操作。常見的數據增強方法包括圖像旋轉、縮放、平移、翻轉、添加噪聲等。通過對原始圖像進行這些變換，可以生成大量新的圖像樣本，擴充數據集的規模。在焊縫圖像中，隨機旋轉一定角度可以模擬不同拍攝角度下的焊縫圖像，添加噪聲可以模擬實際焊接環境中的干擾因素，使模型能夠學習到更魯棒的特征。損失函數的選擇對于模型訓練至關重要，它用于衡量模型預測值與真實值之間的差異，是模型優化的目標。在焊縫尺寸預測任務中，常用的損失函數有均方誤差（MSE）損失函數、平均絕對誤差（MAE）損失函數等。MSE損失函數計算預測值與真實值之間差值的平方和的平均值，其表達式為：MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2其中，n為樣本數量，y_i為真實值，\hat{y}_i為預測值。MSE損失函數對較大的誤差給予更大的懲罰，能夠使模型在訓練過程中更加關注那些預測誤差較大的樣本，從而提高模型的整體預測精度。然而，MSE損失函數對異常值較為敏感，當數據中存在異常值時，可能會導致模型的訓練受到較大影響。MAE損失函數則計算預測值與真實值之間差值的絕對值的平均值，其表達式為：MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i|MAE損失函數對異常值的魯棒性較強，能夠更準確地反映模型預測值與真實值之間的平均誤差。在焊縫尺寸預測中，如果數據中存在一些由于測量誤差或其他原因導致的異常值，使用MAE損失函數可以使模型更加穩定，避免受到異常值的過度干擾。但MAE損失函數在計算梯度時存在不光滑的問題，可能會影響模型的收斂速度。在實際應用中，可根據數據的特點和模型的需求選擇合適的損失函數，或者將多種損失函數結合使用，以充分發揮它們的優勢。可以將MSE損失函數和MAE損失函數進行加權組合，得到一個綜合損失函數，如：Loss=\alpha\timesMSE+(1-\alpha)\timesMAE其中，\alpha為權重系數，通過調整\alpha的值，可以平衡MSE損失函數和MAE損失函數對模型訓練的影響。優化算法的選擇直接影響模型的訓練效率和收斂速度。常見的優化算法有隨機梯度下降（SGD）、自適應矩估計（Adam）等。SGD是一種經典的優化算法，它在每次迭代中隨機選擇一個小批量樣本計算梯度，并根據梯度更新模型參數。其更新公式為：\theta_{t+1}=\theta_t-\eta\times\nablaJ(\theta_t)其中，\theta_t為當前的模型參數，\eta為學習率，\nablaJ(\theta_t)為當前參數下的梯度。SGD的優點是計算簡單、速度快，能夠快速收斂到局部最優解。然而，SGD對學習率的選擇較為敏感，學習率過大可能導致模型無法收斂，學習率過小則會使收斂速度過慢。而且SGD在每次迭代中只使用一個小批量樣本計算梯度，梯度估計的方差較大，容易導致模型在訓練過程中出現波動。Adam算法是一種自適應的優化算法，它結合了動量法和自適應學習率的思想。Adam算法不僅能夠自適應地調整學習率，還能利用動量來加速收斂。其更新公式為：m_t=\beta_1m_{t-1}+(1-\beta_1)\nablaJ(\theta_t)v_t=\beta_2v_{t-1}+(1-\beta_2)(\nablaJ(\theta_t))^2\hat{m}_t=\frac{m_t}{1-\beta_1^t}\hat{v}_t=\frac{v_t}{1-\beta_2^t}\theta_{t+1}=\theta_t-\frac{\eta}{\sqrt{\hat{v}_t}+\epsilon}\hat{m}_t其中，m_t和v_t分別為一階矩估計和二階矩估計，\beta_1和\beta_2為衰減系數，通常取值為0.9和0.999，\epsilon為一個很小的常數，用于防止分母為0。Adam算法通過對梯度的一階矩和二階矩進行估計，能夠更準確地調整學習率，使得模型在訓練過程中更加穩定，收斂速度更快。在焊縫尺寸預測模型的訓練中，Adam算法能夠快速找到較優的模型參數，提高訓練效率。模型評估指標是衡量模型性能的重要依據，在焊縫尺寸預測中，常用的評估指標有均方誤差（MSE）、平均絕對誤差（MAE）、決定系數（R2）等。MSE和MAE如前所述，用于衡量預測值與真實值之間的誤差。R2用于評估模型對數據的擬合優度，其取值范圍在0到1之間，越接近1表示模型對數據的擬合效果越好。R2的計算公式為：R^2=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}{\sum_{i=1}^{n}(y_i-\bar{y})^2}其中，\bar{y}為真實值的平均值。除了這些指標外，還可以使用其他指標如平均絕對百分比誤差（MAPE）等，從不同角度評估模型的性能。MAPE能夠反映預測值與真實值之間的相對誤差，其計算公式為：MAPE=\frac{1}{n}\sum_{i=1}^{n}\left|\frac{y_i-\hat{y}_i}{y_i}\right|\times100\%通過綜合使用這些評估指標，可以全面、準確地評估模型在焊縫尺寸預測任務中的性能，為模型的優化和改進提供依據。四、基于雙目視覺與深度學習的低碳鋼焊縫幾何尺寸預測方法4.1系統總體框架設計基于雙目視覺與深度學習的低碳鋼焊縫幾何尺寸預測系統，旨在實現對低碳鋼焊縫幾何尺寸的高精度預測，其總體框架涵蓋數據采集、處理、模型預測及結果輸出等關鍵流程，各環節緊密協作，共同保障系統的高效運行和準確預測。數據采集是系統的基礎環節，通過精心搭建的雙目視覺硬件平臺來完成。該平臺主要由兩臺工業相機和相關的圖像采集設備組成，相機的選擇需充分考慮焊接場景的實際需求。為確保能夠清晰捕捉到焊縫的細微特征，選擇具有高分辨率的工業相機，以提供豐富的圖像細節；為滿足焊接過程中快速變化的場景需求，相機還需具備高幀率，確保能夠實時記錄焊縫的動態變化。在安裝相機時，需精確調整其位置和角度，使兩個相機的光軸盡量平行，合理確定基線距離，以保證能夠完整覆蓋焊縫區域，并獲取具有良好對應關系的雙目圖像。在實際焊接過程中，利用雙目視覺硬件平臺對不同焊接工藝參數下的低碳鋼焊縫進行圖像采集，這些參數包括焊接電流、電壓、焊接速度等，它們對焊縫的形成和幾何尺寸有著重要影響。通過采集不同參數組合下的焊縫圖像，能夠獲取豐富多樣的圖像數據，為后續的模型訓練提供充足的樣本。數據處理階段是對采集到的原始圖像數據進行一系列的預處理和特征提取操作，以提高數據質量，為模型預測提供有效的輸入。在圖像預處理方面，首先進行圖像去噪處理，采用中值濾波、高斯濾波等方法去除圖像中的噪聲干擾，使圖像更加清晰。中值濾波能夠有效去除椒鹽噪聲，通過將像素點的灰度值替換為其鄰域內像素灰度值的中值，減少噪聲對圖像的影響；高斯濾波則基于高斯函數對圖像進行平滑處理，對高斯噪聲具有良好的抑制效果。接著進行圖像增強處理，運用直方圖均衡化、對比度增強等技術，提高圖像的對比度和清晰度，突出焊縫的特征。直方圖均衡化通過重新分配圖像的灰度值，使圖像的灰度分布更加均勻，從而增強圖像的對比度；對比度增強技術則通過調整圖像的亮度和對比度，使焊縫特征更加明顯。在特征提取環節，利用雙目視覺算法對預處理后的圖像進行處理，計算視差圖，獲取焊縫的三維信息。通過立體匹配算法，找到左右圖像中對應點的匹配關系，計算出視差，再根據視差與深度的關系，得到焊縫的深度信息，進而生成點云數據。還可以結合深度學習算法，如卷積神經網絡（CNN），對圖像進行特征提取，自動學習焊縫的關鍵特征，如邊緣、紋理、形狀等。模型預測是系統的核心部分，基于深度學習算法構建預測模型，對處理后的焊縫圖像數據進行分析和預測，得到焊縫的幾何尺寸。在模型選擇方面，根據焊縫尺寸預測的特點和需求，選用合適的深度學習模型，如結合CNN和循環神經網絡（RNN）及其變體（長短期記憶網絡LSTM、門控循環單元GRU）的模型。CNN用于提取焊縫圖像的空間特征，通過多層卷積層和池化層的組合，自動學習焊縫的局部和全局特征；RNN及其變體則用于處理焊接過程中的時序信息，捕捉焊接參數隨時間的變化對焊縫尺寸的影響。以LSTM為例，它能夠有效處理長序列數據，通過門結構控制信息的流動，記住重要的信息，遺忘不重要的信息，從而更好地捕捉焊接過程中的長期依賴關系。在模型訓練階段，使用大量的焊縫圖像數據和對應的焊接工藝參數對模型進行訓練，通過不斷調整模型的參數和結構，使模型能夠準確學習到焊縫幾何尺寸與各種因素之間的復雜映射關系。在訓練過程中，采用合適的損失函數和優化算法，如均方誤差（MSE）損失函數和自適應矩估計（Adam）優化算法，來衡量模型預測值與真實值之間的差異，并調整模型參數，使損失函數最小化。結果輸出是系統的最終環節，將模型預測得到的焊縫幾何尺寸以直觀的方式呈現給用戶，為焊接質量控制和生產決策提供依據。可以通過可視化界面，將預測結果以數字、圖表等形式展示出來，方便用戶查看和分析。還可以將預測結果與預設的標準值進行對比，判斷焊縫尺寸是否符合要求。如果預測結果超出允許的誤差范圍，系統可以發出警報，提醒操作人員及時調整焊接工藝參數，以保證焊接質量。4.2雙目視覺獲取焊縫圖像與數據處理利用雙目視覺系統獲取低碳鋼焊縫圖像，是實現焊縫幾何尺寸預測的基礎環節，其準確性和穩定性直接影響后續的分析和預測結果。在搭建雙目視覺系統時，選用兩臺工業相機，它們具備高分辨率和高幀率的特性，能夠清晰捕捉焊縫的細節和動態變化。將相機安裝在焊接設備附近，確保其視野能夠完整覆蓋焊縫區域，并且通過精確的校準和調試，使兩個相機的光軸保持平行，以滿足雙目視覺測量的要求。在實際焊接過程中，通過雙目視覺系統同步采集左右相機的圖像數據。相機的曝光時間、增益等參數根據焊接場景的光照條件進行合理調整，以保證圖像的清晰度和對比度。由于焊接過程中會產生強烈的弧光、飛濺和煙塵等干擾因素，這些因素會對圖像質量產生嚴重影響，因此需要采取相應的措施來減少干擾。可以在相機前安裝濾光片，阻擋弧光中的強光部分，提高圖像的信噪比；采用合適的照明方式，如結構光照明，增強焊縫與背景的對比度，使焊縫特征更加明顯。圖像預處理是提高焊縫圖像質量、為后續分析提供可靠數據的關鍵步驟，主要包括去噪和增強等操作。在去噪方面，中值濾波是一種常用的方法，它能夠有效地去除圖像中的椒鹽噪聲。中值濾波的原理是將圖像中每個像素點的灰度值替換為其鄰域內像素灰度值的中值。對于一個3×3的鄰域窗口，將窗口內的9個像素灰度值從小到大排序，取中間值作為中心像素的新灰度值。通過這種方式，能夠有效地抑制椒鹽噪聲的干擾，同時保留圖像的邊緣和細節信息。高斯濾波則基于高斯函數對圖像進行平滑處理，對高斯噪聲具有良好的抑制效果。高斯濾波通過對鄰域內的像素進行加權平均，權重由高斯函數確定，離中心像素越近的像素權重越大。這種方法能夠在平滑圖像的同時，較好地保留圖像的邊緣和紋理特征。圖像增強是為了提高圖像的對比度和清晰度，突出焊縫的特征。直方圖均衡化是一種常用的圖像增強技術，它通過重新分配圖像的灰度值，使圖像的灰度分布更加均勻，從而增強圖像的對比度。具體來說，直方圖均衡化首先計算圖像的灰度直方圖，統計每個灰度級出現的頻率；然后根據直方圖計算累積分布函數，將累積分布函數映射到整個灰度范圍，得到新的灰度值映射表；最后根據映射表對圖像中的每個像素進行灰度值替換，實現圖像增強。通過直方圖均衡化，能夠使焊縫的邊緣和細節更加清晰，便于后續的特征提取和分析。還可以采用對比度增強算法，如限制對比度自適應直方圖均衡化（CLAHE），進一步提高圖像的對比度。CLAHE在局部區域內對直方圖進行均衡化，能夠更好地保留圖像的細節信息，避免在全局直方圖均衡化中可能出現的過度增強問題。從圖像中提取焊縫特征是實現焊縫幾何尺寸預測的關鍵步驟，需要采用合適的方法來準確地識別和提取焊縫的關鍵特征。基于邊緣檢測的方法是常用的焊縫特征提取方法之一，Canny邊緣檢測算法是一種經典的邊緣檢測算法，它通過高斯濾波、梯度計算、非極大值抑制和雙閾值檢測等步驟，能夠準確地檢測出圖像中的邊緣。在焊縫圖像中，Canny算法能夠有效地檢測出焊縫的邊緣，將焊縫從背景中分離出來。具體步驟如下：首先，對圖像進行高斯濾波，去除噪聲干擾；然后，計算圖像的梯度幅值和方向，確定邊緣的強度和方向；接著，通過非極大值抑制，保留梯度幅值最大的邊緣點，抑制其他非邊緣點；最后，采用雙閾值檢測，確定真正的邊緣點。通過Canny邊緣檢測算法，可以得到焊縫的邊緣輪廓，為后續的焊縫尺寸計算提供基礎。基于區域生長的方法也可用于焊縫特征提取，它通過將具有相似特征的像素點合并成區域，從而提取出焊縫區域。在焊縫圖像中，可以根據焊縫的灰度特征、紋理特征等，選擇合適的生長準則和種子點，進行區域生長。以灰度特征為例，可以選擇焊縫區域中灰度值較低的點作為種子點，然后根據一定的灰度閾值，將與種子點灰度值相近的鄰域像素點合并到區域中，不斷擴展區域，直到滿足停止條件。通過區域生長方法，可以提取出完整的焊縫區域，進而計算焊縫的幾何尺寸。還可以結合深度學習算法，如卷積神經網絡（CNN），對焊縫圖像進行特征提取。CNN能夠自動學習焊縫圖像的特征，通過多層卷積層和池化層的組合，提取出焊縫的低級特征（如邊緣、紋理）和高級特征（如形狀、結構），為焊縫尺寸預測提供更豐富的特征信息。4.3深度學習模型構建與訓練根據焊縫尺寸預測的需求，構建有效的深度學習模型是實現準確預測的關鍵。在本研究中，綜合考慮焊縫圖像的特點和焊接過程中的時序信息，選用卷積神經網絡（CNN）與長短期記憶網絡（LSTM）相結合的模型結構。CNN作為一種專門用于處理圖像數據的深度學習模型，在提取焊縫圖像的空間特征方面具有獨特的優勢。其網絡結構主要由卷積層、池化層、激活函數層和全連接層組成。卷積層通過卷積核在圖像上滑動，提取圖像的局部特征，如焊縫的邊緣、紋理等。池化層則對卷積層輸出的特征圖進行下采樣，減少數據量，降低計算復雜度，同時保留重要的特征信息。激活函數層為模型引入非線性特性，增強模型對復雜特征的表達能力。全連接層將前面各層提取到的特征進行整合，輸出最終的預測結果。在構建CNN網絡時，需要確定各層的參數，如卷積核的大小、數量、步長，池化層的池化窗口大小、步長，以及全連接層的神經元數量等。對于卷積核的大小，可以選擇3×3、5×5等常見的尺寸，卷積核數量則根據模型的復雜度和對特征提取的需求進行調整，一般從32、64開始逐漸增加。池化窗口大小通常選擇2×2或3×3，步長與窗口大小相同或為窗口大小的一半。全連接層的神經元數量可以根據輸入特征的維度和預測任務的復雜度進行確定，一般通過實驗來優化。LSTM作為循環神經網絡（RNN）的一種變體，能夠有效地處理時間序列數據，捕捉數據中的長期依賴關系。在焊縫尺寸預測中，焊接過程中的各種參數（如焊接電流、電壓、焊接速度等）隨時間變化，這些時序信息對于準確預測焊縫尺寸至關重要。LSTM單元通過引入輸入門、遺忘門和輸出門，能夠靈活地控制信息的流動，記住重要的信息，遺忘不重要的信息。在構建LSTM網絡時，需要確定LSTM單元的數量、層數以及隱藏層的維度等參數。LSTM單元的數量和層數根據焊接過程的復雜程度和對時序信息的捕捉能力進行選擇，一般可以從一層、若干個單元開始嘗試，逐步增加層數和單元數量。隱藏層的維度則影響模型對時序信息的表達能力，需要通過實驗來確定合適的值。將CNN和LSTM相結合，充分發揮兩者的優勢。首先，利用CNN對雙目視覺獲取的焊縫圖像進行特征提取，得到焊縫的空間特征表示。然后，將這些特征與焊接過程中的時序信息（如焊接電流、電壓、焊接速度等隨時間的變化）一起輸入到LSTM中，讓LSTM對時序信息進行處理，捕捉焊接參數與焊縫尺寸之間的時間依賴關系。在結合過程中，可以通過將CNN輸出的特征圖展平，與時序信息進行拼接，然后輸入到LSTM中。也可以在LSTM之前增加一些全連接層，對拼接后的特征進行進一步的處理和整合。利用處理后的焊縫數據對構建的深度學習模型進行訓練，是提高模型預測精度的關鍵步驟。在訓練之前，需要對數據進行預處理，包括數據歸一化、數據增強等操作。數據歸一化將數據的特征值映射到一個特定的范圍內，如[0,1]或[-1,1]，以加速模型的收斂速度。對于焊縫圖像數據，可以將像素值除以255，將其歸一化到[0,1]范圍內；對于焊接參數數據，可以通過計算其均值和標準差，將其歸一化到均值為0，標準差為1的分布。數據增強通過對原始數據進行變換，如旋轉、縮放、平移、翻轉等，增加數據的多樣性，提高模型的泛化能力。在焊縫圖像數據增強中，可以隨機旋轉圖像一定角度，如±15°，對圖像進行縮放，如縮放比例在0.8-1.2之間，以及進行水平或垂直翻轉等操作。訓練過程中，選擇合適的損失函數和優化算法至關重要。如前所述，均方誤差（MSE）損失函數常用于衡量預測值與真實值之間的差異，其計算公式為：MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2其中，n為樣本數量，y_i為真實值，\hat{y}_i為預測值。MSE損失函數對較大的誤差給予更大的懲罰，能夠使模型在訓練過程中更加關注那些預測誤差較大的樣本，從而提高模型的整體預測精度。自適應矩估計（Adam）優化算法是一種常用的優化算法，它結合了動量法和自適應學習率的思想，能夠自適應地調整學習率，加快模型的收斂速度。其更新公式為：m_t=\beta_1m_{t-1}+(1-\beta_1)\nablaJ(\theta_t)v_t=\beta_2v_{t-1}+(1-\beta_2)(\nablaJ(\theta_t))^2\hat{m}_t=\frac{m_t}{1-\beta_1^t}\hat{v}_t=\frac{v_t}{1-\beta_2^t}\theta_{t+1}=\theta_t-\frac