基于深度學習的鋁合金壓鑄件外觀缺陷檢測方法

0基于深度學習的鑄件外觀缺陷檢測方法作為車輛的主要部件，125壓鑄件由于裝配工藝等設備的故障、重量低或員工操作不當，不可避免地會出現各種缺陷。這些尺寸的外觀缺陷主要包括肉不足、收縮孔、厚肉、空氣和寒冷的皮膚。在實際生產中，這些外觀缺陷的檢測大多依靠人工檢查，生產線檢查工人的勞動量大，效率低，誤檢率高，并且存在無法實時跟蹤產品質量指標等一系列的問題。針對特征明顯的缺陷，工廠中往往采用基于傳統的機器視覺的缺陷檢測方法，這些方法主要包括兩種形式：1）通過數字圖像處理技術進行缺陷檢測；2）通過人工設計復雜的特征提取器進行特征提取，并采用分類器進行缺陷的識別近年來，如Faster-RCNN當前缺陷檢測工作主要是針對鋼材、鐵軌、轎車殼體和PCB板等表面，較少對復雜壓鑄件表面進行研究。而鑄件外觀缺陷檢測主要存在以下難點：1）缺陷部位體積小，下采樣的過程中會造成像素點的丟失，增加了檢測的難度；待檢測物體固定的位置會為小型缺陷保留上下文信息，而這些上下文信息會增加小型缺陷的誤檢率；2）鑄件的背景復雜，對缺陷檢測的干擾大；3）各種缺陷數據樣本數量極不平衡，數據量少的缺陷無法實現端到端檢測，為訓練增加了難度。針對上述的難點，本文提出一種基于深度學習的鑄件外觀缺陷檢測方法，具體流程圖如圖1所示，具體包括圖像獲取、數據傳輸和缺陷檢測等3大模塊。本文具體貢獻如下：1）制作一個大型的鑄件外觀缺陷數據集ALU-DEF，包括缺陷圖片7816張，具體包括的缺陷有缺肉、多肉、氣孔、縮孔、冷隔等；2）提出密排的錨點設計方法來提高小缺陷的正檢率；采用對比訓練方法進行訓練，將有無缺陷的2種類別數據同時用于模型的訓練，通過訓練過程中2種類別數據的對比，來減少上下文信息對小型缺陷檢測的影響；3）在神經網絡中引入注意力機制，通過注意力機制讓模型更加關注圖片中的缺陷區域，來減少鑄件外觀背景的干擾；4）提出一種將深度學習與輪廓發現相結合的方法實現對小樣本缺陷的端到端檢測。1缺陷檢測算法1.1缺陷部位像素的消失Refine-ACTDD缺陷檢測算法主要基于RefineDet算法進行改進的由于缺陷部位像素在整張圖片中所占的比例很小，在下采樣的過程中缺陷部位會消失，增加了對小缺陷檢測的難度。本文采用將一張大圖片分割為2×2張小圖片，然后依次進行檢測的方法，如圖3所示。1.2散點的設置及重新設計基于錨點的目標檢測算法，在訓練的過程中，算法主要關注的區域是錨點中的區域，在進行預測的時候，模型也是在錨點的基礎上進行預測的。因此對小型物體來說，適當的錨點設計可以明顯的提高模型對小缺陷的正檢率為獲得適合本數據集的錨點大小，對數據集中缺陷目標的長寬進行統計和K-Means聚類操作，缺陷區域尺寸散點分布圖如圖4所示，聚類操作的結果及錨點大小和比例的設置如表2所示。根據聚類的結果以及為獲得均勻鋪排的錨點，將Conv4_3、Conv5_3、Conv_fc7和Conv6_2的錨點的大小依次為16、32、64和128。由于小目標的長寬比多為1，將Conv4_3的卷積層的長寬比只設置為一種比例形式，這樣可以明顯減少計算量。密排錨點的方法是對Conv4_3卷積層上的錨點進行重新設計來提高對小目標缺陷檢測的正檢率，設計方式如圖5所示。原始的錨點設計是以每個像素點為中心，在像素點的周圍設計長度和長寬比不同的錨點，如圖5(a)所示。而本方法是在彼此相鄰的四個像素點中間新增了一個長寬比為1的錨點，具體形式如圖5(b)所示。在(a)圖中，錨點與真實值間最大IOU(IntersectionoverUnion)值是A1，將錨點進行重新設計后，IOU的最大值變為A2，可以看出經過重新設計的錨點能夠獲得更大的IOU值，所以缺陷檢測中小型缺陷會獲得更大的IOU值，正檢率也會因此得到提高。1.3senet算法鑄件表面背景復雜，對模型的檢測會造成很大的干擾。為減少復雜背景的影響，在網絡中引入注意力機制，即在模型中增加一個Attention模塊，使模型對圖片特征的提取更加充分，并且缺陷相關特征所占的權重系數更大。本文采用的Attention機制來自于SENet算法(Squeeze-and-ExcitationNetworks),具體結構如圖6所示，SENet算法主要包括Squeeze和Excitation兩項操作對于Squeeze操作，需要在channel方向上進行全局的平均池化操作，把H*W的輸入特征圖轉化為1*1的特征圖，即將channel方向上的整個空間特征編碼為一個全局特征，公式如下： (1.1)式中：X獲得各channel方向上的全局特征后，Excitation階段模型需要學習各全局特征間的非線性關系，采用Relu激活函數來增加非線性的變化。同時為減少參數的計算量，在Relu操作前后采用2個全連接層結構，第一個全連接層主要進行參數壓縮的作用，第二個全連接層起到恢復原始維度的作用，其中壓縮系數為R；最后使用Sigmoid函數獲得各個channel上全局特征的權重大小W (1.2)Attention模塊放置于TCB模塊后，可以將經過特征整合后的特征圖在進行進一步的特征提取，獲得注意力特征圖。注意力的特征圖與TCB模塊輸出的特征圖相比，其對特征的提取會更加的充分，帶有缺陷特征會賦予更大的權重系數，因此將注意力特征圖輸入到ODM模塊中進行最終的檢測時復雜背景的干擾會得到明顯的降低。1.4冷隔缺陷端到端檢測方法深度學習模型在進行訓練時，需要保證各個類別間樣本的數量差距不能過大，否則會嚴重影響神經網絡的泛化能力。但是，各種缺陷工件的數量是極不平衡的。本文中冷隔缺陷的數量相比其他缺陷的數量相差10倍以上，導致冷隔缺陷無法和其余缺陷樣本一起進行訓練。為實現對冷隔缺陷端到端檢測的目的，本文提出一種將深度學習與輪廓發現相結合的端到端檢測方法。冷隔缺陷發生的位置在工件上是確定的，所以在數據集中增加一種類別，該類別為冷隔缺陷敏感區域，用于確定冷隔缺陷可能發生的位置。如圖7所示，將待檢測圖片輸入到神經網絡中，判斷該圖片是否存在冷隔敏感區域。若圖片中不存在冷隔敏感區域，則正常輸出神經網絡的檢測結果；否則根據網絡檢測的具體坐標對冷隔區域進行截取并對該區域進行輪廓發現處理，來判斷該區域是否發生冷隔缺陷。對于輪廓發現方法，待檢測圖片需要通過灰度化處理轉化為灰度圖；并對灰度圖進行二值化計算，具體計算如下： (1.3)其中X運用開操作運算，過濾掉二值化圖片中的小噪聲；最后進行發現輪廓操作，計算輪廓的面積，當輪廓的面積大于設定的閾值時，該工件判定為缺陷件，否則為無冷隔缺陷。1.5人臉檢測準確性技術針對小目標的檢測，一種較好的解決方法就是通過上下文信息來增加小目標檢測的準確率，如在人臉檢測中頭發的存在可以提高人臉檢測準確率針對上面出現的問題，提出一種對比訓練方法。為減少上下文信息的干擾，本文在數據集中新增加一類沒有缺肉缺陷的類別，使得網絡模型在訓練的過程中對這兩種類別進行對比訓練，通過不斷的迭代訓練使網絡辨別這兩種類別，進而判斷物體是否存在缺陷，達到降低誤檢率的目的。2數據集和評估指標2.1冷隔敏感區域圖片壓面在工廠內一共采集缺陷圖片為2500張，具體包括的缺陷類型有缺肉、縮孔、多肉、氣孔和冷隔缺陷等，額外包括冷隔敏感區域圖片305張。為增強模型的泛化能力，對所采集的數據集進行了數據增強操作，包括圖像的對稱、旋轉等2項操作，并且過濾掉一些效果較差的圖片后一共獲得7816張圖片，并將數據集按照8：1：1的比例劃分為訓練集、驗證集和測試集，部分缺陷圖片如圖9所示，各種類缺陷圖片數量如表3所示。2.2缺陷件或者是良品件本文選擇的模型評價指標分別為正檢率和MAP這2個評價指標。對于某個待檢測的圖片，該圖片的檢測結果只能是缺陷件或者是良品件，則正檢率指的是檢測正確的圖片數占檢測圖片的總數，即 (2.1)對于MAP，是用于衡量模型的一個綜合性指標， (2.2) (2.3) (2.4) (2.5)其中，TP指將正樣本識別為正樣本的數量，FP指將負樣本誤識別為正樣本的數量，FN指將正樣本誤判為負樣本的數量，c表示樣本中類別的數量。3結果3.1圖像采集模塊本文搭建的鑄件外觀缺陷實驗平臺如圖10所示，實驗平臺包括3大模塊，分別為圖像采集模塊、數據傳輸模塊和缺陷檢測模塊。在檢測的時候，當圖像采集模塊中的機械臂運動到工件的待檢測位置后，PLC控制器為視覺控制器發送信號，視覺控制器接收到信號后開始采集圖像。視覺控制器通過數據傳輸模塊的CPE（CustomerPremiseEquipment）設備連接到5G網絡，將采集的圖像通過5G網絡傳輸到缺陷檢測模塊的云端服務器。服務器端收到請求后，會對發送的圖片進行檢測，最后將檢測結果通過5G網絡反饋到視覺控制器終端來指導下一步的工作。3.2缺肉缺陷實驗為驗證對比訓練策略的實際效果，本文采用2種不同的訓練策略分別進行訓練，并將訓練后的權重系數保存下來進行測試。制作了含有200張圖片的測試集，其中包含100張缺肉缺陷圖片和100張無缺陷圖片。實驗結果如表4所示，從表中可以看出通過采用對比訓練策略，正檢率由88.5%提升至95%，其中錯檢數得到了明顯的改善，錯檢率由10.5%下降至1.5%。但是由于神經網絡在訓練的過程中需要對2種相似的物體進行區分，使得漏檢數得到小幅度的上升。但總體的正檢率獲得了6.5%的提升，取得了顯著的效果。可以看出通過采用對比訓練的策略，能夠明顯的降低背景信息對小缺陷檢測的影響。3.3錨點改進對比為驗證密排錨點設計的實際效果，在模型訓練的過程中，監測正樣本與GroundTruth之間的平均IOU值隨迭代次數的變化，如圖11所示。從圖中可以看出，在經過10000次左右的迭代后，密排錨點的IOU平均值明顯高于設計之前的IOU的平均值。這說明在訓練的過程中，GroundTruth會與其最適合的錨點進行位置損失的計算，會使模型訓練的更加充分，在檢測時回歸的位置會更加準確。為進一步驗證重新設計的錨點對召回率的影響，統計錨點設計前后測試集中圖片的召回率隨IOU的變化曲線圖，如圖12所示。從圖中可以看出，經過錨點重新設計的Refine-ACTDD模型明顯具有更高的召回率。實際檢測的效果如圖13所示，從對比的效果圖中可以看出，小型缺陷檢測的召回率得到明顯的改善。3.4athention機制對不同件外觀缺陷錯檢率的影響為驗證Attention模塊對復雜背景的鑄件外觀缺陷檢測的具體影響，在訓練集上分別對有無Attention模塊的模型進行了訓練和結果測試。由于復雜背景的干擾，會導致鑄件外觀缺陷檢測的錯檢率明顯提高，因此統計了模型在增加Attention機制前后各類別缺陷錯檢率大小，具體的結果如表5所示。從表中可以看出，在增加Attention機制后，縮孔和多肉缺陷的錯檢率得到較大的下降，分別降低了2.47%和2.5%，這主要是因為鑄件外觀的背景形狀和顏色等與縮孔缺陷和多肉缺陷相似，因此上述2種缺陷更易受到背景的干擾，檢測結果如圖14所示。從圖中可以看出，增加Attention機制后可以明顯減少工件表面的特殊形狀、顏色和切削液殘留等復雜背景的干擾，能夠降低鑄件外觀缺陷的錯檢率。3.5模型檢測性能分析為驗證Refine-ACTDD算法模型的整體效果，將其與原算法RefineDet和目前廣泛應用于工業界的目標檢測算法Faster-RCNN和YOLOv3算法進行對比實驗。在模型訓練后，對上述算法的Recall和Precision進行了統計，選取2種典型的缺陷類型，分別是小體積缺陷的缺肉缺陷和較大體積缺陷的多肉缺陷，其Precision-Recall曲線如圖15、16所示。從Recall-Precision的曲線圖中可以看出，Refine-ACTDD相比RefineDet、YOLOv3和Faster-RCNN具有較好的性能。模型檢測的正檢率和MAP如表6和表7所示，從表中可以看出，Refine-ACTDD具有最高的平均正檢率95.44%，與YOLOv3、Faster-RCNN和RefineDet相比，平均正檢率分別高出16%、1.94%和2.62%，MAP分別高出17.9%、11.82%和3.3%。如圖17所示，YOLOv3以0.015s的檢測時間在上述算法中具有最快的檢測速度，但是正檢率表現較差；Faster-RCNN具有較高的正檢率但檢測時間確高達0.039s；Refine-ACTDD相比于RefineDet僅以0.003s的時間代價獲得最高的正檢率，并且檢測的時間明顯快于Faster-RCNN算法，這說明Refine-ACTDD算法兼具高的正檢率和檢測效率。具體檢測的效果圖如圖18所示，結合曲線圖15、16可以看出來，Refine-ACTDD無論檢測較大缺陷還是小型缺陷都表現較好，與RefineDet算法相比，其在小缺陷的檢測上效果得到了提升。Faster-RCNN在小型缺陷檢測上具有較高的召回率，但是由于鑄件外觀復雜的背景干擾，因而鑄件的背景也會誤判為缺陷，導致MAP較低。YOLOv3算法在小型缺陷的檢測方面表現較差，漏檢數較多。Refine-ACTDD算法通過密排錨點的設計和注意力機制的加入，較好解決了上述問題。4小樣本缺陷檢測算法本文提出了一種基于深度學習的缺陷外觀缺陷檢測算法。該算法基于RefineDet算法進行改進，采用密排錨點的方法，提高了小型缺陷檢測的召回率