ICS31.180

CCSL30

團體標準

T/CIXXXX—XXXX

IC封裝基板圖像檢測系統技術規范

TechnicalspecificationforimageinspectionsystemofICpackagesubstrateon

（征求意見稿）

在提交反饋意見時，請將您知道的相關專利連同支持性文件一并附上。

XXXX-XX-XX發布XXXX-XX-XX實施

中國國際科技促進會發布

T/CIXXXX—XXXX

目次

前言.................................................................................II

引言................................................................................III

1范圍...............................................................................1

2規范性引用文件.....................................................................1

3術語和定義.........................................................................1

4IC封裝基板光學檢測裝置.............................................................2

5基于主要距離的空域融合主板拼接方法.................................................4

6基于匹配特征融合的SMT貼片元件缺陷檢測框架.........................................6

7基于元遷移學習和多尺度融合網絡SMT貼裝小樣本缺陷分割框架...........................7

8緩解遺忘性的圖像增量學習分類方法..................................................10

9基于能量分布的未知異常樣本檢測方法................................................11

I

T/CIXXXX—XXXX

IC封裝基板圖像檢測系統技術規范

1范圍

本文件規定了IC基板封裝光學檢測裝置、基于主要距離的空域融合主板拼接方法、基于匹配特征融

合的SMT貼片元件缺陷檢測框架和基于元遷移學習和多尺度融合網絡SMT貼裝小樣本缺陷分割框架要求，

提供了緩解遺忘性的圖像增量學習分類方法和基于能量分布的未知異常樣本檢測方法。

本文件適用于工業IC封裝基板及SMT貼裝圖像檢測系統的研究、設計、技術路線，可作為IC封裝基

板和SMT貼裝自動光學檢測系統設計與研究的技術依據。

2規范性引用文件

本文件沒有規范性引用文件。

3術語和定義

下列術語和定義適用于本文件。

RGB三色光源RGBthree-colorlightsource

一種通過將紅、綠、藍三種顏色的光混合在一起來產生各種不同顏色的模式。

IC基板封裝ICsubstratepackage

將硅片上的電路管腳用導線接引到外部接頭處，以便與其它器件連接的裝置。

注：封裝基板不僅能保護電路、固定線路并導散余熱，還為芯片與PCB之間提供電子連接。

印刷電路板printedcircuitboard

電子元器件的支撐體和電氣連接的載體。它采用電子印刷術制作，因此被稱為“印刷”電路板。

表面貼裝技術surfacemountedtechnology

通過一定的工藝、材料將表面貼片元件貼裝在印刷電路板上的電子組裝技術，是現代電子產品制造

中的關鍵工藝技術之一。

自動化光學檢測automatedopticalinspection

一種高速、高精度的光學影像檢測系統，它運用機器視覺技術作為檢測標準。

注：這種檢測系統可以改良傳統上使用人力和光學儀器進行檢測的缺點，廣泛應用于各個領域，包括高科技產業的

研發和制造品管，以及國防、民生、醫療、環保、電力等領域。

卷積神經網絡convolutionalneuralnetwork

一類包含卷積計算且具有深度結構的前饋神經網絡。

增量學習incrementallearning

一個學習系統能不斷地從新樣本中學習新的知識，并能保存大部分以前已經學習到的知識。

注：增量學習非常類似于人類自身的學習模式，是一個逐漸積累和更新的過程。

元遷移學習meta-transferlearning

涉及在不同學習環境中傳輸知識，以解決復雜的學習任務，其核心理念是從一個任務學習另一個任

務，其中一個任務被稱為源任務，另一個任務稱為目標任務。

1

T/CIXXXX—XXXX

4IC封裝基板光學檢測裝置

表面貼裝技術所用貼裝元件比起之前的插孔元件來說要微小得多，由于IC封裝與SMT貼裝元件

的體積和重量只有傳統插裝元件的1/10左右，因此利用SMT技術生產的電子產品整體體積縮小約40%～

60%，相應地，重量減輕60%～80%，檢測各種微小的電氣元件是否正確貼裝以及其電氣連接點焊接情況

的好壞目前一般采用自動光學檢測技術。

將自動光學檢測技術用于表面貼裝元件檢測需要獲取可靠的PCB主板成像圖片，現有的可見光直

接成像技術由可見光相機直接成像，每個成像像素由RGB插值得到,會導致像素損失，以及帶來PCB板

成像的分辨率不高的問題，同時由于貼裝元件焊盤會呈現弧度，采用單一方向光源照射難以對焊盤焊錫

質量全方位成像，不能夠保證整塊PCB板受到均勻光照，會帶來由于視角不同、照明差異所導致成像不

一致的問題。

如圖1所示，IC基板封裝光學檢測裝置包括固定支架1、圖像采集機構2和光源機構3，圖像采集機構

2設置在固定支架1上并且能夠在豎直方向上上下移動，該圖像采集機構2的圖像采集鏡頭豎直朝下，能

夠調整圖像采集鏡頭到PCB距離，實現成像視窗范圍的調整，光源機構3設置在固定支架1上，該光源機

構3位于圖像采集機構2鏡頭的正下方，光源機構3在豎直方向上上下移動并且向下垂直發射出紅色、綠

色、藍色三段環形照明光照射，實現處于不同高度對電路板進行照射，得到更高成像分辨率，因為現有

采用可見光直接成像技術，每個成像像素由RGB插值得到（1R,2G,1B）,存在像素損失，導致成像分辨率

不高的問題，通過采用紅色、綠色、藍色三段環形照明處于不同的高度對電路板進行照射，每個像素由

RGB分別單獨成像合成（4R,4G,4B），可以得到更高成像分辨率，同時保證整塊電路板受到均勻光照，

避免由于視角不同、照明差異所導致成像不一致。

標引序號說明：

1——固定支架；

2——圖像采集機構；

3——光源機構；

11——兩個U型架；

12——基座連桿；

13——兩個固定桿

14——第一滑動移桿

15——第二滑動移桿

21——工業相機

31——半球環形裝置。

圖1IC封裝基板光學檢測裝置

2

T/CIXXXX—XXXX

標引序號說明：

3——光源機構；

31——紅色環形LED發光二極管燈帶；

32——綠色環形LED發光二極管燈帶；

33——藍色環形LED發光二極管燈帶；

34——藍色環形LED發光二級管燈帶。

圖2IC封裝基板光源機構

如圖1所示，固定支架1包括兩個U型架11、基座連桿12、兩個固定桿13、第一滑動移桿14和第二滑

動移桿15，U型架11的開口都朝下并且均豎直設置，基座連桿12水平布置，基座連桿12與兩個U型架11的

上表面均固定連接，兩個固定桿13分別固定連接在基座連桿12下表面的兩側，兩個固定桿13與基座連桿

12所在的平面垂直，兩個固定桿13的相對側一面分別都設有滑槽，第一滑動移桿14在兩個固定桿13上的

滑槽滑動上，并且第一滑動移桿14的兩端在滑動結束后通過螺栓固定住，第一滑動移桿14水平布置，第

二滑動移桿15在兩個固定桿13上的滑槽上滑動，并且第二滑動移桿15的兩端在滑動結束后通過螺栓固

定住，所述第二滑動移桿15也水平布置，第一滑動移桿14在第二滑動移桿15的上方，即第一滑動移桿14

和第二滑動移桿15在松開螺栓時可以上下滑動，滑動到需要的位置時通過螺栓將其固定。

如圖1及圖2所示，所述圖像采集機構2為工業相機21，該工業相機21與第一滑動移桿14固定連接，

工業相機21拍攝時的拍攝鏡頭垂直向下，光源機構3包括半球環形裝置31、紅色環形LED發光二極管燈帶

32、綠色環形LED發光二極管燈帶33和藍色環形LED發光二極管燈帶34，半球環形裝置31與第二滑動移桿

15固定連接，半球環形裝置31橫截面小的部分朝上，紅色環形LED發光二極管燈帶32、綠色環形LED發光

二極管燈帶33和藍色環形LED發光二極管燈帶34在半球環形裝置31從上而下依次緊貼，工業相機21和半

球環形裝置31處在同一個軸線上。

在具體實施過程中，檢測人員首先將該裝置安裝在PCB傳送平臺的上方，使得工業相機21的視角正

對于PCB的主體部分，松開第一滑動移桿14兩端的螺栓，使第一滑動移桿14在固定桿13上上下滑動，調

整工業相機21到的距離來實現成像視窗范圍調整，將紅色環形LED發光二極管燈帶31、綠色環形LED發光

二極管燈帶32以及藍色環形LED發光二極管燈帶33通過電源線與光源控制器連接后，在光源控制器打開

紅色環形LED發光二極管燈帶后，工業相機21采集PCB成像，然后光源控制器打開綠色環形LED發光二極

管燈帶，工業相機21采集PCB圖像，最后光源控制器打開藍色環形LED發光二極管燈帶，將第二滑動移桿

15兩端的螺栓松開，調節光源機構3的高度，使得不同高度的光源機構3對電路板進行照射，可以得到更

高的成像分辨率，同時保證整塊電路板受到均勻光照，避免由于視角不同、照明差異所導致PCB成像不

一致，至此完成一個視窗下的PCB成像采集，如此循環此操作直至所有視窗拍攝完畢。

工作過程：檢測人員首先將該裝置安裝在PCB傳送平臺的上方，使得工業相機21的視角正對于PCB的

主體部分，松開第一滑動移桿14兩端的螺栓，使第一滑動移桿14在固定桿13上上下滑動，將紅色環形LED

發光二極管燈帶32、綠色環形LED發光二極管燈帶33以及藍色環形LED發光二極管燈帶34通過電源線與

光源控制器連接后，在光源控制器打開紅光照射后，工業相機21采集PCB成像，然后光源控制器打開綠

3

T/CIXXXX—XXXX

光照射后，工業相機21采集PCB圖像，最后光源控制器打開藍光照射，同樣方式調整第二滑動移桿15豎

直上下移動，得到更高成像分辨率，完成一個視窗下的PCB成像采集，依此循環。

5基于主要距離的空域融合主板拼接方法

圖像拼接策略

圖像拼接分為硬拼接和軟拼接，硬拼接依賴既定的偏移量將兩幅圖像的像素直接疊加實現拼接，軟

拼接則依賴于拼接算法將兩幅不同視角的圖像置于統一的坐標系中，再通過像素映射實現拼接。基于主

要距離的空域融合主板拼接算法對以下內容進行了研究：

a)基于SURF匹配對的主要距離法，彌補了硬拼接過程中偏離量無法實時調整的不足；

b)基于空域的像素加權融合法，對光照不均造成的拼接縫兩邊明顯色差進行有效處理。

圖像預處理

采用多種濾波器復合處理的解決方案，即先對原始圖像進行雙邊濾波，再經過一次中值濾波。

a)雙邊濾波是在高斯濾波的基礎上加入了像素值權重項，能夠很好地對圖像進行平滑處理以濾

除高斯噪聲，并且還能夠很好地保留圖像的高頻細節，公式如下：

?∑?(?,?)?(?,?,?,?)

g(x,y)=?,?·······························································(1)

∑?,???(?,?,?,?)

式中：

g(x,y)——濾波后的輸出像素點；

f(k,l)——輸入像素點；

ω(x,y,k,l)——空間域核與像素范圍域核的乘積；

o(x,y,k,1)——定義域核與值域核的乘積。

(x?k)2+(y?l)2∥f(x,y)?f(k,l)∥2

ω(x,y,k,l)=exp[?2?2]………(2)

2σ2σ

dr

式中：

σ——空域高斯函數的標準差；

d

σ——值域高斯函數的標準差；

r

f(k,l)——核函數作用域內的某一點；

f(x,y)——核函數作用域內的中心點。

b)中值濾波是把數字圖像一點的值用該點的一個鄰域中各點值的中值代替，對處理椒鹽噪聲非

常有效，公式如下：

median

g(x,y)=(?,?)∈?{?(?,?)}·······························································(3)

式中：

g(x,y)——濾波后目標像素點的灰度值；

f(s,t)——鄰域S中像素灰度值。

SURF特征點提取

AOI系統中的PCB圖像在拍攝過程中是通過置物臺的平移逐步獲取的，因此相鄰圖像間具有非常良

好的平移特性，同時移動過程中的輕微震動導致小角度的偏移，又使得兩幅圖像間出現一定的旋轉變換。

PCBA主板上的存在著各種元器件、孔位、錫膏和字符等，經過平移旋轉變換后能夠產生大量穩定的點特

征，利用好圖像間重疊部分的這些特征，將對拼接算法有著非常重要的意義，SURF特征提取算法在PCB

圖像中表現最佳，兼顧了速度和穩定性。

a)在原始圖像的基礎上構建尺度空間。SURF首先將原圖轉換為積分圖像，對于圖像中某一點P(x,

y)，其在積分圖像上的值為：

?≤??≤?

??(?)=∑?=0∑?=0?(?,?)·······························································(4)

式中：

4

T/CIXXXX—XXXX

I——融合后的像素點；

ω——權重系數，范圍為[0,1]，表示由原點和該點組成的矩形區域內所有像素的總和。

b)在此基礎上，采用Hessian矩陣建立盒式濾波器（BoxFilter），來近似替代高斯二階濾波

器，其中Hessian矩陣的數學表達式為：

?2??2?

??2????

?=||································································(5)

?(?,?)?2??2?

??????2

式中：

f(x,y)——圖像中某一點的灰度值。

c)將盒式濾波器帶入Hessian矩陣，得到下式：

???(?,?)???(?,?)

?(?,?,?)=[]·····················································(6)

???(?,?)???(?,?)

式中Dxx、Dxy和Dyy分別代表盒式濾波器的三個濾波模板。然后計算該行列式的值，得到：

2

???(?)=???(?)=??????????(2?4)···············································(7)

為了平衡近似代替的誤差，通常要在Dxy前乘上一個加權系數0.9。如果將???(?)作為判別項，則可

以根據其正負性得出點(x,y)是否是極值點。

特征點精確定位

5.4.1通過盒式濾波器建立起圖像的尺度空間后，對像素點可以計算出其近似的海森矩陣行列式的正

負性，從而判斷該點是否為極值點。然后再將其與3x3x3的鄰域內其他26個點比較，如果為最大值或

者最小值，就可以初步判斷為關鍵點。由于像素值是離散的，通過濾波模板擬合的連續空間內的極值點

可能處在兩點中間，因此需要采用二次插值來確定亞像素級特征點的精確位置。

5.4.2在特征點的半徑為6S（S為特征點所在的尺度值）的圓形鄰域內，統計所有其他點在垂直和水

平兩個方向的Harr小波（Harr小波模板邊長為4S）響應，再對響應值進行高斯函數加權，得到該點在

兩個方向上的方向權重。將整個圓域等分為6份扇形區域，分別統計通得到該區域內的最大分量，以最

大分量的方向為特征點的主方向。

5.4.3在以特征點為中心，周圍20S*20S的正方形鄰域內建立笛卡爾坐標系，Y軸為特征點主方向。

再將該區域劃分為4*4個子塊，每個子塊大小為5S*5S，統計每個子塊內像素點在垂直和水平方向的

Harr小波響應值之和，包括四個分量∑??、∑??、|∑??|和|∑??|，得到一個4x4x4共64維的特征點

描述向量。最后對其歸一化處理以消除光照影響，得到特征點描述子。

SMT子圖特征點粗匹配

5.5.1采用KNN算法對SURF算法提取的兩幅待拼接圖像特征點進行配對。在建立兩幅圖像的兩個特

征點的集合M和N后，下一步需要對兩個集合內的特征點建立一對一的配對關系。具體來說，將兩幅圖

像的特征點集合分別看成訓練集和查詢集，K值設為2，遍歷訓練集中的特征點，對每個點在查詢集中

尋找其配對的兩個點。配對的原則為兩點之間的歐氏距離，因此，訓練集中的每個特征點配對的將是查

詢集中與其歐氏距離最近和次近的特征點，距離分別為d0和d1。然后對距離比r進行評估:

?0

?=················································································(8)

?1

如果r的值小于某個閾值，就保留該對匹配點，反之，則拋棄。r的值越小，說明匹配度越高。

由于PCB重疊主要是因為平移變換造成的，而偏移距離在PCB圖像的采集過程中不斷變化，無法用手

動設定的值來確定。經過上述論證，采用SURF提取的特征點在配對后，如果將兩幅圖像直接拼接在一起，

那么匹配點之間的線段長度就是偏移距離。對所有線段長度進行統計，將會得到一個距離分布直方圖。

通過實驗發現，絕大部分的線段長度分布在一個較穩定的范圍內，我們將范圍定義為主要距離，而錯誤

匹配的長度偏差較大，將其他不在該范圍內的匹配對剔除。

5.5.2將主要距離進一步細化，得到精確到像素單位的匹配點距離分布直方圖。通過在硬拼接的流程

中，每次用SURF算法計算兩張待拼接圖像間的匹配對主要距離中的眾數作為偏移量。

5.5.3基于OpenCV庫中的concatenate函數進行相鄰圖像融合，每次拼接兩幅相鄰圖像。具體來說，

對于列拼接，按照設定的列偏移，將左圖的重疊區域截斷，再將右圖與截斷后的左圖通過concatenate

5

T/CIXXXX—XXXX

函數拼接，得到兩張圖拼接的中間圖，再將此中間圖作為下一次拼接的左圖，與下一張相鄰的圖像拼接，

依次類推，完成整個列的拼接；對于行拼接，同理。

5.5.4為消除因光照不均造成的拼接縫兩邊明顯色差。將拼接縫兩邊一定范圍內的像素分別用兩張圖

像的原像素加權得到，在空域上進行圖像融合，能夠很好地解決該問題。假設待拼接的兩張圖像分別為

A和B，I1和I2分別代表A和B中的像素點，則像素加權法過程為：

?1(?,?)(?,?)∈?,?∩?=?

?(?,?)={??1(?,?)+(1??)?2(?,?)(?,?)∈?∩?,?∩?≠?··························(9)

?2(?,?)(?,?)∈?2,?∩?=?

式中：

I——融合后的像素點；

ω——權重系數，范圍為[0,1]。

5.5.5采用SURF算法提取出待拼接圖像的特征點并配對，再計算出匹配對之間的歐氏距離，取數量占

比最多的距離長度為主要距離作為硬拼接的偏移量。巧妙地結合了硬拼接與軟拼接的優勢，能夠適應

PCB圖像在采集過程中偏移距離不斷變化的情況，且擁有非常快的拼接速度，滿足SMT工業場景中圖像

拼接的要求。

6基于匹配特征融合的SMT貼片元件缺陷檢測框架

在元件貼裝環節，電子貼片元件通過錫膏焊接在PCB板上后，需要對元件貼片的質量進行檢測，

如檢查是否有立碑、位移、空焊等缺陷。檢查這些缺陷是SMT生產線中非常重要的一步，現有的工業缺

陷檢測主要分為人工目檢和自動化光學檢測（AutomatedOpticalInspection，簡稱AOI）。即經過AOI

檢測之后，進行人工復判。

首先將貼片元件的模板圖像與貼片元件的待測圖像組成貼片元件樣本，并根據貼片元件樣本中的

兩個圖像的類型，為貼片元件樣本設置標簽。從貼片元件的模板圖像集中隨機選擇一張模板圖像Iz，與

從貼片元件的待測圖像集中隨機選擇的一張待測圖像IT，組成貼片元件樣本{Iz,IT}；如果貼片元件樣本

中兩個圖像對應的貼片元件屬于同一類別，標簽設置為0；如果貼片元件樣本中兩個圖像對應的貼片元

件不屬于同一類別，標簽設置為1。每一張待測圖像都可以與一張模板圖像配對組成一個訓練樣本。

將貼片元件樣本中的兩個圖像分別輸入到兩個相同的編碼器網絡中，得到模板圖像的深度特征p1、

待測圖像的深度特征p2，并得到模板圖像和待測圖像的語義差異映射特征D(p1,p2)。

設計兩個相同的編碼器網絡Encoder，每個編碼器網絡Encoder包含四層卷積層Conv0、Conv1、Conv2、

Conv3。通過卷積等操作分別從模板圖像和待測圖像中提取深度特征p1、p2。通過對提取的深度特征p1、

p2應用一個相關操作模塊，得到模板圖像和待測圖像的語義差異映射D(p1,p2)：

nii

∑i=0p1×p2

D(p1,p2)=1?·······················································(10)

√ni2ni2

∑i=0p1×∑i=0p2

式中：

i

p1——p1的第i個特征維度；

i

p2——p2的第i個特征維度；

n——p1、p2的特征維度總數。

利用語義差異映射特征D(p1,p2)與深度特征p1,p2融合，將得到的融合特征F送入解碼器網絡進行缺

陷分割，輸出待測圖像的缺陷檢測結果。采用特征擴展操作實現對語義差異映射特征D(p1,p2)與深度特

征p1,p2的融合，融合特征記作F。將融合特征F送入解碼器網絡Decoder進行SMT缺陷分割，解碼器網絡

Decoder包含四層卷積層Conv4、Conv5、Conv6、Conv7和三層上采樣層Up1、Up2、Up3組成，結構為

{Conv4,Up1,Conv5,Up2,Conv6,Up3,Conv7}；最后連接一個Softmax層，輸出SMT缺陷概率。

通過損失函數loss對缺陷檢測模型的網絡參數進行訓練，當貼片元件樣本{Iz,IT}的標簽為1時，表

明圖像Iz、IT對應的貼片元件類型不同，因此期望它們的特征在特征空間中的距離盡可能大；設置一個

最大距離M，當D(p1,p2)>M時，表示特征之間的距離足夠大，即這兩個貼片元件差距越大。同理，當

貼片元件樣本{Iz,IT}的標簽為0時，表明圖像Iz、IT對應的貼片元件類別相同，因此期望它們的特征在

特征空間的距離盡可能小。損失函數loss設為：

6

T/CIXXXX—XXXX

NiNii

loss=∑i=0(Y,p1,p2)=∑i=0(1?Y)Ls(D)+Y×LDmax{0,(M?D)}······················(11)

式中：

i

(Y,p1,p2)——第i個標記的貼片元件樣本；

Y——第i個貼片元件樣本的標簽；

N——貼片元件樣本的個數；

Ls、LD——常量，默認值是0.5。

設定當D(p1,p2)>M時，損失函數值為0，以簡化計算。根據損失函數loss，訓練缺陷檢測模型，進

行參數調整。

將訓練完成的缺陷檢測模型用于待測圖像的SMT缺陷檢測。在檢測時，選擇與待測圖像具有相同

貼片元件類型的模板圖像，將待測圖像和模板圖像輸入至缺陷檢測模型，當兩個圖像的相似概率大于閾

值時，判斷待測圖像對應的貼片元件為正常。基于匹配特征融合的SMT貼片元件缺陷檢測框架如圖3所

示。

圖3基于匹配特征融合的SMT貼片元件缺陷檢測框架

7基于元遷移學習和多尺度融合網絡SMT貼裝小樣本缺陷分割框架

整體框架

基于元遷移學習和多尺度融合網絡SMT小樣本缺陷分割框架如圖4所示。

圖4基于元遷移學習和多尺度融合網絡SMT貼裝小樣本缺陷分割框架

7

T/CIXXXX—XXXX

獲取預訓練采用的數據集為公共的COCO數據集以及小樣本SMT貼裝元件采集圖像。元學習采用的數

據集使用來自筆記本生產工廠流水線實際采集到的6類缺陷，分別是缺件、偏移、假焊、少錫、側立、

立碑。

預訓練采用的數據集為公共的COCO數據集，COCO數據集是一個80類別的大規模數據集。COCO-stuff

用像素級的東西注釋增強了流行的COCO數據集。這些標注可用于場景理解任務，如語義分割、目標檢測

和圖像描述。

框架構建

7.2.1預訓練

大規模數據上的預訓練，即使用公共數據集進行訓練。首先初始化一個特征提取器Θ和一個分類器

θ，然后通過梯度下降對它們進行優化，如下所示：

[?;?]=[?;?]??▽??([?;?])·······················································(12)

特征提取器Θ:預訓練過程中用到的特征提取器，比如預訓練用到了COCO數據集，有80個類別，那么

Θ就是將輸入轉換為一個80維度的特征向量。分類器θ是用來做維度轉換的，比如我們最后小樣本分類

是一個5分類，那么分類器θ作用就是將80維度的特征向量轉換為5維。

其中L為以下損失函數：

1

?([?;?])=∑?(?(?),?)··················································(13)

?|?|(?,?)∈?[?;?]

式中：

?[?;?](?)——預測值；

y——真實值；

D——數據個數。

之后預訓練學習到的分類器θ將被丟棄，因為隨后的幾次任務包含不同的分類目標，例如后面的2類

小樣本分割任務，不同于COCO的80個類別。

7.2.2元學習訓練

SS操作表示為ΦS1和ΦS2，在學習過程中不改變預訓練階段訓練的凍結神經元權值，而FT更新完整

的網絡。將Φs1初始化為weight同維度的全1向量，Φs2初始化為bias同維度的全0向量，然后分別擴展

為和weight、bias的同尺度，然后分別和weight和bias按元素相乘：其中Θ是特征提取器，θ是基學習器。

整個訓練過程可以分為兩個階段，首先將數據集分為支持集和查詢集，T(支持集)的損失通過梯度

下降來優化當前的基礎學習器(分類器)θ'，公式如下：

’

(??)(14)

?←???▽???([?;?],??1,2)······················································

式中：

?——用于特征映射的基礎學習器；

?——學習率；

——縮放參數；

??1

——位移參數。

??2

T(查詢集)的損失通過梯度下降來優化當前的元學習器SS，公式如下：

′

??=:??????L(??)([?;?],??)··················································(15)

?????{1,2}

式中：

?——學習率；

′

(??)——損失函數；

L?([?;?],??{1,2})

??——梯度。

??

7.2.3元測試

在元遷移測試階段，將測試數據的支持集送入網絡，調整基礎學習器，隨后將查詢集送入網絡，得

到最終的分割結果。在元遷移學習的訓練階段始終沒有調整過預訓練的特征提取器，所以就避免了“災

難性的遺忘”問題，同時只調整縮放和位移參數，加快了網絡的訓練。

8

T/CIXXXX—XXXX

元遷移學習框架構建

7.3.1特征圖融合

構建元遷移學習的框架，多任務學習框架包括用VGG作為主干網絡，其中有5個編碼器塊得到五個初

步特征圖(Fi,i∈{1,2,3,4,5})。首先，我們分別對每個編碼器塊的特征映射進行3×3卷積，將通道

減少到64個，這樣可以減少后續操作所需的參數數量，同時可以幫助后續進行融合特征。接下來，將這

些不同級別的特征分別輸入到上一層網絡，逐步進行融合，最后得到5個增強特征圖(Leveli,i∈

{1,2,3,4,5})，高層的特征圖聚合了更多的特征，底層的特征圖有更多的語義信息。

最后，每個Leveli逐步融合并生成最終預測。任意兩層之間的融合可以表示為：

SU=Conv(|FA?FB|································································(16)

式中：

Fa——進行融合的第一個特征圖；

Fb——進行融合的第二個特征圖；

☉——按元素相減，可以更好的提取兩層網絡的差異；

||——取絕對值；

Conv——3*3的卷積。

不采用常規的拼接融合操作，而是更加注重提取不同層次網絡之間的差異信息。

7.3.2元學習損失函數設計

損失函數主要包括預訓練階段的損失函數，元學習階段的損失函數，其中預訓練階段的損失函數和

元學習階段的損失函數采用交叉熵損失、Diceloss和Focalloss的組合形式：

Lpre=Lce+Ldice+Lfocal·····························································(17)

式中：

LDicecoff——相似系數損失函數，見公式（17）；

LFocal——Focal損失函數，見公式（18）；

Llogic——邏輯損失函數，見公式（19）。

2|X∩Y|+ε

L=···································································(18)

Dicecoff|X|+|Y|+ε

式中：

X——預測樣本正例的面積；

Y——真實樣本正例的面積；

ε——防止分母為零設置的參數。

γ

LFocal=?α(1?p)log(p)····························································(19)

式中：

α——對不同類別的樣本進行減重的參數；

γ——調制系數；

p——樣本的預測值。

1

L=?∑[ylog(g(x))+(1?y)log(1?g(x))]·······································(20)

logicnii

式中：

yi——標簽的樣本值；

g(x)——真實的樣本值。

7.3.3元遷移測試

將測試數據集中的小樣本PCB圖像輸入到元遷移學習框架，得到最終分割結果。結果采用MIOU進行

度量，其通過計算兩組真值和預測值的相交和并的比率。公式如下：

1????

????=∑?=0??···················································(21)

?+1∑?=0???+∑?=0???????

9

T/CIXXXX—XXXX

式中：

pij——預測為j的真值i的個數；

K+1——類的個數(包括空類)。

i是實數。則pij和pji分別表示假陽性和假陰性。分別測試在1shot，2shot，3shot，5shot，10shot

下的miou做為評估指標。

8緩解遺忘性的圖像增量學習分類方法

緩解增量學習中遺忘性危機的深度學習圖像分類算法利用自適應聚合網絡來保證模型不會增長的

同時，采用蒸餾學習來共同緩解增量學習中對于舊知識的遺忘問題。

緩解遺忘性的圖像增量學習分類算法結構如圖5所示，其中藍色的部分被稱作塑性模塊，用來存放

新類圖片的知識參數，黃色的部分被稱作穩定模塊，用來存放舊類圖片的知識參數，塑性模塊與穩定模

塊分別是兩個卷積神經網絡的部分層，這個卷積神經網絡可以是ResNet也可以是ResNext等。將圖片分

[1][1][1][1][1]

別輸入兩個卷積神經網絡，將某一層后的輸出引出之后分別得到??與??，經過運算?????+???

[1]

??后輸入兩個卷積神經網絡之后的層，再分別將之后的層的輸出繼續進行上述運算之后再輸入到下一

[1][1]

個層，以此類推，其中??與??代表第一個塑性模塊與穩定模塊的自適應聚合權重，這些權重的數值可

以自適應學習優化。

圖5自適應聚合網絡結構

初始訓練階段時，塑性模塊部分的卷積神經網絡參數以及所有的自適應聚合權重均是不能訓練的。

此時，將部分基類的圖像數據送入穩定模塊部分的神經網絡進行訓練，優化目標為：

?=???????(??????,??????)························································(22)

式中：

?——穩定模塊部分神經網絡的網絡參數；

?(·)——交叉熵損失函數。

在增量學習階段，穩定模塊部分的參數將被凍結，即不再變化。并先訓練塑性模塊的網絡模型參

數，優化目標為：

?=???????(??????,??????)························································(23)

式中：

?——塑性模塊的網絡模型參數。

在塑性模塊的網絡模型參數收斂之后，也將之暫時凍結，并隨機初始化自適應聚合權重，將圖像同

時輸入兩個神經網絡，并優化自適應聚合權重。優化目標為：

[?][?]

??,??=???????(?,?;??????,??????)··············································(24)

式中：

[?][?]

??和??——各個塑性模塊和穩定模塊的自適應聚合權重；

?(·)——交叉熵損失函數。

需要說明的是，此時的訓練數據為以往訓練的舊類圖像中具有代表性的圖像以及當前的最新圖像

的合成數據集，其中舊類圖像中具有代表性的圖像可以通過各種經典的增量學習算法來獲取，例如iCaRl、

LwF、LUCIR或者數據集蒸餾等。當自適應聚合權重優化完畢之后繼續進行增量學習，此時的優化目標為：

[?][?]

?=???????(?;??,??;??????,??????)··············································(25)

10

T/CIXXXX—XXXX

當增量學習進行到一定的程度時，自適應聚合參數并不能保證輸出的準確性了，即此時的遺忘性危

機比較嚴重了，這時就需要進行蒸餾學習階段。

在蒸餾學習階段，將模型的全部參數凍結，并按照穩定模塊的神經網絡模型的參數復制一個相同

的模型出來，但是參數可變，且輸出與自適應聚合權重無關。將舊類代表圖像與新類圖像同時輸入自適

應聚合網絡以及復制的穩定模塊網絡，分別得到輸出???????與???????，將???????作為復制的穩定模

塊網絡的期望輸出優化網絡參數，優化目標為：

[?][?][?][?]

?=????????(?,?;??,??;???????,???????)+?????????(?,?;??,??;??????,???????)(26)

式中：

??(·)——蒸餾損失函數；

?(·)——交叉熵損失函數；

?——超參數；

?——復制的穩定模塊網絡。

在復制的穩定模塊網絡參數收斂之后，再將復制的穩定模塊網絡參數傳遞給自適應聚合網絡中的

穩定模塊參數。接著即可繼續重復增量學習步驟，這樣就一定程度上緩解了增量知識過多帶來的遺忘性

危機。

9基于能量分布的未知異常樣本檢測方法

基于T能量分布的未知異常樣本檢測方法基于能量的傳輸機制ET和簇間擴展策略Lrep組成，為

部分未標記的符合已知缺陷類別的PCBA樣本分配正確的缺陷類標簽，然后讓他們參與聯合訓練。ET

引入能量分數作為不確定性度量，并估計基于不確定性的傳輸成本，以引導所有樣本的集群分布。為了

進一步促進logit空間中的區分度，不確定性能夠顯著反映已知/未知缺陷類別樣本之間的差異，集群

間擴展策略增強了混合已知和未知缺陷樣本的全局特征表示，然后增強的表示將被映射到更具區分度

的logits中。

同已知PCBA缺陷類別檢測不同，期目標在未知缺陷樣本的干擾下分配標簽，提出了一種基于logit

空間的基于能量的傳輸（ET）機制，以更充分地探索未標記集中的語義差異和隱藏的知識。

具體來說，以與分類器????并行的方式引入K維度的OT聚類器記為???，用于將訓練樣本聚類為

K個簇中心。對于給定的N個樣本?∈{?1,?2,...,??},以及通過骨干網絡提取的特征編碼?∈

{?1,?2,...,??}，定義第i個樣本所屬族類概率：

?(c|??)=softmax(???(??))···························································(27)

式中：

c——一個K維度的向量，用來表示K個簇。

KxN

然后將最優傳輸問題中的成本矩陣定義為P∈?以及公式（27）表示??屬于??的概率，其中??是

KxN

第j個簇。同樣，將Q∈?表示為分配矩陣，公式（28）表示??分配給??的后驗概率。需要注意的是，

分配矩陣Q僅表示將某個簇分配給每個樣本，而不是直接為分類訓練分配標簽。當我們使用N維向量β

表示N個樣本和K維向量α表示K個簇的分布時，傳輸多面體中分配矩陣Q的所有可行解可以表示為

公式（29）：

???=?(??|??)·······································································(28)

???=?(??|xi)·······································································(29)

KxN

T

U(α,β):={Q∈?|Q?N=α,Q?K=β}·············································(30)

式中：

?——相應維度的全1向量；

α——矩陣Q在其行和列上的邊際投影；

β——矩陣Q在其行和列上的邊際投影。

N

隨后引入用于區分已知和未知缺陷類別的能量分數e∈?引入傳輸優化模塊，其定義如下：

??(??|??)

??∈???∑?=1?·································································(31)

其中?(??|??)=???(??)，表示樣本??屬于簇??的邏輯分數。

11

T/CIXXXX—XXXX

基于能量的傳輸機制（ET）將鼓勵具有較高能量分數的樣本被分配到同一個簇中，而那些具有較

低能量分數的樣本，意味著它們在簇分布中具有較大的不確定性，將傾向于均勻分配在K個簇之間。基

于能量e的分配矩陣Q可以表示為公式（31），能量傳輸成本P可以表示為：

1e

α=??K，β=N·······························································(32)

K∑i=1ei

KxN

???=???∈?····································································(33)

式中：

N

e∈?能量分數；

P--成本矩陣；

K--聚類中心簇個數。

e首先被廣播成一個K×N的矩陣，然后與P逐元素相乘。因此，α和β之間的Wasserstein距離定

義為：

αβ，(34)

OT(,)=minQ∈∏(α,β)??Q????··················································

式中：

??，??——Frobenius內積。

為了避免需要大量計算成本的線性規劃問題，引入熵正則化項H(Q)到Wasserstein距離中，并將

優化問題表示為：

αβ，ε(35)

OT(,)=minQ∈∏(α,β)??Q????+H(Q)·········································

式中ε>0，H(Q)=∑jiQjilogQji，以及此時優化Q:

1

ε

?=????(?)???????(?)····························································(36)

式中：

Diag(u)——以向量u為主對角線元素；

Diag(v)——以向量v為主對角線元素。

在這里，指數運算是逐元素進行的，而通過Sinkhorn算法，u和v可以更快地求解。分配矩陣Q將N個

樣本映射到K個簇。

至此，能夠將所有樣本通過分配矩陣Q分配到K個簇中。

漸進式訓練樣本構建，在第t個訓練階段屬于第k個簇的樣本形成集合??，記為:

(?)(?)