核電廠無損檢測缺陷自動識別系統評價方法第1部分：射線范圍本文件規定了適用于核電廠無損檢測（射線）缺陷自動識別系統的評價方法。本文件規定了核電廠射線檢測缺陷自動識別系統評價方法的人員要求、系統基本要求、評價流程和評價方法。本文件適用于核電廠金屬熔化焊焊接接頭射線底片缺陷自動識別系統的應用評價，適用的射線檢測圖像來源為通過X或伽馬射線檢測獲得的物理底片經底片數字化設備掃描后的圖像。通過X射線數字成像（DR）檢測直接獲取的圖像和通過X射線計算機輔助成像（CR）檢測拍攝并掃描的圖像可參照使用。規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T25000.51系統與軟件工程系統與軟件質量要求和評價（SQuaRE）第51部分：就緒可用軟件產品（RUSP）的質量要求和測試細則GB/T28452信息安全技術應用軟件系統通用安全技術要求NB/T2709核電廠射線照相底片數字化技術規范NB/T47013承壓設備無損檢測第2部分：射線檢測術語和定義下列術語和定義適用于本文件。3.1缺陷自動識別系統（ADR）automaticdefectrecognition基于計算機視覺算法，對無損檢測數字圖像缺陷自動識別的計算機應用系統，以下簡稱系統。3.2輔助評片（AssistDR）assisteddefectrecognition系統輔助評片人員識別缺陷及評估焊接接頭是否合格的過程，包括缺陷定性、定量、定位及評級。3.3自動評片（AutoDR）automateddefectrecognition系統自主進行缺陷識別及評估焊接接頭是否合格的過程，包括缺陷定性、定量、定位及評級。3.4標準底片standardfilm用于評價及測試缺陷自動識別系統性能的數字底片。3.5重點關注缺陷keydefects評價缺陷自動識別系統識別性能的危害性缺陷，指裂紋、未熔合及未焊透。3.6一般關注缺陷generaldefects除重點關注缺陷外，其余的缺陷類型。3.7缺陷標注defectlabel對數字底片上的缺陷進行缺陷性質（cls）和缺陷位置（bbox）的標記，生成標注文件。3.8標注樣本（Lable）labelsamples對標準底片進行缺陷標注生成的標注文件，包含缺陷性質（cls_L）及缺陷位置（bbox_L）。3.9預測樣本（Prediction）predictionsamples由缺陷自動識別系統預測的結果文件，包含缺陷性質（cls_P）及缺陷位置（bbox_P）。3.10訓練集trainset缺陷自動識別系統中使用人工智能算法訓練模型的數字底片集合及對應的標注文件。3.11測試集testset用于測試缺陷自動識別系統性能的數字底片集合。3.12缺陷位置交集defectlocationintersection對于同一張底片上，預測樣本缺陷位置（bbox_P）與標注樣本缺陷位置（bbox_L）相交。3.13缺陷定位精度（La）locationaccuracy預測樣本與標注樣本缺陷位置中心距離的偏差。La=式中:xP、yPxL、y3.14正檢（TD）truedetection定性并定位正確的缺陷。3.15誤檢(FD)falsedetection定性或定位錯誤的缺陷。3.16漏檢(MD)missdetection未識別到的缺陷。3.17缺陷定量精度（Da）dimensionaccuracy對于正檢缺陷，預測樣本的缺陷長徑占標注樣本的缺陷長徑的比例。

Da=式中:LP——預測樣本的缺陷長徑LL3.18不合格底片檢出（ND）nogooddetection被正確檢出的超過相關標準驗收等級的底片。3.19合格底片檢出（GD）gooddetection被正確檢出的未超過相關標準驗收等級的底片。3.20誤判（FJ）falsejudgment將未超標底片判斷為超標底片。3.21漏判（MJ）missjudgment將超標底片判斷為未超標底片。人員要求4.1測試集標注人員應按《民用核安全設備無損檢驗人員資格管理規定》規定取得RTⅡ級及以上證書或TSGZ8001規定取得RTⅡ級及以上證書。4.2系統評價人員應按《民用核安全設備無損檢驗人員資格管理規定》規定取得RTⅢ級證書TSGZ8001規定取得RTⅢ級證書。系統要求5.1識別效率以系統測試500張數字底片進行缺陷自動識別所需要的平均時間作為系統識別效率的計算指標。5.2功能要求5.2.1系統應具備打開DICONDE格式數字底片及底片格式轉換的功能。5.2.2系統應具備焊縫區自動識別功能，可以自動識別核電廠射線檢測常見接頭類型，包含對接焊縫、小徑管焊縫及插套焊縫。5.2.3系統應具備缺陷自動識別功能，包括自動識別有無缺陷、缺陷類型、缺陷位置、缺陷尺寸等功能。5.2.4系統應具備按照核電廠相關驗收標準對缺陷自動識別結果進行質量評級的功能，并自動判斷底片是否合格。5.2.5系統應具備自動識別結果人工復核功能，包括人工復核評級結果、缺陷增加、刪除、修改等功能，并可將人工復核后的結果保存。5.2.6系統應具備圖像降噪、平移、放大、縮小、旋轉、鏡像、適應屏幕尺寸、1:1尺寸、還原、對比度調整、亮度調整、窗位窗寬調整、浮雕、銳化、正反片轉換、雙片對比等圖像操作功能。5.2.7系統應具備雙片疊加功能。5.2.8系統應具備底片黑度、靈敏度、缺陷尺寸等測量功能。5.3運行環境5.3.1系統部署方式應支持云端部署或本地部署。5.3.2系統硬件是自動識別系統軟件安裝、運行的計算硬件設備,包括CPU模塊、內存模塊、GPU推理模塊、存儲模塊及顯示模塊。5.3.3CPU和內存模塊應根據系統處理的任務規模與復雜程度、系統單位時間訪問量以及系統對響應時間等要求進行配置。5.3.4GPU推理模塊應滿足5.1.2識別效率要求。5.3.5存儲模塊的選擇應根據系統內文件和數據量、對系統擴展性的要求、對數據讀寫速度的要求等因素進行配置。5.3.6顯示器模塊應結合系統對圖像顯示及處理的精度要求進行配置、并符合NB/T2709《核電廠射線照相底片數字化技術規范》的要求。5.4系統可靠性系統軟件質量應符合標準GB/T25000.51-2016《系統與軟件工程系統與軟件質量要求和評價（SQuaRE）第51部分：就緒可用軟件產品（RUSP）的質量要求和測試細則》中的相關要求。5.5系統安全性系統安全應符合標準GB/T28452-2012《信息安全技術應用軟件系統通用安全技術要求》中的相關要求。5.6系統升級缺陷自動識別系統升級后按照本文件重新評價，評價結果自動更新。評價流程本章規定了核電廠射線檢測缺陷自動識別系統性能評價的流程步驟，包括標準測試集、性能測試、評價指標及評價結果四個步驟，如圖1所示。評價流程標準測試集標準測試集用于測試缺陷自動識別系統性能,本章規定了標準底片的質量要求、測試集類型、測試集構建及測試集標注要求。7.1標準底片質量7.1.1底片掃描質量按照NB/T2709《核電廠射線照相底片數字化技術規范》要求執行。7.2測試集分類7.2.1缺陷測試集7.2.1.1缺陷測試集用于測試系統的缺陷識別能力，包括缺陷的定性、定位及定量。7.2.1.2缺陷測試集中的每張底片都應存在缺陷，缺陷底片總數不少于500張，其中小徑管焊接接頭底片占比約20%，插套焊縫底片占比約10%。7.2.1.3缺陷測試集中應包含裂紋、未熔合、未焊透、圓形缺陷、條形缺陷、內凹、咬邊等類型缺陷。7.2.1.4缺陷測試集中裂紋、未熔合、未焊透、內凹、咬邊每類缺陷的數量基本相當且每類缺陷數量不少于50個，圓形缺陷和條形缺陷的缺陷數量不受限制。7.2.2評級測試集7.2.2.1評級測試集用于測試系統的缺陷定級能力，判斷缺陷是否合格。7.2.2.2評級測試集由缺陷測試集和合格底片測試集組成，缺陷測試集使用7.2.1中規定的測試集，合格底片測試集由按照核電廠相關驗收標準評級后為合格的底片組成。7.2.2.3合格底片測試集中應包含圓形缺陷和無任何缺陷底片。7.2.2.4合格底片測試集的數量與缺陷測試集的數量一致，其中小徑管焊接接頭底片占比約20%。7.3測試集構建7.3.1測試集圖像與訓練集圖像在焊縫形式、焊接方法、射線源、射線檢測透照布置、圖像掃描參數保持一致，確保測試集數據與訓練集數據一致性。7.3.2測試集與訓練集的互斥性：測試數據集中不包含訓練數據集中的數據。7.3.3測試集的隱私性，測試集需考慮企業隱私泄露，采取數據脫敏處理。7.4測試集標注7.4.1缺陷標注樣本7.4.1.1標注人員對缺陷測試集中的標準底片依次進行缺陷標注，生成缺陷標注樣本(Label)。缺陷標注樣本包含缺陷性質和缺陷位置信息，缺陷標注樣本為用于測試系統缺陷檢出精度的對比樣本。7.4.1.2缺陷標注樣本加工流程如圖2所示，由A、B、C三名標注人員分別獨立標注，對比三人獨立標注的結果，當三人標注缺陷性質一致時，標注樣本的缺陷位置為bbox_A、bbox_B、bbox_C的交集（bbox_A∩bbox_B∩bbox_C）。當三人標注缺陷性質不一致時，該缺陷不計入標注樣本。缺陷標注樣本加工流程7.4.2評級標注樣本7.4.2.1標注人員對評級測試集中的缺陷測試集和合格底片測試集依次進行定級（底片評級按照核電廠相關驗收標準執行），生成評級標注樣本。評級標注樣本包含底片級別與是否合格信息，評級標注樣本為用于測試系統評級精度的對比樣本。7.4.2.2評級標注樣本加工流程如圖3所示，評級測試集由A、B、C三名標注人員分別獨立評級，對比三人獨立評級的結果，僅當三人評級結果一致時，納入評級標注樣本，否則舍棄該底片。評級標注樣本加工流程性能測試自動識別系統的性能測試過程包括生成預測樣本、樣本偏離程度及生成混淆矩陣三部分。8.1生成預測樣本8.1.1將缺陷測試集中的數字底片輸入待測系統進行缺陷檢測，自動生成缺陷預測樣本（Prediction），缺陷預測樣本中必須包含缺陷性質（cls）和缺陷位置(bbox)信息。8.1.2將評級測試集中的數字底片輸入待測系統進行評級檢測（底片評級按照核電廠相關驗收標準執行），自動生成評級預測樣本，評級預測樣本中必須包含底片評定級別與是否合格信息。8.2樣本偏離程度將標注樣本（Label）與預測樣本(Prediction）進行缺陷定性定位對比，表征兩個樣本的缺陷偏離程度有以下三種情況：缺陷正檢（TD）、缺陷誤檢(FD)和缺陷漏檢(MD）。（a）缺陷位置相交：bbox_P∩bbox_L＞0的前提下，當同時滿足以下條件時，判斷缺陷正檢。缺陷性質一致：cls_P=cls_L;缺陷定位正確：圓形缺陷La≤1mm，其余缺陷La≤5mm，其余缺陷包括裂紋、未熔合、未焊透、咬邊、內凹及條形缺陷。(b)缺陷位置相交：bbox_P∩bbox_L＞0的前提下，滿足以下條件之一時，判斷缺陷誤檢。缺陷性質不一致：cls_P≠cls_L;缺陷性質一致：cls_P＝cls_L且缺陷定位錯誤：圓形缺陷La＞1mm，其余缺陷La＞5mm，其余缺陷包括裂紋、未熔合、未焊透、咬邊、內凹及條形缺陷。(c）缺陷位置不相交時：bbox_P∩bbox_L=0，判斷缺陷漏檢。自動計算標注樣本與預測樣本缺陷偏離程度的流程如圖4所示。樣本偏離程度計算流程8.3生成混淆矩陣8.3.1統計缺陷測試集中每類缺陷的正檢（TD）、誤檢（FD）和漏檢（MD）數量并生成缺陷檢測混淆矩陣，如圖5所示。缺陷檢測混淆矩陣中，使用TDn、FDn和MDn分別表示每一類缺陷的正檢數量、誤檢數量和漏檢數量，n為缺陷序號。缺陷檢測混淆矩陣8.3.2統計評級測試集中合格底片檢出（GD）、不合格底片檢出（ND）、漏判（MJ）和誤判（FJ）數量并生成評級檢測混淆矩陣，如圖6所示。圖7評級檢測混淆矩陣評價指標性能測試的評價指標包括缺陷檢出精度和質量評級精度。9.1缺陷檢出精度缺陷檢出精度表征系統對單類別缺陷的檢出能力和所有缺陷的綜合檢出能力。9.1.1缺陷正檢率按公式（1）計算。TD式中:TDRn——序號為n的n——缺陷序號（圓形缺陷1、條形缺陷2、裂紋3、未熔合4、未焊透5、內凹6、咬邊7）。9.1.2缺陷誤檢率按公式（2）計算。FDRn=式中:FDRn——序號為n的缺陷誤n——缺陷序號（圓形缺陷1、條形缺陷2、裂紋3、未熔合4、未焊透5、內凹6、咬邊7）。9.1.3缺陷漏檢率按公式（3）計算。MDRn=式中:MDRn——序號為n的缺陷漏檢n——缺陷序號（圓形缺陷1、條形缺陷2、裂紋3、未熔合4、未焊透5、內凹6、咬邊7）。9.1.4重點關注缺陷檢出率按公式（4）計算。KDR=式中:KDR——重點關注缺陷檢出率n——缺陷序號（圓形缺陷1、條形缺陷2、裂紋3、未熔合4、未焊透5、內凹6、咬邊7）。9.1.5綜合檢出率按公式（5）計算。WD式中:WDR——綜合檢出率n——缺陷序號（圓形缺陷1、條形缺陷2、裂紋3、未熔合4、未焊透5、內凹6、咬邊7）。9.1.6綜合正檢率按公式（6）計算。T式中:TDR——綜合正檢率n——缺陷序號（圓形缺陷1、條形缺陷2、裂紋3、未熔合4、未焊透5、內凹6、咬邊7）。9.1.7對于所有的正檢缺陷，平均定量精度按公式（7）計算。Da式中:Da——平均定量精度；TD——缺陷正檢數；n——缺陷序號（圓形缺陷1、條形缺陷2、裂紋3、未熔合4、未焊透5、內凹6、咬邊7）。9.2質量評級精度質量評級精度表征系統對焊縫底片質量評級的綜合能力，用于判斷系統是否會發生漏判及誤判。9.2.1合格底片檢出率按公式（8）計算。GD式中:GDR——合格底片檢出率GD——標注樣本為合格底片，預測樣本判斷為合格底片的數量；FJ——標注樣本為合格底片，預測樣本判斷為不合格底片的數量。9.2.2不合格底片檢出率按公式（9）計算。ND式中:NDR——不合格底片檢出率ND——標注樣本為不合格底片，預測樣本判斷為不合格底片的數量；MJ——標注樣本為不合格底片，預測樣本判斷為為合格底片的數量。評價結果10.1系統分級按照表1將缺陷自動識別系統分為L1~L4四個等級，其中L1、L2、L3為輔助評片系統，L4為自動評片系統。表1系統分級表精度指標系統級別L1L2L3L4重點關注缺陷檢出率(KDR)≥95%≥98%100%100%綜合檢出率(WDR)≥92%≥95%≥98%100%綜合正檢率(TDR)≥85%≥92%≥96%≥98%平均定量精度（Da）85%90%92%95%不合格底片檢出率（NDR）≥90%≥95%100%100%合格底片檢出率（GDR）≥85%≥90%≥95%100%10.2風險分析對缺陷自動識別系統進行風險分析，分析導致系統預測缺陷錯誤的原因和潛在的使用風險。分析數據包括評價指標計算結果和圖像。10.2.1缺陷漏判風險漏判風險級別評定按照表2進行，其中風險級別由高到低依次為Ⅰ類、Ⅱ類風險。表2漏判風險級別評定表風險級別系統級別精度指標潛在漏檢風險I類風險L1重點關注缺陷檢出率(KDR)≥95%綜合檢出率(WDR)≥92%不合格底片檢出率（NDR）≥90%不合格的底片漏判。L2重點關注缺陷檢出率(KDR)≥98%綜合檢出率(WDR)≥95%不合格底片檢出率（NDR）≥95%Ⅱ類風險L3重點關注缺陷檢出率(KDR)=100%綜合檢出率(WDR)≥98%不合格底片檢出率（NDR）=100%存在缺陷漏檢，但不會發生不合格底片漏判。10.2.2缺陷誤判風險誤判風險級別評定按照表3進行，其中風險級別由高到低依次為Ⅰ類、Ⅱ類風險。表3誤判風險級別評定表風險級別系統級別精度指標潛在誤判風