輸電在線監測裝置物聯網平臺接入及圖像智能識別算法兼容性檢測技術方案檢測目的為高質量推進南方電網公司數字輸電建設工作，保障輸電在線監測裝置有效接入公司物聯網平臺，加速推進圖像視頻監測終端智能識別算法應用，現在本次送樣檢測中開展“物聯網平臺接入驗證”、“裝置遠程升級協議驗證”、“圖像智能識別算法兼容性驗證”及“圖像智能識別算法性能檢測”，具體測試要求如下。檢測項目及合格判據（1）物聯網平臺接入及遠程升級協議驗證1）測試對象及通信規約要求測試對象為所有輸電在線監測裝置，裝置通信規約應滿足《Q/CSG1205031輸電線路在線監測通信規約及信息交互規范》中對南方電網全域物聯網平臺的接入要求條款，《Q/CSG1210050-2020南方電網電力全域物聯網平臺接入技術規范》《統一物聯網平臺接入技術指引（南向）》協議及相關品類測試對象物模型要求，具體標準/規范詳見附件1。2）檢測機構測試資源物聯網平臺接入檢測平臺，通信規約應滿足《Q/CSG1205031輸電線路在線監測通信規約及信息交互規范》中對南方電網全域物聯網平臺的接入要求條款，《Q/CSG1210050-2020南方電網電力全域物聯網平臺接入技術規范》《統一物聯網平臺接入技術指引（南向）》協議及相關品類測試對象物模型要求，具備視頻點播、拍照、文件下發、配置文件獲取、升級等命令下發、裝置上報信息和監測數據展示、交互日志查看及下載等功能。3）物聯網平臺接入測試方法及合格判據測試方法：a.送檢設備通過電源適配器進行開機上電，經有線網絡接入測試平臺，由送檢單位人員對送檢設備進行接入參數配置，心跳及采集間隔根據業務要求配置；c.配置完成后，等待5min，檢測機構登錄“檢測平臺”讀取設備日志，查看設備開機聯絡信息、心跳數據及實時監測數據是否更新，并且對照物模型驗證必要數據是否完整且格式準確;d.檢測機構根據送檢設備功能要求制定《物聯網平臺接入協議測試記錄》，逐條開展驗證，根據檢測項執行并記錄結果。合格判據：a.被測設備應能接入“檢測平臺”，實時上傳心跳、監測等數據，數據完整且格式準確；b.被測設備數據傳輸及功能完全滿足《物聯網平臺接入協議測試記錄》要求；c.以上全部滿足則判定為通過，否則判定為不通過。4）裝置遠程升級協議測試方法及合格判據測試方法：a.將被測設備接入“檢測平臺”，通過軟件下發配置/系統/算法/模型升級包，升級包及升級命令格式詳見物模型->服務（demandServices）->設備升級及配置參數文件下發，并向被測設備發布升級消息；b.查看設備反饋信息，檢查被測設備是否按照響應升級包下載及升級，并按照物模型要求上報升級結果。合格判據：被測設備完全響應“檢測平臺”下發的配置/系統/算法/模型升級命令，完成升級包下載、升級，報送升級信息等，通信協議滿足物模型要求，則判定為通過，否則判定為不通過。（2）圖像智能識別算法兼容性驗證1）測試對象測試對象為架空輸電線路圖像視頻監測裝置2）測試所需資源a.調試版圖像智能識別算法軟件包以及相應測試圖片；b.正式版圖像智能識別算法軟件包以及相應測試圖片。3）圖像智能識別算法兼容性測試方法及合格判據測試方法：a.測試開始前，檢測機構提供一份調試版智能識別算法軟件包以及相應測試圖片至送檢單位（調試版算法軟件包與正式版算法軟件包格式完全一致，只有識別種類不同），參檢單位根據軟件包在規定時間內完成對送檢設備的調整適配，確保送檢設備能兼容調試版智能識別算法；b.測試開始后，檢測機構通過“檢測平臺”向被測設備下發正式版圖像智能識別算法軟件包，查看設備算法軟件升級信息，檢查算法升級完成情況；c.使用被測裝置拍攝測試圖片，進行智能識別，將識別的結果以json格式保存并回傳至“檢測平臺”；d.檢測機構根據識別結果驗證智能識別算法的兼容性。合格判據：被測設備應響應算法升級命令，并完成算法升級，且能夠調用升級后的算法開展圖像智能識別，識別結果有效。（3）圖像智能識別算法性能檢測1）測試對象測試對象為架空輸電線路圖像視頻監測裝置，對送檢設備自有圖像智能識別算法性能開展檢測。2）測試所需資源a.測試圖片樣本庫；b.檢測平臺。3）圖像智能識別算法性能檢測方法及合格判據測試指標：測試指標包括裝置識別功耗及識別性能，其中識別性能包括識別漏報率、識別誤報率、識別準確性、識別時間和重復告警率，最終根據測試數據對裝置的智能識別算法性能進行綜合評分排名，排名結果不作為本次送樣檢測的合格判據，擬作為后續公司智能識別算法推廣的依據之一，具體指標釋義如下。①裝置識別功耗裝置運行智能識別算法過程中的平均功率。②識別性能包括識別漏報率、識別誤報率、識別準確性和識別時間四個指標，對識別效果進行量化：a.識別漏報率：存在隱患但未識別出的圖片數量/具有通道隱患的圖片總數量。b.識別誤報率：不存在隱患但被識別出的圖片數量/檢出的圖像總數量。c.識別準確率：目標識別正確數量與測試集標準目標數量之比。d.識別耗時（秒/張）：識別數據集所消耗的總時間/數據集圖片數量。e.重復告警率：相同隱患重復告警的圖片數量/隱患圖片總數。測試方法：①裝置接入測試系統及數據上報a.被測試品與測試系統處于同一局域網中，通過有線方式接入測試系統，正式IP地址和端口在測試開始前統一給出。b.檢測機構以可調直流電源給被測試品進行供電，無需通過電池供電，輸出電壓根據設備額定電壓調整（請在送檢前在設備銘牌上明確設備的額定供電電壓），待測裝置應將內置電源去除，內部電源接口統一更換為XT60公口（凹槽pin腳為負極），用導線引至設備外。c.檢測機構提供TF卡安裝于被測試品中，經測試用圖片案例庫存儲于TF卡中。d.被測試品注冊成功接入測試系統后，通過測試系統下發啟動命令后，評分系統開始計時，裝置自動逐個讀取TF卡中的測試圖片進行智能識別，裝置每間隔30秒上報一次心跳，每識別完1張圖片，按南網通信協議進行一次智能分析告警，將分析結果報送至測試系統，直至所有圖像分析完畢，裝置必須按照圖片名稱由小到大的順序進行識別分析，上報結果亦遵守此順序。e.被測試品開始實時分析圖片后，每分析完一張圖片需同步將分析結果存儲在xml文件中，將xml文件存于TF卡中。xml文件格式如下：result一張圖的識別結果filename圖像的唯一idsize圖像的尺寸flag是否存在隱患，false時不寫入數據time分析完成的時刻，時:分:秒objectname為識別的隱患類型編碼object識別的目標位置，類型為int具體如下：<annotation><resultfilename="Image_000005"flag="True"><time>12:13:45</time><size><width>4288</width><height>2848</height><depth>3</depth></size><objectname=1><bndbox><xmin>189</xmin><ymin>531</ymin><xmax>327</xmax><ymax>764</ymax></bndbox></object><objectname=0><bndbox><xmin>195</xmin><ymin>531</ymin><xmax>1276</xmax><ymax>1643</ymax></bndbox></object></result><resultfilename="Image_000052"flag="False"><size><width>4288</width><height>2848</height><depth>3</depth></size></result></annotation>f.通信協議參見《輸電線路在線監測通訊規約及信息交互規范》，具體如下：檢測系統功能規約控制字規約名稱備注測試啟動00H開機聯絡信息用于測試系統下發測試啟動命令，被測試品收到命令后自動開始智能識別被測試品心跳信息上報05H裝置心跳信息用于被測試品實時上報心跳數據被測試品智能分析結果上報A7H智能分析告警上報用于被測試品實時上報智能分析結果注：裝置號碼字段為廠商id（檢測開始前由檢測機構統一分配），數據域中的通道號字段為圖片id的高8位編碼，預置位字段為圖片id的低8位編碼，告警時間為識別完成的時刻，告警類型為告警小類。例：如果圖片編號為537，則數據域中通道號字段為2，預置位字段為27；如果圖片編號為5，則數據域中通道號字段為0，預置位字段為5；告警類型參見A4H中告警類型字典，告警編碼參考下表：告警告警標簽告警類型編碼塔吊TaDiao2推土機TuituJi3挖掘機WajueJi5煙霧YanWu41f.出現以下幾種情況，上報報文會被判為無效：①隱患編碼不規范或者不存在；②圖片名id不存在或者不規范；③每圖標出的隱患數量，超過標準答案數量的兩倍②識別功耗檢測被測試品啟動智能分析后，檢測機構通過高精度功率分析儀，全過程記錄被測對象識別過程中的功耗，計算識別平均功率。③識別性能檢測通過裝置上報智能識別結果開展裝置的誤報率、漏報率、識別準確率、識別耗時進行計算，并按照評分細則進行評分。評分標準：根據被測試品識別功耗、漏報率、誤報率、準確率、識別速度及重復告警率結果進行評分及排名，具體評分細則如下：參數名稱符號參數級別分值（分）計算公式總分G一級100G=A×80%+P×20%算法得分A二級100A=A1×20%+A2×20%+A3×20%+A4×20%+A5×20%功耗得分P二級100實測功率Pint<=5W，P得100分Pint>5W，P得100-（Pint-5）×5分P最低得0分漏報率得分A1三級100A1=100-漏報率×100×5A1最低得0分誤報率得分A2三級100A2=100-誤報率×100×5A2最低得0分識別準確率得分A3三級100A3=，其中n為本次檢測識別樣本的類型數量識別速度得分A4三級100識別時間t<=2s，A4得100分t>2s，A4得100-（t-2）×2分A4最低得0分重復告警率得分A5三級100A5=100-重復告警率×100×5A5最低得0分識別類型i準確率得分A3i四級100A3i=識別類型i準確率×100測試時間安排檢測項目工作安排工作內容時間安排物聯網平臺接入及遠程升級協議驗證開發及自測階段送檢單位對照《Q/CSG1205031輸電線路在線監測通信規約及信息交互規范》《Q/CSG1210050-2020南方電網電力全域物聯網平臺接入技術規范》《Q/CSG1210052-2020南方電網電力全域物聯網平臺技術規范》及物模型要求，完成協議開發及自測。截止送樣時間調試階段檢測機構組織開展平臺接入聯調，送檢單位規定時間內完成聯調檢測機構制定調試方案，按報名情況分批次組織開展調試，具體時間另行通知正式測試階段檢測機構開展物聯網平臺接入測試。截止送樣檢測完成時間圖像智能識別算法兼容性驗證調試階段由檢測機構提供調試版算法軟件包及測試圖片至送檢單位，送檢單位根據調試版算法包完成送檢設備調試。檢測機構制定調試方案，按報名情況分批次開展調試，具體時間另行通知正式測試階段檢測機構組織開展圖像智能識別算法兼容性測試。截止送樣檢測完成時間圖像智能識別算法性能檢測調試階段檢測機構提供調試用圖片庫，由送檢單位將裝置安裝接入測試系統，并通過調試圖片庫開展識別，完成聯調檢測機構制定調試方案，按報名情況分批次開展調試，具體時間另行通知正式測試階段由檢測機構組織開展圖像智能識別算法性能檢測截止送樣檢測完成時間參檢單位需配合事項（1）試品要求參加南方電網2023年輸電智能設備送樣檢測的供應商，在送樣時需單獨準備1套試品專門用于開展物聯網平臺接入測試及圖像視頻裝置圖像智能識別算法兼容性測試，1套試品專門開展圖像智能識別算法性能檢測（僅報名架空輸電線路圖像視頻監測裝置需提供），要求及命名詳見附件3。（2）硬件要求送檢的2套設備均具備有線通信網口，存儲不低于8G，有供電接口的正負極引出線，線端接口采用XT60公口（凹槽pin腳為負極），需配置供電適配器，無需配置電池。（3）提供資料要求送檢單位報名時需提供算法模型轉換工具和使用說明，具體要求如下：1）算法模型轉換工具指可以將常用深度學習框架模型（包括但不限于Tensorflow、Pytorch、Caffe、Darknet、Paddle-paddle等）轉換為待測設備可運行軟件程序的工具。2）使用說明必須詳細介紹工具的使用環境和使用步驟。其中使用環境必須包含系統版本、編譯語言版本、docker版本（如需）、支持的算法框架版本等信息，使用步驟必須詳細描述具體開發過程，從已訓練好的模型文件到轉化為二進制模型文件（如有），到生成設備可執行軟件包的具體過程、支撐文件和命令，并且相關說明集中在一個文檔中，不要分散在多個文檔中。（4）調試要求1）物聯網平臺接入調試調試階段由檢測機構制定調試方案，分批次組織開展送檢設備接入