ICS33.160.40CCSA9114IDB14/T2465—2022前言 2規范性引用文件 3術語和定義 4原則 5工作流程 6規劃要求 7實施要求 8監控要求 9交付要求 參考文獻 DB14/T2465—2022本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定起草。本文件由山西省工業和信息化廳提出、組織實施和監督檢查。山西省市場監督管理局對標準的組織實施情況進行監督檢查。本文件由山西省物聯網和人工智能標準化技術委員會歸口。本文件起草單位：百度云計算技術（山西）有限公司、山西省大眾科技評估中心、山西靈波微步科技有限公司、山西物聯網行業技術中心（有限公司）、山西集智數據服務有限公司、山西省科技評估學會。本文件主要起草人：司文、施佳樑、王洋、閔楠、胡馳、尉赤、張辰妹、吳澤銜、查曉丹、郭瑞鵬、李先軍、趙波、李鵬、李鵬飛。1DB14/T2465—2022人工智能數據標注通用工作規程本文件規定了人工智能機器學習中數據標注生產所需要的通用工作要求，包括原則、流程、規劃、實施、監控與交付。本文件適用于人工智能機器學習中數據標注的企業、高校、研究機構、政府機關。其他行業和機構可參照執行。2規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。DB14/T2463人工智能數據標注總體框架3術語和定義DB14/T2463界定的以及下列術語和定義適用于本文件。3.1數據標注合格率qualifiedrateofdataannotation一個標注任務中，符合標注規則要求的已標注數據總量與已標注數據總量的比值。3.2數據標注質量控制員dataannotationqualitycontroller數據標注工作中，按照標注規則從事數據審核等質量控制工作的人員。3.3數據標注任務dataannotationtask數據標注機構按照需方要求或合同約定，在特定的時間、成本、質量要求下完成指定數據標注的工作。4原則4.1數據標注機構對待標注數據應遵循數據安全、保密的原則。4.2制定數據標注計劃制定時應遵循合理性、可量化性、及時性和可調整性的原則。4.3數據標注生產過程應遵循全過程質量控制原則，確保生產過程質量可控。5工作流程數據標注工作流程見圖1。2DB14/T2465—2022圖1數據標注工作流程圖6規劃要求6.1明確需求數據標注生產開始前，數據標注項目負責人應及時獲取數據需求方數據標注的需求說明書，并應包括以下內容：a)明確數據標注需求完成的時間節點；b)明確數據標注的內容；c)明確數據標注的方法；d)明確數據驗收規則；e)其他要求。6.2獲取數據數據標注項目負責人應及時從數據需求方處獲取待標注數據，數據獲取方式包括：a)平臺接口對接的方式；b)存儲介質復制的方式。6.3規則驗證與細化數據標注項目負責人應按照標注規劃進行標注規則驗證與細化，并完成以下內容：a)確定數據試標數量：應遵循數據標注內容覆蓋全面性及數據標注成本最小化要求，抽取需求方指定數量作為試標數量；b)進行試標：應選擇中等以上技能的數據標注員，按照標注規則對抽樣數據進行標注，以驗證標注規則的合理性；c)細化數據標注規則：應遵循易理解、易操作的原則，且與數據需求方要求一致的原則，對數據試標中發現的不合理規則進行修改細化。6.4明確計劃數據標注項目負責人應根據標注需求、數據試標效率確定標注計劃。計劃內容包括：進度計劃、人員計劃、資金計劃、工具計劃、質量控制計劃、驗收計劃。6.5專項培訓3DB14/T2465—2022數據標注培訓師應按照標注計劃和標注規則，在數據標注生產過程中對數據標注員進行有針對性的培訓，確保標注質量。7實施要求7.1任務創建數據標注任務負責人應利用標注工具創建數據標注項目相關內容。7.2任務分發數據標注任務負責人應利用標注工具將數據標注任務分派給數據標注員或數據標注團隊。7.3任務實施數據標注員或數據標注團隊應使用數據標注工具完成指派的數據標注任務。8監控要求8.1任務檢驗8.1.1任務質量檢驗數據標注質量控制員在任務進行過程中按照標注規則進行質量檢驗和質量糾偏。8.1.2任務進度檢驗數據標注項目負責人在任務進行中應使用數據標注工具，對數據標注日產能和數據標注計劃的數值偏差情況進行檢驗，并及時調整資源和日工作量要求。8.2任務數據回收數據標注項目負責人應對標注不合格數據進行收回，并重新分派進行標注。9交付要求9.1驗收數據標注項目負責人應將審核結果達到數據標注合格率要求的數據，交付需求方驗收。9.2總結數據標注項目負責人應組織各工作角色參與項目的總結工作，編制總結報告，內容包括：a)數據標注項目基本信息：描述本次數據標注項目的合作背景、數據標注內容及類型；b)數據標注過程控制措施：描述本次數據標注項目在執行過程中采取的執行方法，還原標注過程；c)數據標注方法總結：描述本次數據標注項目遇到的困難及采取的有效措施，總結可行的方法做經驗復用；4DB14/T2465—2022d)數據標注措施改進：描述本次數據標注項目控制過程的不足，總結可以改進的方法和措施，應對下次同類項目；e)其他需要總結的內容。9.3售后數據需求方確認數據標注結果驗收通過后，數據標注機構應跟進整個項目的售后工作。包括項目終期審計、項目綜合評價、數據檢查改進和服務監督處理。數據標注機構的項目管理部門應在項目完成后或定期對生產過程文檔進