ICS25.040.40CCSL7021遼寧省市場監督管理局發布IDB21/T3893—2023前言 2規范性引用文件 3術語和定義 4縮略語 5清洗目的 6清洗范圍 7過程要求 7.1清洗流程 7.2數據抽取 7.3定義規則 7.4數據過濾 7.5數據校驗 7.6錯誤標識 7.7修正處理 7.8數據轉換 7.9結果檢驗 7.10數據加載 8環境要求 8.1數據脫敏 8.2數據安全 8.3人員能力 9質量要求 參考文獻 DB21/T3893—2023本文件按照GB/T1.1-2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定起請注意本文件的某些內容可能涉及專利。本文件的發布機構不承擔識別專利的責任。本文件由遼寧省工業和信息化廳提出并歸口。本文件起草單位：沈陽華睿博信息技術有限公司、國家計算機網絡應急技術處理協調中心遼寧分中心、遼寧艾特斯智能交通技術有限公司、遼寧職業學院、東北大學、上海數據交易所、遼寧省大數據管理中心、北京賽迪時代信息產業股份有限公司、遼寧省先進裝備制造業基地建設工程中心。本文件主要起草人：邵華、李凱、黃書鵬、王宇飛、宋憲輝、王義剛、申翔宇、譚振華、楊成實、張翔宇、魏國偉、劉洋。本文件發布實施后，任何單位和個人如有問題和意見建議，均可以通過來電和來函等方式進行反饋，我們將及時答復并認真處理，根據實際情況依法進行評估及復審。歸口管理部門通信地址：沈陽市遼寧省沈陽市皇姑區北陵大街45-2號。歸口管理部門聯系電話文件起草單位通訊地址：遼寧省沈陽市和平區青年大街386號華陽國際大廈2396。文件起草單位聯系電話1DB21/T3893—2023工業數據流通數據清洗規范本文件規定了工業數據清洗的過程要求、環境要求和質量要求。本文件適用于數據流通中的工業數據清洗。2規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T22239-2019信息安全技術網絡安全等級保護基本要求GB/T35274-2017信息安全技術大數據服務安全能力要求GB/T35295-2017信息技術大數據術語GB/T37973-2019信息安全技術大數據安全管理指南GB/T39477-2020信息安全技術政務信息共享數據安全技術要求GB/T42128-2022智能制造工業數據分類原則DA/T82-2019基于文檔型非關系型數據庫的檔案數據存儲規范3術語和定義下列術語和定義適用于本文件。3.1數據清洗datacleaning運用一定方法識別并修正數據問題，提高數據質量的過程。3.2工業數據industrialdata在工業領域中，涉及企業的所有生產活動和服務所產生的數據。[來源:GB/T42128-2022，3.1.1]3.3結構化數據structureddata一種數據表示形式，按此種形式，由數據元素匯集而成的每個記錄的結構都是一致的并且可以使用關系模型予以有效描述。[來源:GB/T35295-2017，2.2.13]3.4非結構化數據unstructureddata不具有預定義模型或未以預定義方式組織的數據。[來源:GB/T35295-2017，2.1.25]2DB21/T3893—20233.5半結構化數據semi-structureddata具有結構性，但結構變化大，且難以用結構化數據的處理方法將其放進二維表的數據。[來源:DA/T82-2019，2.8]3.6表結構tablestructure為主體層內容提供表示語義的一種存儲范例。[來源:GB/T35295-2017，2.2.14]3.7敏感數據sensitivedata由權威機構確定的受保護的信息數據。[來源:GB/T35295-2017，2.2.14]4縮略語下列縮略語適用于本文件。ETL：數據的抽取、轉換、加載（ExtractTransformLoad）5清洗目的工業數據涉及到各種傳感器、監測設備和生產設備，具有多樣性和異構性，由于傳感器和設備的不穩定性、及環境變化等因素影響，工業數據中存在大量錯誤數據、缺失數據和異常數據。工業數據清洗目的是清除或修正錯誤數據、缺失數據、異常數據或其他有問題的數據，提高工業數據在建模分析、應用開發、資源調度和監測管理等方面的應用價值，保障流通的工業數據質量。6清洗范圍清洗范圍涵蓋工業領域產品和服務全生命周期產生和應用的數據，包括但不限于工業企業在研發設計、生產制造、供應鏈物流、營銷、運維、管理及金融等環節中生成和使用的數據，以及工業互聯網平臺企業在設備接入、平臺運行、工業應用程序使用等過程中生成和使用的數據。各類型數據說明如下：a）研發設計數據：包括研發設計數據、開發測試數據等；b）生產制造數據：包括控制信息、工況狀態、工藝參數、系統日志、生產質量數據、生產實績數據c）供應鏈物流數據：包括供需計劃數據、倉儲物流數據等；d）營銷數據：包括投標次數、訂單數量、交易金融、客戶異議數據等；e）運維數據：包括產品運行狀況數據、產品售后服務數據等；f）管理數據：包括客戶基本信息、業務合作數據、人事財務數據、系統設備資產信息、產品基本信息、項目進度數據、業務統計數據（如資源量數據、能耗監測數據等g）金融數據：包括信貸數據、融資租賃數據、征信數據等；3DB21/T3893—2023h）平臺運營數據：接入的設備數據、工業模型數據、工業應用程序數據、平臺運行數據等。7過程要求7.1清洗流程工業數據清洗流程包括數據抽取、定義規則、數據過濾、數據校驗、錯誤標識、修正處理、數據轉換、結果檢驗及數據加載等環節。工業數據清洗可采取ETL流程。工業數據清洗ETL流程圖見圖1。圖1工業數據清洗ETL流程圖7.2數據抽取數據抽取應符合以下要求：a）應具備全量抽取和增量抽取兩種方式；b）數據抽取來源應能支撐抽取操作，使用生產庫，或通過前置庫等方式進行抽取；c）應支持結構化數據、半結構化數據和非結構化數據等不同類型數據的抽取；d）數據抽取目的地的存儲容量應能支持數據抽取來源的數據總量，數據抽取目的地的表結構應與數據抽取來源的表結構保持一致；e）增量抽取應確定增量更新的方式，抽取的數據應有字段可區分，如更新時間等。7.3定義規則4DB21/T3893—2023應分析抽取目標數據的范圍、體量、類型、內容、關系、質量等信息，全面認識數據情況。數據清洗針對的對象主要有缺失值、異常值、重復值和無用值，針對不同對象的不同形式，結合應用需求，確定數據清洗目標和規則，從而得到期望的數據。針對不同的清洗對象，清洗規則包括：a）缺失值清洗：按照缺失比例和缺失字段重要性，制定清洗策略；b）異常值清洗：針對取值錯誤、格式錯誤和邏輯錯誤制定不同的清洗策略；c）重復值：重復數據可以去重或作出標記；d）無用值：無用數據字段可以直接進行刪除。但在進行該過程的時候，要注意備份原始數據。7.4數據過濾數據過濾應包括以下操作：a）將非結構化數據和半結構化數據轉換為結構化數據；b）對噪聲數據進行刪除；c）對業務數據中不符合應用規則的數據進行刪除；d）過濾刪除掉的數據應存入問題數據庫表，便于后續查證或重新使用。7.5數據校驗7.5.1基本要求應對工業數據進行非空校驗、長度校驗、數據量校驗、數據類型和值校驗。當不滿足校驗要求時，應進行數據錯誤標識；當滿足校驗要求時，直接進行數據轉換。7.5.2非空校驗應在字段為非空的情況下，對該字段數據進行校驗，數據不能為空值。7.5.3長度校驗數據長度應滿足轉換要求的字段長度。7.5.4數據量校驗過濾后的數據總量應與原始抽取的數據總量吻合。7.5.5數據類型和值校驗數據類型和值應能支持后續數據轉換過程，如后續根據定義規則需要將時間字符串數據轉換成時間類型時，還需檢驗時間字符串類型的數據是否符合時間格式。7.6錯誤標識7.6.1錯誤類型工業數據的錯誤類型包括但不限于：a）殘缺數據：缺一些記錄，或一條記錄里缺一些值（空值），或兩者都缺；b）錯誤數據：數據沒有嚴格按照規范記錄，包括格式內容錯誤、邏輯錯誤、不合規等；c）重復數據：相同的記錄出現多條或多條記錄代表同一實體。7.6.2識別方法5DB21/T3893—2023可采用統計學方法、數據挖掘、基于聚類的方法、基于距離的方法、基于分類的方法、基于關聯規則的方法、業務區分等方式分析數據，從而識別出數據的錯誤類型。7.6.3標識步驟錯誤標識步驟如下：a）按7.6.2推薦的識別方法，分析篩選出工業數據資源中存在的數據問題；b）按7.6.1給出的錯誤類型，對數據問題進行分類，標識錯誤。7.7修正處理7.7.1殘缺數據處理7.7.1.1處理策略殘缺數據按照字段缺失率和字段重要性，分別制定處理策略。殘缺數據處理策略制定應滿足以下內容：a）重要性高、缺失率低：通過計算進行填充；通過經驗或業務知識估計；b）重要性高、缺失率高：嘗試從其他渠道取數補全；使用其他字段通過計算獲取；去除字段并在結果中標明；c）重要性低、缺失率低：不做處理或簡單填充；d）重要性低、缺失率高：去除該字段。7.7.1.2去除字段處理數據中如有多余字段，應備份當前數據，直接刪除掉不需要的字段。7.7.1.3填充缺失內容處理應采用以下方式填充缺失內容：a）同指標的計算結果填充：通過數據項與數據項之間的邏輯聯系，采取一定的列項拆分、列計算等方式得到缺失內容；b）同一指標的計算結果填充：采取均值、中位數、眾數等方式進行填充；c）重新獲取：當缺失率高且非常重要的數據項，應采取重新抽取不同數據源的數據進行關聯對比填7.7.1.4取數補全處理應通過線下收集、業務知識或經驗推測補全缺失值。7.7.2錯誤數據處理7.7.2.1格式內容問題處理格式內容問題數據處理應采用以下方法：a）全、半角處理：通過正則表達式將全、半角符號按照事先定義的規則進行全、半角符號統一；b）有不該存在的字符：以半自動校驗結合半人工方式來找出存在的問題，自動去除不需要的字符，將數據自動化統一或人工修正為正確字符；c）內容與字段不匹配：詳細識別問題類型，如人工填寫錯誤、前端沒有校驗、導入數據時部分或全部存在列沒有對齊、數據源端業務系統缺陷等，不能直接刪除，應按照清洗規則，采取加入更多數據源進行數據關聯，找到匹配的相應字段進行填補。7.7.2.2邏輯問題處理6DB21/T3893—2023邏輯問題數據處理應采用以下方法：a）了解數據潛在的邏輯規則，采取邏輯推理法，直接去掉一些使用簡單邏輯推理即可發現問題的數據；b）對于不重要的不合理數據應過濾，形成錯誤數據集由數源部門進行確認是否可刪除；c）通過字段間相互驗證的方法修正矛盾內容，如根據字段的數據來源，判定哪個字段提供的信息更可靠，去除或重構不可靠字段；d）通過分箱、聚類、回歸等方法識別離群值（異常值），按照經驗和業務流程判斷其合理性，若合理，則保留該數值；若不合理，對重要性較高而無法重新采集的數值，按缺失數據處理，對重要性較低的數值，可直接刪除；e）對于復雜邏輯數據問題應咨詢了解該數據的產生原因，按照協商的清洗加工規則進行處理。7.7.2.3不合規問題處理不合規問題數據處理應采用以下方法：a）設定判定規則：設定強制合規條件，對于不在規則范圍內的數據，應強制設置最大值及最小值，或剔除、判斷為無效字段；b）設定警告規則：對于不在規則范圍內的數據，應進行警告及人工處理。7.7.3重復數據處理重復數據處理步驟如下：a）通過元數據血緣關系查詢到重復數據的各個來源；b）通過數據主鍵或尋找相關信息識別重復數據的含義，不是相同含義的數據不能界定為重復數據進行去重處理，應分別保留；c）查詢到確定的重復數據，根據權威性和應用場合，選擇最恰當渠道來源的數據，或在不影響數據保真度和完整性的情況下進行合并處理。7.8數據轉換數據轉換應符合以下要求：a）數據轉換應在數據校驗通過后開始；b）數據轉換開始前應檢查需要轉換的數據規則和字段是否一致；c）應實現對數據的格式、信息代碼、值的沖突進行轉換；1）將各類日期統一轉換為八位的字符日期，如YYYYMMDD。2）將各類時間統一轉換為六位的字符時間，如HHMMSS。3）將各類時序數據的時間日期統一轉換為十四位的字符時間日期，如YYYYMMDDHHMMSS。1）將人員性別數據統一轉換為國際性別信息代碼。2）將組織地址數據統一轉換為行政區劃代碼。3）將組織名稱統一轉換為統一社會信用代碼。d）轉換后的數據結構應與目標數據庫的結構相兼容；e）數據向目標移動時，將其從源數據中移除，或數據復制到多個目標中；f）轉換失敗應立即停止，開始查找問題；g）長時間未轉換結束，需仔細核查數據量、規則和字段是否一致，如有問題應立即停止；h）應在解決查找到的問題后再開始數據轉換。7.9結果檢驗7DB21/T3893—20237.9.1檢驗內容檢驗內容應包括：a）主鍵重復：檢驗多個業務系統中同類數據經過清洗后，在統一保存時，主鍵的唯一性；b）非法代碼、非法值：檢查個別字段出現的異常信息，包括非法代碼、代碼與數據標準不一致、取值錯誤、格式錯誤、多余字符、亂碼等；c）數據格式：檢驗表中屬性值的格式是否正確，衡量其準確性，如時間格式、幣種格式、業務部門格式、物料格式等；d）記錄數：檢驗各個系統相關數據之間的數據總數或檢驗數據表中每日數據量的波動；e）業務約束：應從業務的角度檢驗數據的正確性、一致性、有效性等，如出（入）庫日期、客戶（供應商）基本信息、設備運行信息等；f）標準約束：對照系統數據應符合的標準進行校驗。7.9.2結果要求7.9.2.1規范性數據的質量及存儲標準應統一，源數據應在源頭或備份表中能找到，數據在字段、記錄內容或數據集內不應有重復值。7.9.2.2完整性數據集合中應包含足夠的數據來響應各種查詢和支持各種計算。數據完整性體現在以下方面：a）元數據的完整性，例如：唯一性約束完整性、參照完整性等；b）數據條目完整性，例如：數據記錄丟失或不可用會影響數據的完整性等；c）數據屬性完整性，例如：數據屬性空值情況等。7.9.2.3準確性數據所指內容對數據所指對象的反應、表現應準確，數據形式對數據內容的表述、表達應準確。7.9.2.4一致性數據一致性應符合以下要求：a）同一個數據在同一時刻在不同數據庫、應用和系統中應只有一個值；b）數據字段內數據應與字段描述一致；c）最終結果數據的統計量應與預測一致；d）數據項應在取值范圍、單位、精度等方面保持一致。7.9.2.5時效性不同類型的應用對數據的時間特性有不同的要求，數據的時間特性應滿足業務應用的要求，數據記錄應根據時間特性及時更新。7.9.2.6可訪問性數據來源穩定，數據結果應支撐后續業務。7.9.3檢驗步驟結果檢驗應包括以下步驟：a）按7.9.1規定檢驗清洗加工后的數據資源情況；8DB21/T3893—2023b）按7.9.2要求核對數據資源達標情況；c）當數據資源未達到7.9.2要求，應返回再次進行數據轉換；d）當數據資源達到7.9.2要求，應進行數據加載或結束數據清洗。7.10數據加載數據加載應滿足以下要求：a）數據價值方式應匹配數據抽取方式，包含全量加載、增量加載，如海量數據、數據變化比較規律、變化數據相對總量較小、業務系統能直接提供增量數據時，宜使用增量加載；b）數據加載環境應能支撐相應數據；c）數據加載工具具有高效的加載性能，應能至少滿足業務需求；d）數據加載策略應考慮數據加載周期和數據追加策略；e）數據加載應記錄日志，并按相關規定留存日志文件；f）數據加載過程可根據實際操作情況，在定義規則過程前進行。8環境要求8.1數據脫敏8.1.1脫敏流程應在保證敏感信息不被泄露的環境下進行工業數據清洗，工業數據脫敏工作流程包括發現敏感數據、標識敏感數據、確定脫敏方法、定義脫敏規則、執行脫敏操作和評估脫敏效果等環節。8.1.2發現敏感數據基于工業數據分類分級制度，在完整的數據范圍內查找并發現敏感數據，并明確敏感數據結構化或非結構化的數據表現形態，如敏感數據固定的字段格式。在發現敏感數據過程中，應滿足以下內容：a）定義數據脫敏工作執行的范圍，應在該范圍內執行敏感數據的發現工作；b）應通過對數據表名稱、字段名稱、數據記錄內容、數據表備注、數據文件內容等直接匹配或正則表達式匹配發現敏感數據；c）宜考慮數據引用的完整性，如保證數據庫的引用完整性約束；d）數據發現手段應支持主流的數據庫系統、數據倉庫系統、文件系統，同時應支持云計算環境下的主流新型存儲系統；e）宜利用自動識別工具執行數據發現工作，并降低該過程對生產系統的影響；f）數據發現工具應具有擴展機制，可根據業務需要自定義敏感數據的發現邏輯；g）應固化常用的敏感數據發現規則，例如身份證號、手機號等敏感數據的發現規則，避免重復定義數據發現規則。8.1.3標識敏感數據在發現敏感數據后，應對敏感數據進行標識，包括標識敏感數據的位置、敏感數據的格式等信息。敏感數據的標識方法應確保敏感數據標識信息能夠隨敏感數據一起流動，并不易于刪除和篡改，從而可以對敏感數據的訪問、傳輸和處理進行跟蹤和監督，以確保敏感數據的安全合規性。在標識敏感數據時，應滿足以下內容：a）應盡早在數據的收集階段就對敏感數據進行識別和標識，這樣便于在數據的整個生命周期階段對敏感數據進行有效管理；9DB21/T3893—2023b）敏感數據的標識方法應考慮便捷性和安全性，使得標識后的數據很容易被識別，同時，要確保敏感數據標識信息不容易被惡意攻擊者刪除和篡改；c）敏感數據的標識方法應支持靜態數據的敏感標識及動態流數據的敏感標識。8.1.4確定脫敏方法可選的數據脫敏方法包括靜態數據脫敏和動態數據脫敏。不同的數據脫敏方法對數據源的影響不同，脫敏的時效性也不一樣。脫敏方法確定后，可選擇對應的數據脫敏工具。在確定數據脫敏方案時，應滿足以下內容：a）靜態數據脫敏方法是對原始數據進行一次脫敏，脫敏后的結果數據可以多次使用，適合使用場景比較單一的場合；b）動態數據脫敏方法是在敏感數據顯示時，針對不同用戶需求，對顯示數據進行屏蔽處理的數據脫敏方式，它要求系統有安全措施確保用戶不能夠繞過數據脫敏層次直接接觸敏感數據。動態數據脫敏適合用戶需求不確定、使用場景復雜的情形。8.1.5定義脫敏規則在敏感數據生命周期識別的基礎上，應明確存在數據脫敏需求的業務場景，并結合行業法規的要求和業務場景的需求，制定相應業務場景下有效的數據脫敏規則。在定義脫敏規則過程中，應滿足以下內容：a）應遵循的個人隱私保護、數據安全保護等關鍵領域的國內外法規、行業監管規范或標準，以此作為數據脫敏規則必須遵循的原則；b）對已識別出的敏感數據執行全生命周期（產生、采集、使用、交換、銷毀）流程的梳理，應明確在全生命周期各階段，用戶對數據的訪問需求和當前的權限設置情況，分析整理出存在數據脫敏需求的業務場景。例如，在梳理過程中，會發現存在對敏感數據的訪問需求和訪問權限不匹配的情況（用戶僅需獲取敏感數據中部分內容即可，但卻擁有對敏感數據內容全部的訪權限），因此該業務場景存在敏感數據的脫敏需求；c）分析存在數據脫敏需求的業務場景，在“最小夠用”的原則下明確待脫敏的數據內容、符合業務需求的脫敏方式，以及該業務的服務水平方面的要求，以便于脫敏規則的制定；d）數據脫敏工具應提供擴展機制，從而讓用戶可根據需求自定義脫敏的方法；e）通過數據脫敏工具選擇數據脫敏方法時，脫敏工具中應對各類方法的使用進行詳細的說明，說明應包括但不限于規則的實現原理、數據引用完整性影響、數據語義完整性影響、數據分布頻率影響、約束和限制等，以支撐脫敏工具的使用者在選擇脫敏方式時做出正確的選擇；f）應固化常用的敏感數據脫敏規則，例如身份證號、手機號等的常用脫敏規則，避免數據脫敏項目實施過程中重復定義數據脫敏規則。8.1.6執行脫敏操作數據脫敏操作可包括條數據脫敏和塊數據脫敏。條數據脫敏是對單條數據根據脫敏規則實施脫敏，塊數據脫敏是對聚合數據實施脫敏。在日常的脫敏工作中，監控分析數據脫敏過程的穩定性、以及對業務的影響性，同時對脫敏工作開展定期的安全審計，已發現脫敏工作中存在的安全風險。在執行脫敏操作過程中，應滿足以下內容：a）支持從數據源克隆數據到新環境（例如從生產環境、備份庫克隆數據到新環境），并在新環境中進行脫敏過程的執行，也支持在數據源端直接進行脫敏；b）對脫敏任務的管理，宜考慮采用自動化管理的方式提升任務管理效率，例如定時、條件設置的方式觸發脫敏任務的執行；c）執行對脫敏任務的運行監控，宜考慮任務執行的穩定性以及脫敏任務對業務的影響；10DB21/T3893—2023d）設置專人定期對數據脫敏的相關日志記錄進行安全審計，發布審計報告，并跟進審計中發現的例外和異常，審計應重點關注高權限賬號的操作日志和脫敏工作的記錄日志。8.1.7評估脫敏效果通過收集、整理數據脫敏工作執行的數據，例如相關監控數據、審計數據，對數據脫敏的前期工作開展情況進行反饋，從而優化相關規程，明確數據脫敏過程中應滿足的內容。在評估脫敏效果過程中，應滿足以下內容：a）利用測試工具評估脫敏后數據對應用系統的功能、性能影響，從而明確對整體業務服務水平的影響，測試負載宜盡量保證與生產環境一致，宜盡量提供從生產環境克隆數據訪問負載到脫敏系統進行回放測試的功能；b）應根據組織業務發展的情況和脫敏工作執行的反饋，優化數據脫敏工作開展的規程。8.2數據安全應在與互聯網隔絕的安全環境下清洗工業數據，環境應支持數據可存儲、可轉化，工業數據清洗應符合GB/T22239-2019、GB/T35274-2017和GB/T37973-2019的相關要求，確保工業數據的保密性和完整性。8.3人員能力工業數據清洗人員應經過相應的技術和安全培訓，具有數據清洗的能力，取得相關業務領域的數據管理認證資格，并能按照數據安全管理相關制度完成工業數據清洗工作。9質量要求清洗后的工業數據應符合數據流通的質量管理要求，工業數據質量特性包括