1地市級能源大數據中心能源數據質量管理規范本文適用于地市級能源大數據中心電、熱、氣三類能源數據的質GB/T29873能源計量數據采集系統數GB/T36073-2018數據管理能力成熟度GB/T38673-2020信息技術大數據大數據系統基本要求GB/T40685—2021信息技術服務數據資產管3.13.2能源數據質量管理Energydataqua3.33.43.523.6能源大數據分類Energybigdatac4縮略語CoAP：受限應用協議（ConstrainedCSV：逗號分隔值（Comma-SeparatedVaJSON：對象表示法（JavaScriptObjectNotatMQTT：消息隊列遙測傳輸（MessageQueuingTeleme地市級能源大數據中心能源數據質量管理平臺框架見圖1，包括下列主a)感知層：實現采集協議標準化、數據校驗標準化和數據格式標準化；3b)數據網關支持根據上位機命令啟動數據采集和根據預設周期或時刻啟動數據采集兩種命令數c)數據采集渠道、規范數據格式以及相關的流程和方式滿足表1要求，并滿足數據6.2數據校驗標準化a)針對不同能源類型（電力、熱能、天然6.3數據格式標準化a)電力數據：采用統一的文件格式，包括但但不限于電流（單位：安培）、電壓（單位：伏特）、功率（單位：千瓦時（單位：兆焦耳/立方米采用Parquet或Avro格式以支持大數據分析處理。7.2通信協議標準47.3數據接入設備b)數據量較大、單批量接入可能會造成系統故障的數據接入應采用實時接入或定時批量接入的方式，并滿足a)實時接入定義為數據從源頭產生至到達大數據中心的延遲時間不超周期性執行，具體頻率依據業務需求和系統處理能數據模型是一種直觀描述數據組織結構的手段，是數據據、電力市場交易數據等供有關資源的結構數據，用于刻畫其他數的數據數量不應超過5%5束、外部傳輸應加密，避免性按照能源業務規應被賦值的數據數據應根據存儲頻率進行及時造成空數據，同類數據中滿足數據完整性的比性按照業務規則要賦值的數據記錄數據應根據相關規則進行同類數據中滿足數據完整6性數據在傳輸過程中應與現場采集器的數據保持100%性數據格式(包括數據類型、數據傳輸過程中應遵循約定的標準通訊協議，按照標準協議進行解析，并按系數、偏移量進行讀寫存儲，應與現場采集器保存除數據備份外，特定唯一性數據應保存唯一性，重復性數據應自動篩查，并每個用戶或設備是否唯一除數據備份外，特定唯一性數據應設置標識，避免重復輸入，沒有設置唯一氣體源和終端用戶的唯一無效數據應自動進行標識，經過修正過的數據應消除標識，臟數據占比不應大于同類型數據數量的7性同應用調用，允許產生偏差，偏差和讀取數據的頻倍最大輪詢周期內，不應超過2次偏差大于元數據性應在物理規律的約束范圍量、存儲量的關聯數據一基于日期范圍的記錄數或頻率分布符合能源業務需求的程度源基于時段的元數據修正后，所關聯的結果數據應進行自動或提示手動重算修正，以保證數據準確性，根據相關數據校核篩查，同一類型的等基于時間戳的記錄數、頻率分布或延遲時間符合業務需求源基于時間戳的數據因更故障等原因造成統計和計算數據的不準確，應自動進行標記，同一類型的數據正確性應大于數據集中同一實體的數據元素之間的相對時序源同一實體的數據應符合一定的物理規律，違背物理規律的數據應判定為無效數據，同一類型的數據正確性應大于等8數據在需要時的可獲數據應設置訪問權限管理，有權限的用戶應100%可訪問，無權限的用戶應數據在設定有效生存數據應持續有效，同一類型的無效數據不應超過8.2數據質量評價方法能源數據質量評價流程是產生和報告能源數據質量結果的一系列步驟，在進行能源數據質量識別之后，進行數據質量評價。能源數據質量識別見表8，評價91能源數據質量數據質量描述要素子元素以及數據質量范2別數據質量策類型及數值質3法對每個被識別的數據質量測4據質量描述要量值或數據質質量值單位及數據質量測量數據質量值集合:如電壓波動率、頻率穩定性指標等。值單位:立方米/小時、帕斯卡等。5性若數據規范或用戶需求中已指定一致性質數據質量結果相比可確定一通過”)是能源數據質量描述要素數據質量結果與一致性質量等級比較比較實際數據質量結果與一致性標準，輸出一致性結果a)交叉驗證：通過將數據集分成若干個互斥的子集,輪流用其中若干個子集作為訓練集,其余子b)多源數據校驗：根據獲取校驗內容和預先制定的校驗規則生成校驗任務和與所述校驗任務對a)缺失值分析：采用完全隨機缺失、隨機缺失、非隨機缺失方法進行分析；c)時間戳分析：當執行備份操作時，確定哪些文件自上次備份以來已更改的關鍵指標。a)跨系統對比：應支持向用能企業提供能效綜合評價、行業能效對8.3數據質量報告b)名稱：報告條款名稱。d)條件：描述報告改條款的必要條件，或需要該條款的條件。其中，必備代表應有該條款；12345678.4數據質量事件a)允許跟蹤數據的變更和回滾,以確保數據的可重復性和可解釋性；8.6數據審計8.8.1應建立數據恢復流程，制定詳細的數據恢復流程和計劃，確保在數據損壞或丟失時可以迅速恢9.1.1應基于數據使用的能源數據質量監控要求能源數據使用節點提供一個明確的、易于訪問的平臺9.1.2應鼓勵用戶反饋數據問題，并將用戶反饋納入數據質量改進過程，反饋內容應滿足下列要求：a)進行統一化流程管理；展和市場需求，應根據數據質量監控結果和用戶反饋，持續改進數據處理、存儲和管理A.1指標詳見下表1A相電壓(Ua)VVVV%AB線電壓(Uab)VVVV%VA相n次