數據質量管理(DQC)數據質量概述PART

01評價方法PART

02數據質量管理PART

03數據質量愿景PART

04CONTENTS數據質量概述PART

01基本概念

數據質量管理（DataQualityManagement），是指對數據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發的各類數據質量問題，進行識別、度量、監控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數據質量獲得進一步提高

數據質量管理不是一時的數據治理手段，而是循環的管理過程。其終極目標是通過可靠的數據，提升數據在使用中的價值，并最終為企業贏得經濟效益影響因素

數據問題的來源可能產生于從數據源頭到數據存儲介質的各個環節。在數據采集階段，數據的真實性、準確性、完整性、時效性都會影響數據質量。數據的加工、存儲過程都有可能涉及對原始數據的修改，從而引發數據的質量問題。所以，技術、流程、管理等多方面的因素都有可能會影響到數據質量。

數據質量評價方法PART

02評估維度完整性一致性準確性真實性唯一性關聯性及時性1.完整性唯一性約束不完整、參照不完整；數據條目不完整，例如：數據記錄丟失或不可用；數據屬性不完整，例如：數據屬性空值。2.一致性多源數據的數據模型不一致，例如：命名不一致、數據結構不一致、約束規則不一致。例如：數據編碼不一致、命名及含義不一致、分類層次不一致、生命周期不一致……。數據內容沖突的問題。3.準確性準確性也叫可靠性，是用于分析和識別哪些是不準確的或無效的數據，不可靠的數據可能會導致嚴重的問題，會造成糟糕的決策。4.唯一性用于識別和度量重復數據、冗余數據。重復數據是導致業務無法協同、流程無法追溯的重要因素，也是數據治理需要解決的最基本的數據問題。5.關聯性數據關聯性問題是指存在數據關聯的數據關系缺失或錯誤，例如：函數關系、相關系數、主外鍵關系、索引關系等。6.真實性數據必須真實準確的反映客觀的實體存在或真實的業務7.及時性數據的及時性(In-time)是指能否在需要的時候獲到數據數據質量管理PART

03數據質量管理事前事中事后事前定義監控規則事后分析數據質量事中稽核數據質量事前定義監控規則事前定義監控規則梳理指標確定對象（多表、單表、字段）制定規則通過資產等級、制定數據質量稽核規則事中稽核數據質量數據完整性事中的數據完整性，一般指的是條目完整，最常用的就是使用ods層的數據和業務庫數據做數據量的比對事中稽核數據質量數據唯一性事中的數據唯一性，一般指的對數據模型表進行主鍵唯一性校驗，即count(1),count(distinctid)不相等的話，則需要告警事中稽核數據質量數據非空性事中的數據非空性，主要指2點1.字段的空值率，看看是不是由于開發過程中的bug造成，如果不是的話需要看一下是否有其他方式回補2.對于字段值為空的時候，應該使用缺省值填充事中稽核數據質量數據有效性事中的數據有效性，主要是存儲的數據實例或格式是否和數據值域一致，一般是枚舉值，值域范圍或者格式，如果不一致，則需要告警并且及時處理事中稽核數據質量數據準確性事中的數據準確性，一般指2點1.數據指標的波動稽核，需要設置閾值2.相關的幾個字段或者幾張表之間，是不是存在邏輯沖突的情況事中稽核數據質量數據及時性事中的數據及時性，一般指的是a任務一般運行30分鐘，并且2點左右就能跑完，但是通過稽核程序發現，3點該任務還沒開始跑，或者已經跑了1個小時還沒結束，可能會造成下游任務延遲，需要及時電話告警，讓值班人員看一下是哪里卡住了，集群或者調度事中告警機制電話告警對于非常重要的異常稽核任務需要電話告警并且終止任務，比如完整性，唯一性，準確性，及時性郵件告警不需要晚上及時處理的稽核任務，只需要郵件和短信告警，如枚舉值校驗，數據非空性校驗短信告警不需要晚上及時處理的稽核任務，只需要郵件和短信告警，如枚舉值校驗，數據非空性校驗010203事后分析數據質量綜合分析（概覽）表打分模型同環比分析排名分析數據質量模型按照之前定好的稽核規則，用spark程序把全集團的數據跑一遍，結果數據存儲在mysql，然后使用datax將結果數據抽取回數倉并進行數據模型建設事后分析數據質量最終的模型數據需要以報表形式在數據分析平臺展示，如果可以的話，還能展示數據質量模型明細數據數據分析平臺支持excel，pdf，png等格式的導出124質量報告異常任務以各種形式及時通知到責任人，并在規定時間內整改完成告警及整改如果發現數據質量問題不是數據開發造成的，可以反推業務方進行整改反推3可訂閱自己比較關心的主題，表或者規則，郵件只會發送訂閱內容，明細數據可在數據平臺查