公共數據質量評價要求發出布版2024-11-29發布發出布版上海市市場監督管理局I Ⅲ 1 1 1 2 2 2 35.3評價指標 4 9 7.1評價準備 7.3評價實施 附錄A(資料性)公共數據質量評價示例 Ⅲ本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定起草。請注意本文件的某些內容可能涉及專利。本文件的發布機構不承擔識別專利的責任。本文件由上海市數據局提出并組織實施。本文件由上海市數據標準化技術委員會歸口。本文件起草單位：上海計算機軟件技術開發中心、上海市大數據中心、上海數據集團有限公司、亞信科技(中國)有限公司、星環信息科技(上海)股份有限公司、杭州數夢工場科技有限公司、云賽智聯股份有限公司、上海德拓信息技術股份有限公司、普元信息技術股份有限公司、上海市信息安全測評認證中心、上海軟中智鏈數字科技有限公司、華東師范大學。本文件主要起草人：楊琳、劉迎風、李小山、司萌萌、劉辰昀、劉波、禹芳、念燦華、章建兵、陳默、1本文件規定了公共數據質量評價的總體要求、評價指標體系、評價方法和評價流程。本文件適用于上海市公共數據的質量評價與改進。2規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB11643—1999公民身份號碼GB/T36344—2018信息技術數據質量評價指標3術語和定義GB/T35295—2017、GB/T36344—2018界定的以及下列術語和定義適用于本文件。信息的可再解釋的形式化表示，以適用于通信、解釋或處理。公共數據publicdata本市國家機關、事業單位，經依法授權具有管理公共事務職能的組織，以及供水通等提供公共服務的組織，在履行公共管理和服務職責過程中收集和產生的數據。公共數據質量publicdataquality公共數據在使用時，數據的特性滿足明確的和隱含的要求的程度。對分析的圖像和文本表述，該分析識別了組織為完成其使命、功能、目標、目的和價組織所需要的數據。24總體要求4.1公共數據質量評價應在物理設備、網絡連接、系統權限等正常的情況下進行，并遵循客觀公正原則。4.2公共數據質量評價指標的設計應以融入業務、聚焦關鍵、遵循標準為原則，并符合可度量、可接受、可管控、可跟蹤的要求。4.3公共數據質量評價相關方包括公共數據管理方、公共數據提供方、公共數據使用方和公共數據評價方，具體如下：a)公共數據管理方應結合公共數據使用方業務需求，評審公共數據質量評價方案；b)公共數據提供方應根據管理方和使用方要求，制定公共數據質量管理目標，確認公共數據質量評價指標與方案，并提供被評價的公共數據及相關材料，包括但不限于公共數據質量業務需求、技術需求、數據標準等；c)公共數據使用方可提出公共數據質量要求，對公共數據質量水平進行反饋；d)公共數據評價方應結合公共數據提供方和使用方業務需求，設計公共數據質量評價方案，并根據評價方案組織實施公共數據質量評價活動。5評價指標體系5.1指標體系框架公共數據質量評價指標體系應按照GB/T36344—2018的指標框架，由若干個能夠反映公共數據質量特性、相互獨立又相互聯系的指標組成，見圖1。公共數據可訪問性公共數據可訪問性公共數據時效性公共數據一致性公共數據準確性公共數據完整性公共數據規范性公共數據質量評價指標體系圖1公共數據質量評價指標體系框架公共數據質量評價指標體系包括但不限于公共數據的規范性、完整性、準確性、一致性、時效性和可訪問性：a)公共數據規范性：數據符合數據標準(包括數據類型約束規范性、數據格式約束規范性、數據長度約束規范性)、數據模型、元數據、業務規則、權威參考數據和安全規范的程度；b)公共數據完整性：按照業務規則要求，數據集中數據元素完整性和數據記錄完整性；c)公共數據準確性：數據準確性表示其所描述的實體真實值的程度，包括數據內容正確性、數據格式合規性、數據重復率、數據唯一性、臟數據出現率、數據標準參照準確性等；d)公共數據一致性：數據與其他特定上下文中使用的數據無矛盾的程度，包括相同數據一致性、關聯數據一致性(包括表內等值一致性、表內邏輯一致性、跨表等值一致性、跨表邏輯一致性)、內3容數據記錄數據項與元數據一致性等；e)公共數據時效性：數據在時間變化中的正確程度，包括基于時間段的正確性、基于時間點的及時f)公共數據可訪問性：數據能被訪問的程度，包括可訪問和可用性等。各指標及其內容應結合公共數據業務預期進行設計。5.2指標編碼指標代碼是評價指標的唯一性代碼，采用層次編碼方法，編碼位數為6位，按照一級指標、二級指標和三級指標的從屬關系順序編碼。每一級指標代碼分別用2位阿拉伯數字表示。編碼規則如圖2所示。圖2指標編碼規則5.2.2一級指標代碼第1位和第2位一級指標代碼由2位阿拉伯數字組成。一級指標代碼及含義見表1。表1一級指標代碼及含義5.2.3二級指標代碼第3位和第4位二級指標代碼由2位阿拉伯數字組成，編碼范圍為01~99。其中，91~99表示其他類。第5位和第6位三級指標代碼由2位阿拉伯數字組成，編碼范圍為00~99。其中，00表示沿用二級指標，91~99表示其他類。4公共數據規范性評價指標見表2。指標示例“公民身份號碼”應符合體碼和1位數字校驗碼組成；數據長度應是18位X表示數據標準指標的得分；標的得分；標的得分；數據類型約“報銷金額”數據類型應為數標的得分；素的個數；數據格式約“郵箱地址”應滿足有效郵箱標的得分；素的個數；數據長度約化數據“手機號”數據長度應為11位標的得分；素的個數；數據模型數據集中數據符合數據模型的度量，適用于結構化數據學生所屬系的模型，學生表中空值。當修改系表中ID時，應關聯更新所有學生表中屬于X表示數據模型指標的得分；A表示滿足數據模型要求的元素的個數；型值域等內容的數據字典等X表示元數據指標的得分；的個數；5表2公共數據規范性評價指標(續)指標示例業務規則服務業務規則的度量，適用于結構化數據齡，男性年齡應大于22周歲，女性年齡應大于20周歲X表示業務規則指標的得分；考源)源)指標的得分；素的個數；安全規范X表示安全規范指標的得分；公共數據完整性評價指標見表3。指標示例數據元素的賦值程度A表示被賦值的元素的個數；數據記錄的賦值程度整的A表示被賦值的元素的個數；公共數據準確性評價指標見表4。6指標示例預期數據，適用于結構化元素的個數；度、精度等)是否滿足預期要求如“國土面積”保留小數點后素的個數；數據集中特定字段、記錄、文件或數據集意外重復的在本市第一批優秀歷史建筑名單表中存在兩條關于“×××全一致，表明出現了不必要的A表示重復的元素的個數；數據集中特定字段、記錄、的都是唯一的，沒有重復的身的個數；臟數據出數據集中正確字段、記錄、臨時值產生的臟數據與政府法人庫的“統一社會信標的得分；的情況下，與該參照保持一致的元素的個數；公共數據一致性評價指標見表5。7指標示例數據集中同一數據在不同戶使用時，數據的一致性；同位置的同一數據被同步據個數；關聯數據規則檢查關聯數據的一資產負債表與利潤表的一致性的得分；跨列的元素值的關系是否資產負債表中，“資產=負債+性的數據個數；跨列的元素值的邏輯關系是否保持一致，適用于結構"出生年月","出生年月"應與“身份證號”的第7位～第14位性的數據個數；元素值的關系是否保持一的所有員工工資之和一致的得分；數據個數；言，元素值的邏輯是否保持一致，適用于結構化數據晚于學生入學表中的“入學日期”數據個數；8表5公共數據一致性評價指標(續)指標示例內容數據X表示內容數據記錄數據項與元數據一致性指標的得分；項與元數據一致的數據個數；5.3.5公共數據時效性公共數據時效性評價指標見表6。表6公共數據時效性評價指標指標示例的正確性頻率分布符合業務需求的以本市每日天氣信息為例，為實現提示市民應對天氣變化的標的得分；的個數；基于時間點的及時性具有時效性的數據應及時公開或提供，公開的數據在有效期限內以本市高校專業設置情況及對標的得分；時序性適用于結構化數據以股票交易數據為例，抽取某股票的若干交易數據，確認以X表示時序性指標的得分；供數據的使用以個人健康數據為例。A醫院可以調取和存儲B醫院的個人健康信息，但僅在治療期間有效。治療結束后，A醫院存儲的B醫院獲取的健康信息自動標的得分；元素個數；5.3.6公共數據可訪問性公共數據可訪問性評價指標見表7。9指標示例可訪問以婚姻核驗為例，在調用婚姻核驗數據時可調用成功X表示可訪問指標的得分；素個數；以本市失業登記信息為例，提供持續適配應用場景、可用的失業登記信息X表示可用性指標的得分；P——評估對象最終得分；量管理目標。質量評價指標宜完整覆蓋第5章規定的指標體系，公共數據評價方可結合實際需求，增加公共數據評價方按照數據質量評價方案對評價對象組織實施公共數據質量評價活動。各項質量指標通過評分方式進行量化評定，結合指標權重，綜合計算得出最終數據質量評分。評價實施案例見附錄A。(資料性)公共數據質量評價示例以某市婚姻相關數據集為例，開展公共數據質量評價工作。評價準備工作如下：a)明確評價對象是婚姻相關公共數據集；b)公共數據管理方通過制定《婚姻相關數據質量評價體系》《數據標準中心操作流程》《數據質量服務能力評估檢查表》《自然人婚姻相關數據規范》《數據質量管理制度》等系列規范文件，明確婚姻相關數據質量要求；c)在婚姻相關數據不可篡改的場景下，公共數據評價方明確了評價的目的、范圍、時間、內容、方法，覆蓋公共數據采集、歸集、整合、共享、開放等各個環節，以保障公共數據全鏈路的質量評價工作順利開展；d)采用數據可用性評估工具、多源數據采集工具、數據探查工具、數據剖析工具、數據質量平臺、標準中心、質量規則庫、質量問題工單、質量大盤等工具，開展比對報告、重跑驗證、復檢審核、問題審核、規則審核、質量告警等方法進行數據質量評價；e)評價頻率采用日常評價與每月階段性評價相結合。結合公共數據提供方提交的具體業務特征、相關規范文件等基本要求，公共數據評價方從公共數據質量評價指標體系中選取評價指標進行數據質量評價，詳細內容見表A.1。公共數據評價方根據婚姻數據質量評價的實際需求，基于數據質量問題影響程度設定各級指標權重。比如將“時效性”設定為高權重(0.2),旨在強調在婚姻數據質量評價中及時更新數據的重要性，確保最新的婚姻數據能夠準確反映社會現狀。見表A.1。公共數據評價方根據選定的評估指標、評估對象確定數據質量規則。A.3.4方案編制和確認公共數據評價方編制公共數據質量評價方案，方案編制完成后，公共數據管理方和公共數據提供方根據業務需求，評審確認評價方案。A.4評價實施為100分。通過日常評價和階段性評價，婚姻相關數據質量總分和一級一級X二級指YZ評價規則T二級指S一級RP11公民身份號碼格式為18位；婚姻事項代碼遵循GA/T543.1—20111一一一一一時間相符一唯一性一一公民身份號碼數據唯一一關聯數據1出生日期與公民身份號碼中的出生年月日在涉及雙方的記錄中，名、證件號碼等信息相時效性基于時間點及時性1一一數據更新時間符合一定的頻率標準，如每日的值一問性可訪問1一一時可調用成功一A.4.2報告編制(部分)可訪問