ICS11.020C50團 體 標 準T/TSHIA7.1—2018衛生健康數據質量控制規范1Standardforqualitycontrolofhealthdata——Part1：Functionalspecificationofdataqualitycontrolplatform2018-06-30發布 2018-10-01實施四川省衛生信息學會發布T/SHIA7.1—2018T/SHIA7.1—2018第第9頁共22頁目 次前 言 1范圍 3規范性引用文件 3術語和縮略語 3總體設計 6功能子系統設計 11前 言T/SHIA7-2018<<衛生健康數據質量控制規范>>分為2部分：第1部分：數據質量控制平臺功能規范第2部分：數據質量控制規則標準本部分為T/SHIA7的第1部分。本標準按照GB/T1.1-2009給出的規定起草。本標準內容由四川省衛生信息學會人口健康信息標準專業委員會提出并歸口。本標準的主要起草單位：四川省衛生信息學會、四川省衛生信息學會人口健康信息標準專業委員會、四川省衛生和計劃生育信息中心。衛生健康數據質量控制規范第1部分：數據質量控制平臺功能規范范圍本規范定義了質控系統的架構、功能和規則標準；本規范適用于在數據采集/傳輸過程中對數據質量的校驗分析和執行監管；本規范可作為衛生健康數據質量控制系統的規劃、設計、開發和應用標準，為質控系統承接廠商在設計質控系統時提供參考；本規范可作為我省各級全民健康信息平臺、醫療機構集成信息平臺和醫療三監管平臺的數據質量控制子系統的建設標準。規范性引用文件下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有修改單）適用于本文件。GB32100-2015法人和其他組織統一社會信用代碼編碼規則2) GB∕T14396-2016疾病分類與代碼3) GB/T15657-1995中醫病證分類與代碼表4) GB/T16751.3-1997治法部分WS364-2011WS365-2011WS445-2014WS375.1-20131WS375.9-20129T/SHIA5.6-20176T/SHIA6-2018全民健康信息批量采集交換中間庫標準術語和縮略語術語和定義下列術語和定義適用于本文件。3.1.1數據質量dataquality是涵蓋用于特定目的概念和業務術語，在業務管理和決策支持中使用，也可以在研究、活動、流程等所涉及的相關業務活動中使用。數據質量問題的外延較廣，典型的質量問題包括：數據的合法性數據的完整性數據的正確性數據的重復性數據的統一性/數據標準化數據的及時性/時效性如果數據符合其在運營、決策和規劃中的預期用途，則我們稱其為高質量的數據。3.1.2數據監控datamonitor指在生成數據概要時持續地檢查測量以強制提升數據質量的活動。數據監控任務可以設置批量計劃任務定時運行(如每晚)。如果某些質控監測結果超出了允許的閾值，可以發送預定義的電子郵件或警報。在某些情況下，可以通過在輸入表單錄入時按照首次正確原則進行數據驗證以排除問題。3.1.3數據質量管理或控制dataqualitymanagement是指對數據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發的各類數數據質量管理通常采用“十步數據質量管理”方法:對問題、時機、目標和規則進行定義和約定，用以指導整個數據質量管理的工作。收集、匯總、分析相關數據和信息環境，設計更合理的信息收集及評估方案。根據數據質量維度對采集的數據進行質量評估。通過建立的數據模型對采集的數據進行整理分析、評估劣質數據對業務產生的影響，并完善數據采集方案。確定影響數據質量的真實原因，并對這些影響數據質量的因素進行分級，建立并完善數據評級機制。（包括數據級和組織級。建立數據容錯的預防方案，通過預防方案發現和改正當前數據問題。通過數據質量管理方案組織和完善管理流程，發現并改進因管理上的缺陷造成的數據質量問題。在管理上對數據實施隨機抽查、不定期提取和通報機制，維護平臺的權威性。溝通貫穿管理始終，循環的評估組織管理流程，以確保數據質量的改善得到長期有效的保持。3.1.3數據質量評估dataqualityassessment簡稱數據評估，是從數據綜合應用的角度考慮，對信息和數據的采集、存儲和產出進行全面的考察和評價。從而提高信息和數據的可信度和有效度，為決策提供更有利的基礎。通常數據質量評估和管理評估的維度見下表所示：表1數據質量評估和管理評估維度維度說明完整性Completeness用于度量哪些數據丟失了或者哪些數據不可用規范性Conformity用于度量哪些數據未按統一格式存儲一致性Consistency用于度量哪些數據的值在信息含義上是沖突的準確性Accuracy用于度量哪些數據和信息是不正確的，或者數據是超期的唯一性Uniqueness用于度量哪些數據是重復數據或者數據的哪些屬性是重復的關聯性Integration用于度量哪些關聯的數據缺失或者未建立索引3.1.4數據分析dataanalysis指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。3.1.5數據剖析dataProfilling是調查數據庫以創建其“概要”的活動。通過使用數據庫的概要文件，將能夠更好地實際使用和改進數據。進行剖析的方式通常取決于您對數據質量目的的理解，或者您對數據倉庫的熟悉情況。3.1.6衛生健康數據質控系統qualitycontrolsystemofhealthdata簡稱”質控系統”，是利用計算機技術和網絡通訊技術，對衛生領域關于居民健康的數據進行數據質3.1.7質控對象是指受質量規則約束和審核的數據對象（也可稱為數據源），可以是業務系統的關系數據庫表、數據文件等。3.1.8質控規則是質量驗證和分析內容和方法的定義，并通過作業的方式進行高級復雜處理流程的管理。規則一般通過一個稱為規則引擎的技術構件來支撐。它是一個靜態的概念。3.1.9質控任務是質控規則或作業的具體執行。一般通過調度器模型來管理，質控任務是一個動態的概念。3.1.10質控報告是質控分析結果的一種格式化輸出形形。質控分析的結果輸出形成還包括：可視化顯示輸出、可共享交換的格式文檔或接口、輸出到數據庫等。縮略語以下縮略語適用于本文件。DQ 數據質量DataQualityDQA 數據質量分析DataQualityAnalysisMDM 主數據管理 MasterDataManagement總體設計衛生健康數據質控系統是為衛生行業提供一個實用的、支持多種數據類型驗證和分析的數據質量監測、分析和監管平臺。（excel。質控系統功能至少包括但不限于以下功能：質控對象(數據源)管理。質控規則管理。質控分析及任務管理。質控報告管理部分。系統及安全管理部分。平臺設計準則質控系統的架構設計應靈活，必須遵循以下幾項基本準則:。基于現已頒布的國家或衛生行業標準，對各項標準提供完整地協作流程（如標準管理、下載等）。。系統須具有高度的可擴展性，內容主要包括標準術語字典、質控規則、質控指標和質控評估準則等。。系統的應用技術以開放性為原則。通過建立公開的標準，促進數據傳輸方與質控系統的互聯和協同操作。。系統在軟件及通訊基礎架構上須具有快速地恢復能力。。協同包括兩部分內容：即在數據采集和傳輸過程中，數據傳輸方與質控系統之間的協同；質控系統與第三方系統進行質控數據交互和共享的協同。邏輯架構質控系統有多個不同層次的組件構成，共同完成質控對象的確定、質控規則或方法的定義和管理、質控分析作業的生成和任務調度管理、質控報告及結果統計分析等功能。其基本架構如下圖所示。圖1健康信息數據質量控制平臺邏輯架構圖質控系統包括多個組件，各組件的主要功能如下：（如OracleMSSQLDB2MySQLPostgreSql等）數據、文件型數據（xls、csv、xml、json）、接口動態數據（便于通過質控服務接口提供質控服務等）的質控對象的支持、選項配置、示例創建和維護。提供多種方式的質控規則定義，包括表達式、基于值表查對、基于數SQL質控引擎是一種可控的執行機，由它調用基于質控系統提供的質控規則標準進行質控驗證、基于質控算法進行質控問題分析的質控功能模塊并可按照一定的邏輯順序編織的執行序列，從而完成質控驗證分析。該部分功能包括質控數據清洗和轉換規則、數據的組織和重構規則、數據質量分析規則組件及配置，質控流程即作業及執行管理、質控規則模板庫管理、質控規則定義相關的術語標準、同義詞管理等。。通過質控引擎對質控任務的執行后，發現的質量問題數據。質控數據通過質控報告顯示或以郵件、短信等方式進行通報給相關醫療機構或醫務人員，并以接口服務的方式進行質控數據的傳輸和交換。功能架構質控系統功能架構反映了質控系統的主要功能子系統層次關系。其主要功能框架如圖2所示，具體的功能說明詳見功能系統設計部分內容。技術架構

圖2四川省全民健康信息數據質量控制系統功能架構圖B/S的建設應當采用當前主流、成熟的技術架構，如多層架構、企業服務總線（ESB）、XML、HTTPRESTFULAPI/WebService系統一般要求具備如下特征：支持省市縣分級部署、單機部署或云部署；T/SHIA7.1—2018T/SHIA7.1—2018第第21頁共22頁。支持對質控對象（數據源）、質控規則、標準術語、質控指標和質控報告等獨立子系統的良好維護；。支持對系統進行柔性的功能擴展；對質控規則、質控任務的擴展；。系統具備良好的可適用性，質控引擎可根據需求對質控規則或質控任務的自由組合；。按照統一的數據接口標準實現高效率、多形式地指標數據傳輸、監控、驗證和匯總統計；驗證規則和方法驗證規則是定義數據元素值之間關系的表達式。該表達式斷言驗證數據符合某些邏輯標準。表達式由三部分組成，如下所示：左側表達式右側表達式一個運算符質控系統根據數據值對應的驗證規則進行驗證并報告相關結果。2表2 質控方法說明方法名稱備注說明最大/最小值的異常值分析法為采集/傳輸的某些數據元素設置最大值/最小值范圍（如年齡），也可以統計自動生成最大最小值范圍。具體內容詳見附錄A.2.1。標準偏差異常值分析正。正則表達式驗證規則通過定義正則表達式驗證規則，為采集/傳輸的某些數據元素進行校驗（如身份證號碼、郵政編碼等）。具體內容詳見附錄A.2.2。SQL語句SQL語句驗證主要應用于以下兩種情況：SQL（（ICD-10）員、科室等）。通過數據庫各業務域間的時間業務邏輯關系和表關系進行查詢（如數據缺失等）。指標計算分析比較對于不同來源的數據，通過定義指標及其相關公式，對于相同的數據進行比較（如標準偏差等）。具體內容詳見附錄B.1。功能子系統設計質控對象（數據源）管理質控系統需要明確其確定的質控對象1在質控系統實現中，數據源和質控規則是集成在一起的。即一個數據源可以對應多條質控規則。質控對象管理須支持多種數據源類型（如數據庫類型、文件類型）、數據源實例管理等功能。數據源實例支持相同屬性的數據集管理，一般分為以下幾種情況：：其數據表即為數據集，如<<中間庫>>標準。質控系統根據標準規范自動獲取數據表的信息（如表名稱、字段名稱、表主/外鍵等）；：其同種類型的文檔即為數據集，如高血壓隨訪服務共享文檔；：其相同格式的文件即為數據集，如川衛統直報文件。質控對象的操作需要記錄相關的日志信息，內容至少包括操作時間、操作人員、操作內容描述。質控規則管理質控規則的主要方法是根據質控對象的意義從數據質量的多個維度（完整性、一致性、規范性、合理性等）進行定義（如取值范圍、邏輯關聯性、及時性、容量等）。其中主要的質量分析方法包括最大、最小值校驗、統計標準差奇異值分析、基于正則表達式的校驗。質控規則通過規則表達式進行定義，表達式的定義與對應的規則分析執行引擎相關。常見的有通用計算引擎（支持基本的運算表達式和部分函數）、數據庫引擎（sql）SQL質控規則組是為了便于管理，根據相同的質控屬性或標準將質控規則進行分組。質控規則組為可選功能。高級質控系統的規則管理可以實現各種規則模板21質控對象的定義詳見3.1部分內容。2規則模版詳見T/SHIA7.2。質控規則可實現對質控對象的預處理功能（包括數據標準化、格式轉換、特定數據對象的提取等），便于進行數據驗證。質控作業管理：系統一般支持多個質控規則的按照一定的邏輯進行編排，形成一個執行序列，稱為質控作業。質控作業是質控任務的靜態文本定義（質控內容）。選質控規選質控規則形質控規則組校形圖3質控規則與質控對象關系圖質控規則管理部分基本功能：質控規則管理，定義規則的基本屬性包括規則代碼、規則名稱、規則描述、規則重要性（高、中、低/強制或可選等（通過運算符（大于、小于、包括等）將兩個條件表達式（可包括支持的基本函數））SQL，支持規則編碼、名稱、重要性或周期類型進行規則查詢和結果導出功能，導出格式為excelcsv。。質控規則組管理，其屬性包括名稱、編碼（編碼須保持唯一）、描述，質控規則（附加查詢功能）。。。excel文件或csv文件。質控作業管理。質控規則輔助選項管理，術語字典、匹配模式模板等管理。質控分析及任務管理質控任務管理包括任務的定義：名稱、執行時間或周期、執行的內容（質控作業）、執行者、其它配置選項。質控任務調度和監控，由調度器根據約定的時間執行質控作業，生成質控分析結果，并保存至質量數據庫中。具體功能包括任務控制（啟動、暫停、終止等），執行的任務隊列狀態監視管理等。質控任務管理部分包括以下四部分內容：：由一個或多個質控規則組合成質控任務。：按照一定的業務流程將質控任務有序的組合成業務流程，可分步執行，并產生相應的結果。：對已執行的任務過程、狀態進行監控。：基于各種質控規則，進行數據質量問題的發現并呈現結果（可直接展示、以郵件或接口方式發送、寫入臨時數據庫或質控數據庫）4.5質控引擎的業務流程如下圖所示：質控分析數據寫入質控分析數據寫入操作人員操作人員創建創建質控任務產生提交質控任務產生提交執行器執控規則調用質控數據庫質控任務管理部分基本功能：質控任務管理，其屬性包括任務編號（唯一值）、名稱、描述、審核數據源、質控規則選擇（允許選擇多個質控規則）、調度策略（立即執行、定時執行、循環執行三種）。。正在執行的任務禁止能刪除。。僅新建或停用的任務可執行任務提交操作；支持批量任務提交功能。。任務組屬性包括任務組編號、名稱、描述、任務項等內容。。。由一個或多個任務組合成復雜業務流程。任務監控管理。支持質控任務狀態操作，即中止、啟用、停用狀態。。支持業務流任務進度監管。質控數據分析（。。支持質控問題分類統計。。支持不同維度查詢（如數據來源、機構、重要性等）、打印功能。。支持預警和反饋機制，及時作出相應的提醒。。質控分析數據，可寫入相應的質控數據庫或臨時表中存儲。。支持分析結果數據共享功能，可以郵件或接口通知相關醫療機構。質控報告管理質控報告是對質控對象進行質控分析后，產生的各種質控指標數據按照制定的報告模版格式輸出，并以不同的形式顯示（報表、圖表等形式），從而產生質控報告。質控報告管理還包括質控結果指標的交換與共享。質控指標是指質控系統通過分析后發現的質量問題的規范化定義，一秀用于生成質控報告時對質量問題進行描述。包括維度：機構：哪個機構的數據質量問題；系統：質量問題的發生源，什么地方發現的問題，如某個數據表的某個記錄；問題：發現什么問題，預定義的質量問題類型；時間：什么時間；警示：對數據的閥值進行設置（紅色表示異常、綠色表示正常、黃色表示警告）；其它：對問題的補充說明質控報告管理部分基本功能：質控指標管理支持質控指標添加、修改、刪除等基礎功能。支持質控指標計算公式的匹配。支持質控指標二次計算。支持質控指標分組管理（包括質控指標組新建、修改、刪除等）。數據質量可視顯示數據質量報告能對質控指標進行分類統計顯示；數據質量報告實現異常數據下鉆進行追蹤功能，其主要內容包括：數據質量總覽：針對數據質量校驗的總體情況統計，包括有數據上傳的表數量、上傳總的記錄數（包括新增數據記錄和對已存在數據進行更新的數據記錄）、上傳錯誤的記錄數等，從整體分析該批次數據質量總體情況。校驗異常統計：分別針對每一張表的校驗情況進行統計，并且能夠下鉆追蹤每張表的錯誤明細。以數據表為單位，統計該表中存在的異常錯誤數據情況，逐步跟蹤鉆取明細，獲取該表中，具體錯誤的字段及錯誤的原因，并提出改進建議。表級異常追蹤：分別針對每一張表的校驗異常情況進行說明，并列出異常數據信息。以數據表中異常類型為單位，對各數據表中存在的錯誤類型進行匯總，針對不同的錯誤類型，針對性的更正，快速提升數據的整體質量。根據實際情況建立專項數據分析（如三醫監管專題分析，其內容包括：合理性校驗、科室對碼分析、收費類別分析、藥品對碼分析、未上傳數據分析、數據量上傳統計等）；。支持報表/質量報告的數據接口共享、打印與查詢結果打印，并支持常用文件格式（xls、pdf、csv）導出。報告及模版管理支持質控指標組快速顯示質控報告。支持質控指標查詢、過濾后顯示質控報告。支持質控報告顯示打印或導出、通過接口進行交換等。支持不同形式報告的切換和顯示（如表、柱狀圖、線型圖等）。支持多維度數據查詢。系統允許自定義報告模版，實現個性化報告顯示；允許以郵件訂閱等手段，自動向管理者或相關醫療機構發送質控報告；允許不同視角生成（如區域角度、機構角度等）。質控報告的數據的交換管理質控數據交換管理部分基本功能：標準化數據的批量交換。包括質控報告展示或交換，支持導出常見的文件格式（pdf、xls、cvs、txt）；。發送到第三方系統，如郵件、服務接口等。質量數據交換接口按照統一的標準接口實現服務接口，支持上下級質量控制平臺以統一的標準格式，實現數據的傳輸交換和共享。第一條 數據質控指標交互服務質控指標交互服務用于質控系統和其它系統（包括質控系統）之間交換質控指標數據（或報告）的接口規HTTPRestful定義：將質控校驗結果向上級質控系統提供指標值，并請求存儲這些值，從而實現質控指標數據注冊。根據指標的日期維度和指標編碼，如已存在，則表示該項指標值需要更新，如不存在，則表示該項指標值需注冊。消息：消息說明詳見表3.1所示。表3.1 質控指標數據注冊更新服務服務名稱質控指標數據注冊更新服務功能描述用于下級質控系統將質控校驗結果向上級質控系統提供指標值，并請求存儲這些值。發送消息消息類型參數描述XML/Json結構參考：dataValueSet，見圖返回結果消息類型描述XML結構參考：importSummary，見下圖異常備注實時還是定時觸發，同步或異步參數說明：消息中相關參數說明見表3.2所示。表3.2 質控指標數據注冊更新服務參數說明參數名說明qc_ds指質控數據對象，,即質控對象中的數據集內容，此值可根據實際情況處理。qc_reportDate質控任務執行的日期，其格式為YYYY-MM-DDqc_org指標所屬醫療機構代碼，為醫療機構組織代碼。統一社會信用代碼截取9-17位。indicator質控指標唯一編碼，具體內容詳見附錄C 指質控規則。IndactorName質控指標名稱。value質量問題指標對應的數據值imported0功數。updated0功數。ignored忽略指標數，如果該值<0表示異常。qc_complete表示該消息傳輸的情況，成功/失敗(true/false)消息示例：XMLJson請求消息格式單一指標報送模式，XML3.3，JSON3.4。<qc_reportxmlns="<qc_reportxmlns="/schema/dxf/2.0"qc_ds="{qc_ds}"qc_reportDate="{qc_reportDate}"period="{period}"qc_org="{orgid}"><dataValueindicator="{indicatorid}"value="{value}"/><dataValueindicator="{indicatorid}"value="{value}"/></dataValueSet>表3.4 單一指標報送Json格式{{"qc_ds":"{qc_ds}","qc_reportDate":"{qc_reportDate}","period":"{period}","qc_org":"{orgid}","dataValues":[{"indicator":"{indicatorid}","value":"{value}"},{"indicator":"{indicatorid}","value":"{value}"},{"indicator":"{indicatorid}","value":"{value}"}，……]}批量指標報送模式，XML3.5，Json3.6。<qc_reportxmlns="/schema/dxf/2.0"><dataValueindicator="{indicatorid}"period="{period}"qc_ds="{qc_ds}"qc_org="{orgid}"value="{value}"/><qc_reportxmlns="/schema/dxf/2.0"><dataValueindicator="{indicatorid}"period="{period}"qc_ds="{qc_ds}"qc_org="{orgid}"value="{value}"/><dataValueindicator="{indicatorid}"period="{period}"qc_ds="{qc_ds}"qc_org="{orgid}"value="{value}"/><dataValueindicator="{indicatorid}"period="{period}"qc_ds="{qc_ds}"qc_org="{orgid}"org="{orgid}"value="{value}"/><dataValueindicator="{indicatorid}"period="{period}"qc_ds="{qc_ds}"qc_org="{orgid}"value="{value}"/></dataValueSet>{"dataValues":[{"dataValues":[{"indicator":"{indicatorid}","period":"{period}",qc_ds="{qc_ds}","qc_org":"{orgid}","value":"{value}"},{"indicator":"{indicatorid}","period":"{period}",qc_ds="{qc_ds}","qc_org":"{orgid}","value":"{value}"},{"indicator":"{indicatorid}","period":"{period}",qc_ds="{qc_ds}","qc_org":"{orgid}","value":"{value}"},{"indicator":"{indicatorid}","period":"{period}",qc_ds="{qc_ds}","qc_org":"{orgid}","value":"{value}"}]}響應消息格式（成功（成功3.8，響應消息(失敗)XML3.9，響應消息(失敗)Json3.10。<importSummary xmlns="/schema/dxf/2.0"><dataValueCountimported="3"updated="2"<importSummary xmlns="/schema/dxf/2.0"><dataValueCountimported=