1、大數據平臺下的數據治理解決12一數據管理的現狀二數據治理的概述TOC o 1-5 h z數據治理概念2數據治理目標334三數據治理體系四數據治理核心領域數據模型4數據生命周期5數據標準6主數據8數據質量9數據服務11數據安全1213五數據治理保障機制制度章程13規章制度13管控辦法13考核機制13數據治理組織15組織架構15組織層次16組織職責17流程管理19IT技術應用20支撐平臺20技術規范22234145附件A數據管理規范附件B數據質量評估辦法.附件C數據質量管理流程.大數據平臺下的數據治理解決方案V3.0第 頁關于數據治理的理解根據行業信息化發展的現狀，結合當今行業數據治理的要求，大型

2、集團或政務管理部門現階段數據管理方面存在以下的不足：數據多頭管理，缺少專門對數據管理進行監督和控制的組織。信息系統的建設和管理職能分散在各部門，致使數據管理的職責分散，權責不明確。組織機構各部門關注數據的角度不一樣，缺少一個組織從全局的視角對數據進行管理，導致無法建立統一的數據管理規程、標準等，相應的數據管理監督措施無法得到落實。組織機構的數據考核體系也尚未建立，無法保障數據管理標準和規程的有效執行。多系統分散建設，沒有規范統一的省級數據標準和數據模型。組織機構為應對迅速變化的市場和社會需求，逐步建立了各自的信息系統，各部門站在各自的立場生產、使用和管理數據，使得數據分散在不同的部門和信息系統

3、中，缺乏統一的數據規劃、可信的數據來源和數據標準，導致數據不規范、不一致、冗余、無法共享等問題出現，組織機構各部門對數據的理解難以應用一致的語言來描述，導致理解不一致。缺少統一的主數據，組織機構核心系統間的人員等主要信息并不是存儲在一個獨立的系統中，或者不是通過統一的業務管理流程在系統間維護。缺乏對集團公司或政務單位主數據的管理，就無法保障主數據在整個業務范圍內保持一致、完整和可控，導致業務數據正確性無法得到保障。缺乏統一的集團型數據質量管理流程體系。當前現狀中數據質量管理主要由各組織部門分頭進行；跨局跨部門的數據質量溝通機制不完善；缺乏清晰的跨局跨部門的數據質量管控規范與標準，數據分析隨機性

4、強，存在業務需求不清的現象，影響數據質量；數據的自動采集尚未全面實現，處理過程存在人為干預問題，很多部門存在數據質量管理人員不足、知識與經驗不夠、監管方式不全面等問題；缺乏完善的數據質量管控流程和系統支撐能力。數據全生命周期管理不完整。目前，大型集團或政務單位，數據的產生、使用、維護、備份到過時被銷毀的數據生命周期管理規范和流程還不完善，不能確定過期和無效數據的識別條件，且非結構化數據未納入數據生命周期的管理范疇；無信息化工具支撐數據生命周期狀態的查詢，未有效利用元數據管理。數據治理是指將數據作為組織資產而展開的一系列的具體化工作,是對數據的全生命周期管理。數據治理體系是指從組織架構、管理制度

5、、操作規利了應用技術、績效考核支持等多個維度對組織的數據模型、數據架構、數據質量、數據安全、數據生命周期等各方面進行全面的梳理、建設以及持續改進的體系。數據治理的目標是提高數據的質量（準確性和完整性），保證數據的安全性（保密性、完整性及可用性），實現數據資源在各組織機構部門的共享；推進信息資源的整合、對接和共享，從而提升集團公司或政務單位信息化水平，充分發揮信息化作用。數據治理體系包含兩個方面，一是數據質量核心領域，二是數據質量保障機制。具體兩者內容及相互關系可以參見下圖：核心領域保障機制數據服務數據偵量制度靠程規章制度-管控辦法考核機制組織組織架構組織層次組織職責數據安金數據標準數據全生命周

6、期數據模型流程流程目標流程任務*流程分級1T技術應用技術規范實施辦法支撐平臺為了有效管理信息資源，必須構集團級數據治理體系。數據治理體系包含數據治理組織、數據構架管理、主數據管理、數據質量管理、數據服務管理及數據安全管理內容，這些內容既有機結合，又相互支撐。數據模型是數據構架中重要一部分，包括概念數據模型和邏輯數據模型，是數據治理的關鍵、重點。理想的數據模型應該具有非冗余、穩定、一致、易用等特征。邏輯數據模型能涵蓋整個集團的業務范圍，以一種清晰的表達方式記錄跟蹤集團單位的重要數據元素及其變動，并利用它們之間各種可能的限制條件和關系來表達重要的業務規則。數據模型必須在設計過程中保持統一的業務定義

7、。為了滿足將來不同的應用分析需要，邏輯數據模型的設計應該能夠支持最小粒度的詳細數據的存儲，以支持各種可能的分析查詢。同時保障邏輯數據模型能夠最大程度上減少冗余，并保障結構具有足夠的靈活性和擴展性一般包括數據生成及傳輸、數據存儲、數據處理及應用、數據銷毀四個方面。（1）數據生成及傳輸數據應該能夠按照數據質量標準和發展需要產生，應采取措施保證數據的準確性和完整性，業務系統上線前應該進行必要的安全測試，以保證上述措施的有效性。對于手工流程中產生的數據在相關制度中明確要求，并通過事中復核、事后檢查等手段保證其準確性和完整性。數據傳輸過程中需要考慮保密性和完整性的問題，對不同種類的數據分別采取不同的措施

8、防止數據泄漏或數據被篡改。（2）數據存儲這個階段除了關注保密性、完整性之外，更要關心數據的可用性，對于大部分數據應采取分級存儲的方式，不僅存儲在本地磁盤上，還應該在磁帶上，甚至遠程復制到磁盤陣列中，或者采用光盤庫進行存儲。對于存儲備份的數據要定期進行測試，確保其可訪問其數據完整。數據的備份恢復策略應該由數據的責任部門或責任人負責制定，信息化管理部門可以給予相應的支持。同時還需要注意因為部門需要或故障處理的需要，可能對數據進行修改，必須在數據管理辦法中明確數據修改的申請審批流程，審慎對待后臺數據修改。（3）數據處理和應用信息化相關部門需要對數據進行分析處理，以挖掘出對于管理及業務開展有價值的信息

9、，為保證過程中數據的安全性，一般應采用聯機處理，系統只輸出分析處理的結果。但是實際中，因為相關數據分析系統建設不到位，需要從數據庫中提取數據后再對數據進行必要的分析處理，在這個過程中就需要關注數據提取操作是否可能對數據庫造成破壞、提取出的數據在交付給分析處理人員的過程中其安全性是否會降低、數據分析處理的環境安全性等等。（4）數據銷毀這個階段主要涉及數據的保密性。應明確數據銷毀的流程，采用必要的工具，數據的銷毀應該有完整的記錄。尤其是對于需要送出外部修理的存儲設備，送修之前應該對數據進行可靠的銷毀。數據標準是集團單位建立的一套符合自身實際，涵蓋定義、操作、應用多層次數據的標準化體系。數據標準的建

10、立是集團單位信息化、數字化建設的一項重要工作，行業的各類數據必須遵循一個統一的標準進行組織，才能構成一個可流通、可共享的信息平臺。數據治理對標準的需求可以劃分為兩類，即基礎性標準和應用性標準。前者主要用于在不同系統間，形成信息的一致理解和統一的坐標參照系統，是信息匯集、交換以及應用的基礎，包括數據分類與編碼、數據字典、數字地圖標準；后者是為平臺功能發揮所涉及的各個環節，提供一定的標準規范，以保證信息的高效匯集和交換，包括元數據標準、數據交換技術規范、數據傳輸協議、數據質量標準等。（1）數據分類與編碼數據分類與編碼標準是信息化建設中標準化的一項基礎工作，該類標準規定平臺匯集、交換相關信息統一的分

11、類系統和排列順序以及編碼規則，目的是在不同系統和用戶之間建立交通數據的一致參照，對提高數據采集、處理和數據交換效率具有重要作用。數據分類與編碼標準的制定將有力推進平臺標準化及交通信息化建設標準化的進程。（2）數據字典針對實際需求，定義數據集，建立各個領域的數據字典，規范數據概念和數據定義。在此基礎上，形成完備的集團單位數據集和數據字典。（3）元數據標準元數據標準是描述數據資源的具體對象時所有規則的集合，它包括了完整描述一個具體數據對象時所需要的數據項集合。針對各種信息資源分別制定適當的元數據標準，可為信息的管理、發現和獲取提供一種實際而簡便的方法，從而提高數據交換效率。（4）數據交換標準為了保

12、證數據共享和交換的順利實現，必須明確定義和規范數據交換的相關標準。數據交換的標準規范是集團單位綜合信息平臺的核心標準。其中應當包括數據交換內容、數據交換格式、數據傳輸方式、各類中心間數據接口的標準化等方面。（5）數據質量標準由于數據采集任務通常由其他二級平臺完成，數據治理平臺的標準方法主要集中在數據的加工和管理上。應該重點開發的一個領域是數據質量控制方法。應當從三個方面對數據質量方法進行研究：“壞數據”或“不可靠數據”的識別，錯誤數據的編輯方法，以及缺少值的處理。主數據管理要做的就是從各部門的多個業務系統中整合最核心的、最需要共享的數據（主數據），集中進行數據的清洗和豐富，并且以服務的方式把統

13、一的、完整的、準確的、具有權威性的主數據傳送給集團單位范圍內需要使用這些數據的操作型應用系統和分析型應用系統。主數據管理的信息流應為：某個業務系統觸發對主數據的改動；主數據管理系統將整合之后完整、準確的主數據傳送給所有有關的應用系統主數據管理系統為決策支持和數據倉庫系統提供準確的數據源。因此對于主數據管理要考慮運用主數據管理系統實現，主數據管理系統的建設，要從建設初期就考慮整體的平臺框架和技術實現。數據質量不高將影響數據倉庫應用程度不高。低下的數據質量往往造成開發出來的系統與用戶的預期大相徑庭，數據質量關系建設有關分析型信息系統成敗，同時數據資源是集團單位的戰略資源，合理有效的使用正確的數據能

14、指導集團單位做出正確的決策，提高省綜合競爭力。不合理的使用不正確的數據（即差的數據質量）可導致決策的失敗，正可謂差之毫厘、謬以千里。數據質量管理包含對數據的絕對質量管理、過程質量管理。絕對質量即數據的真實性、完備性、自治性是數據本身應具有的屬性。過程質量即使用質量、存儲質量和傳輸質量，數據的使用質量是指數據被正確的使用。再正確的數據，如果被錯誤的使用，就不可能得出正確的結論。數據的存貯質量指數據被安全的存貯在適當的介質上。所謂存貯在適當的介質上是指當需要數據的時候能及時方便的取出。數據的傳輸質量是指數據在傳輸過程中的效率和正確性。高質量的交通運輸行業數據至少有如下幾項要求：一是正確性，在轉換、

15、分析、存儲、傳輸、應用流程中不存在錯誤；二是完整性，數據庫應用或要求的所有記錄、字段都存在；三是一致性，體現在整個數據庫的定義和維護方面，確保數據在使用的整個過程中是一致的；四是時效性，衡量指標是在指定的數據與真實的業務情況同步的時間容忍度內，即指定的更新頻度內，及時被刷新的數據的百分比；五是可靠性，提供數據的數據源必須能夠可靠穩定地提供數據。數據質量管理的規劃和實施包括以下內容：一是數據質量管控體系的建立，包括數據質量的評估體系，定期評估數據質量狀況；二是在部門各個應用系統中的落實，包括每個應用系統中的數據質量檢查等；三是在最開始建立數據質量管理系統的時候，借助數據治理平臺上，通過建立數據質

16、量管理的規則來集中化地建立數據質量管理系統，發現問題并持續改進；四是數據質量管理與業務稽核的結合，通過業務規則的稽核來發現數據質量深層次的問題，將數據質量與業務一線結合起來，使業務人員對數據質量問題有更加清晰和明確的認識。完善的數據質量管理是保障各項數據治理工作能夠得到有效落實，達到數據準確、完整的目標，并能夠提供有效的增值服務的重要基礎。數據整理最終目的就是要服務于各部門單位、人員等，能更準確更快更方便的服務是數據服務管理的目標。數據服務管理是指針對內部積累多年的數據，研究如何能夠充分利用這些數據，分析行業業務流程優化業務流程。數據使用的方式通常包括對數據的深度加工和分析，包括通過各種報表、

17、工具來分析運營層面的問題，還包括通過數據挖掘等工具對數據進行深度加工，從而更好的管理者服務。通過建立統一的數據服務平臺來滿足針對跨部門、跨系統的數據應用。通過統一的數據服務平臺來統一數據源，變多源為單源，加快數據流轉速度，提升數據服務的效率。由于集團單位的重要且敏感信息大部分集中在應用系統中，數據安全更是至關重要。如何保障數據不被泄露和非法訪問，是非常關鍵的問題。數據安全管理主要解決的就是數據在保存、使用和交換過程中的安全問題。數據安全管理主要體現在以下六個方面：一是數據使用的安全性，包括基礎數據的保存、訪問和權限管理；二是數據隱私問題，系統中采集的證件號碼、銀行賬號等信息在下游分析系統和內部

18、管理系統中，是否要進行加密，以避免數據被非法訪問；三是訪問權限統一管理，包括單點登錄問題及用戶名、數據和應用的訪問授權統一管理；四是數據安全審計，為數據修改、使用等環節設置審計方法，事后進行審計和責任追究；五是制度及流程建立，逐步建立數據安全性的管理辦法、系統開發規范、數據隱私管理辦法及相應的應用系統規范、在管理決策和分析類系統中的審計管理辦法等；六是應用系統權限的訪問控制，建立集團級權限管理系統，增加數字水印等技術在應用系統中的使用。規章制度數據治理章程類似于企業的公司條例。該章程闡明數據治理的主要目標、相關工作人員、職責、決策權利和度量標準。具體可參見附件數據管理規范管控辦法管控辦法是基于

19、規章制度與工具的結合可，落地的操作的辦法。具體可參見附件數據質量評估辦法考核機制考核是是保障制度落實的根本，建立明確的考核制度，實際操作中可根據集團單位情況，建立相應的針對數據治理方面的考核辦法，并與個人績效相關聯。可參考管理學中相關考核、績效管理相關部分。對于數據治理的考核，可見下圖進行理解：執行是聚落地的關群業者植理L朦效的手雕促進數據質量管理-將數據生產者、使用宵.管理者及擁有者關森起來.形成一套可持轆有效執行的執行體系（保障持續的高數蛹質量劃定戴典管壁指際（.數據施乾）以標準對數院進行質畫演、處理、斷揍規則對數據流蜘監拴，帔誓集成高質皴據.形成期雌中心1安現共氧分潮挖lissmrff,

20、1JJ-L運行問跟預警、分耀者毆對象：數髀理員物麻：L福質揄調時,在現J鈿同段內，及囪被罌并通油相關人艮處理,不舊融；否則，扣3分;組織架構有效的組織機構是項目成功的有力保證，為了達到項目預期目標，在項目開始之前對于組織機構及其責任分工做出規劃是非常必要的，數據治理項目管理組織建議宜采用如圖所示的組織結構：數據治理組織架枸碗味i魚王布山領導小組/數據治理委員叁業飛部門njm5.2.2組織層次根據實際情況設立相應小組如：A部門或子公司、日剖門或子公司數據治理委員會由集團公司的高層領導者組成。委員會定義數據治理愿景和目標；組織內跨業務部門和IT部門進行協調；設置數據治理計劃的總體方向；在發生策略分

21、歧時進行協調。此委員會也將包含來自部門或子公司的領導代表，以及來自各單位視數據為機構資產的信息科技部門的代表。這些高層管理人員是數據治理計劃的所有擁護者，確保在整個組織內獲得支持。數據治理工作組是組織內委員會下面的下一個級別。工作組執行數據治理計劃。工作組負責監督數據管理員工作。數據治理工作組由數據治理委員會中各局領導主持。每各業務部門有至少一位業務分析員，信息科技部門設置數據質量分析員、數據管理員、集成開發人員。各工作人員負責本部門數據的質量，履行職責，解決具體的問題。組織職責根據數據管理工作的實際需要，在業務管理部門、技術管理部門和業務應用部門確定各工作人員的職責。數據治理委員會的職責范圍

22、：1）從戰略角度來統籌和規劃，對數據資產和系統進行清理，確定數據治理的范圍；明確數據源的出處、使用和管理的流程及職責；2）明確數據治理的組織、功能、角色和職責；3）負責各工作組成員的培訓工作；4）負責審查各工作小組的目標、原則，批準數據管理的相關制度、標準及流程；5）負責確定數據治理的工具、技術和平臺；6）負責制定數據治理的評估指標、方法。數據治理工作小組，其主要工作職責是：負責數據治理的牽頭，組織、指導和協調本單位的數據治理工作；綜合數據治理管控辦法、數據治理考核機制等有關規章制度的牽頭制定、修改等；負責數據的分析整理并出具數據指標報告；負責數據的監測預測工作；建立數據沖突的處理流程和數據變更控制流程。負責對基礎數據質量的檢測、發布、考核和清理完善工作。工作組成員：業務分析員、數據質量分析員、數據管理員、集成開發員這些不同的角色在數據治理過程中承擔著彼此不同，而又相輔相成的職責。其中集成開發人員在數據治理流程中需要肩負起數據訪問、驗證數據結構、驗證數據、交付數據以及數據庫/知識庫的構建等角色，