主數據管理理論與實踐-1一、管理主數據概述1.1 .主數據的定義數據管理區域對主數據的概念和定義有不同的說明和說明。參考標準和規范定義，本文在國際數據管理協會DAMA DAMA數據管理知識體系指南這本書中介紹了主數據的定義。主數據是業務實體的數據，提供與業務事務處理關聯的環境。業務規則通常規定主數據格式和允許的值范圍。一般組織的主數據包括交易方、產品、財務結構和位置等。主數據是重要業務實體權威的最準確數據，可用于建立事務處理數據的關聯環境。主數據值被視為“黃金”數據，與事務數據相比，主數據相對穩定，精度要求高且具有唯一性。1.2 .主數據的特征與其他數據相比，主數據具有以下特征：1)跨部門的所有部門和所有業務流程的最大公約數主數據；2)如果超過了流程，主數據不會根據特定流程發生變化，而是作為整個流程的不可變因素。3)提供所有業務主題的業務實體信息，而不依賴特定業務主題：4)超越系統，主數據管理作為單獨的系統存在，提供的服務比其他業務系統更多。5)除了技術以外，主控還必須應用各種異構系統兼容的技術條件，并為基于微服務體系結構的數據實施提供有效的工具。1.3 .主數據類型主數據主要包括基于配置的主數據和核心主數據。l基于配置的主數據：也稱為參考數據，基于配置的主數據是描述業務或核心主數據屬性分類的參考信息，在整個組織內共享。一般根據國際標準、國家標準、產業標準或企業標準和相關規范等，組織系統中使用一次的基本數據，如國家、民族、性別等的規范性表達。基于配置的主節點相對穩定，不容易更改。l核心主體：核心主體是用于描述企業核心業務實體的主數據，它是企業核心業務對象、交易業務的執行主體(例如產品、物料、設備、組織機構、員工、供應商、客戶、會計等)。1.4主數據與其他數據的關系在DAMA數據管理知識體系指南一書中，將數據管理領域的知識體系結構概括為10個主要方面：數據體系結構管理、數據開發、數據操作管理、數據安全管理、參考數據和主數據管理、數據倉庫和業務智能管理、文檔和內容管理、元數據管理、數據質量管理、數據治理，以及主要數據管理和參考數據管理作為最重要的業務內容，不僅包括數據管理系統，還包括提高數據質量、企業數據主數據和主數據管理經常與其他現有概念混合，影響人們對主數據和主數據管理本質的認識。本文將區分三個概念：主數據和元數據、主數據和事務數據、主數據和參考數據。1)主數據和元數據主數據和元數據是兩個完全不同的概念。元數據是公司數據資產管理的基礎，是關于“數據的數據”(例如數據類型、數據定義、數據關系等)，是與數據表中的標題信息相對應的相對客觀概念。元數據中選定的主數據是表示公司業務運營核心和普遍數據的比較主觀的概念。不僅包括標頭信息，還包括實例數據。例如，公司的產品列表、客戶列表、分支機構地址信息等。2)主數據和事務數據交易資料也是根據中繼資料衍生的，反映公司即時商業記錄中的資料。同樣，也是實例數據。主數據相對穩定，是靜態或一段時間內的靜態數據，事務數據是實時變化的數據，通常描述在特定時間點發生的事務行為。例如，客戶訂單、庫存跟蹤、銷售記錄、售后事件等。一個主節點可以與多個事務數據相關，一個事務數據可以影響主節點。例如，在航空公司，客戶本年度里程是主數據，客戶飛行記錄是交易數據，交易數據客戶飛行記錄累計一年，主數據客戶本年度里程將更新。3)主數據和參考數據參考資料是用于分類其他資料或重新組合目錄的資料。業務規則通常規定引用數據值是允許的幾個值之一。接受值的數據集為范圍。一些組織可以根據內部業務定義參考數據的范圍，其他參考數據的范圍可以定義為外部資源，例如政府或行業標準。多個引用數據集的范圍可以指向同一個概念域。每個值在具有相應值的域集中是唯一的。用通俗的術語表示，參考數據也可以稱為數據詞典、代碼集等。企業希望實現更高效的數據整合、數據共享和數據分析應用程序，在企業或部門級別整合和管理參考數據，并希望利用參考數據集記錄系統提供范圍內IT系統中數據庫的統一參考數據。參考數據是描述數據范圍和值的數據解釋，使相關數據更易于讀取。在政府數據應用領域，廣泛的參考數據反映在參考數據集記錄系統、政府信息資源目錄系統、代碼集系統、數據圖書館等系統中，廣泛的主數據反映在一般政府數據項目構建人口、法人、住宅、電子證據、社會信用、空間地理等主數據，也稱為基礎庫的數據集成構建過程中。在實際工作中，參考數據管理和標準實施通常與主數據管理項目一起實施。二、管理主數據的重要性主數據是數據源，是數據資產管理的核心，是信息系統互操作的基石，是信息和數字化的重要基礎。建立準確、唯一、權威的數據源，建立企業主數據標準管理系統，是提高企業和機構單位數據質量和數據資產價值的關鍵因素。建立優秀的主數據管理企業數據資產系統，開發數據基礎，構建未來發展和競爭的核心競爭力，具有重要意義。1)消除數據冗馀和提高數據質量：基礎數據是業務鏈、統一數據語言、統一數據標準、數據共享、最大限度地提高數據冗馀和提高數據質量。2)提高數據處理效率：通過主數據管理，可以減少動態自動整理、復制和手動整理數據的時間和工作量。3)以數據為中心，提高公司的戰略協作能力：數據是公司內部管理分析、決策支持的“通過聲音”，實現各部門的統一，有助于打開部門、系統壁壘，實現信息整合和共享，提高公司整體戰略協作。4)改進IT系統和企業數據體系結構以支持數據應用程序和管理：主數據構建為數據應用和管理提供了業務基礎。從IT部署的角度看，主數據管理增強了IT結構的靈活性，在整個企業范圍內構建了數據資產管理基礎和相應的規格，并且能夠更靈活地適應企業的業務需求變化。提高主數據質量還可以為后期數據整合和數據整合奠定良好的基礎。三、主數據管理的實施問題主數據管理具有特殊的意義，但在以下方面有很多實際和困難的地方：1)認知不統一，不重視主數據的總體規劃，頂層設計不足，無法在單位決策層、管理層、業務層等各個級別統一思想。2)各部門各自負責，很難在標準和規則級別達成協議，因此很難統一主數據代碼標準。3)通用標準主數據(國際標準、國家標準和行業標準生成的主數據)管理分布，缺乏方便可靠的數據訪問通道，數據訪問困難；4)由于單元內部已經存在、分布式管理的主數據、集成標準和數據相關性不足，大量數據清洗根據人的判斷，數據清洗的困難和風險很高。5)企業歷史系統和歷史數據的數據標準化水平不高，數據清洗困難，改造成本高，對主數據系統集成造成很大困難，主數據管理流程需要修改現有的相關生產業務流程和系統，從經營角度充分調動業務部門的密切合作，對組織的業務運營效率和信息決策周期提出了很高的要求。6)基本數據管理模型需要在業務之間交換表單數據，因此在短期內，信息體系結構可能會發生變化或變得更加復雜。四、主數據管理的內容主數據管理的主要內容包括“兩個系統、一個工具”:主數據管理標準系統、主數據管理保證系統和主數據管理工具。主數據管理標準系統是主數據管理工作的重中之重，主數據管理安全系統保護主數據管理，主數據管理工具確保主數據管理的有效著陸。4.1主數據管理標準系統主數據標準管理系統包括業務標準(編碼規則、分類規則、描述規則等)、主數據模型標準。主數據標準管理系統通常創建一系列代碼系統表或主數據資產目錄。1)主數據業務標準是對主數據業務含義的綜合描述和要求，包括主數據源、主數據的管理級別、合并管理中的基本數據項、相關業務環境中數據項的創建過程說明和語義說明、數據之間的約束關系以及創建數據時應遵循的業務規則。主數據業務規則包括主數據中每個數據項的編碼規范、分類規則和說明規則。2)主數據模型標準包括主數據邏輯模型和主數據物理模型。主數據邏輯模型通過實體關系圖表示，該圖主要是ER圖、主數據物理模型和主數據的物理存儲結構表。3)主數據代碼系統表：在某些區域也稱為主數據資產目錄。描述企業和機構信息構建過程中使用的主數據代碼類型、每種類型的主數據代碼名稱、代碼屬性(分類、詳細信息、規則等)、采礦(參數)標簽和代碼構建情況的匯總表，它是查看和應用企業主數據代碼的基礎，也是主數據代碼的全局和指導文件。主數據代碼系統表主要是企業經營特性的結合，為企業信息建設提供服務，主要由兩部分組成，第一部分是企業信息代碼系統表的框架結構和分類，第二部分是所有分類下的信息代碼標準詳細信息和建設情況。政府數據應用領域的政府信息資源目錄系統等。4.2主數據管理保證系統主數據管理安全系統包括五個部分：主數據管理組織、系統、流程、應用程序和管理評估。1)主數據管理組織主數據管理組織主要包括企業中不同類型主數據的管理組織體系結構、操作模式、角色和責任計劃，通過組織系統計劃建立明確的主數據管理機構和組織系統，實現所有級別的部門責任和可持續的主數據管理組織和人員。主數據管理組織結構包括決策層次結構、管理層和執行層次結構。2)主數據管理系統主數據管理系統規定了主數據管理工作的內容、程序、章程和方法，主要包括各種管理方法、規范、規則、文檔等，是主數據管理人員的行為準則和準則。主要包括主數據管理辦法、主數據標準規范、主數據提案指南、主數據維護細則、主數據管理工具操作手冊、0103010等。3)主數據管理流程梳理數據維護和管理流程，建立適合企業實際應用的管理流程，確保主數據標準的有效執行，實現主數據的持續長期管理。主數據管理過程可以通過管理系統的方式存在，也可以直接嵌入主數據管理工具。主數據管理流程包括主數據業務管理流程(針對主數據的申請、驗證、審核、發布、更改、凍結、存檔等的完整生命周期管理)、主數據標準管理流程(針對主數據標準的分析、開發、審核、發布、應用和反饋等流程)、主數據質量管理流程()4)主數據應用程序主數據應用程序主要由三部分組成。這包括明確的管理要求、有效的管理實施和加強安全服務。5)主數據管理評估主數據管理評估用于評估和評估主數據相關所有者的工作表現以及數據管理標準和數據策略實施情況，通過建立定性或定量主數據管理評估指標，加強企業對主數據管理相關責任、標準和策略實施的控制。主數據管理評估指標由數據所有者和數據識別者從管理標準、數據識別責任和數據策略三個角度共同確定，定義一系列度量指標和規則，實施和檢查主數據的應用，同時調查和評估主數據管理、主數據標準、主數據質量的執行情況。4.3 .主數據管理工具主數據管理工具是發布主數據標準文本、管理主數據整個生命周期的重要平臺。主數據標準的維護過程和管理措施通過管理平臺實現和控制系統，確保標準的唯一性和及時性。主數據管理工具主要包括數據建模、數據集成、數據管理、數據服務基本管理、標準管理等功能模塊。1)主數據建模：主要基于主數據標準系統，通過可視建模工具定義主數據對象、編碼規則、屬性值和控制過程等基本元素，構建主數據標準模型。2)主數據集成：主要利用數據清洗工具和擴展功能收集每個系統生成的主數據，驗證、整理和發布根據主數據標準和主數據模型定義的規則，以實現主數據的完整生命周期管理，并集成一致可靠的主數據。3)主數據管理：根據標準主數據管理程序的要求，通過嚴格的管理流程執行主數據創建、批準、發布、修改、凍結和過期等整個生命周期管理和數據詞典的管理維護，從而確保數據的一致性、準確性、實時性和權威。4)主數據存儲和服務：主數據平臺發布的基準數據集中存儲在主數據基準庫中，提供在線查詢和訂閱功能，并通過面向流程和面向消息的標準界面提供數據共享服務。5)標準文件數據管理：利用外部公共文檔管理系統或內置管理功能，實施標準文件及其相關數據的存儲管理、版本管理和標準目錄管理，配置智能搜索引擎，實現智能、快速、準確和高效的查詢搜索功能。6)基本管理：對用戶、用戶組、角色、資源、流程配置等系統中的基本數據設置，靈活、安全、可靠的權限管理和日志管理，對各種類型的主數據進行統計分析，對主數據應用程序評估等提供強大支持。五、如何實施主數據管理實施主數據的核心包括規劃主數據、制定主數據標準、構建主數據代碼庫、構建主數據管理工具、操作和六個主要部分。主數據計劃是制定程序、主數據標準、構建主數據主數據代碼庫的前提，構建主數據管理工具是技術手段、運營和維護系統的前提，標準化是持續的保證。1)主數據計劃：使用方法并結合企業的實際情況，制定主數據整體實施路線圖。主數據計劃強調系統建模的基礎需求分析和系統建模的緊密結合，而業務調查是需求分析的前提。在主數據計劃咨詢過程中需要參考標準，主要參考的標準是國際標準、國家標準、行業標準、企業標準，在企業的主數據計劃咨詢后，確保符合國家相關法規和企業行業特性。通過狀態調查和需求分析等前期工作，生成主數據計劃結果。主數據計劃階段的主要活動，包括主數據標準化體系結構、主數據集成體系結構、主數據安全體系結構(數據減影、數據權限)和操作管理體系結構(組織、系統、流程、管理規