《信息技術應用創新 經營管理系統數據管理技術規范》_第1頁
《信息技術應用創新 經營管理系統數據管理技術規范》_第2頁
《信息技術應用創新 經營管理系統數據管理技術規范》_第3頁
《信息技術應用創新 經營管理系統數據管理技術規范》_第4頁
《信息技術應用創新 經營管理系統數據管理技術規范》_第5頁
已閱讀5頁,還剩11頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

ICS

CCS

團體標準

T/COSOCCXXXX—XXXX

信息技術應用創新經營管理系統數據管理

技術規范

Informationtechnologyapplicationinnovation—Datamanagementtechnical

specificationsforoperationmanagementsystem

(征求意見稿)

(本草案完成時間:2023.11.24)

在提交反饋意見時,請將您知道的相關專利連同支持性文件一并附上。

XXXX-XX-XX發布XXXX-XX-XX實施

中國基本建設優化研究會發布

T/COSOCCXXXX—XXXX

信息技術應用創新經營管理系統數據管理技術規范

1范圍

本標準給出了經營管理系統的數據管理體系以及相應的數據標準、數據整理與建模、元數據管理、

主數據管理、數據集成和共享、數據安全和數據質量等方面的技術規范要求。

本標準適用于組織和機構對經營管理系統在數據管理與數據應用能力建設的指導和評估。

2規范性引用文件

下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中,注日期的引用文件,

僅該日期對應的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于本

文件。

GB/T36073—2018數據管理能力成熟度評估模型

GB/T42450—2023信息技術大數據數據資源規劃

3術語和定義

GB/T36073—2018、GB/T42450—2023界定的以及下列術語和定義適用于本文件。

數據倉庫datawarehouse

一種用于分析和報告來自多個來源的結構化和半結構化數據的,面向商務智能活動的數據管理系

統。

數據湖datalake

一種用于以原生格式存儲、處理和保護大量結構化、半結構化和非結構化數據的集中存儲區。

數據治理datagovernance

對數據進行處置、格式化和規范化的過程。

注1:數據治理是數據和數據系統管理的基本要素。

注2:數據治理涉及數據全生存周期管理,無論數據是處于靜態、動態、未完成狀態還是交易狀態。

[來源:GB/T36073—2018,3.5]

元數據metadata

關于數據或數據元素的數據(可能包括其數據描述),以及關于數據擁有權、存取路徑、訪問權和

數據易變性的數據。

[來源:GB/T36073—2018,3.8]

元模型metamodel

規定一個或多個其他數據模型的數據模型。

[來源:GB/T36073—2018,3.9]

數據質量dataquality

在指定條件下使用時,數據的特性滿足明確的和隱含的要求的程度。

1

T/COSOCCXXXX—XXXX

[來源:GB/T36073—2018,3.10]

數據安全datasecurity

數據的機密性、完整性和可用性。

[來源:GB/T36073—2018,3.11]

主數據masterdata

組織中需要跨系統、跨部門進行共享的核心業務實體數據。

[來源:GB/T36073—2018,3.12]

數據元dataelement

有一組屬性規定其定義、標識、表示和允許值的數據單元。

[來源:GB/T36073—2018,3.15]

數據管理datamanagement

在數據處理系統中,提供對數據的訪問,執行或監控數據的存儲,以及控制輸入輸出操作等功能。

[來源:GB/T42450—2023,3.5]

4縮略語

下列縮略語適用于本文件。

API:應用程序接口(ApplicationProgrammingInterface)

ERP:企業資源計劃(EnterpriseResourcePlanning)

DAMA:數據管理協會(DataManagementAssociation)

DCMM:數據管理能力成熟度評估模型(DatamanagementCapabilityMaturityassessmentModel)

DML:數據操縱語言(DataManipulationLanguage)

ETL:數據的提取、轉換和加載(ExtractTransformLoad)

HTTP:超文本傳輸協議(HypertextTransferProtocol)

HTTPS:超文本加密傳輸協議(HypertextTransferProtocoloverSecureSocketLayer)

IP:互聯網協議(InternetProtocol)

REST:一組架構約束條件和原則(RepresentationalStateTransfer)

PDF:可攜帶文件格式(PortableDocumentFormat)

SCM:軟件配置管理(SoftwareConfigurationManagement)

TCP:傳輸控制協議(TransmissionControlProtocol)

ODBC:開放數據庫連接(開放數據庫連接)

JDBC:Java數據庫連接(JavaDatabaseconnect)

CWM:公共倉庫元模型(CommonWarehouseMetamodel)

CMIS:內容管理互操作性服務標準協議(ContentManagementInteroperabilityServices)

OLTP:聯機事務處理過程(On-LineTransactionProcessing)

OLAP:聯機分析處理(OnlineAnalyticalProcessing)

XML:可擴展標記語言(eXtensibleMarkupLanguage)

JSON:JS對象簡譜一種輕量級的數據交換格式(JavaScriptObjectNotation)

CSV:字符分隔值,一種通用的、相對簡單的文件格式(Comma-SeparatedValues)

PKI:公鑰基礎設施(PublicKeyInfrastructure)

CA:證書授權(CertificateAuthority)

2

T/COSOCCXXXX—XXXX

5數據對象范圍

數據對象性質

5.1.1可描述性

經營管理系統數據應表現其具備的業務屬性,包括類型、來源、格式、結構、內容、質量、時間、

所有權、訪問權、位置、客戶信息等能力。

5.1.2可集成性

經營管理系統數據應具備可通過API、數據庫連接、數據集成工具、文本傳輸協議、消息隊列、ETL

工具、Web服務、數據共享平臺等技術手段,實現系統間應用集成和數據共享的能力。

5.1.3可重構性

經營管理系統數據應能適應企業內外部環境和管理要求的變化,應具備數據轉換能力,可適應不同

的數據結構和標準。

5.1.4可配置性

經營管理系統數據應具備參數化配置性質,以滿足不同場景需求,例如定制規則引擎、工作流程設

計器、報表和儀表板定制、數據導出和導入、擴展性插件、多語言支持等。

數據對象類別

5.2.1主數據

應對經營管理系統主數據進行收集,包括但不限于物料清單、工作中心能力和成本費率、工藝路線、

倉庫和貨位代碼、會計科目等內容。此類數據需要按需定期維護,保持其準確性。

5.2.2業務生產數據

應對經營管理系統運行過程中,由生產經營活動在進行中所產生的數據進行收集。如客戶合同、庫

存記錄、銷售訂單、財務憑證等。此類數據會隨著業務發展不斷增減修訂,需要隨時維護。

5.2.3業務加工數據

應對經營管理系統運行過程中,由信息系統按照既定的程序邏輯,對數據按生產業務需求進行運算

處理后得到的業務加工數據進行收集。此類數據可以更好的供管理人員掌握生產經營狀況,進行分析和

決策。

6數據管理體系

概述

經營管理系統數據管理體系見圖1,參考GB/T36073—2018中對DCMM8個數據管理能力域的劃分,

關注經營管理系統數據從收集、治理到應用的過程。以元數據和主數據管理為基礎,以數據標準體系為

支撐,標準化數據建模和數據開發過程,形成數據集成與共享能力。數據質量管理和數據安全管理為整

體過程提供質量和安全保障。

3

T/COSOCCXXXX—XXXX

圖1經營管理系統數據管理體系

體系設計

6.2.1元數據管理

經營管理系統元數據應包含但不限于以下三種類型:業務元數據、技術元數據和操作元數據。其

可針對不同應用領域和功能,滿足對數據對象的描述、定位、檢索、管理、評估和交互的操作要求。

6.2.2主數據管理

經營管理系統主數據應是具備高價值、高共享、相對穩定的基礎數據。主數據技術體系應具備主

數據平臺和主數據集成兩個層面的設計。平臺層面應包括但不限于元模型管理、主數據清洗、主數據

質量、數據映射及轉換等方面能力;集成層面應明確規范接口的集成方式、協議類型、參數、地址、

對接要求等內容。

6.2.3數據建模

經營管理系統數據模型具有強業務屬性,數據模型應具備解釋和可解釋性,能夠解釋模型的工作

原理和結果,以便理解和接受模型的決策。數據模型向上應能承接業務需求,向下應能對接數據庫系

統,能夠為主數據和元數據提供清晰、一致的數據結構定義。

6.2.4數據標準體系

數據標準體系應明確規范企業經營管理業務活動中所涉及數據的規范化定義和統一解釋,如數據

命名和命名約定、數據分類和層次機構、數據格式和數據類型、數據采集和錄入規則、數據交換和集

成標準等。

6.2.5數據集成和共享

經營管理系統數據集成和共享應能橫貫企業內外部的目標異構系統、應用、數據源,具備實現各

經營管理業務板塊和數據倉庫等系統的應用協同和數據共享的能力。應明確集成和共享的數據源、系

統和格式,明確使用的工具和技術,包括但不限于數據庫間點對點集成、微服務或總線型應用集成、

基于數據倉庫的結構化數據集成、基于數據湖的多類型數據融合等。

6.2.6數據質量管理

應在數據模型設計、數據資產管理、主數據管理、數據倉庫等解決方案和過程中執行數據質量管

理,以確保數據在整個數據生命周期中保持高質量。通過數據驗證、數據質量度量、數據質量監控、

4

T/COSOCCXXXX—XXXX

數據質量報告、數據質量規劃與策略以及相關數據質量工具和技術,可改善各維度的數據問題,提高

數據質量。

6.2.7數據安全管理

應制定并采取各種策略、技術和活動,包括但不限于從組織建設、業務流程、規章制度、技術工

具等方面確保數據的可用性、完整性和保密性,以及能夠控制數據安全風險或將風險帶來的影響降至

最低。

7元數據管理

數據來源

企業經營管理系統的元數據應包含但不限于業務元數據、技術元數據和操作元數據三類,要求如下:

a)數據來源應具有唯一性,確保數據在一個數據集中或整個數據管理環境中的唯一性,包括使用

主鍵、唯一性約束、數據去重、數據匹配與合并等能力保障每個數據實體只有一個唯一的表示;

b)業務元數據應包括對數據的定義、結構、來源、更新頻率、質量評級等信息,范圍包含但不限

于ERP系統的所有經營管理領域系統;

c)技術元數據應包括數據庫架構、應用程序代碼、系統配置、安全權限等信息,范圍包含但不限

于ERP系統的所有經營管理領域系統;

d)操作元數據應包括系統日志、用戶活動日志、性能指標、配置更改歷史等信息,范圍包含但不

限于ERP系統的所有經營管理領域系統;

e)數據平臺的元數據應包含但不限于數據倉庫、數據湖;

f)數據處理工具的元數據應包含但不限于各種ETL工具;

g)應支持半結構化、非結構化數據元數據提取。

數據采集

企業經營管理系統的元數據采集具體應符合下列要求:

a)支持采用JDBC等數據庫連接方式和API接口調用提取結構化數據的元數據信息;

b)支持全量抽取、增量抽取、基于日志的抽取等抽取模式;

c)支持對半結構化和非結構化數據采用圖像識別、自然語言處理等人工智能技術識別和采集元

數據。

元模型管理

企業經營管理系統的元模型管理,應符合下列要求:

a)基于元數據管理工具構建符合CWM規范的元數據倉庫,實現集中化管理;

b)提供對元數據增、改、刪、查、發布等管理功能;

c)支持元數據版本管理,支持按版本的查詢、對比和回溯操作;

d)提供統一的元數據訪問接口服務,支持ODBC、JDBC、RESTAPI、CMIS等,兼容WebService

等接口協議。

元數據分析

7.4.1資源地圖

以拓撲方式生成的企業經營管理系統數據資源地圖,應符合下列要求:

a)資源地圖內容范圍包括業務流程、部門和職能、數據資產、應用程序、模塊和功能、報表和分

析、集成和接口、安全和權限等內容;

b)支持可視化展示、支持自動布局算法的拓撲布局;

c)支持不同數據源導入生成資源地圖,對于動態變化的資源信息,資源地圖需支持實時更新;

d)支持資源之間的關聯和依賴關系的呈現,支持相關資源進行分組、支持利用標簽進行資源說明;

e)支持用戶通過鼠標或觸控交互來展開或收起子圖、放大或縮小圖形、查看節點的詳細信息等;

f)支持對于包含敏感信息的資源地圖的權限控制能力;

5

T/COSOCCXXXX—XXXX

g)支持資源地圖導出為常見圖片格式或PDF文件;

h)支持針對大規模資源地圖對于加載速度和渲染性能的要求。

7.4.2血緣分析

追蹤數據的來源和去向,識別數據之間的關系和傳遞路徑,應符合下列要求:

a)血緣分析的內容應包括數據來源、數據去向、數據傳遞路徑、數據轉換、數據關系、數據質量、

數據版本控制等;

b)支持通過日志記錄、元數據提取、數據倉庫或數據湖等方式對數據進行采集和追蹤;

c)支持建立元數據管理系統,使用ApacheAtlas、Collibra、或國內自主可控的、先進的相關

工具對數據源、表結構、字段信息、數據轉換規則等內容進行維護和管理;

d)支持使用如ApacheNiFi、Talend、Kettle或國內自主可控的、先進安全的ETL工具,整合不

同數據源數據;使用如InformaticaDataQuality、Trifacta、或國內自主可控的、先進的

技術工具進行數據清洗與去重;

e)支持構建數據關系建模,利用數據庫的關系模型或圖數據庫建立數據之間的關聯;

f)支持利用自動化腳本根據預定義的規則和算法,自動追蹤和分析數據的來源和去向;

g)支持可視化展示技術,利用圖形化工具或Web可視化庫,并以樹狀圖、流程圖等形式呈現血緣

關系。

7.4.3影響分析

識別和評估數據或資源變更對組織或系統的影響,應符合下列要求:

a)當元數據發生變化時,應評估影響的范圍,包括變更對數據之間的依賴關系變化的影響、變更

對業務過程產生的影響、變更對數據質量的影響、變更對性能和資源消耗的影響、變更對應用

程序和系統的影響、變更對數據訪問權限和數據安全性的影響等;

b)支持使用數據監控工具或具備同等能力的數據平臺能力對數據變更進行實時監控,收集變更

信息;

c)支持使用數據質量工具或具備同等能力的數據平臺能力對數據進行質量評估和分析,識別變

更過程中可能產生的數據質量問題;

d)支持在數據變更后仍具備嚴格的數據訪問權限控制措施和數據安全策略的能力;

e)支持使用圖形化工具或自主研發可自定義的可視化界面,將影響分析結果以圖表或報表的形

式進行展示;

f)支持使用版本控制機制,記錄和管理元數據的歷史變更,提供變更歷史回溯能力。

7.4.4冷熱度分析

評估元數據使用頻率和訪問熱度,按活躍度分類元數據,應符合下列要求:

a)元數據冷熱度分析內容應包括但不限于數據訪問頻率、數據訪問模式(周期性訪問、突發性訪

問)、數據熱度、數據冷度等內容;

b)支持使用數據監控工具,如ApacheNiFi、ApacheKafka或國內自主可控的、先進的技術工

具,實時采集和監控數據的訪問信息,如數據的訪問次數和時間戳等信息;

c)支持使用數據分析技術(如Python的pandas庫、R語言、國內自主可控的、先進的數據分析

工具等),對數據訪問日志進行分析和挖掘;

d)支持在數據庫中添加數據訪問時間戳字段,定期清理冷數據,優化數據庫性能;

e)支持使用緩存技術,將熱數據緩存在高速緩存中,加快數據訪問速度;

f)支持對數據進行分級存儲,將熱數據存儲在高速存儲介質中(如SSD),將冷數據存儲在低成

本存儲介質中(如磁盤存儲)。

元數據應用

7.5.1應用開發

基于反向工程將元數據模型(通常是邏輯模型)轉換為應用系統數據庫中的物理表,實現數據模型

與實際數據庫的同步,應符合下列要求:

6

T/COSOCCXXXX—XXXX

a)應支持定義元數據模型,在設計工具或建模工具中創建邏輯數據模型,其中包含實體、屬性、

關系等;

b)應使用有權限控制的應用系統數據庫連接;

c)應使用適合的反向工程工具,如IBMInfoSphereDataArchitect、SAPPowerDesigner、

OracleSQLDeveloperDataModeler或國內自主可控的、先進的技術工具。

d)應支持利用反向工程工具映射元數據模型到數據庫表,將元數據模型中的實體、屬性、關系等

映射到數據庫表結構的能力;

e)應支持生成和執行DDL語句的能力。

7.5.2數據倉庫建模

利用元數據記錄和管理數據在數據倉庫內的流轉過程,對數據倉庫的設計和建模過程進行輔助和

支持,元數據應記錄以下屬性和內容:

a)數據表信息:記錄數據倉庫中的數據表,包括表名稱、描述、創建時間、修改時間等;

b)數據字段信息:記錄數據表中的字段,包括字段名稱、描述、數據類型、長度、精度、是否允

許為空等;

c)數據關系信息:記錄數據表之間的關聯關系,包括外鍵約束、主鍵-外鍵關系等;

d)維度信息:記錄維度表的名稱、描述、屬性、層次結構等信息;

e)事實信息:記錄事實表的名稱、描述、度量等信息;

f)數據質量規則:定義數據質量規則和指標,用于衡量數據的準確性、完整性和一致性;

g)數據血緣關系:記錄數據的來源和去向,用于追蹤數據的傳遞路徑和依賴關系;

h)數據安全和權限控制:記錄數據表或字段的安全策略、權限控制信息,以確保數據的訪問控制;

i)數據變更歷史:記錄數據表或字段的變更歷史,包括創建時間、修改時間等;

j)數據文檔化:記錄數據表和字段的文檔描述,如數據字典、數據模型、ETL流程等;

k)數據可視化和報表設計:記錄數據可視化和報表的設計信息,以支持數據倉庫中的分析和報表

展現;

l)數據源信息:記錄數據倉庫中數據源的信息,包括數據源名稱、描述、類型等;

m)數據變換規則:記錄數據抽取、轉換和加載(ETL)過程中的數據變換規則和映射。

8主數據管理

主數據建模

企業經營管理系統主數據建模要求如下:

a)應支持主數據分類,按一定的維度和特征對主數據劃分,包括但不限于根據數據域分類、根據

數據特性分類、根據數據管理責任分類、根據數據使用分類、根據數據的生命周期分類、根據

數據關聯性分類等,方便主數據的管理和使用;

b)應支持主數據編碼,支持設置碼段、碼位、步長等,以滿足不同業務需求,編碼方式包括特征

值編碼、固定值編碼、日期碼、流水碼、組合碼等;

c)應支持設置中文名稱、英文名稱、字段類型、長度、唯一性約束、校驗規則等主數據屬性;

d)應提供主數據管理視圖配置功能,支持為不同分類主數據分配不同的屬性。

變更管理

企業經營管理系統主數據應具備變更、凍結和歸檔功能,應符合下列要求:

a)主數據編碼不允許修改,以多版本形式維護屬性定義;

b)業務流程無法使用凍結的主數據記錄,記錄維護主數據狀態的歷史信息;

c)對于失效的主數據記錄進行歸檔操作,即遷移至歷史數據庫,對歸檔的主數據不可修改,只能

查詢。

主數據分析

支持跟蹤主數據的血緣關系,通過可視化方式有效的管理數據變化和異常情況,應符合下列要求:

7

T/COSOCCXXXX—XXXX

a)記錄主數據的最初來源以及數據的變換和處理步驟;

b)建立主數據之間的關系模型,包括數據源、數據倉庫和數據消費者之間的關聯關系;

c)實時或定期跟蹤和監控主數據的傳遞和使用情況;

d)記錄主數據的血緣關系,編制數據血緣文檔,便于后續的數據溯源和審計。

主數據集成

支持以數據庫、消息中間件和Web服務等方式實現主數據的集成共享,應符合下列要求:

a)支持包含國產數據庫在內的多數據源抽取數據,并能將數據加載到目標系統或數據倉庫的能

力;

b)具備數據類型轉換、數據規范化等能力;

c)具備數據匹配和去重能力,對于主數據集成,具備識別和處理不同數據源中的重復數據,并進

行數據匹配,確保主數據唯一性的能力;

d)具備檢測和修復數據質量問題的能力;

e)具備數據安全和權限控制能力,主數據集成涉及敏感數據,需具備嚴格的數據安全和權限控制

措施;

f)具備實時的數據抽取和傳輸能力;

g)具備定義和管理數據轉換規則和映射關系的能力,確保數據在不同系統之間的正確轉換;

h)具備容錯和數據回滾能力,在主數據集成過程中,對于可能會出現的錯誤或失敗情況,具備有

效處置的能力;

i)具備滿足多規模、多需求的主數據集成場景能力。

9數據建模

可視化建模

9.1.1數據結構化和標準化

業務數據應以結構化的方式進行組織和存儲,確保數據的一致性和可比性,包括采用統一的數據標

準和命名規范等。

9.1.2數據完整性和準確性

數據模型應能夠確保業務數據的完整性和準確性,可定義適當的數據約束和驗證規則,確保數據在

采集、存儲和處理過程中沒有缺失、錯誤或沖突。

9.1.3數據可擴展性

應采用合適的數據結構(如列表、數據、字典、樹、圖等)和關系模型(如表格、視圖、主外鍵、

范式等),設計靈活可擴展的數據模型。

9.1.4數據一致性和關聯性

數據模型應能夠準確地反映業務實體之間的關聯關系,保持數據的一致性。通過定義適當的主鍵、

外鍵和關聯規則,確保數據的關聯性和關系完整性,避免數據的冗余和不一致。

9.1.5數據性能和查詢效率

應合理設計索引、分區和分片策略,優化數據訪問路徑和查詢性能,提高數據的檢索和分析效率。

9.1.6數據安全和權限控制

業務數據模型應考慮數據的安全性和權限控制,采用適當的數據加密和權限管理機制,確保數據的

機密性和訪問控制,防止未經授權的訪問和數據泄露。

9.1.7數據可視化和報表支持

8

T/COSOCCXXXX—XXXX

數據模型應具備數據可視化和報表支持的能力,通過圖表、報表和可視化工具,呈現數據的洞察和

趨勢。

9.1.8支持系統級數據模型開發

數據倉庫、應用系統的數據模型均應可基于企業級數據模型進行擴展,實現系統模型的正向建模。

9.1.9支持數據模型的反向采集

應支持將Oracle、Mysql等關系型數據庫和主流國產關系型數據庫中的數據結構采集到數據模型管

理工具中進行統一管理。

數據模型查詢

數據模型查詢功能應符合下列要求:

a)支持通過但不限于模型分類、標簽分級等能力進行查找定位;

b)支持全業務域模型總覽,能識別模型間拓撲關系,支持模型的逐級下鉆。

數據模型管理

數據模型管理應具備基本的創建維護功能。在狀態和屬性發生變更時,能自動識別出當前服務的上

下游引用對象,幫助用戶評估影響范圍,應符合下列要求:

a)支持數據模型的增刪改等一系列基礎維護功能;

b)支持模型變更管理和發布,按企業管理需要,支持簡單的審批流程配置功能;

c)支持模型分版本管理,支持版本回溯。

模型對比分析

支持不同模型間對比、模型內不同版本對比,識別模型差異,形成差異報告。

模型開發

數據模型的開發應同時面向業務應用的開發和數據倉庫的模型開發,應符合下列要求:

a)在面向業務應用開發方面(OLTP),應提供面向需求的數據概念模型、面向設計的數據邏輯模

型、面向開發的數據物理模型;

b)在面向數據倉庫應用開發方面(OLAP),應能夠提供相應的元數據和主數據輔助建模開發,并

支持模型標準校驗。

10數據標準體系

標準內容

10.1.1業務術語標準

應詳細、準確定義企業級公共業務詞匯表,提供業務術語上下文的關聯和控制。

10.1.2數據元值域標準

應詳細、準確定義數據字典,包括數據元分類、數據元名稱、數據元編碼、數據元值域范圍等。

10.1.3數據指標標準

應詳細、準確涵蓋指標的業務屬性、技術屬性和管理屬性,例如指標名稱、業務含義、統計維度、

計算方式等信息。

標準版本管理

應提供數據標準版本管理功能,包括版本查看、版本發布、版本對比和回溯等功能。

標準稽查管理

9

T/COSOCCXXXX—XXXX

應提供數據稽查能力,參照數據管理標準,可實現對數據模型、數據字典等進行對比分析的能力,

確保模型質量和標準的落地執行。

11數據存儲

存儲的性能和可靠性

經營管理系統數據存儲的性能和可靠性應符合下列要求:

a)具有快速的響應時間,確保用戶能夠快速訪問和操作數據;

b)支持足夠的吞吐量,滿足同時處理用戶請求和數據交互的要求;

c)具備可擴展的能力,可以根據需求進行水平或垂直擴展,以滿足業務增長的需求;

d)具備均衡的數據分布能力,經營管理系統數據量龐大,數據顆粒度較細,應確保資源分配均勻,

不會出現過度負荷的情況;

e)具備緩存和性能優化能力,減少數據訪問時間,提高系統性能;

f)具備定期數據備份能力,以應對意外數據丟失或損壞的情況,確保數據的可恢復性;

g)具備冗余和容錯性,防止硬件故障引發數據丟失,可通過但不限于RAID、備用服務器或云存

儲的冗余機制來實現;

h)確保數據的一致性,避免數據損壞或不一致的情況,例如,可通過事務處理和ACID(原子性、

一致性、隔離性、持久性)屬性來實現;

i)具備快速的故障恢復機制,以最小化系統停機時間,保持系統的可靠性;

j)具備對數據存儲系統進行實時監控,設置警報機制,及時發現并處置問題的能力;

k)確保存儲系統的高可用性,可通過使用冗余和負載均衡等方式來實現。

存儲的安全和數據保護

經營管理系統數據存儲安全和數據保護應符合下列要求:

a)具備數據加密的能力,保護數據安全,對涉及到個人隱私或者企業機密的敏感信息進行加密,

例如姓名、身份證號、銀行賬號、密碼等;

b)具備多層防御的能力,采用防火墻、入侵檢測系統、反病毒軟件等技術工具構建多層防御策略

略;

c)具備訪問控制能力,根據不同的用戶角色設定不同的訪問權限,防止未授權的訪問和非法操作;

d)定期組織安全審計,檢查是否存在安全隱患,及時發現和修復漏洞;

e)建立完備的容災恢復能力,構建災難恢復計劃,在出現數據丟失或者系統崩潰的情況時,具備

快速恢復數據和業務的能力。

存儲的控制和合規

經營管理系統數據存儲應滿足以下控制和合規性要求:

a)保障數據完整性,確保數據在整個生命周期內保持完整性和一致性不受破壞、刪除、修改或者

未經授權的訪問;

b)對數據實施嚴格的訪問控制,只允許經過授權的人員訪問相關數據,限制訪問權限和活動范圍;

c)根據數據的重要性及其敏感程度,將數據分為不同級別,分別設置相應的安全策略和保護措施;

d)定期備份關鍵數據,防止意外損失,同時具備快速恢復數據的能力,在遭遇災難時盡快恢復正

常運營;

e)對在網絡上傳輸的數據進行加密,以防數據被竊取或篡改;

f)記錄并保留所有涉及數據的高危操作,以便進行事后審查和追蹤,確保數據的安全性和合規性;

g)保障相關技術的合規性要求;

h)定期對系統進行安全評估,檢查系統的安全性是否符合預期的標準,找出存在的安全風險并采

取相應的防護措施。

12數據集成和共享

10

T/COSOCCXXXX—XXXX

數據交換

企業經營管理系統數據交換要求如下:

a)應提供基于接口、文件的服務訪問方式,以滿足實時服務和批量服務的發布要求;

b)應支持多種標準的數據格式,如XML、JSON、CSV等,以確保不同系統之間可以解釋和處理數

據;

c)應在數據接收端應進行數據完整性檢查,以確保數據沒有被損壞或篡改;

d)應在數據交換系統內形成備容錯機制,以應對網絡故障或其他不可預見的問題;

e)應考慮性能優化,以確保在大量數據交換場景下保障數據傳輸的效率和速度;

f)應提供租戶隔離機制,基于不同的服務實例實現不同消費者對相同數據服務的獨立訪問;

g)應遵從數據分級管理要求,在發布服務時對相關數據資產共享風險進行評估;

h)可在傳輸過程中使用數據壓縮技術,以減少帶寬占用和提高傳輸效率。

數據清洗

企業經營管理系統數據清洗應符合下列要求:

a)對數據進行驗證,確保其符合預定的數據格式、范圍和規則,包括但不限于驗證數值字段、日

期字段、文本字段等的有效性;

b)檢測和移除重復的數據,標準化數據以確保一致性,例如,將日期格式標準化為統一的日期時

間格式;

c)處理缺失數據,可以填充缺失值、刪除包含缺失值的記錄,或者使用適當的插補方法來填充缺

失數據;

d)檢測和處理異常數據,如超出范圍的數值、不符合規則的文本等,異常值可以被糾正、刪除或

進一步調查;

e)將數據格式化為一致的數據類型,如日期、時間、貨幣等,以便進行分析和報告;

f)確保數據在不同數據源之間的一致性,包括標準化單位、貨幣、單位代碼等。

數據轉換

企業經營管理系統數據轉換應符合下列要求:

a)提供數據校驗功能,包括空值檢測、長度檢查、數值范圍檢查、正則表達式校驗等;

b)提供數據表轉換功能,包括字段值替換、值映射、列轉行、行轉列、記錄合并、記錄排序、去

除重復記錄等;

c)提供數據運算處理功能,包括求和、最大值、最小值、平均值等;

d)提供基于代碼映射的自動轉換功能。

標簽管理

標簽管理包括數據的標識、分類和搜索,通過為數據添加標簽來實現更精準的數據發現和利用,應

符合下列要求:

a)建立統一的標簽體系,確保標簽的一致性和標準化,標簽定義明確,并與業務需求和數據特征

相匹配;

b)建立相應的標簽分類和層次結構體系,標簽的分類能夠覆蓋經營管理領域的不同維度和主題,

以支持不同層次的數據分類和搜索;

c)具備唯一性和標識性,并能夠準確地標識數據的某種特征或屬性,標簽的命名清晰、簡潔、易

理解;

d)提供維護和更新功能,包括標簽的創建、編輯、刪除等功能;

e)提供高效的標簽搜索和檢索功能,用戶能夠根據關鍵字、屬性或標簽進行數據的查找和篩選,

搜索結果準確、快速;

f)提供對標簽的版本管理功能,標簽有修改和更新時記錄標簽的歷史變更和版本信息,支持用戶

追溯和回滾標簽的使用情況。

數據目錄

11

T/COSOCCXXXX—XXXX

12.5.1概述

數據目錄提供了數據資源的可管理性和可發現性,支持數據驅動的決策和合作,并確保數據的安全

性和合規性。

12.5.2數據分類和組織

業務數據目錄應能對數據進行有效的分類和組織,包含對數據目錄的層次結構設計、數據分類標準

和元數據管理等內容。

12.5.3數據檢索和搜索

業務數據目錄應提供方便快捷的數據檢索和搜索功能,包含但不限于通過關鍵字、標簽、屬性等進

行數據的查找和篩選,利用高效的搜索引擎和索引機制,支持快速的數據檢索和定位。

12.5.4數據質量和準確性

應具有對數據質量指標的定義和計算、數據質量規則的管理和應用、數據質量報告、數據審計等能

力。

12.5.5數據安全和權限控制

業務數據目錄應具備數據安全和權限控制的能力,技術上包括對敏感數據的加密和脫敏處理、用戶

和角色的權限管理、雙因素認證、水印防篡改、數據可追溯、訪問審計等安全措施,以保護數據的機密

性和完整性。

12.5.6可視化和用戶界面

數據目錄應具備直觀易用的用戶界面和可視化展示能力。

12.5.7可擴展性和集成性

應支持與行業主流及主流國產化系統數據源、數據倉庫和分析工具集成能力,實現數據的無縫流動

和交互。

13數據質量管理

質量管理工具

經營管理系統數據質量管理應包含如下工具:

a)數據標準化稽核工具:評估、驗證和監控數據是否符合指定的數據標準和規范;

b)數據清理工具:刪除不正確或重復數據條目,修整數據項的值域;

c)數據分析工具:收集數據質量統計信息,評估和度量數據質量;

d)質量監控工具:對數據質量狀態進行監控,及時發現數據質量問題。

數據質量測量

從業務實體的角度,以信息項為單位對質量指標進行描述,對每一個指標信息項確定質量核驗方法。

可以為每一個核驗方法定義測量腳本,配置調度任務,定時執行腳本,記錄測量的數據質量結果,并提

供用戶查詢入口。

數據質量分析

經營管理系統數據質量分析應包含如下內容:

a)應對數據進行結構分析,解析數據與格式描述是否一致。測量數據屬性的最小值、最大值,確

定數據是否在值域范圍內,以及其他格式錯誤等。

b)應具備分析數據集、數據記錄、數據庫字段或數據實體之間的關聯關系的能力。識別數據集中

可能出現的數據重復、數據參照不完整等問題。

數據質量評價指標

12

T/COSOCCXXXX—XXXX

經營管理系統數據質量評價要求如下:

a)指標應是可測量的,可以通過定量或定性方式來評估數據質量,而不是主觀判斷;

b)指標應與經營管理系統的業務目標和需求相關

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論