數據治理操作指南

數據治理操作指南

目錄

1.數據治理......................................................................3

1.1從這里開始...............................................................3

1.1.1業務背景............................................................4

1.1.2產品定位............................................................4

1.1.3基本概念............................................................5

1.1.4功能特性............................................................7

1.1.5操作流程...........................................................14

1.2配置數據標準.............................................................16

1.2.1配置數據分層標準...................................................16

1.2.2配置模型設計標準..................................................20

1.2.3管理文檔...........................................................25

1.2.4配置業務術語......................................................28

1.2.5配置碼表...........................................................30

1.2.6配置數據庫系統.....................................................32

1.3配置數據模型............................................................37

1.3.1數據模型狀態說明..................................................37

1.3.2（可選）創建數據分層................................................38

1.3.3創建數據模型（導入方式）.............................................41

1.3.4創建數據模型（邏輯實體采集方式）.....................................42

1.3.5創建數據模型（物理實體采集方式）.....................................44

1.3.6創建數據模型（手動新建方式）.........................................48

1.3.7審核數據模型.......................................................54

1.3.8（可選）復制和導出數據模型.........................................55

1.4應用數據模型............................................................56

1.4.1模型建模...........................................................57

1.4.2管理域和特征......................................................60

1.5管理數據安全............................................................65

1.5.1管理去隱私算法.....................................................66

1.5.2添加去隱私策略.....................................................69

1.5.3管理數據訪問權限..................................................72

1.5.4創建數據角色......................................................73

1.5.5管理操作員權限.....................................................75

1.5.6查看用戶與角色權限................................................78

1.5.7查看我的權限......................................................79

1.6管理元數據..............................................................79

1.6.1查看數據云圖......................................................80

1.6.2查看模型開發報告..................................................81

1.7管理數據質量............................................................82

1.7.1數據質量管理操作流程..............................................83

1.7.2添加數據質量規則..................................................83

1.7.3配置和執行稽核任務................................................89

1

數據治理操作指南

1.7.4實時監控數據質量..................................................91

1.7.5分析數據質量趨勢..................................................93

1.7.6管理數據質量知識庫................................................96

1.7.7任務示例...........................................................98

1.8參考....................................................................103

1.8.1檢核語句說明......................................................104

1.8.2自定義SQL參考函數...............................................104

1.8.3模型配置參數.....................................................109

1.8.4存儲周期配置說明.................................................117

2.Addenda.........................................................................................................................................................................119

2.1設置任務調度時間.......................................................119

2.2集群管理................................................................119

2

數據治理操作指南

1.數據治理

?從這里開始（查看［標題編號］）

?配置數據標準（查看［標題編號］）

數據標準管理是數據質量的核心內容，是數據規范的保障。

?配置數據模型（查看［標題編號］）

介紹數據模型的創建、審核等操作。

?應用數據模型（查看［標題編號］）

?管理數據安全（查看［標題編號］）

?管理元數據（查看［標題編號］）

提供元數據的統一視圖及相關的分析功能。

?管理數據質量（查看［標題編號］）

數據質量管理包括制定數據質量標準、為數據模型添加質量稽核規則、監控質量稽核情況和

查看數據質量報告等環節。

?叁塞（查看［標題編號］）

1.1從這里開始

業務背景（查看［標題編號］）

產品定位（查看［標題編號］）

基本概念（查看［標題編號］）

功能特性（查看［標題編號］）

操作流程（查看［標題編號］）

介紹DG的界面操作流程。

父主題：數據治理（查看［標題編號］）

3

數據治理操作指南

1.1.1業務背景

1.1.2產品定位

數據資產管理方案

華為數據資產管理方案

華為數據資產管理萬案包含線下B減據冶理以及線上fl檄據t控.可以在企業大藪據中心建設前期提蟠牌5刁調理、分折、評估，在企

業大鼓據中，L運行過程中提蚓據管拄

Copyright!2016HuaweiTechnologiesCo..Ltd.Allrightsreserved.［畛HUAWGI

產品特點

產品特點

自就建立邏輯模型和物理對象的映射關系；在故據抽取、加菽.清洗等加工過程中，自的完成陸量檢核和去信私處理等。

靈活

供靈活fl口在線褊輯元模型的能力,方便快捷支持各種類型的數據模型和業務管理流程。

標準

提供了完省的數據標準方面的支持，從滿足業芫管控角度設計邏相模型。

統一

各運算引擎將采用笠一0口邏相模型，提升Universe大數據平臺的綜合能力。

Copyright;2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.

在UAP中的位置

4

數據治理操作指南

數據治理在UAP中的位置

客戶詞被尸品同等市后澗家服學到寫

說明丁色字體版區JS于規劃內宕當捌版本初干工現.

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.［畛HUAWGI

與其他模塊的交互

與其他模塊的交互

數據治理工作貫穿整個數據生命周期

Copyright/2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.?畛HUAWGI

1.1.3基本概念

數據標準&數據安全&數據質量&元數據管理

5

數據治理操作指南

基本概念

數據標準

數據標準是指描述草類數據的所有規則的聚合，包恬所需日也￡據頂.各數據頂語義定義、語

法規定等.DAM王要針對物居分層.邏輯模型、安全踣氐數據.再量等制定相關的標隹

數據安全管理

規劃、開發和執行安全政第與措施,提供適當8。身份以確認、授權、訪問與審計.

元數據管理：

為獲彳疆質量的整合的元數據而進行的規劃、實施與控制活動.

數據質號管理

以適度改1眼端陸量，滿足既定的業務預期為目標，畫淀義和和規格說明，杼裁M再量管理整合至系統開發生命周期，為摩量

監控和報告數據質量水平0尸致性提供既定的操1鹿咦提供在岐據生產充程中曲亍數據防量懦核，通過稽核造果控制數據生產，

從根本上解決了數據質量管理B譚題.

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.［畛HUAWGI

數據模型

基本概念

數據模型

數據模型描述了數端時數據結忖存儲規則等信愿。DG根據邏福數理模型和存睛規則目葫創建物理實體，統T攵據管控入口。

提供模型管理.模型審核、模型上線等一系列切能。

數據模型的狀態說明：

數據模型狀態描述

草稿新建的數據模型聯認處于草槁狀態（包怙導入方式.采里萬式和手罰新建萬苴創逋BD）.

待審核草稿狀態的數據模型可修苜核，提交審核后模型處于待審核狀態＜

已審核通過審核人員審核的數據僵型夕汗已審核狀蕊

1冷HUAWGI

開發環境&生產環境

6

數據治理操作指南

基本概念

裁

數據治理開發環境

11費麗至

開氈于元數據B沖據

■采￡清洗.分析、

在開發過程涌出配置信息到元教I居庫，H時度

切期J叼6冷面酒生給同蝸

環

可視化統一開發IDE

將元數據發布到生產環境執行.同時從生產采境

元3718管理

用執行信息，實現系統維監控.

，上法神畬信《?十堪

數據治理生產環境

讀取開發環境發布出來的元數據信息，結合生

產環境實際情況對元數據信息曲亍微調，形成

超優配置，根據最優配置芫啾據處理相關

61做推

任務.

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.［畛HUAWGI

1.1.4功能特性

?功能架構（查看［標題編號］）

?數據質量（查看［標題編號］）

?數據安全管理（查看［標題編號］）

?元數據管理（查看［標題編號］）

?融合多域的數據管理規則（查看［標題編號］）

父主題：從這里開始（查看［標題編號］）

功能架構

功能視圖

7

數據治理操作指南

功能視圖

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HUAWGI

父主題：功能特性（查看［標題編號］）

1.1.4.2數據質量

質量規則管理

數據質量-質量規則

數據質量管理從數據有效性、一致性、準確崢度對數據質量進彳逾量.質量規則可以是基于數據庫字段的，也可以是基于數據庫表的，也

可能是跨表的.

-----o-----------e-----------o-----------e-----

■■■war

OO-?aGCas$c（&Qi）

?H.CM

O9A4?

wsn

ttat.date

?<r?an

Oeaesxjssa

Copyrightc2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.［畛HUAWGI

數據質量稽核

8

數據治理操作指南

數據質量-質量稽核

配置數據質量規則之后，DG后臺會自動吸一調度上報稽核任務信息.在統一調度中配窗0執行對應流程的調度后，即完成了對相應流

程的數據稽核，可以通鰻據質量監控功能查看稽唳果.

Copyrightc2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.W畛HUAWGI

數據質量監控

數據質量--質量監控

實時監控數據質量狀況，以便及時發現質量問題.支持從不同維度查看各個數據分層以及具體數據實體的質量狀況

助■維度分展致堪筋■津慎

Oi三

Copyright2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HUAWGI

數據質量知識庫

9

數據治理操作指南

數據質量-質量知識庫

將生產運維過程產生B響慰人員報告的問題.維護皮現時可題.業務人員反陶洞靡過攵濰過程轉到知識庫，對問題B原邸

解決方法進行手工分類記錄,提供歷史左臉沉淀和直道.

|資溝條件

孤始時間由然來時間[函，

效他分片?愛SK0T?

瓜?標*曼T▼關"字

I?*I

I查均結里

透福積堂所屬層版量雄度向n融因X決方法最后他改入餐后作改時間tl作

用戶日表?-tt用戶日我中用戶近識“一住分析IMRE”/I?100132O1WH-261W7GX

Copyright：2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.?畛HUAWGI

數據安全管理

數據模糊化

數據安全-數據模糊化

數據治理支排急私第略配置,畫二信陽斕霧化和數據加解密能力，實現運營靛媚資產安全、信息安全和用刊辨用闡凡

數據治理套件支持對戴據模相化處理。

I模陶化列信息

業先名稀英里?0化及堂MWKffi后端長虎對[前面后曜｝收短

1統計日IBstat.datei*ffiX!e($tring)8

23戶后識cost,id通用工生(String)500榭方化

3Wi代小entry、必詞用關型(String)

4L書照/city.code**fflS￥(String)

5X戶名㈱cust_name通用英里(String)

6*f快3!certtype通用員S!(Strtng)

7是若通行信用rMCfedit_ctri_fUg場記

8X戶類更cust_typeM用類里［String)

9客戶類別cu$t_kindi*ffl?S(String)

10客戶狀態cu$t_$tatA用9；型(String)

Copynght<2016HuaweiTechnologiesCo,LtdAllnghtsreserved(畛HUAWEI

文檔管理

10

數據治理操作指南

數據安全-文檔管理

統一§理文檔通源，包恬文理請他互道、下載.更斯等.相關文1狂要供用戶直閱，對業務邏輯沒有技術上M約束.

文檔管理

I臺文檔管理目及名K9■后修改時同

?開發雙電

1開發提55文件突2O16-1O-2Sl(hQ5:21

K前臺界面(0)

1■設計標注1設計標選文件失2016-10-2510X)6:10

?功能設計收物2)

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.［畛HUAWGI

隱私策略管理

數據安全-隱私策略管理

去隱私策略管理主要用于設置數據去隱私算法、各寄去的秘鑰管理，并基于數據模型配置去隱私算;第.

連18實體信息

RSftQILSM

eodp

Bt.VDKtMlAXMl

Uwaub

Uonwdb

nMwwwK17?M71b0757

B??w

!*****20174X471%0757

nzwMto

aiw

*■???JISABCRANM<t?9HW

M??r$crmt)4不E

Copyright2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HUAWGI

數據加解密

11

數據治理操作指南

數據安全—數據加解密

數據加密是實現數據脫敏的常用方法.被授權訪問明文的用戶,可通過數據解密服務獲得數腌朔文信息.

DG提供AES、DES.RC4,RC5等多種加空算法.配置邏輯模型時,可以指定相關字段使用某力唯算法.

|RE列僖粵

Q

3名寫gSGXttS■.?

1SfRVKEJDMSAES-128

2em?SIN.SER.TYPEinteger93左

3髭W置H期OP￡R_DAndMetnne不85MSL8

Copyrightc2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.［畛HUAWGI

元數據管理

融合多域的數據管理規則

碼表管理

融合多域的數據管控規則T瞌管理

諂表統一定義了業務元裁據設置頂的下拉柢品選直,TR用于對早些數據表叼相關列席值域檢直.

所.胃表??作

Bl除

千克UttVI除

ftan■除

Copyright:2016HuaweiTechnologiesCo..Ltd.Allrightsreserved.（弓HUAWGI

業務術語

12

數據治理操作指南

融合多域的數據管控規則-業努術語

業務術語統『義開發布公司內部的業務語言（業務口徑），主要供用戶查閱,對業務邏褐沒有技術上的約束.

新建后X

*?w

成本類業憲術語X

0停?術語名梯

用于存放和胃理成本類的業務術語。標準成本

福牌

一種成本計算方法。這種方法不像間接費用是預計的，而是直接材料和g

接人工等也是按孩計的故字來計算的，這種成本的計算方法稱為標準成本

制度或責任分解制度。

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.［畛HUAWGI

數據分層標準

融合多域的數據管控規則T據分層標準

用于定義數據分層設計過程中8珈范,通過啕寫檢核語可實現,可制定數據分層命名規范。命名規范包話名禰種宿寫的規范.

分國2祥期曼大耳

>??*31

??a?c?______I■M

勃信2得??大巧

B-anas-?0?Bnaaai'ceaaK?HB

■M

=?KxaHB.*aM*

BKSfi

4Uy*rMam?ittnng

?(jyMAbbtnirtJonitnng

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.1冷HUAWGI

數據模型設計標準

13

數據治理操作指南

融合多域的數據管控規則-數據分層標準

用于定義數據分層設計過程中糠范.通過編寫檢核語句實現，可制定黏酸有命名規范.命名規范包括名稱f面寫緘范.

通用標Atest

Q（檜林不謾過,不允杵翟家保存）

BHUtaay

O3?Ktt*8HS!nK7l4*8ttK

Mti?tsa

BM?