數據倉庫設計與開發規范

概述

數據倉庫設計規范

2.1命名規范

數據倉庫庫表的命名規范

命名規范

RAW表：RAW+源表名稱

中間表：MID+源表名稱

如果表名字符長度超過32位，則在源表名稱中英文字母縮寫替換英文單詞

表字段命名規范

命名規范

數據庫字段的命名必須遵循以下規范：

采用有意義的字段名。字段的名稱必須是易于理解，能表達字段功能的英文單詞或縮寫英文單詞，無論是完整英文單詞還是縮寫英文單詞，單詞首字母必須大寫。

系統中屬于是業務范圍內的編號的字段，其代表一定的業務信息，這樣的字段建議命名為：

代表當前這字段含意的英文單詞+“ID”

盡量遵守第三范式的標準（3NF）。

表內的每一個值只能被表達一次

?表內的每一行都應當被唯一的標示

表內不應該存儲依賴于其他鍵的非鍵信息

存儲過程命名規范

命名規范

存貯過程的命名請遵循以下命名規范：P_MID_+業務邏輯（英文單詞或縮寫）如：P_MID_PUB_TRADE_BUY

設計規范

在存貯過程中必須說明以下內容：

名稱：存貯過程。

描述：描述存儲過程的作用

創建者：首次創建此存貯過程的人的姓名。在此請使用中文全名，不允許使用英文簡稱。

修改者、修改日期、修改原因：如果有人對此存貯過程進行了修改，則必須在此存貯過程的前面加注修改者姓名、修改日期及修改原因。

對存貯過程各參數及變量的中文注解。

示例如下：

--procedurename:P_MID_PUB_TRADE_BUY

--description:

公募交易表

--author:

--createdate:

張三

2015-07-17

--source_table:

--target_table:

raw_tp_dis_trade_app_rec

MID_PUB_TRADE_BUY

--modified

：修改日期：2015-07-20修改原因及內容

視圖命名規范

命名規范

>視圖的命名請遵循以下命名規范：V_+_操作的表名（不帶前綴）或功能的英文單詞或英文單詞縮寫。如：V_ac_cust_info

2.2版本管理規范

數據倉庫開發規范

3.1Kettle規范

Trans命名規范

trans名稱：以存儲過程名稱名稱

Example:SP_ETL_MID_BANKCARD_VRFY_OK

Job命名規范

粒度最細的jobJob注釋

Job名稱：項目名稱+功能

Example:GMTJ_BANKCARD_FIRST_INFO

主Job

Job名稱：項目名稱+功能+MAIN

Example:GMTJ_DAILY_KAIHU_MAIN

注意：TRANS和JOB的命名英文字母統一大寫

3kett資源庫目錄規范

Job存儲位置：/ETL_REPOS/JOB/數據庫層級（mid/raw）/具體JOB

■

口

ETL_REPO￡

1

匸JOEf、、

MIDj

RAW_/

J

□TRANS

MID

RAW

trans存儲位置：/ETL_REPOS/TRANS/數據庫層級(mid/raw)/具體TRANS

-匕/

J匸ETL_REPOS

J□JOE

MID

RAW

{□MID■.

QRAWJ

4192.168.220.220kettle（非kettle集群）

監控與日志

DB中2張表：

META_JOB_LOG

META_TRANS_LOG

日志在運行job時〉/data/app/datax-etl/etl-repos/log/xxx.log2>&1&

可以記錄錯誤

郵件：

配置郵件，發給負責人可以監控job。

元數據管理規范

所有在本地導出的xml文件需上傳到SVN目錄中

XML文件命名規范：項目名稱.xml

Example:GMTJ.XML

目錄：

svn://192.168.220.100/usr/local/subversion-1.4.4/repos/CRM/t