




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、元數據管理 & 數據質量監控北京瑞斯泰得數據技術開發有限公司Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385項目背景數據 各種各樣的數據 分散存在 影響不確定 數據由來不清楚ETL ETL之前無法獲知數據概況 ETL過程中缺乏監控Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)382
2、40385功能概覽元數據管理與數據質量監控平臺元數據管理元數據管理數據庫管理業務數據字典報表腳本數據質量監控數據質量監控質量點監控數據剖析數據檢查數據對比數據指標數據庫監控表監控表空間監控SQL腳本監控結果管理結果管理質量點監控數據剖析數據檢查數據對比數據指標表空間監控SQL腳本監控任務調度管理任務調度管理任務中心日志中心系統管理系統管理元數據維護權限管理工作區工作區個人文件夾公共文件夾Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385
3、元數據管理 對對各各種元數據實施統一管理種元數據實施統一管理包括增、刪、改、查、預覽等操作。數據質量監控 基于元數據做各種分析和監控基于元數據做各種分析和監控數據:質量點監控、數據剖析,數據檢查等數據庫:表空間監控、數據庫監控、表監控ETL:SQL腳本監控結果管理 展示數據質量管理中各種監控展示數據質量管理中各種監控和分析的和分析的行結果行結果Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385任務調度管理 展示各類監控或任務狀態,可停止
4、、暫停、重啟監控和任務 展示各種監控或任務執行的日志、結果信息系統管理 元數據添加、變化日志、類別、屬性、屬性類別的維護 權限管理:用戶及其權限管理工作區 個人文件夾:存儲個人關注的對象 公共文件夾:存儲公共對象,達到資源共享Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385pServerpApplicationpftpptelnetp p指標p維度p緯表p字典基本表p字典數據表 p數據庫p表p視圖物化視圖p存儲過程p字段p pETLp
5、報表p數據接口p接口文件 元數據的類型Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理1.數據庫元數據2.管理型元數據3.業務元數據4.數據字典元數據5.腳本元數據Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理-數據庫元數據 基本操作 增、刪、改、查 加
6、入到“個人文件夾” 加入到“公共文件夾” 表 存在性實時查詢 字段備注查詢 字段備注保存 表數據預覽 影響分析 血統分析Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理-管理型元數據 基本操作 編輯、刪除 加入到“個人
7、文件夾” 加入到“公共文件夾” 工作桌面支持 自動登錄netterm 自動登錄plsqlBeijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理-業務元數據 增加步驟 添加對象類別,例如:“統計周期” 添加對象屬性類別,例如:
8、“字符型” 添加對象屬性,例如:“描述” 新增一個具體的元數據,例如:“月”Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理-數據字典 基本操作 瀏覽 增加 編輯 刪除Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數據管理-SQL腳本元數據 基本操作 編輯 刪除
9、 工作桌面支持 用UltraEdit 打開腳本文件和日志文件Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385血統分析 功能描述:通過對元數據關系的回溯,以圖形方式展現指定元數據的數據血統和加工過程。 作用:通過該功能,業務人員可以清楚的了解指標等關鍵數據的來龍去脈。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guang
10、zhou (8620)38240385影響分析 功能描述:通過分析元數據之間的關系,以圖形方式直觀展現指定實體對全局的影響,如某數據庫表的變更將影響到哪些ETL、數據庫表等。 作用:通過影響分析,技術人員可掌握各程序、數據之間的關系和相互影響,更好確定系統變更所涉及的范圍,避免遺漏和誤操作,從而降低維護人員的工作量和出錯的機率。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數據質量六大評估標準哪些數據是以非標準格式存儲的?哪些數據值
11、提供了沖突信息?哪些數據不能正確描述對象的屬性或已經過期?那些數據根本就不存在?關鍵數據是否及時傳送到目標應用?哪些數據記錄時重復的記錄?Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數據質量監控質量點監控數據剖析數據指標表空間監控表監控SQL腳本監控Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (
12、8620)38240385數據質量監控-質量點監控 功能描述監控某個生產流程環節,查看該環節的質量指標是否符合要求。 作用保證數據在生產過程的某個生產環節的正確性和一致性。 規則維護 定義SQL 告警條件 任務調度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 數據集維護 規則維護 標準探測 模式探測 分布探測 日期探測 任務調度數據質量監控-數據剖析Beijing Stats Data Mining Co. Ltd.Beijing
13、 (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385p探測出檢查對象的數據模式,方便做數據分析,并能根據探出的數據模式自動生成數據規則表達式,產生數據校驗規則。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數據質量監控-數據指標 數據集維護 規則維護 統計周期 度量設定 告警條件 任務調度Beijing Stats Data Mining Co. Ltd.B
14、eijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數據質量監控-表空間監控 功能描述監控數據庫表空間使用量是否超過指定的限額或百分比。 作用提前獲得表空間不足的信息,以便及時處理,防止由于空間不足引起的異常發生。 告警條件 可用空間小于N兆 使用率超過M% 告警責任人 任務調度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Sta
15、ts Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385表空間監控結果表空間監控結果Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數據質量監控-表監控 表選擇 任務調度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8
16、621)53060345 Guangzhou (8620)38240385數據質量監控-SQL腳本監控 告警條件錯誤關鍵字、過濾關鍵字 超時設置超時時長 任務調度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385任務調度中心任務中
17、心 瀏覽任務 暫停任務 重啟任務 刪除任務日志中心 結果信息 調度日志 調度成功 調度失敗 正在運行Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 任務中心Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 日志中心Beijing Stats Data Mining Co.
18、Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385系統管理元數據管理 查看、搜索元數據變化日志 元數據對象類別維護 元數據對象屬性類型維護 元數據對象屬性維護權限管理 用戶所擁有的角色維護Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385工作區個人文件夾 目錄維護:增、刪、改 瀏覽、刪除被創建的對象公共文件夾 目錄維護:增、刪、改 瀏覽、刪除被創建的對象Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 藝術展智能照明的用戶行為-洞察闡釋
- 研究傳統基因與現代語境的交融詩篇《悲欣之歌》
- 邊境計算驅動的工業數據實時傳輸-洞察闡釋
- 數據驅動的酒店客戶關系管理策略-洞察闡釋
- 沉浸式體驗驅動的智能制造-洞察闡釋
- 手術后腸出血護理課件
- 軀干骨骨髓炎護理課件
- 舌乳頭肥大的護理查房
- 鉻化合物中毒護理課件
- 上瞼下垂的護理課件
- 徐健順吟誦文集(.12.16)
- The Old Man and The Sea 老人與海 中英文對照版
- 居委會開具的自建房證明
- 南水北調中線工程運行管理的風險及安全分析
- 臨床藥師用藥干預記錄表
- ICU成年患者疼痛、躁動鎮靜、譫妄、制動及睡眠障礙的預防和管理的臨床實踐指南(PADIS)2018
- 常見的天氣系統_公開課
- 二灰碎石就地冷再生監理細則
- 長焰煤快速熱解(快速熱解裝置100×10項目商業計劃書寫作模板-融資招商
- 拼音PPT課件--聲母
- 市中等職業學校學籍卡片(樣表)
評論
0/150
提交評論