數據地圖建設實踐分享01

數據地圖背景|數據地圖產生的背景數據地圖可以解決那些問題數據采集 數據開發(fā)數據管理數據搜索數據分析數據挖掘故障排查鏈路優(yōu)化數據的流轉鏈路不清晰找不到想要的數據無法高效的管理數據故障排查效率低鏈路優(yōu)化困難|數據相關的工作過程|數據地圖力圖解決以下幾個問題：高效的找到自己想要的數據方便的查看多種多樣的數據血緣信息高效的對數據進行管理高效的應對故障（排查、影響面&恢復時間預估）能夠根據不同需求場景看到不同的鏈路視角02|數據地圖概述數據地圖概述數據地圖數據地圖|數據地圖能力搜索管理分析數據的特征類型全流通、不孤立生命周期長地圖的能力找地點路徑分析搜周邊管理03數據地圖實踐|數據全鏈路數據搜索數據管理數據鏈路分析數據全鏈路：數據類型全任務類型全平臺類型全元數據類型全血緣類型全對數據進行抽象成表和任務進行統(tǒng)一管理，完成了從業(yè)務到業(yè)務的閉環(huán)|搜索的目標：找數據更精準搜索結果更匹配搜索結果進行打分排序找數據更容易從業(yè)務的角度搜數據文本匹配標簽匹配業(yè)務指標關聯(lián)匹配文檔匹配報表匹配加分項當前owner下游數質量分訪問次數公共層的表減分項設置了替換表臨時表結果打分影響因素：匹配內容：|數據專輯協(xié)作更加方便管理維度多樣化批量管理結構化管理數據|?

Word?

文本編輯器?

webExcel?

shimo點贊分享實時多人協(xié)作業(yè)務維度優(yōu)先級維度重要性維度治理維度用途維度其他特征維度設置權限下線保障拆分表表血緣表任務血緣字段血緣最上游&最下游聚合查看節(jié)點搜索節(jié)點排序優(yōu)化體驗|①

向上溯源，找到所有異常的表②

以有異常的表為源頭，經過剪枝優(yōu)化，將相對簡單的路徑展示出來當目標表出現異常時，需要排查原因時，就可以用到這個分析場景。|剪枝的目的：減少圖中的非必要節(jié)點和邊的數量優(yōu)化剪枝的關鍵步驟：剪枝的起點下游選擇策略上游個數最多的節(jié)點（當前策略）最靠近目標表的（可嘗試策略）|實踐-

影響分析&

產出時間預估向下評估影響面向上預估產出時間當核心表出現故障的時候，需要使用這個分析場景，核心流程是：向下評估影響面向上預估產出時間|歷史運行時長取的是最近7天的中位數|什么場景需要鏈路優(yōu)化？成本太大鏈路太長產出時間太晚優(yōu)化表產出時間場景：關鍵路徑表任務血緣看任務啟動時間是否合理表是否可替換（根據字段血緣）|定時任務手動觸發(fā)掃描調度中心的任務任務語法輸入表是否存在輸入表的字段是否存在手動觸發(fā)檢測表下游下游任務下游表下游字段數據保障|04總結與展望|總結底層的存儲方式重構更多的場景支持模型可視化交互體驗使用情況工作提效數據類型|UV:90->130PV:2K->3.5K提效1~3H更加流暢接口RT<1S數據類型：29任務類型：16平臺數：4+血緣關系的底層存儲從關系型數據庫使用圖數據庫來重構|降本使用數據地圖的能力協(xié)助降本鏈路優(yōu)化質量對下游應用保障成本優(yōu)化質量優(yōu)化穩(wěn)定性優(yōu)化|支持