數據資產管理在騰訊游戲的實踐∧技術創新,變革未來數據資產管理在騰訊游戲的實踐1騰訊游戲大數據運菅概況15W+表離線計算:220+萬/端游100+款4000億乙+數據100P+流式計算量:2000+萬秒露,表頁游90+款600億+數據多維分析肉今w象秘翻嬰30W+表TDW手游300+款13000億乙+數據每日傳輸量:17000億條,約260TB,總存儲量為100PB+,公司占比為20%騰訊游戲大數據運菅概況2問題與痛點在游戲大數據管控中,面臨著眾多問題與痛點1.數據多樣化,缺少統標準2.計算邏輯理解一不致,導致統計結果有偏差03數據全鏈路質≡問題,層次復雜、不能快速定位問題04數據質量偏低給數據應用帶來的各種挑戰游戲數據管控的問題與難點數據標準缺乏結構化管理,集成困難6.數據分散,沒有形成完整的成本管理7.數據價值的評估較為困難8.數據安全與合規保障的問題問題與痛點3發展歷程勾建游戲大數據資產管理體系歷經6年在各階段解決的關鍵問題數據集成數據治理數據孤島形成殳有統數據平臺資產運營數據流轉架構混亂數據標準往缺失數據傳輸時延高質參差不齊數據成本劇增數據驅動數據集成效率低指標概念不一平臺組件不夠穩定數據合規存在風險數據價值難評估·數據獲取效率低數據生命周明不合理區營效率有待提升2019年2019年2018年游戲大數據資產管理:通過組織、流程、制度、技術等組合手段,確保數據交付的質量、效率、成本和安全,助力業務數據價值提升發展歷程4能力模型三好用好”數據資產管好”數據資產“看好”數據資產數據管理人員平臺指「數群價值成本結算致據誰」知識圖線下培訓數紫應用[數據血緣「血練跟蹤「異分析產品開發數據映時產品運維數據理理密源度「數據變更]「數據質量「評估彩響「數據近量權哦流程安全規落「數拼檢索數提接入成本性理](元數把理「安全策路制世世理用樓塊能力模型5體系架構數據增值服務可視化胺表效分析月推送渠遍管理戰績直詢資產管理平臺資產總覽資產治理產服務產安全數據理資產運營被據動數據平數抹花準成本優化敔據清洗充程制度生命期回理熱度分析數據傳轄數據質量安全管理廣分析數據整臺影響評估據存惴數據血DevElOps數書開放元數據皆理「元元數指標準技術元數務元數園激數據存情元數據開放游戲大數據資產管理體系體系架構6元數據管理元數據(Metadata)—描述數據的數據按服務對象劃分業務元數據技術元數據時fot_noreItaMin+元數據管理7元數據管理元數據應用[元放據檢索數據體化質監控」「資源管理其他應用元據能力點|元數搖管理新管理[版本管進用戶管理〖日志管理」『可視化同步管理其他管埋權限管理|[備份恢復〖接口管理>業務指標,開放共享技術元數據DataMoreiData[休化口>自動構建血緣關系鏈業務元款據//元數據存儲[磁實時規則圖靈更多>擴展能力,輔助運營元數據采集轉換層模型橋接器數據映射橋接器異構數據源元數據管理體系技術架構元數據管理8數據資產目錄某業務視圖≌262242口2數據資產目錄某業務視圖9數據集成-數據采集架構服務發現Consul/L5Web管理端服務特性KCP:9w:TCP:10w游戲客戶端TGlog_SvT單機吞吐量:180Mb布式高可用,雙方擴容互PBTDRSlogSvr扃可用,高可靠:擴容游戲服務端TGlog_5傳輸體系失數據;WAL雙備數據RPC-Pralo完整率:9999~99.9999%·多協議支持;多數據格式范結構·專業數據管理、數據運維周邊系統完善支持布道元數據管理專業運維m[在數據集成-數據采集架構10數據資產管理在騰訊游戲的實踐課件11數據資產管理在騰訊游戲的實踐課件12數據資產管理在騰訊游戲的實踐課件13數據資產管理在騰訊游戲的實踐課件14數據資產管理在騰訊游戲的實踐課件15數據資產管理在騰訊游戲的實踐課件16數據資產管理在騰訊游戲的實踐課件17數據資產管理在騰訊游戲的實踐課件18數據資產管理在騰訊游戲的實踐課件19數據資產管理在騰訊游戲的實踐課件20數據資產管理在騰訊游戲的實踐課件21數據資產管理在騰訊游戲的實踐課件22數據資產管理在騰訊游戲的實踐課件23數據資產管理在騰訊游戲的實踐課件24數據資產管理在騰訊游戲的實踐課件25數據資產管理在騰訊游戲的實踐課件26數據資產管理在騰訊游戲的實踐課件27數據資產管理在騰訊游戲的實踐課件28數據資產管理在騰訊游戲的實踐課件29數據資產管理在騰訊游戲的實踐課件30數據資產管理在騰訊游戲的實踐課件31數據資產管理在騰訊游戲的實踐課件32數據資產管理在騰訊游戲的實踐課件33數據資產管理在騰訊游戲的實踐課件34數據資產管理在騰訊游戲的實踐課件35數據資產管理在騰訊游戲的實踐課件36數據資產管理在騰訊游戲的實踐課件37數據資產管理在騰訊游戲的實踐∧技術創新,變革未來數據資產管理在騰訊游戲的實踐38騰訊游戲大數據運菅概況15W+表離線計算:220+萬/端游100+款4000億乙+數據100P+流式計算量:2000+萬秒露,表頁游90+款600億+數據多維分析肉今w象秘翻嬰30W+表TDW手游300+款13000億乙+數據每日傳輸量:17000億條,約260TB,總存儲量為100PB+,公司占比為20%騰訊游戲大數據運菅概況39問題與痛點在游戲大數據管控中,面臨著眾多問題與痛點1.數據多樣化,缺少統標準2.計算邏輯理解一不致,導致統計結果有偏差03數據全鏈路質≡問題,層次復雜、不能快速定位問題04數據質量偏低給數據應用帶來的各種挑戰游戲數據管控的問題與難點數據標準缺乏結構化管理,集成困難6.數據分散,沒有形成完整的成本管理7.數據價值的評估較為困難8.數據安全與合規保障的問題問題與痛點40發展歷程勾建游戲大數據資產管理體系歷經6年在各階段解決的關鍵問題數據集成數據治理數據孤島形成殳有統數據平臺資產運營數據流轉架構混亂數據標準往缺失數據傳輸時延高質參差不齊數據成本劇增數據驅動數據集成效率低指標概念不一平臺組件不夠穩定數據合規存在風險數據價值難評估·數據獲取效率低數據生命周明不合理區營效率有待提升2019年2019年2018年游戲大數據資產管理:通過組織、流程、制度、技術等組合手段,確保數據交付的質量、效率、成本和安全,助力業務數據價值提升發展歷程41能力模型三好用好”數據資產管好”數據資產“看好”數據資產數據管理人員平臺指「數群價值成本結算致據誰」知識圖線下培訓數紫應用[數據血緣「血練跟蹤「異分析產品開發數據映時產品運維數據理理密源度「數據變更]「數據質量「評估彩響「數據近量權哦流程安全規落「數拼檢索數提接入成本性理](元數把理「安全策路制世世理用樓塊能力模型42體系架構數據增值服務可視化胺表效分析月推送渠遍管理戰績直詢資產管理平臺資產總覽資產治理產服務產安全數據理資產運營被據動數據平數抹花準成本優化敔據清洗充程制度生命期回理熱度分析數據傳轄數據質量安全管理廣分析數據整臺影響評估據存惴數據血DevElOps數書開放元數據皆理「元元數指標準技術元數務元數園激數據存情元數據開放游戲大數據資產管理體系體系架構43元數據管理元數據(Metadata)—描述數據的數據按服務對象劃分業務元數據技術元數據時fot_noreItaMin+元數據管理44元數據管理元數據應用[元放據檢索數據體化質監控」「資源管理其他應用元據能力點|元數搖管理新管理[版本管進用戶管理〖日志管理」『可視化同步管理其他管埋權限管理|[備份恢復〖接口管理>業務指標,開放共享技術元數據DataMoreiData[休化口>自動構建血緣關系鏈業務元款據//元數據存儲[磁實時規則圖靈更多>擴展能力,輔助運營元數據采集轉換層模型橋接器數據映射橋接器異構數據源元數據管理體系技術架構元數據管理45數據資產目錄某業務視圖≌262242口2數據資產目錄某業務視圖46數據集成-數據采集架構服務發現Consul/L5Web管理端服務特性KCP:9w:TCP:10w游戲客戶端TGlog_SvT單機吞吐量:180Mb布式高可用,雙方擴容互PBTDRSlogSvr扃可用,高可靠:擴容游戲服務端TGlog_5傳輸體系失數據;WAL雙備數據RPC-Pralo完整率:9999~99.9999%·多協議支持;多數據格式范結構·專業數據管理、數據運維周邊系統完善支持布道元數據管理專業運維m[在數據集成-數據采集架構47數據資產管理在騰訊游戲的實踐課件48數據資產管理在騰訊游戲的實踐課件49數據資產管理在騰訊游戲的實踐課件50數據資產管理在騰訊游戲的實踐課件51數據資產管理在騰訊游戲的實踐課件52數據資產管理在騰訊游戲的實踐課件53數據資產管理在騰訊游戲的實踐課件54數據資產管理在騰訊游戲的實踐課件55數據資產管理在騰訊游戲的實踐課件56數據資產管理在騰訊游戲的實踐課件57數據資產管理在騰訊游戲的實踐課件58數據資產管理在騰訊游戲的實踐課件59數據資產管理在騰訊游戲的實踐課件60數據資產管理在騰訊游戲的實踐課件61數據資產管理在騰訊游戲的實踐課件62數據資產管理在騰訊游戲的實踐課件