企業數據治理之算力治理方案算力治理-問題分析存量任務數量多、增長快，平臺上有大量異常（或無效）

任務新增任務無“查重”檢測機制，平臺存在冗余或相似任務存在沒人使用（無價值）的任務，長期空跑平臺缺乏任務治理產品數據傾斜等慢任務，缺乏診斷工具，優化工具

計算引擎以MR/Tez為主，Spark引擎使用占比不足5%，算力利用效率不高缺少算力量化指標，任務價值量化算力使用粗放，資源成本意識弱算力使用需要精細化運營專項一：提高有效算力占比①

獲取無效任務（異常、冗余）②

建立治理規則引擎③

效果評估④

建立“識別-治理-分析”閉環產品專項二：提升平臺計算資源利用效率①

Hive->Spark遷移工程②

hive優化診斷工具③

任務分發④

在離線混合部署專項三：建立算力增長可控體系①

算力量化、任務價值量化②

治理效果評估③

算力/任務

健康度監測④

算力管理、資源拆分算力治理-整體架構提升有效算例占比提高算力能效集群計算引擎升級 tez spark在離線服務混部在離線物理集群劃分分時錯峰復用資源調度底層功能算力采集算力量化任務日志收集任務日志解析支撐單任務診斷工具工具鏈路任務診斷工具功能無效任務下線問題任務識別重復計算識別相似任務識別報警推送系統報警推送任務白名單用戶問題任務優化重復計算緩存相似任務合并核心任務保障API數據地圖奧丁 ……數據來源任務價值量化功能核心任務保障調度策略編排算力健康度監控看板算力治理-任務治理流程日志數倉集市業務指標交換Odin數據平臺識別引擎（留下有效算力）規則庫識別模型（價值分、相似度）成功失敗1.

進入2.1

判定2.2

進入計算模型3

判定治理策略引擎（治理無效算力）下線修復優化合并收益模型（量化治理效果）用戶團隊平臺4

量化治理閉環系統（反饋機制）（治理率、算力收益、健康分、價值分、等效成本）用戶參與規則、模型評測平臺量化分析5

反饋6.1

迭代6.3

迭代6.2

迭代算力量化業務價值數據收集信息采集價值挖掘任務治理規則庫沉淀模型治理規則庫挖掘價值量化模型完善治理體系規則庫迭代識別模型：相似模型、價值量化模型治理策略引擎：優化、合并策略開發收益模型（量化平臺/團隊/用戶治理效果）用戶參與/反饋機制規則、計算模型效果評測價值分、健康分治理閉環P1

任務價值量化P2

完善治理閉環P3

冗余計算消除核心舉措算力治理：HiveSQL向SparkSQL遷移算力治理：Hive優化診斷工具通過調度日志獲取任務Application

id通過Tez

ui接口獲取DAG列表等相關信息Loading

Data

耗時異常File

Merge

耗時異常Map

端數據傾斜Reduce

端數據傾斜切片耗時異常重復使用大表輸入超時任務ID根據問題類型選擇優化策略整理制作郎豐利1519算力治理：在離線混部算力治理-建立算力增長可控體系1、全局視角：算力使用現狀是否健康？2、什么時候

該增加機器？3、增加多少機器？算力增長可控的四個階段：L0-自然增長：無治理，算力不可量化L1-初步可控：任務消耗算力可采集量化，實現治理產品閉環，算力成本可分攤（當前階段）L2-中等可控：算力增長趨勢可預估，算力價值可量化，計算效率大幅提升，算力擴容流程產品化L3-完全可控：算力分配實現自動化彈性伸縮，任務的智能診斷與優化說不清！算力治理-健康度監測謝謝聆聽整理制作：郎豐利