002深?理解Kubernetes的資源管理03基于云原?技術的成本管理最佳實踐0404GPU資源成本優化云原?基?會2021年調查顯示，云原?的部署率已經達到調查樣本的歷史性新?云原?基?會2021年調查顯示，云原?的部署率已經達到調查樣本的歷史性新?96%的組織已經在調研或使?KubernetesFlexeraFlexera發布的《2021云計算市場發展狀態報告》30%-35%的云?出被浪費了 TKE客戶數據分析和調研，客戶集群中資源成本浪費?常嚴重，有眾多客戶提出關于提?資源利?率的訴求。后云原?時代的成本管理挑戰集中式財務預算和IT管理模式在向以業務為導向的分布式決策轉型。的年增?率快速增加。導致云費?隨業務負載不斷變化。上云以后缺乏資源優化意002深?理解Kubernetes的資源管理03基于云原?技術的成本管理最佳實踐0404GPU資源成本優化深?理解Kubernetes中的節點資源spec:iispec:-/24status:cpu"capacity:cpu"cpu:1典型資源利?率以及?量分配率和使?率資源總量實際資源?量未分配資源過多分配資源業務波?閑置資源應?擴容是指在應?接收到的并發請求已經處于其處理請求極限邊界所謂橫向伸縮是指通過增加應?實例數量分擔負載的?式來提升應?整體處理能?的?式ticalScaling所謂縱向伸縮是指通過增加單個應?實例資源以提升式CPU段資源配置彈性業務穩定性O當CPU發?搶占時以cpu.sharesO?法確保延遲敏感型業務的穩定性002深?理解Kubernetes的資源管理03基于云原?技術的成本管理最佳實踐0404GPU資源成本優化全鏈路降2.K8s原?調度策略是默認均衡優先務穩定1.業務存在波峰波?2.存在復雜任務類型時(?優在線任務、低個業務單獨配置超賣?1.1.提升節點裝箱率2.提升資源利?率峰值3.提升資源利?率均值超過?標值時進?友好驅逐(驅逐時先增加間和?量兩個維度進?聚類2.對聚類后的業務進?反相似性和錯峰部署資源緊張時對低優業務進?搶占和壓制，保障業務穩定性?運維可?鍵配置最?裝箱率(?如200%)中?化團隊驅動FinOps心實時報表助?決策心業務價值驅動決策心靈活利?云上成本模型 Ops 管理層 財務/采購業務/產品負責 財務/采購 ?程/運維ge理解?量和成本理解?量和成本績效跟蹤和展示?量優化組織?撐CraneCloudResourceAnalyticsandEconomicsCraneCloudResourceAnalyticsandEconomics???評分和PKI????sionMakingCosts開展FinOps布道《降本之源-云原?成本管理??書》《云成本優化節能減排??書》FinOps開源項?Crane制定FinOps標準FinOps國內?家頂級會員信通院云管優秀案例牽頭《云原?FinOps能?成熟度模型》參與《云成本優化?具技術要求》參與《企業云成本優化能?與效果成熟度模型》參與《云財務運營成熟度模型》成?FinOps產業聯盟榮譽信通院云原?產業聯盟《2022年度云原?技術創新領航者》云計算標準和開源推進委員會《2022年度云優化優秀案例》分配視化多維擴縮容數據運營平臺Crane控制臺CranedBaradMetrics-Server監控系統數據運營平臺Crane控制臺CranedBaradMetrics-Server監控系統CPU騰訊TLinux全資源QoS標準K8S集群TKE托管節電池EKS彈性集群?盤/彈性數據分析?盤/彈性數據分析業務定級業務定級與SLO?級CPU管理?級CPU管理部署模式零零侵?基基于原??為的擴展可擴可擴展??鍵部署成本分析–業務利?分析?該模型從平臺側以及業務側考核各個BG的云資源使?情況?總成熟度得分=業務側得分*50%+平臺側得分*50%持續優化–業務優化視化?視化??量?基于預測的趨勢分析成本和浪費識別?與計費API整合的費?展示?按部??按項??按應?類型?按?定義標簽?可?持原地升降配的規格優化?三條??曲線展示推薦值的來源平臺側優化–節點容量縮放和?位管理集群?盤可視化?集群總體利?率?節點利?率熱?圖致?靈活的異常檢測策略?靈活的異常檢測策略?綜合指標考量??優業務CPU絕對搶占?低優業務主動驅逐定義?平臺運維定義基于PriorityClass的沖突處理策略?業務運維為業務定級沖突檢測與主動回避敏感業務穩定性內部?規模落地的成效?在騰訊內部?研業務?部署?數百個?管控數百萬CPU核?盤總核數縮減25%002深?理解Kubernetes的資源管理03基于云原?技術的成本管理最佳實踐004GPU資源成本優化GPU虛擬化業界問題GPU算?&顯存利?率低不同客戶、任務之間存在資源的搶占和?擾?GPUshare等不?持QoS?vCUDA需要侵?式修改cuda庫APPAPPAPPAPPAPPAPPqGPUdriver擬化存+算?+故障強隔離提供在離線混部能?GPU0GPU/vGPU實例K8S?Kubernetesscheduler集群調度算法K8S?Kubernetesscheduler集群調度算法戶?幅節約GPU資源成本。等如何使用qGPUqGPU支持的3種隔離策略Label值?名含義best-effort(默認BestEffort爭搶模式fixed-sharexedShareburst-sharethBurst保證配額加彈性?測試環境?測試模型??測試環境?測試模型?性能指標?性能指標?Latency?期望結果qGPU性能分析-單podqGPU性能分析–多pod業界GPU虛擬化方案對比指標項業內某產品精準算?隔離Y(nvidia外唯?)YNY在離在線混部Y(業界唯?)NNNYYYNYYYYYYYYYYYYYNYYYNYYNY