中國移動四川公司 2011科技成果材料 面向業務的 IT系統容量規劃和資源分配體系 四川省公司音樂運營中心 如何判斷 IT系統能否跟上業務的發展，做到適時擴容 如何保障現有服務水平的條件下，降低系統運維成本 未來虛擬化、云計算的浪潮中，如何 科學 的分配虛擬資源 面 臨 的 挑 戰 亟待解決 1. IT系統提供的服務和應用與資源消耗量是關系是什么 2. 如何根據業務的需要 ， 科學的進行 系統資源調度和系統 容量規劃 解決方案： 為 IT系統進行面向業務的容量規劃 什么是面向業務的容量規劃 1、面向業務的容量規劃方法不同于原始的依靠經驗來估算系統規模，通過模型的計算更為準確； 2、性能建模自動化，速度更加快捷； 3、將有力的解決未來虛擬化、云計算資源分配問題。 通過運用多種數學理論和工具，建立業務量與系統資源消耗量的數學模型；并根據業務發展的要求，對系統處理能力和規模進行科學的分配和 規劃。 實施 案例 無線音樂音樂基地的下載平臺，承載了全國范圍內的振鈴、全曲下載，日均下載量為百萬次以上。 下載平臺應用服務器負責音樂文件的實體下發任務 振鈴、全曲單次下載的平均時長分別為 5 20s 和 30 60s 用戶的每次下載請求均要對應用服務器資源產生一定消耗 因此，要確定平臺資源是否能夠滿足下載業務的快速發展，我們需要了解下載量與資源消耗的相互關系。 故建立下載量與 CPU資源使用率的性能模型。 實際建模主要內容 建立并檢驗性能模型 數據 預處理 性能數據收集 設定監控采集粒度： 10分鐘 收集歷史數據 有效性檢驗 重復值、空值處理、 噪點濾除 性能模型求解算法設計及編程 性能模型： CPU = 0.0245 業務 + 92 預測下載平臺應用服務器擴容后資源使用情況 模型驗證及準確度計算 歷史數據驗證；模型精確度： 87% 經濟收益 原有方案 本成果 收益 咨詢項目費用 30 50 （萬） 0 30 50（萬） 硬件投資 13臺 ATAE服務器 4臺 ATAE服務器 58 9 = 522（萬） 運維成本 降低運維成本： 10（萬）以上 環境運行費用 減少設備耗電成本： 0.2 9 0.75 24 365 = 1.18（萬） 合計 可減少資本投入及運維成本 ： 563.18 萬以上 本成果應用到下載平臺后經濟收益估算表 社會收益 節能減排， 彰 顯央企的社會責任感 本成果在下載平臺的應用，經測算僅 設備耗電量一項上就可以 降低1.6萬度以上 為集團虛擬化技術的推廣提供有利條件 本成果提出了虛擬資源預分配方案，可以避免資源頻繁漂移問題，為集團虛擬化技術的推廣提供了有利條件。 音樂基地在完全依靠自身的條件下，運用多元線性回歸理論和時間序列分析等理論，推導和總結了一套面向業務的、適用于多種 IT架構的系統容量規劃和資源分配體系； 與傳統依靠經驗的容量規劃相比，新方法更準確、更快捷 總 結 性能建模 經驗 IT系統的容量規劃 將該方法運用到音樂基地的下載平臺，建立了振鈴、全曲下載量與應用服務器資源利用率的數學模型。 通過與實際結果的對比，檢驗了模型的準確性，同時也驗證了性能建模方法的可靠性。 建立的性能模型準確的預測了下載平臺擴容后資源的使用情況。 使用面向業務的容量規劃方法后，預計可為基地帶來 500萬元以上的收益。 總 結 了解業務量與資源使用率的真實關系 根據業務需要進行系統資源分配 快速適應業務的發展 避免過度投資，降低成本 提升系統穩定性和服務水平 更精確的 IT資源預算 虛擬化資源分配的好幫手 資源、業務的選取沒有限制 降低維護人員的工作量和運維成本 普適度高 有利于整合業務發展與 IT規劃目標 IT容量規劃更加便捷 面向業務的 容量規劃的優勢： 根據 多元線性回歸理論 ，通過數學的方法構建系統中承載的業務量與資源消耗量間的關系： 等式左邊描述了不同業務對系統資源的消耗情況 對應業務 1到 j 的消耗因子； 表示非業務應用對資源的消耗量，例如操作系統、監控等 R 表示系統中采集到總的一種資源使用量。 詳 細 原 理 介 紹 0 1 1 2 2 jja a N a N a N R K0a12, ja a aL 等式中資源 R 由監控軟件采集得到 根據建模的目標，設定監控采集的粒度 建立每天業務量均值與資源使用量的模型，粒度： 1小時 建立每小時業務量與與資源使用量的模型，粒度： 5 10分鐘 根據需要，選擇建模資源 R，資源的選取沒有限制 CPU、內存 磁盤、表空間 I/O、網絡，等等 原 理 快速、準確的性能建模 可以調整業務間不同的占比， 進行測試 或通過收集充足的、大量的歷史信息 12,i i i jN N NK0 1 1 1 2 1 2 1 10 1 2 1 2 2 2 2 20 1 1 2 2jjjji i j i j ia a N a N a N Ra a N a N a N Ra a N a N a N R KKMOMK T T1 1 1 2 1 12 1 2 2 2 20 1 21 + 112 1+111=1jjjji i i j i iijN N N RN N N Ra a a aN N N R LLLM O M ML矩陣變換 建立多組業務量與資源消耗等式 1 1 1 2 12 1 2 2 212111jji i i jN N NN N NHN N NLLM O ML根據矩陣理論，在求解 a0， a1 ， aj 時， 只有當矩陣 H秩， R（ H） j 時等式才有最優的近似解。 T1210 1 21 + 11=jji iRRa a a a HR LM 業務 1， 2.， j 相互獨立，之間不存在相互調用關系 若業務 m、 n存在相互調用，則需排除相互調用發生的業務量 容量規劃和資源分配流程 Step1 數據收集 明確性能建模目標。 獲取系統應用和負載列表。 根據模型精度需要，設置監控的采集信息的粒度。一般而言，粒度越小，所建立的模型精度越高。 通過性能測試，或收集 5至 6周系統的業務和系統負載數據 對原始數據按時間先后順序排序，確定數據有效性 刪除重復數據 對空值 使用插值法 處理 將業務和資源消耗的采集值轉化為小時均值，并將業務量數據與資源負荷相對應。 相關性分析 噪點濾除 數據收集 Step2 數據預處理 代入預處理后的數據，計算得出業務 j與資源消耗因子 aj 的數學模型 模型建立與驗證 Step3 建立模型 Step4 模型驗證 將業務數據代入數學模型，得出相應的資源消耗情況 計算模型精確度 將模型計算值與實際值進行對比，判定模型是否有效 Step5 業務分析 將業務分為月初、月末，節假日及日常三種類型 計算三種類型時段的業務中位數，找出系統忙時 運用時間序列分析法和指數平滑法得出未來 6至 12個月業務發展數據。 業