1、大數據應用人才培養系列教材大數據系統運維劉 鵬 張 燕 總主編姜才康 主編 陶建輝 副主編第二章系統管理及日志巡檢2.1系統建設2.2系統管理對象2.3系統管理內容2.4系統管理工具習題大數據應用人才培養系列教材2.5系統管理制度規范2.6日常巡檢2.1 系統建設第二章 系統管理及日志巡檢技術方案業務系統層01資源管理層03數據計算層02數據收集/存儲層04大數據系統應該具有以下4個特點：彈性容量大；高性能；集成化；自動化。常規的大數據系統架構圖2.1 系統建設第二章 系統管理及日志巡檢技術方案靜態數據的批量處理：Hadoop流式數據的實時處理：Storm交互式數據：Spark目前，大數據系統

2、主要的應用場景和典型的大數據系統技術方案有以下三種：2.1 系統建設第二章 系統管理及日志巡檢部署實施針對不同的源數據和業務需求，需要部署不同的技術框架。而Hadoop是其中最受歡迎、最成熟、應用最廣的大數據系統架構，其他的大數據架構很多都是基于Hadoop進行擴展和優化，因此本節主要介紹Hadoop架構的部署實施。2.1 系統建設第二章 系統管理及日志巡檢測試驗收A功能測試B性能測試C可用性測試D容錯性測試E穩定性測試第二章系統管理及日志巡檢2.1系統建設2.2系統管理對象2.3系統管理內容2.4系統管理工具習題大數據應用人才培養系列教材2.5系統管理制度規范2.6日常巡檢2.2 系統管理對

3、象第二章 系統管理及日志巡檢系統管理對象2.2 系統管理對象第二章 系統管理及日志巡檢分布式的架構搭建大數據分析系統的部署過程分一下幾部分：底層操作系統分布式計算系統架構數據分析算法及工具結果可視化及輸出API2.2 系統管理對象第二章 系統管理及日志巡檢系統硬件服務器環境數據采集服務器、數據清洗轉換服務器、分布式存儲服務器、并行分析服務器、數據管理服務器和數據運營服務器。存儲環境數據存數主要包含結構化數據存儲，半結構化數據存儲，非結構化數據存儲。備份環境選擇合適備份方式，適當備份存儲空間，對大數據平臺的數據進行備份，備份存儲可以考慮使用第三方數據服務機構的異地備份服務。網絡環境如果相關數據信

4、息是經由互聯網采集，則必須選擇滿足互聯網基本采集要求的，并適合該大數據系統的Internet網絡類型。2.2 系統管理對象第二章 系統管理及日志巡檢系統數據原始系統數據預處理后數據存儲數據備份數據2.2 系統管理對象第二章 系統管理及日志巡檢IT供應商01數據提供商02架構和平臺提供商03大數據咨詢公司04分析運營商05可視化供應商第二章系統管理及日志巡檢2.1系統建設2.2系統管理對象2.3系統管理內容2.4系統管理工具習題大數據應用人才培養系列教材2.5系統管理制度規范2.6日常巡檢2.3 系統管理內容第二章 系統管理及日志巡檢事件管理在IT服務管理中事件管理是重要流程之一，事件解決的時效

5、性決定系統管理服務的質量。事件管理是指及時處理中斷的IT服務并快速恢復IT服務能力。事件的來源來自于IT報告、監控系統自動轉發等。事件管理流程的目的是為了降低IT故障對企業業務的影響，達到提升業務穩定性的作用。具體操作是，按照事件的優先級，多渠道及時響應服務請求，快速有序地解決，從而減少IT服務中斷造成的影響。2.3 系統管理內容第二章 系統管理及日志巡檢問題管理問題管理通過標準化的方法管理已發生的IT的技術問題，其目的是為了幫助企業提高工作效率。問題管理流程的主要階段為：問題的識別和提交、調查和診斷、實施解決以及回顧關閉。作為一個旨在提高效率的管理流程，問題管理流程的目的是要找到管賬的根本原

6、因，設計并實施解決方案，提高系統穩定性。2.3 系統管理內容第二章 系統管理及日志巡檢配置管理配置管理是對IT資源進行管理的重要步驟之一，也是大數據運維重要依據。配置管理是IT管理的關鍵，也是事件管理、問題管理等流程審查原因所在，具體數據來自配置管理數據庫。配置管理錄入并管理IT基礎設施的配置信息，是IT服務準確的信息來源。由配置流程經理組織制定或修訂配置管理相關定義與策略，包括：配置管理的范圍、結構規劃、審核策略等，并接受部門負責人的審閱確認。2.3 系統管理內容第二章 系統管理及日志巡檢變更管理變更管理的目的是有效的審批和控制IT設施變更，及時降低業務故障率，保證業務盡快、正常、有序地運行

7、，從而減少故障對用戶的影響，以提升服務質量。變更管理在于規范和控制變更流程：在保證管控的前提下發起評估、批準、實施、回顧變更，運用正確的方法處理變更，在可控范圍內壓縮變更產生的負面效應，且保證在規定范圍之內實施變更管理流程。確保完整記錄所有變革及對應措施，確保跟蹤變更直到實施完成，通過對變更進行風險評估，保證變更能夠更好地滿足業務的需求。2.3 系統管理內容第二章 系統管理及日志巡檢發布管理發布管理是變更流程的其中一種，主要為了在盡可能不影響系統正常服務運行的情況下對IT環境實施可控的變更。發布管理的主要步驟包括：發布前的規劃準備、申請與審批發布、同步災備系統、試點運行、評估發布流程。發布管理

8、流程的目的是通過規范的操作流程，確保在生產環境中系統能夠平穩地執行變更操作，并降低一切風險，保證業務正常運行。發布管理的流程包括：明確參與發布管理的人員職責，系統發布過程和具體實施步驟，確保系統發布后能夠持續安全運行。2.3 系統管理內容第二章 系統管理及日志巡檢知識管理知識管理流程是IT運維人員獲取各種來源的知識，結合存量技術，實現知識的生產、分享、使用和創新的過程。知識管理的目的在于通過對知識庫的有效管理，協助企業和個人創造價值。具體通過收集、梳理、歸納、撰寫等手段對本系統運維知識進行整理，形成文檔、視頻，錄入知識庫，并選取正確、科學的維度錄入知識庫，形成系列課件指導新人通過知識庫進行學習

9、。2.3 系統管理內容第二章 系統管理及日志巡檢日志管理日志管理對系統運行至關重要，日志管理的質量直接關系到定位系統問題的速度和效率。日志管理的重點是把不同需求的日志進行分類，方便問題分析和問題處理，而對于每一種需求，存在特定的記錄格式和內容。日志管理最終是為了分析日志，常見的日志管理系統包括Web 服務器日志和 Linux 日志。通過自動解析標準格式日志的日志分析系統，用戶能夠快速高效的解析日志文件，節省運維人員的工作時間和精力，提高處理系統問題的效率。2.3 系統管理內容第二章 系統管理及日志巡檢備份管理因為數據傳輸、數據存儲和數據交換過程中，任何系統都有失效或故障的風險，因此有必要進行備

10、份管理，從備份系統中還原數據，最大程度地降低損失。從信息安全的角度出發，備份管理也避免了人為惡意破壞等帶來的損失。數據備份是保護數據的一道防線，十分必要。備份管理的根本目的是數據恢復，即能夠快速、正確、全面地恢復數據。除此之外，備份的意義不僅在于防范意外事件的破壞，還有保存歸檔歷史數據的功能。第二章系統管理及日志巡檢2.1系統建設2.2系統管理對象2.3系統管理內容2.4系統管理工具習題大數據應用人才培養系列教材2.5系統管理制度規范2.6日常巡檢2.4 系統管理工具第二章 系統管理及日志巡檢資產管理資產管理：資產管理是指對系統的資產進行管理，提高資產利用率。對大數據系統而言，資產主要包括：軟

11、件資產、硬件資產、云資產三種。其中，硬件資產包含服務器、存儲設備、網絡設備等；軟件資產包含系統軟件、服務許可證等；云資產包括云服務器、云數據庫等。資產管理工具：資產管理工具主要對資產采購、使用、維護、報廢的整個周期進行有效的管理和保護。使用資產管理工具主要為了幫助企業管控，降低成本、提高資產利用率。主流的資產管理工具有CMDBuild和MAXIMO。2.4 系統管理工具第二章 系統管理及日志巡檢監控管理監控管理：監控管理通過把管理和技術結合，監視基礎設施和IT基礎結構，即時發現并通知故障與異常。此外，監控數據的搜集與整理是實現事件管理、問題管理等，以便實現大數據系統高可用性的終極目標。監控管理

12、工具：監控管理工具需要結合人工判斷，綜合監控大數據系統的應用情況針對故障發起事件和問題，并保證系統正常運行。目前，主流的監控管理工具有Zabbix和Tivoli。2.4 系統管理工具第二章 系統管理及日志巡檢流程管理主流的流程管理工具有OTRS和SeviceDesk Plus。2.4 系統管理工具第二章 系統管理及日志巡檢外包管理外包管理：外包管理是指企業針對外包人員統一進行管理，要求外包人員遵守相關規定，加強人員出勤及業績考核等。外包管理工具：外包管理能有效的約束外包人員的工作行為，同時加強企業運維的管控，提升運維人員各司其職、協調配合的能力。外包管理工具內容相對簡單，主要包括考勤管理等，一

13、般都是與現有系統的人力資源管理模塊相結合。第二章系統管理及日志巡檢2.1系統建設2.2系統管理對象2.3系統管理內容2.4系統管理工具習題大數據應用人才培養系列教材2.5系統管理制度規范2.6日常巡檢2.5 系統管理制度規范第二章 系統管理及日志巡檢系統管理標準在IT服務領域內，ISO 20000標準應用最為廣泛，國家間認可度高。IT系統管理主要包括4個方面：職責管理；IT服務管理的計劃與實施；變更或新增IT服務目錄的計劃與實施；服務管理流程。大數據系統管理主要關注的是質量管理，從系統的規劃、實施、監控、驗收等階段進行質量管控，保證系統服務的質量。同時，在這一過程中，保持與系統最終用戶的持續溝

14、通，確保業務需求得到滿足。2.5 系統管理制度規范第二章 系統管理及日志巡檢系統管理制度分類規劃實施運營評價業務制定IT服務戰略；管理系統投資成本/預算；符合內外部標準政策。需求管理；優先級排序。服務水平管理；能力管理；業務連續性管理。系統投資回報率；系統運維績效。系統確定系統體系結構；確定技術方向；管理項目組合。IT項目內部治理；IT項目外部治理。事件、問題管理；發布、變更管理；配置庫管理；運營監控管理。系統實施評級；設定改進目標；制定改進措施。安全確定企業系統安全策略；制定企業系統安全標準；制定系統安全管理范圍。定義系統安全控制目標；系統安全風險評估；制定安全風險措施。系統安全運營維護；系

15、統安全風險控制。系統安全風險評價；安全改進措施評價。內控系統內部控制規劃；系統審計規劃。系統實施控制；系統實施審計。內部控制和持續改進。服務水平評估與監控；評估內控措施有效性。2.5 系統管理制度規范第二章 系統管理及日志巡檢系統管理規范ITIL提供了服務管理最佳實踐指南，為高品質IT服務的交付和支持提供一套客觀、嚴謹、可量化的綜合流程規范，是系統管理的最佳規范。第二章系統管理及日志巡檢2.1系統建設2.2系統管理對象2.3系統管理內容2.4系統管理工具習題大數據應用人才培養系列教材2.5系統管理制度規范2.6日常巡檢2.6 日常巡檢第二章 系統管理及日志巡檢日常巡檢檢查內容分類：環境和設備檢

16、查；應用系統檢查。巡檢方法分類：巡檢；點檢；廠商巡檢。巡檢流程：巡檢規劃；巡檢實施；巡檢記錄處理。第二章系統管理及日志巡檢2.1系統建設2.2系統管理對象2.3系統管理內容2.4系統管理工具習題大數據應用人才培養系列教材2.5系統管理制度規范2.6日常巡檢1.簡述大數據系統主要的三種應用場景和對應的大數據系統技術方案。2.簡述安裝部署HDP的主要步驟。3.列舉出幾個具有代表性的大數據系統軟件，并簡要說明其作用。4.簡述事件管理的流程目標。5.簡述問題管理的流程。6.為什么說IT運維管理的基礎是配置管理？7.為什么要做好變更管理？8.你認為日志管理最大的作用是什么？9.如果做好了安全防護措施，大數據系統還需不需要備份管理？10.簡述主流的監控管理工具，并探討如何更好地利用這些工具？11.流程管理的意義是什么？12.在大數據系統管理中遵循ITIL規范有什么好處？習題：AIRack人工智能實驗平臺一站式的人工智能實驗平臺DeepRack深度學習一體機開箱即用的AI科研平臺BDRack大數據實驗平臺一站式的大數據實訓平臺云計算頭條微信號：ch