第3章平臺管理服務器集群管理存儲資源管理系統管理文檔管理系統管理系統管理的具體形態也叫系統工程，控制論在工程管理中的應用為工程控制論。系統管理是指管理企業的信息技術系統，包括收集要求，購買設備和軟件，將其分發到使用的地方并配置信息技術系統，使用改善措施和服務更新維護信息技術系統，設置問題處理流程，以及判斷是否滿足目的等。系統管理通常由企業的最高信息主管全權負責。系統管理介紹系統管理是管理者與管理對象組成的并由管理者負責控制的一個整體。管理系統因具體對象不同而千差萬別，具體對象可以是狀態、性能、安全、維護等。系統管理都是變化發展著的，而且任何變化和發展都會表現為管理的具體任務和管理目標的實現條件的變化。系統管理具有明確的目的性和組織性。系統管理介紹——系統管理的主要任務系統管理的主要任務包括系統運行狀態監控與巡檢、性能分析與優化、安全加固和系統故障調測等。系統運行狀態監控與巡檢性能分析與優化安全加固系統故障調測系統管理的主要任務系統管理介紹——系統管理的主要任務系統運行狀態監控與巡檢監控是指對整個系統運行的狀態是否正常進行監測，根據系統運行穩定性來判斷設備狀態。巡檢是根據規定定期對設備進行檢查，對外觀、聲音等方面進行判斷設備狀態是否正常，是否需要維修等。設備使用時間越長，巡檢周期就要越短，監控則應該是24小時不間斷的。系統管理介紹——系統管理的主要任務性能分析與優化性能優化最大的挑戰是性能分析，性能問題在復雜的軟件中通常由多個因素造成。性能分析要求運維管理人員深入了解應用程序、CPU資源、物理內存、文件系統、磁盤I/O以及網絡的性能，明確每個環節執行時間的先后順序，并做出合理的判斷。即真正的任務不是尋找問題，而是辨別問題或辨別哪些問題是最重要的。只有充分理解系統性能指標并找到適當的工具來分析可能的瓶頸，才能明晰影響系統性能各個要素，做出合理的判斷，進而運用系統工程的方法來掌握和調整。性能優化的方案則需要構建在操作系統的深刻理解上，甚至構建在統計學和統計實驗基礎上。系統管理介紹——系統管理的主要任務安全加固安全加固是指是根據專業安全評估結果，制定相應的系統加固方案針對不同目標系統，通過打補丁、修改安全配置、增加安全機制等方法，合理進行安全性加強。進行安全加固通過人工的方式，或者借助特定的安全加固工具，比如網盾服務器安全加固工具。系統管理介紹——系統管理的主要任務系統故障調測常見系統故障介紹計算、存儲、網絡節點故障：磁盤空間不足、交換分區空間不足、內存空間不足、CPU負載過高、文件系統故障、物理節點故障。網絡連接故障：IP沖突、交換機配置錯誤、網線故障。其他故障：時間不同步、DNS解析錯誤、防火墻攔截。系統管理介紹——系統管理的主要任務系統故障調測常見故障處理工具網絡故障處理常用工具：ip、route、ping等。計算、存儲、網絡節點故障常用工具：top、free、df、iostat、dmesg等。服務和日志故障常用工具：ps、journalctl、netstat等。系統管理介紹——系統管理的主要任務系統故障調測常見故障處理方法磁盤空間不足：清理對應磁盤分區內不需要的文件來降低磁盤分區的使用率即可恢復。文件系統只讀：使用fsck-y指定分區來修復文件系統。CPU負載過高：使用top來查看CUP占用較高的進程，通過分析找到對應的異常進程，然后殺掉異常進程即可恢復正常。內存溢出：應用系統中存在無法回收的內存或使用的內存過多，最終使得程序運行要用到的內存大于能提供的最大內存。此時程序就運行不了，系統會提示內存溢出，有時候會自動關閉軟件，重啟電腦或者軟件后釋放掉一部分內存又可以正常運行軟件。而由系統配置、數據流、用戶代碼等原因而導致的內存溢出錯誤，即使用戶重新執行任務依然無法避免。系統管理介紹——系統管理發展趨勢隨著應用場景和需求的變化，系統管理擁有智能化、自動化的趨勢，安全性和穩定性也在逐步提升。系統管理發展趨勢智能化自動化安全性和穩定性系統管理介紹——系統管理發展趨勢系統管理發展趨勢——智能化智能化是指事物在網絡、大數據、物聯網和人工智能等技術的支持下，所具有的能動地滿足人的各種需求的屬性。如無人駕駛汽車，就是一種智能化的事物，它將傳感器物聯網、移動互聯網、大數據分析等技術融為一體，從而能動地滿足人的出行需求。智能化是現代人類文明發展的趨勢。隨著信息技術的不斷發展，其技術含量及復雜程度也越來越高，系統管理也要與時俱進，能根據一定的策略或條件，智能化的擴容、縮容、服務降級、故障自修復，包括自動發布代碼加進負載集群等一系列操作。系統管理介紹——系統管理發展趨勢系統管理發展趨勢——自動化現在隨著管理工作的復雜度和難度的大大增加，僅靠人力管理已經不能滿足需求，企業開始需要運用專業化、標準化和流程化的手段來實現自動化管理。通過自動化監控系統能及時發現故障隱患，主動的告訴用戶需要關注的資源，以達到防患于未然。例如，全天候自動檢測與及時報警能實現IT運維的“全天候無人值守”，大大降低IT運維人員的工作負擔。而且，通過自動化診斷能最大限度地減少維修時間，提高服務質量。因此，對于越來越復雜的IT運維來說，將純粹的人工操作變為一定程度的自動化管理是一個重要發展趨勢。系統管理介紹——系統管理發展趨勢系統管理發展趨勢——安全和穩定隨著計算機網絡技術的發展和網絡用戶對數據安全和整個系統穩定性要求的不斷提高，一些提供實時監測和關鍵服務的系統需要一種在出現意外故障時可以繼續提供服務，不會因局部的故障影響整個系統應用的解決方案。從保障系統高效性、易維護、價格、用戶的具體應用等因素出發，系統的安全和穩定就起到非常重要的作用。系統管理介紹——系統管理工具簡介目前市面上存在很多系統管理工具為用戶提供豐富的系統管理功能，常見的有IBMSystemsDirector和FusionDirector等。系統管理介紹——系統管理工具簡介IBMSystemsDirectorIBMSystemsDirector管理系統提供了非常豐富的管理功能，能滿足大部分用戶對系統的管理需求。該管理系統中的資產管理提供了自動收集詳細軟件和硬件信息的功能。資源監控功能包括對系統配置清單、服務進程、CPU利用率、內存利用率、磁盤利用率等物理的和虛擬的服務器資源進行監控，根據不同的閥值產生不同級別的警示事件。同時又可以結合EventActionPlan針對事件采取相應的動作。IBMSystemsDirector支持基于群組的事件日志與硬件狀態報告，能非常清晰的顯示綜合環境信息，從而能幫助管理人員迅速的分析和解決故障。系統管理介紹——系統管理工具簡介IBMSystemsDirectorIBMSystemsDirector內嵌了IBM的諸多管理設備的控制臺，包括硬件管理控制臺（HMC）、BladeCenter管理模塊（MM）、虛擬IO服務器（VIOserver）等，IBMSystemsDirector將各種管理平臺很好融合在一起，既做到了集中管理，又保持了各組件的維護與升級的獨立性。IBMSystemsDirector提供了廣泛的操作系統支持，能夠對多種平臺采用一致的管理方式?？啥ㄖ频目刂婆_IBMSystemsDirector擁有功能強大的全新用戶界面，可按用戶的需求進行定制。允許根據業務需要選擇管理任務窗口界面和定制滾動的監視信息。系統管理介紹——系統管理工具簡介IBMSystemsDirectorIBMSystemsDirector作為開放性的系統平臺，不僅提供了大量的額外的管理插件滿足用戶不同的需求，而且還提供了軟件開發工具包，允許用戶按需自行開發管理插件，給予了用戶最廣闊的擴展空間。此外IBMSystemsDirector具有與其他管理軟件的良好兼容性，允許用戶無縫的升級到更高級的管理產品，如IBMTivoli。升級后，IBMSystemsDirector還能利用其更為豐富的硬件信息來補充這些應用程序。系統管理介紹——系統管理工具簡介FusionDirectorFusionDirector是一款服務器硬件統一運維管理軟件，支撐公有云、企業用戶對服務器在生命周期各階段易用、高效的運維管理，極致體驗，所見即所得。該軟件實現了服務器的可視化管理和故障診斷，提供對服務器的設備納管、設備配置、固件升級、設備監控、OS部署等全生命周期的管理能力，有效幫助運維人員提高運維效率、降低運維成本。系統管理介紹——系統管理工具簡介FusionDirectorFusionDirector可廣泛應用于公有云、私有云、數據中心、運營商和企業用戶，在AI、HPC、互聯網、平安城市等多場景下部署。同時提供NativeRedfish標準接口，便于用戶集成對接。FusionDirector支持企業和公有云場景下的多種部署方式，并支持集群Scale-out的架構能力，根據業務需要擴展多個節點，從而支撐大規模設備的管理能力。系統管理工具FusionDirector智能運維致力于用人工智能技術賦能IT運維領域，讓企業可以從復雜的IT軟硬件和海量監控數據中自動、準確、快速地發現異常、定位故障、預測風險，提高企業IT系統可用性和運維效率。FusionDirector致力于服務器全生命周期智能運維的管理軟件，提供對服務器五大智能管理：智能版本管理、智能部署管理、智能資產管理、智能能效管理、智能故障管理。系統管理工具FusionDirector——軟件架構FusionDirector作為全新架構的軟件，其軟件架構如右圖：系統管理工具FusionDirector——軟件架構FusionDirector4個主要的功能FusionDirector作為集中管理調度的核心，它不僅有系統部署、設備納管、監控、警告和日志等基礎特征，而且有5大智能管理功能。FusionDirector支持華為全系列服務器，支持多種設備混合管理。FusionDirector作為高可用、靈活的Scale-out，不僅可水平彈性擴展，多節點多活架構，而且支持X86/ARM64低成本服務器。FusionDirector可以靈活組合安裝模式與應用，支持企業VM鏡像安裝和服務器裸機安裝，并提供REATfulAPI接口，方便對接和集成。系統管理工具FusionDirector——智能版本管理FusionDirector當前實現了華為機架、刀片、異構服務器生命周期內固件升級管理。固件升級主要包含版本倉庫、升級計劃和設備版本狀態3個部分，滿足運維人員主動升級和升級計劃自動升級兩種升級場景。系統管理工具FusionDirector——智能版本管理自動升級流程：系統管理工具FusionDirector——智能版本管理固件升級：提供了服務器固件老版本XML升級能力支持新老版本XML通過FusionDirector進行升級支持升級和生效分離，保證升級流程對用戶業務系統無影響系統管理工具FusionDirector——智能部署管理FusionDirector支持將一臺設備的所有配置形成一個Profile配置管理文件，支持批量配置，同時配置文件可導入、導出，可以快速復制到其他設備，實現硬件配置的靈活變更，提高故障設備更換、服務器擴容的效率。支持Profile配置文件管理功能，包括創建、導入、綁定、應用、解綁、刪除、導出、復制功能。系統管理工具FusionDirector——智能部署管理在公有云場景下，FusionDirector提供配置核查功能，可以根據上線信息核查設備資產或者配置是否跟預期一致并提供結果導出功能，大大提升了公有云配置核查的效率。當核查結果全部為“一致”時，對接的公有云側會自動將相關服務器生命周期狀態設置為“BMC_Ready”。對于核查結果為“不一致”的項目，用戶可手動進行排查，保證該設備的配置正確，也可手工強制確認該設備的核查結果。系統管理工具FusionDirector——智能部署管理FusionDirector提供一鍵式向導核查功能，可以對導入的數據進行在線修改。FusionDirector提供核查結果的處理功能，用戶可以對結果進行確認和導出。FusionDirector提供核查基線的管理功能，包括資產基線，固件基線和配置基線。系統管理工具FusionDirector——智能部署管理相比傳統的網絡（PXE）OS部署，FusionDirector不需要配置DHCP、FTP，劃分網絡配置等復雜過程，部署過程僅依賴帶外網絡，在界面上幾步操作即可完成，并且支持并行化部署。支持手動導入OS鏡像，對導入的OS鏡像進行管理，支持的OS類型和版本號如右表：鏡像類型鏡像版本號RedHatRHEL6U9、RHEL7U3、RHEL7U4、RHEL7U5VMwareESXi6.0、ESXi6.5、ESXi6.7SUSESLES12SP2、SLES12SP3、SLES11SP4CentOSCentOS6U9、CentOS7U3、CentOS7U4、CentOS7U5WindowsWin2012_R2、Win2016UbuntuUbuntu16.04Ubuntu16.04.1Ubuntu16.04.2EulerOSEulerOSV2SP3系統管理工具FusionDirector——智能資產管理FusionDirector通過機柜級的iRM，能夠實時管理機柜設備的物理位置、資產編碼和型號等信息，支持管理第三方設備的資產管理，針對華為服務器可以實現部件級的資產管理。FusionDirector的資產管理解決方案實現了全自動的資產管理端到端方案，從設備上線、位置識別、配置核查、資產位置變更、部件變更、機柜空間管理和跟用戶CMDB配合提供的完善的解決方案，如右圖。系統管理工具FusionDirector——智能資產管理華為FusionDirector配合iRM智能機柜管理套件實現了設備自動發現和位置識別。資產條作為機柜設備的U位定位單元，安裝在機柜前側部。該部件通過設備上粘貼的資產標簽獲取到設備的SN信息，從而確定了設備SN與位置的映射關系。資產條支持對接設備的有線擴展標簽和無線RFID標簽。設備資產標簽包括設備型號、廠商、序列號、空間占位、類型、上架時間、重量、額定功耗、資產所有人等信息，同時也支持用戶擴展自定義字段。系統管理工具FusionDirector——智能資產管理華為提供了手持終端設備對標簽進行讀寫和修改。iRM作為機柜的智能控制模塊，提供了基于工業標準的Redfish管理協議，實時監控機柜設備的變更，并將所有的資產和位置信息通過Redfish標準接口通知到FusionDirector。iRM記錄了機柜的物理位置信息，并將資產條上獲取的設備位置拼裝后上報給FusionDirector。FusionDirector會記錄所有設備的變更記錄，包括設備的位置、上下架事件、搬遷事件、部件變動情況等。系統管理工具FusionDirector——智能資產管理同時，FusionDirector會對接服務器的iBMC，當出現部件變化時，iBMC會實時上報變化給FusionDirector，從而實現了部件級的資產管理。典型場景出現的硬盤和內存插拔和更換事件，都會如實地記錄在FusionDirector的變更記錄中。FusionDirector支持北向的Redfish管理接口，可以對接第三方的CMDB和資產管理系統。FusionDirector支持主動上報變更事件，從而實現實時的資產變化跟蹤。系統管理工具FusionDirector——智能資產管理用戶通過腳本訪問FusionDirector的北向接口很方便實現跟用戶資產系統的對接，并完成資產數據和變更事件的轉換，實現了資產管理流程的全自動化。FusionDirector同時支持設備的自動上線資產校核，通過比對用戶采購的硬件配置，確保上線設備跟采購設備資產的一致性。系統管理工具FusionDirector——智能能效管理隨著數據中心規模越來越大，數據中心的能效問題也越來越突出，如何降低OPEX成為用戶非常重要的一個課題。某數據中心10年整體能耗已經占了整體TCO的60%，其中50%的電力消耗在IT設備中，IT設備中絕大部分的電力消耗在服務器上，如下圖。因此，服務器系統節能能夠有效降低用戶的OPEX。系統管理工具FusionDirector——智能能效管理針對如何提升服務器的能效比，有兩個比較難以逾越的障礙。技術難度服務器的節能需要調整BIOS、散熱、供電、CPU、硬盤、PCIe部件等眾多參數，服務器廠商也提供很多可以調整的參數。這些參數如何調整需要比較強的技術背景，一旦調整不當可能會對業務性能造成影響，得不償失。調整時機問題如何做到在業務需要性能的時候能夠快速調整到性能模式，在性能要求不高的情況下變回節能模式。系統管理工具FusionDirector——智能能效管理節能是一個比較重要的問題，但是另外一個跟能耗相關的問題更加突出，那就是供電問題。一般數據中心機房的使用壽命是10年，而服務器的更新大概3年一代。機房建設好了后，需要支持3代服務器，而服務器的功耗每一代都會增加，這樣會造成機房前期的供電規劃很難適配未來服務器的功耗訴求。系統管理工具FusionDirector——智能能效管理選取了典型配置的整機柜服務器的功耗曲線，如右圖。每臺服務器的功耗范圍為100W~400W，極限情況可能會上升到500W。這樣大范圍的功耗需求造成的實際情況就是，大多數的機柜都按照服務器100%的CPU利用率滿負荷的功耗情況下部署服務器。雖然這樣部署仍然存在供電風險，但是相對來講風險比較小，部署上還是相對比較科學的。系統管理工具FusionDirector——智能能效管理根據典型配置的整機柜服務器的功耗曲線圖可以知道，一個4500W的機柜中，按照滿負荷的可以部署12臺服務器。按照2U一臺服務器計算，42U的機柜服務器只占用了24U，部署密度接近60%。一方面數據中心的機房空間不足，另一方面機柜的部署密度卻不到60%，造成了大量的數據中心空間浪費。系統管理工具FusionDirector——智能能效管理統計某數據中心608臺服務器10天平均的CPU利用率情況，如右圖。從CPU利用率分布范圍可以看出，接近66%的服務器平均利用率低于20%左右，45%的服務器最高利用率低于30%，服務器的整體利用率不是很高。系統管理工具FusionDirector——智能能效管理統計該數據中心的某一個機柜的24小時功耗統計，如右圖。每臺服務器的功耗基本平穩，從機柜的功耗看整體功耗相對穩定，并沒有出現大幅度的波動。從圖上的數據可以看出，數據中心的功耗和空間還是有很大的挖掘空間。華為智能能效管理方案能夠很好地解決這個問題。系統管理工具FusionDirector——智能故障管理FusionDirector可以全方位的監控硬件運行狀態，提前預測硬盤故障，快速診斷故障根因，縮短業務中斷時間。FusionDirector主要的功能可以對CPU、內存、系統電源、硬盤、RAID卡、風扇等全部件進行故障檢測，實現分鐘級定位故障到具體部件。打通了帶內、帶外數據鏈路，支持系統正常和異常狀況下的數據檢測。擁有FDM專家庫智能故障診斷，針對引發系統宕機的嚴重故障診斷達到93%的成功率，減少了90%的問題定位人力。可以實時收集硬盤S.M.A.R.T.（自監測、分析、報告技術）信息到云端進行模型分析，預測精確度≥90%，降低多盤同時故障率，保障業務連續性。系統管理工具FusionDirector——安全管理通過對用戶管理、用戶登錄管理和證書管理等一系列安全策略，實現對FusionDirector本身的安全控制，保證FusionDirector系統的安全。FusionDirector默認提供admin用戶作為超級管理員，用戶密碼使用不可逆算法PBKDF2加密存儲保障安全性。FusionDirector支持作用域管理，對用戶的不同角色綁定不同的作用域，分別限制不同角色可操作的資源范圍FusionDirector共有兩種鑒權方式：本地認證、LDAP認證。FusionDirector默認為安全配置，提供SSHv2、SNMPv3、SFTP、HTTPS安全服務。關閉了Telnet、FTP、HTTP、SNMPv1/SNMPv2不安全通訊協議，同時關閉了root用戶的SSH登錄權限。系統管理工具FusionDirector——安全管理FusionDirector登錄終端（包括SSH、Web瀏覽器），在較長時間未操作時，將自動退出，以保障安全性，防止遺忘Logout。此超時時間可配置，默認SSH超時時間為5分鐘，Web超時時間為30分鐘，根據實際情況更改此時間。可通過配置文件修改SSH超時時間，或者在WebUI上的“系統>安全>安全策略”中修改Web超時時間。系統管理工具FusionDirector——安全管理在FusionDirector登錄終端（包括SSH、Web瀏覽器）登錄時，在多次嘗試用戶密碼錯誤的情況下（默認為3次），將會鎖定用戶一段時間，不允許登錄，防止暴力破解。鎖定時間默認5分鐘，此