運維自動化操作管理平臺

處理方案

2021年3月31日目錄工程背景系統目的建立原那么系統架構主要功能實施規范風險應對運維現狀中國郵政儲蓄銀行依托郵政網絡優勢，按照公司治理架構和商業銀行管理要求，不斷豐富業務種類，不斷拓寬營銷渠道，不斷完善效力功能，為寬廣群眾提供更全面、更便利的根底金融效力，成為一家資本充足、內控嚴密、營運平安、功能齊全、競爭力強的現代銀行。

隨著銀行業務的迅猛開展，系統數量迅速添加，業務系統復雜多樣，各個業務系統間關聯關系復雜，運維壓力越來越大。中國郵政儲蓄銀行運維系統隨著業務系統的不斷開展，也在不斷地優化晉級，在系統晉級運用發布等方面曾經逐漸構成了一套完好的流程。為了更好的順應業務開展，提高運維效率，實現運維自動化，建立一套獨立運轉、高度自動化的運維系統是運維管理開展的必然趨勢。運維面臨的挑戰由于中國郵政儲蓄銀行運維管理的難度和復雜度，運維管理面臨著以下挑戰：系統環境復雜龐大業務系統繁多人為手工操作風險高問題缺點定位效率不高運維面臨的挑戰〔一〕系統環境復雜龐大：多種操作系統，如：hp-unix、linux、windows、AIX等。多種主機設備，如：運用效力器、數據庫效力器、管理效力器、前置效力器等；運維面臨的挑戰〔二〕業務系統繁多：系統關聯關系復雜，業務處置環節眾多，業務關聯性強。例如，中國郵政儲蓄銀行以儲蓄邏輯集中系統和儲蓄統版2.0系統為中心，銜接著會計處置平臺系統、中間業務系統、國際業務系統、匯兌業務系統、代理保險系統等多個外圍業務系統;運維面臨的挑戰〔三〕人為手工操作風險高：在版本發布、巡檢、配置管理、變卦管理、結合排障等過程中多是手工操作執行，操作過程中缺乏透明度，規范化程度不高，運用發布時間長，誤操作風險較大。運維面臨的挑戰〔四〕問題缺點定位效率不高：在運用發布過程中，由于操作過程的復雜性和人為緣由，容易發生誤操作，卻不能及時發現。問題出現后重現操作過程困難，不能快速準確地定位問題根源，最終影響業務系統的正常運轉。目前運用發布流程目前郵儲銀行運維系統晉級運用發布運用95580運維缺點管理系統，其根本流程如下：〔1〕需求確認單〔需求變卦單〕和晉級懇求單由相關指點簽署后，版本管理員上傳運用系統晉級包到95580運維缺點管理系統；〔2〕運維中心管理人員對95580運維缺點管理系統中運用系統晉級包審核批復后，下發到各省中心維護人員；〔3〕各省中心系統維護人員從95580下載晉級包，按步驟手工操作發布運用程序；〔4〕工程組開發人員核對晉級操作情況，各省中心維護人員記錄晉級報告單，提交相關指點。目錄工程背景系統目的建立原那么系統架構主要功能實施規范風險應對工程目的提高運維效率降低誤操作導致的風險系統、運用和買賣巡檢的可視化規范化規范化運用發布流程實現發布運用及巡檢的自動化工程目的工程目的-自動化運維管理自動化操作平臺需求實現運用發布和巡檢的自動化改動傳統的運維方式中手工運用發布的流程，在系統中實現運用發布及巡檢的自動化管理流程，建立運維自動化操作平臺；減少運用發布過程中人為操作步驟，降低人工操作風險；減輕運維人員負擔，提升任務效率，降低運維本錢。例如：目前邏輯集中系統每日日終前都須手動檢查各節點文件系統運用率，對于運用率過高的節點需求運維人員手動清理日志。該平臺可以實現自動化巡檢，可以靈敏定制巡檢義務，自動清理日志并生成巡檢報告。工程目的-規范化運維自動化操作在縱向上涉及運用系統和底層技術細節，在橫向上涉及各級角色及組織。該體系的勝利不僅依賴于平臺本身的實施，還在于各管理部門、各管理人員的協同，并高效的進展推進，只需這樣才干建立平安、高效、便利的運用自動化系統。因此，在相關的開發中心、測試中心、運維中心各層面建立一致的規范，詳細規范包含如下：運用發布管理規范運用發布操作規范發布腳本規范發布參數配置工程目的-可視化運維管理系統根據巡檢內容，按照巡檢模板生成巡檢報告，便于各級管理者進展查看。巡檢內容系統類：CPU、IO、內存、文件系統等數據庫類：表空間利用率、日志檢查中間件類：Tuxdeo、Weblogic等運用效力：運用買賣、運用效力巡檢目的減少管理員直接系統登錄巡檢腳本一致管理發布系統缺點快速診斷推進巡檢的規范化和規范化巡檢周期、頻率靈敏定制工程目的-低風險運維管理自動化操作目的是降低由手工操作帶來的潛在風險，減少人為要素帶來的影響傳統的的運維管理采用手工操作，在版本發布、巡檢、配置管理、變卦管理、結合排障等過程中多是手工操作執行，操作過程中缺乏透明度，規范化程度不高，誤操作風險較大建立透明的、高規范、高規范的自動化運維管理系統，降低由于手工操作帶來的風險自動對各個業務系統進展巡檢，及時發現并處理問題，降低由于其他缺點問題帶來的影響工程目的-高效率郵儲銀行業務系統繁多，任務內容涉及比較多，需求各管理部門、各管理人員的協同共同推進傳統的的運維管理方式在各職能部門的協調和各級管理人員的調度上不靈敏，在突發情況下無法快速的處理問題運維自動化操作制定不同的角色，不同的角色根據權限的不同而擔任不同的任務目錄工程背景系統目的主要功能實施規范風險應對建立原那么系統架構建立原那么規范性易操作性可擴展性平安性穩定性建立原那么建立原那么-穩定性從外部來說，充分思索郵政儲蓄銀行現有各系統間的關聯關系和相互影響，設計階段，盡量減少現有系統的改造；運轉階段，既不對其它業務系統的正常運轉產生大的影響，又要保證自動化運維系統的正常運轉；從內部分析，運維自動化系統應有充分的規范的異常處置機制，保證系統在出現錯誤，甚至嚴重錯誤時，沒有人為要素的干涉或較少干涉下，仍能恢復正常運轉形狀。建立原那么-平安性信息平安：針對業務系統、子系統及節點等對象，用戶根據不同的角色分配不同的操作權限，保證各業務系統的平安。例如：不同用戶登錄系統會顯示不同的操作界面。此外，對于某些重要的操作需求特定的角色授權；密鑰平安：運維自動化平臺與各業務系統間數據的傳輸有平安認證的機制。對于大數據量傳輸，可采用對稱加密算法〔如3DES〕，以提高數據加解密的速度；對于小數據，采用非對稱加密〔如RSA〕，提高數據平安性。此外，支持公私鑰對對雙方身份的認證機制。兼容多種加解密算法等。建立原那么-可擴展性對于目前郵儲銀行日益復雜的各種業務系統，具備添加或減少業務系統、子系統或單個節點等功能；實現系統內不同角色及權限的增刪改查，從橫向和縱向上滿足對業務系統的操作權限。例如：角色A對應的是業務系統B內某個子系統C，那么，角色A對子系統C內一切節點具有操作權限，而對業務系統B內其它子系統沒有操作權限；靈敏定制各種巡檢目的及發布運用；支持與目前郵儲銀行各種主流操作系統平臺對接，例如：hp-unix、AIX、linux等；建立原那么-易操作性系統的設計應滿足操作簡單，便于了解和良好的用戶體驗。例如：適當減少和屏蔽目前版本晉級上線過程中復雜的命令操作方式，實現晉級流程配置化。用戶與系統應有良好的交互性，每步的運轉結果都應有實時的展現，并且方便事后查詢。建立原那么-規范性平臺系統設計過程中應有盡能夠多的定制規范性動作，例如：命令、腳本及內部程序的規范；運維自動化管理平臺與外部系統的交互盡量運用通用的接口規范。對于系統運用到的命令、腳本程序及各類文件數據要滿足定制的規范要求；目錄工程背景系統目的建立原那么主要功能實施規范風險應對系統架構系統邏輯架構系統邏輯架構1.WEB接入層：用戶與運維自動化系統交互的門戶，展現和操作的一致web入口。包括運用發布和巡檢兩大部分功能；此外，還包括兩大支撐功能模塊角色用戶權限管理和運用系統管理。(1).運用發布：主要子功能及流程有發布配置、發布審核、發布執行、發布監控和發布結果評價等(2).巡檢：主要子功能有巡檢檢索、巡檢配置、手工巡檢及巡檢報告等(3).角色用戶權限管理：主要包括角色管理、用戶管理和權限管理等。完成角色、用戶和權限的增刪改查等操作(4).運用系統管理：主要包括運用系統管理、子系統管理和節點管理等。節點是運用系統管理的最小單元，普通與系統中效力器一一對應系統邏輯架構2.發布流程層：又名調度層，運用發布和巡檢流程管控模塊，是后臺義務的中心，實現流程的配置，信息采集，權限管理維護，協助與步驟建模，環境建模，作業配置及資源管理等(1)義務輪詢調度：后臺實時不延續輪詢自動義務的到來，等義務到來后，自動調度對應的義務執行模塊進展處置3.自動操作層：又名執行層，主要完成各種義務執行實施的功能；此外，在義務執行過程中，需求底層通訊和平安兩大功能模塊的支撐(1).義務執行：包括發布運用、巡檢、權限、角色、運用系統等義務的執行(2).平安認證：本系統與運用系統之間的數據的加解密、簽驗章等(3).通訊協議：平臺部署運維自動化操作管理平臺系統分兩套環境部署，準消費環境和消費環境。上線前，首先在準消費環境進展運用發布及巡檢的自動化測試，然后再導入消費環境，大大降低了上線操作的風險性，提高了運轉效率。并且，消費環境和準消費環境支持逆向操作。平臺準消費環境開發、測試中心進展自動化發布的測試平臺消費環境運維中心實現對消費的運用系統的自動化發布平臺部署目錄工程背景系統目的建立原那么系統架構實施規范風險應對主要功能功能概要功能概要功能功能簡介應用發布實現應用發布過程的一系列流程。主要包含：發布模板、發布請求、發布過程、發布作業、發布步驟、環境、組件、作業、作業包、腳本、參數化巡檢包含：對象化、巡檢模板、巡檢作業、巡檢目標、系統級巡檢、應用級巡檢、定制巡檢用戶權限用戶權限取決于登錄系統的角色，包含：平臺管理員、系統管理員、網絡管理員、安全管理員、報表管理員、應用管理員等主要功能引見-自動巡檢功能點功能內容巡檢對象包含：腳本對象化、命令行對象化、配置文件對象化巡檢模板對同類檢查規則的統一抽象、實現巡檢規則的重用性巡檢作業包含：巡檢模板、目標服務器、巡檢周期及頻率巡檢報告包含：界面查詢方式、結果處理詳細巡檢內容系統類：CPU、IO、內存、文件系統等數據庫類：表空間利用率、日志檢查中間件類：tuxedo、weblogic等運用類：運用買賣量、運用效力主要功能引見-自動巡檢執行設計自動巡檢-設計巡檢作業巡檢時間巡檢模板巡檢目的巡檢規那么1nnn1n巡檢目的n自動巡檢-設計巡檢目的巡檢規那么巡檢模板自動巡檢-作業定義自動巡檢-模板自動巡檢-效力器自動巡檢-時間表巡檢報告分類巡檢系統巡檢運用巡檢常規巡檢暫時巡檢AIX巡檢……常規巡檢暫時巡檢買賣巡檢CEMB……數據庫NEXCH重保巡檢定期執行手工執行深度巡檢一日多次中間件巡檢報告任務流程-巡檢平臺準消費環境平臺消費環境制定巡檢方案二線管理員運用DB中間件….變卦審核變卦評審審核結果管理員經過審核報告，確定系統的運轉形狀任務流程-巡檢目的：減少管理員直接系統登錄巡檢腳本一致管理發布系統缺點快速診斷推進巡檢的規范化和規范化巡檢周期、頻率靈敏定制權限控制二線管理員：根據SUMP權限，對相應的效力器OS用戶下具有設計、執行的權限一線工程師：根據專業類別進展區分，具有相應專業類別下的暫時巡檢執行權限主要功能引見-運用發布主要功能引見-運用發布功能點功能內容應用發布模板將常用的發布流程固化下來，實現發布過程的重用應用發布請求一系列的發布流程的定義，包含：包含應用、環境、權限控制發布過程一組發布步驟的組合，實現發布流程的模塊化發布步驟一個原子的發布執行步驟，包含：組件、目標服務器、權限控制、BSA作業綁定組件實現發布流程和目標服務器的解耦、綁定多個目標服務器實現負載均衡場景的并發發布運用發布-模型運用系統的分層架構發布面對不同環境多種形狀的發布PortalDBAgileTeamDevQASIT,Perf,UAT…Stage512134135121341351213413DevDevDevQAProdDevOps1、建立運用組件模型，引入組件模型適用系統架構分層2、建立運用環境模型，將環境模型與組件模型組合，將運用與環境的關聯性解耦3、建立運用發布模板，經過發布步驟原子化、規范化，實現發布步驟的復用，到達發布懇求的重用運用發布-設計運用發布-執行運用上線設定原子化步驟腳本運用發布-執行發布步驟運用發布-變卦控制表變化**T-4T運轉態兩個環境：平臺消費環境、平臺準消費環境三個階段：模板構建、投產預備、投產發布四個角色：開發中心-配置管理員、測試經理、運用管理員、變卦經理需工程組支持運用發布-對比*執行權限體系WEB平臺用戶：IAM認證接入操作權限從SUMP同步數據行級權限控制〔運用系統〕C/S設計用戶：設定用戶的可操作范圍經過作業限制用戶可執行的操作針對讀取類作業，設定只讀用戶機器人帳號：系統間的交互經過機器人帳號完成WEB平臺用戶：角色：菜單、功能按鈕的訪問控制用戶：運用系統粒度的數據行級授權C/S設計客戶：建立運用系統為途徑的權限控制單元運用+角色=>角色的映射關系權限戰略包AGENT：以ROOT用戶執行OS用戶參數化功能/數據權限矩陣功能角色生產環境開發/測試環境

應用團隊系統團隊操作團隊開發中心測試中心

團隊主管應用變更經理應用管理員平臺應用管理員團隊主管系統

管理員數據庫

管理員中間件

管理員系統變更經理團隊主管應用一線系統一線應用發布人員平臺

管理員測試人員平臺

管理員

系統安全管理

●

●

●

用戶

●

●

●

菜單

●

●

●

角色

●

●

●

功能

●

●

●

權限

●

●

●

系統公共管理

應用系統同步

●

●

●

服務器同步

●

●

●

SUMP同步

●

●

●

應用環境/查看

○●

○●○●

新增/修改/刪除

○

○

○

BRPM同步

○

○

○

BSA同步

○

○

○

日志查看●○○●●○○○○●○○○●○●

應用發布

發布流程定義

○

模板/請求定義

○

作業/腳本定義

○

組件綁定

○

○

○

參數定義

○

○

○

資源導出/導入

○

○

發布請求實施查看●○○●

授權

●

開發/測試環境無需授權排期/參數錄入

○

○

○

執行(暫停、繼續)

○

○

○

進度展現●●

●

●

●

日常巡檢

巡檢模板配置

○

○○○

巡檢作業創建

○

○

作業發布

●

變更經理：平臺管理員？作業執行

○

○

○○

執行結果查看●○○●●○○○○●○○

工具箱

腳本開發

○

○○○

工具定義

○

○○○

工具發布

●

變更經理：平臺管理員？工具執行

○

○○○

○○

執行結果查看●○○●●○○○○●○○

功能/數據權限矩陣角色權限工具箱巡檢應用發布一線工程師設計執行專業方向專業方向技術專家設計專業方向專業方向執行專業方向專業方向二線管理員設計SUMP權限SUMP權限應用系統執行SUMP權限SUMP權限應用系統開發中心設計應用系統執行應用系統質量中心設計應用系統執行應用系統在平臺對相應的人員賦予所屬運用系統權限根據同步的SUMP權限具有所屬效力器的OS用戶權限按運用、操作系統、中間件、數據庫等方向劃分外部接口接口系統功能接口方式SUMP權限同步日終批量配置管理服務器信息日終批量ITSM應用同步日終批量變更審批聯機變更結果日終批量監控系統維護期設定聯機批量工具調用聯機IAM統一登錄聯機、批量動態口令授權聯機外部接口運維自動化操作平臺SUMP配置管理IAM動態口令ITSM監控系統權限同步效力器信息一致登錄授權變卦同步審批結果更新監控維護期工具調用系統本身監控JEDA：-CPU運用率-內存運用率-IO運用率-Weblogic的虛擬內存、線程、JDBC銜接數-MessageQueue-監控日志文件BRPM：-CPU運用率-內存運用率-IO運用率-Tomcat的虛擬內存、線程、JDBC銜接數-監控日志文件數據庫：-Oracle日志文件-Server形狀-表空間數據文件-索引空間數據文件-監控會話數-Listener能否存在BSA：-CPU運用率-內存運用率-IO運用率-文件系統空間-監控日志文件目錄工程背景工程目的建立原那么系統架構主要功能實施規范風險應對實施方案(一)目前，隨著業務系統的晉級，中國郵政儲蓄銀行運維整體流程管理也在不斷完善。針對目前郵政儲蓄銀行運維的實踐情況，提出如下兩種實施方案，供各位指點和運維管理人員參考：方案1：95580和MAOP系統同時上傳晉級包流程：運用發布管理人員上傳晉級包到95580，并同時上傳晉級包到MAOP系統；實施方案(二)運維中心審查人員在MAOP系統對晉級包進展審查批復，無需在95580系統審查批復晉級包；MAOP根據晉級操作手冊中配置的晉級節點、晉級時間、操作步驟等信息，在指定時間發布晉級包，自動完成晉級；實施方案(三)MAOP根據審核手冊自動完成晉級審核并生成晉級報告；優點：95580與MAOP系統無直接交互缺陷：須手工上傳晉級包到MAOP實施方案(四)方案2：自動化運維系統與95580系統對接流程：運用發布管理人員上傳晉級包到95580系統；〔與目前流程一致〕運維中心審查人員對晉級包進展審核批復；〔與目前流程一致〕運維自動化操作平臺MAOP自動同步經過審核的晉級包；MAOP根據晉級操作手冊中配置的晉級節點、晉級時間、操作步驟等信息，在指定時間發布晉級包，自動完成晉級；〔與方案一一致〕實施方案(五)MAOP根據審核手冊自動完成晉級審核并生成晉級報告；〔與方案一一致〕優點：不需求審核批復流程缺陷：95580系統需提供對接接口運用發布構建規范自動化平臺在縱向上涉及運用系統和底層技術細節，在橫向上涉及各級角色及組織。該體系的勝利不僅依賴于平臺本身的實施，還在于各管理部門、各管理人員的協同，并高效的進展的推進，只需這樣才干建立平安、高效、便利的運用自動化系統。因此，在相關的開發中心、測試中心、運維中心在自動化平臺各層面建立一致的規范，詳細概述如下：<運用發布管理規范>在郵儲現有發布管理方式上進展梳理，在不影響現有的管理方式下，規范運用發布從開發中心制定到質量中心測試到運維中心的上線的各個環節的流程。主要包括如下幾個層次：發布角色梳理規范：一致梳理發布過程的各角色，明確各角色責任。發布過程管理規范：對發布過程進展管控，開發、測試、導出、導入、投產等過程。<運用發布操作規范>對自動化平臺的配置過程，如配置自動化發布環境模型、配置發布作業、配置發布懇求等過程建立一致規范，在一致的規范和規范上進展構建，主要包括如下幾個層次：運用發布環境規范：對發布環境的各項內容進展規范，如運用、組件、環境、效力器的構建配置規范；發布作業構建規范：對發布作業構建的各項環境進展規范，如發布腳本、發布參數、發布作業構建配置規范；發布懇求構建規范：對發布懇求的配置過程進展規范，包括發布懇求、發布步驟的定義、命名、組件選擇的方式等。

發布腳本構建規范運用自動發布的調度的底層是發布作業，而發布作業的重點是落在發布腳本上，發布腳本的構建對運用發布的勝利有著重要的作用，應經過參數化實現發布腳本和效力器的松耦合，因此應對發布腳本的構建做一致規范，開發中心、質量中心、運維中心在整個構建及運維過程