1、 銀行業基礎軟件PaaS探索與實踐目 錄 TOC o 1-3 h z u HYPERLINK l _Toc21984454 1.項目背景 PAGEREF _Toc21984454 h 3 HYPERLINK l _Toc21984455 2.技術架構 PAGEREF _Toc21984455 h 4 HYPERLINK l _Toc21984456 3.項目一期主要功能概覽 PAGEREF _Toc21984456 h 7 HYPERLINK l _Toc21984457 4.總結與規劃 PAGEREF _Toc21984457 h 13項目背景基礎軟件運維的挑戰隨著民生銀行業務的不斷發展，目

2、前我行數據中心運行著幾百套生產系統，并且持續的有新系統上線以滿足日益增長的業務需求。不同業務系統使用的基礎軟件如操作系統、數據庫、中間件等也有所不同，即使采用了較為嚴格的品牌收斂和軟件準入策略，目前需要管理和維護的基礎軟件仍然種類眾多。同時，基礎軟件的運行環境也正在從物理主機逐漸轉變為虛擬化主機、容器，使得基礎軟件部署場景更加復雜多樣。另外，每套應用系統還有相應的開發、單元、集成、性能、版本等多套測試環境，數量上是生產環境的若干倍。原有的基于人工或者腳本半自動化的交付方式及運維方式，部署維護時間成本高，交付效率低下、業務等待時間長、運維誤操作風險高，明顯不能滿足業務快速增長和穩定運行的要求?？?/p>

3、速交付和自動化運維的重要性越發突出。云計算概念的興起云計算是與信息技術、軟件、網絡相關的一種服務，這種計算資源共享池叫做“云”。云計算把許多計算資源集合起來，通過軟件實現自動化管理，這些資源能夠像商品一樣被快速提供。云計算按服務類型分為：IaaS（基礎設施即服務），PaaS（平臺即服務），SaaS（軟件即服務）。PaaS通俗地說就是底層平臺的云化。在云計算時代，計算能力在云端而不是本地，將底層平臺的能力以服務的方式提供在云端，這就是PaaS?；A軟件PaaS的建設目標我行于2018年啟動基礎軟件PaaS建設項目?；A軟件PaaS建設的指導思想是一切皆服務，利用PaaS理念將基礎軟件產品和技術能

4、力服務化，提供完整的數據中心基礎軟件服務能力。基礎軟件PaaS建設的整體目標是與現有業務系統及現有工具類平臺有效整合，實現基礎軟件在生產環境及測試環境的部署上線、彈性擴縮容、變更、巡檢、回收下線等工作的自動化；實現基礎軟件資源展示、容量管理、性能管理、基礎運維、問題管理等管理功能的集中化、可視化；減少運維人員直接登錄目標服務器操作的比例，降低人力實施成本，提高資源交付效率；實現有效的性能管理和容量管理，提高資源利用率；提前發現基礎軟件潛在的問題、風險，提高由基礎軟件故障引起的生產問題的解決效率；實現基礎軟件運維模式從人工模式向智能模式的轉型。技術架構基礎軟件PaaS建設方向從面向的用戶來講，主

5、要面向行內基礎軟件資源申請人員、科技開發人員、應用運維人員、系統管理中心基礎軟件管理員。從支持的基礎軟件運行環境來講，優先支持容器化運行環境，同時也支持物理機、虛擬機等多種運行環境。從平臺自主可控維度來講，采用的技術框架首選開源和行內自主可控的框架，前、后端分離，平臺可擴展性要強，采用微服務思想將不同的功能模塊構建成獨立的服務，應用容器化，對外提供標準化的基礎軟件PaaS服務能力。從與我行現有工具平臺集成的維度來講，與我行數據中心現有工具和平臺集成，持續提升數據中心統一運維能力，同時因地制宜，有效利用現有工具平臺，避免重復造輪子。從支持的產品維度來講，覆蓋我行數據中心支持的主要基礎軟件，包括不

6、限于操作系統、數據庫、中間件、容器、Redis、Kafka、訪問代理、分布式存儲、NoSQL、大數據、分布式日志平臺等。基礎軟件PaaS邏輯架構基礎軟件PaaS邏輯架構如下圖所示，包括公共模塊層、執行層、產品層、統一運維集成層、數據層、門戶層等。公共模塊層：對接行內統一身份認證平臺實現行內用戶的同步、管理；通過基于角色的訪問控制實現用戶的權限管理；通過對執行層的自動化執行引擎模塊、容器執行管理模塊、Kafka執行管理模塊等進行封裝對外提供流程執行服務接口；另外還包括批量處理、CMDB服務、資源管理、配置管理、操作審計、密碼管理等基礎功能模塊。執行層：基于Ansible（一個能實現批量部署的開源

7、自動化運維工具）實現了自動化執行引擎模塊，能夠實現批量遠程命令執行，由此實現對依托于物理機、虛擬機運行環境的資源的自動化部署及管理；基于Kubernetes（簡稱K8S，一個開源的、用于管理云平臺中多個主機上的容器化的應用）實現容器執行管理模塊，能夠對容器化資源進行管理；針對Kafka、大數據等專有集群，實現大數據執行管理模塊、Kafka執行管理模塊，能夠對大數據集群、Kafka集群進行管理。產品層：以產品為導向，遵循基礎軟件PaaS統一規劃，實現特定基礎軟件產品端到端的全生命周期管理。統一運維集成層：對接行內統一身份認證平臺，實現用戶登錄驗證及用戶信息獲取；對接CMDB實現應用系統、服務器信

8、息獲取，及基礎軟件信息的準實時推送；對接數據中心服務平臺，實現測試環境基礎軟件標準化資源的自服務申請及生產環境部分基礎軟件產品的自動化部署實施；對接審計平臺實現資源自動化審計納管等。數據層：采用關系型數據庫、NoSQL數據庫、Elasticsearch等作為數據層存儲介質。門戶層：實現對各種基礎軟件的統一運維管理門戶。項目一期主要功能概覽測試環境資源自服務基礎軟件PaaS依托數據中心服務平臺提供測試環境基礎軟件自服務申請。目前基礎軟件PaaS支持的標準化產品服務列表如下:上述標準化產品在測試環境滿足特定的申請場景（如項目組申請的資源數小于等于限定值等，具體可參見內網confluence申請指南

9、），可以不需要經過評估、審批環節，實現自服務申請。同時申請參數大大簡化，提升了項目組資源申請效率。為避免資源浪費，提升資源利用率，測試環境自服務申請應按需申請，已申請的資源平臺會定期統計資源使用情況，針對使用率低的資源，基礎軟件PaaS會啟動資源回收流程。非標準產品或不滿足免審批條件的標準產品需要經過資源評估、架構評估、系統管理中心領導審批后分配資源。交付效率無法保證，建議申請標準基礎軟件產品。生產環境資源交付自動化實施相較于測試環境基礎軟件資源自服務申請流程，生產環境資源分配策略更加謹慎，流程要求更加嚴格，需要申請流程各個環節審批人的評估和審批。生產環境基礎軟件資源申請同樣依托于數據中心服務

10、平臺，當流程流轉到資源實施環節后，實施人員通過點擊執行按鈕，由數據中心服務平臺調用基礎軟件PaaS提供的流程執行接口，自動化實施，分配資源。工單每個實施步驟可以由原來的幾天縮短到小時級乃至分鐘級，整個基礎軟件資源交付時間可以從一個變更周期有效縮短到3天以內。數據庫PaaS基礎軟件PaaS產品層之數據庫PaaS：支持DB2、Oracle、MySQL等多種不同類型數據庫，且具有分庫分表架構下的邏輯庫管理能力。納管了我行上千套測試和生產環境數據庫，為運維人員提供了統一的數據庫運維管理功能。其中資源申請模塊，提供了標準化數據庫資源的自助申請，資源管理模塊展示了數據庫信息、狀態、負載、容量等基本信息，性

11、能管理模塊從性能評分、工作負載、SQL、內存、緩沖區、IO、鎖、日志、排序等多維度對數據庫性能進行分析，容量管理模塊可以查看數據庫、表空間、大表的容量使用及增長情況，基礎運維模塊集合了常用的數據庫運維操作，SQL審核模塊在測試環境按照數據庫開發規范對SQL進行審核，及時發現問題SQL，避免問題SQL上生產，元數據管理模塊可查詢數據庫的元數據信息。容器PaaS基礎軟件PaaS產品層之容器PaaS：納管了我行不同網絡分區的多個K8S集群和鏡像庫。其中資源申請模塊是租戶申請容器資源的入口，包含帳號申請、K8S和鏡像庫資源申請、日志接入申請等。集群管理模塊為容器管理員和租戶提供集群范圍資源的管理，鏡像

12、管理模塊提供鏡像庫和鏡像的管理，應用管理模塊主要為租戶提供K8S namespace內資源的管理，帳號授權管理模塊為容器管理員提供租戶授權管理。容器組歷史模塊提供容器遷移過程歷史查詢。Redis PaaS基礎軟件PaaS產品層之Redis PaaS：提供了基于K8S的容器化Redis的自服務及管理能力。區別于之前基于物理機和虛擬機的運行環境，通過Redis PaaS申請的Redis實例均運行于容器環境。Redis PaaS支持單實例、多副本、集群三種架構的Redis。資源管理模塊展示了Redis實例基礎信息，實例詳情中的命令曲線可以查看命令執行情況，實例拓撲可以查看Redis實例拓撲結構及主從

13、關系，慢查詢展示慢查詢數量及詳情。配置管理模塊為管理員提供了配置Redis模板的功能，物理節點模塊展示了Redis專屬K8S集群物理節點信息。Kafka PaaS基礎軟件PaaS產品層之Kafka PaaS：支持Kafka 0.10.X和1.1.X兩個版本，納管了行內兩套測試環境Kafka集群和主備兩套生產環境Kafka集群。其中，資源申請模塊提供了Kafka接入的自服務申請功能，多集群管理模塊為管理員提供了Kafka多集群維護管理功能，Broker管理模塊提供了Broker信息列表查詢，批量重啟、輪轉重啟等功能，Topic管理模塊提供了Topic增、刪、改、查及消息查詢等功能，消費組管理提供

14、了消費者信息查詢，重置消費者offset等功能，Zookeeper管理模塊提供了Kafka集群所依賴的Zookeeper的管理功能。訪問代理PaaS基礎軟件PaaS產品層之訪問代理PaaS：提供了基于Tesla gateway（我行自主研發的高性能輕量級代理網關）的訪問代理自服務申請和管理能力。訪問代理PaaS提供的訪問代理基于容器化實現，主要用于代理轉發，代替原來Apache的部分功能。代理訪問類型分為入訪和出訪，支持的協議類型包括http和https。資源管理模塊提供了訪問代理基本信息展示，及訪問代理實例的停止、下線、探活等基礎操作。資源監控模塊為管理員提供了K8S節點資源、訪問代理端口資

15、源使用情況的監控功能，端口配置為管理員提供了訪問代理端口查詢及分配等功能?？偨Y與規劃目前基礎軟件PaaS項目一期建設已經開發完成并上線，達成了預期的目標：實現了基礎軟件部署安裝流程的標準化，簡化了部署參數，提升了基礎軟件申請效率；實現了部分基礎軟件部署實施的自動化，基礎軟件部署實施自動化覆蓋率達到80%，部署平均時間降低到小時級，部署效率大幅提升，測試環境交付時間達到小時級，生產環境新系統上線平均交付時間由1個變更周期降低到3個工作日；基礎軟件管理員、應用運維人員需要直接登錄服務器比例大幅降低?；A軟件PaaS一期的上線運行，使我們向著智能化運維邁出了重要的一步。在此基礎上，我們計劃繼續進行基礎軟件PaaS建設和