全閃存儲在銀行核心系統的應用及實踐

【摘要】本文基于某省農信同城雙活中心建設情況，從現網存儲架構的痛點難點、全閃存儲的選型測試、架構設計及運維實踐等方面，較為全面地介紹了全省存儲在銀行核心系統的應用及實踐，同時認為全閃存儲的投產為銀行數字化轉型堅定了信心、夯實了基礎、贏得了空間。1背景隨著我行業務的蓬勃發展，各應用系統數據量和交易量大幅增長，同時現網生產系統存儲已運行7年有余，故障率逐漸上升。為有效提高存儲架構的整體性能和可靠性，按照“小步快跑，擇機突破”的策略，利用建設同城雙活中心契機，更換現網核心及重要類存儲并實現同城雙活架構。2痛點及難點2.1性能出現瓶頸現網核心系統瓶頸主要在于存儲讀寫延遲較高，結合核心系統應用特性（數據庫超時時間較短）對基礎架構穩定性要求極高，導致核心系統數據庫卡頓（無響應）頻繁，嚴重影響客戶體驗。同時隨著業務類別的轉化，原有系統數據量激增、并發量逐年增高，存儲池中各業務系統IO競爭現象頻發。2.2設備擴展有限現網核心及重要類存儲已投產運行7年有余，故障率逐年上升，同時受限于機房物理空間及擴容成本較高，難以對現網存儲池進行擴容。2.3售后支持不足隨著國際形勢、國家政策的變化，傳統外企存儲產品市場占有率逐步降低，與之相應的可持續售后能力也呈現弱化趨勢，存儲的“產品-售后”、“原廠-三方”的生態逐漸進入惡性循環，同時我行地處華中地區，相應廠商產品支持力度更為堪憂，成為我行在IT運營中必須面對的重要問題。3選型測試存儲設備作為銀行信息系統中最為關鍵的核心設備，不僅存放著全行業務及管理數據，同時也是容災解決方案的主要底層技術，選擇了某品牌存儲一般意味著就選擇了該品牌的存儲高可用技術及所配套的容災解決方案。因此，我行綜合考慮系統瓶頸、同業案例以及技術發展趨勢，將全閃存作為存儲選型基準，全面、真實的評估全閃存的高可用功能及性能。3.1POC測試一是邀請4家存儲領先廠商，選用多臺最新型號的全閃存儲，模擬多站點容災場景，確保存儲產品的專業技術能力和測試的全面性；二是以應用場景為核心，選擇以核心系統耗時最長、資源開銷最大的存款計息批處理作為“試金石”，測試了業界常用的各類操作系統、數據庫及存儲等高可用技術組合的容災架構性能。通過為期4個月的POC測試，較為全面的測試了7種容災技術組合的功能和性能，為存儲及容災架構選型打下堅實的基礎。具體POC測試內容詳見《\o"省農信核心系統高端全閃存儲POC選型經驗分享"省農信核心系統高端全閃存儲POC選型經驗分享》。3.2選型重點結合POC測試結果，同時還需考慮閃存產品及其廠商的技術功能、運維管理、服務生態等各維度，進行全面評估選型。技術功能方面。重點關注全閃存儲的兼容性、與傳統存儲技術功能特性的延續性、容災數據保護能力的差異性和和存儲架構整體性能等相關方面。運維管理方面。存儲廠商所提供的運維工具是否全面、多樣，是否提供智能化工具、開發接口以及工具后續開發能力，以提高行方存儲運維效率。服務生態方面。是否提供“原廠+三方”、“一線+后臺”、“交付+研發”的立體式、全天候的支撐服務體系。性價比方面。在上述內容相似的情況下，需對比每TB可用容量售價、售后服務費用等方面。綜合以上各維度統籌考慮，我行通過公開招標選擇了6臺華為OceanStorDorado18000系列高端全閃存儲，作為我行核心類及重要類3DC解決方案，并以此進行同城雙活容災方案設計。4架構方案設計存儲架構的設計既要滿足未來業務發展需要，技術發展趨勢，也要在總體技術風險可控的前提下，對現有架構進行平滑升級，解決當前架構瓶頸。我行閃存平臺的建設總體原則是根據不同應用對存儲性能和容災的訴求進行存儲選型。按A+、A、B、C四類應用的業務重要性及對RPO、RTO不同要求，重新排列應用主機和存儲對應關系，對應不同級別容災方案。需要注意的是，沒有最好的存儲技術，只有最適合的存儲解決方案。因此，在存儲架構方案設計時，需從行內實際情況出發，對標行業最佳實踐，充分利用廠商資源，做好技術的延續性、做好架構、產品、性能、維護和費用之間的有效平衡。4.1閃存配置存儲的單機配置決定著存儲架構的整體性能。因此，我行在存儲架構規劃時采用“高端低配”（高端機型、中低配置）策略進行存儲選型，在保障技術先進、性能強大的同時，降低維護期因存儲技術落后、性能不足而帶來的優化和擴容等風險較大操作的頻率，同時高端機型也能夠得到原廠商更大售后服務支持。所替換的老舊存儲可用于開發測試或外圍類系統使用，保護既有投資。在容量設計方面，根據現網存儲容量、歷史增長率以及未來增長率等指標來綜合評估。以存儲池為單位，根據當前容量大小，將近3年最大年增長率作為未來5年年均增長率進行估算，在此基礎上再預留20%-30%可用容量。4.2SAN、應用組網存儲架構的SAN網絡設計涉及SNS53842臺，SNS51924臺。其中A數據中心部署2臺SNS5384光纖交換機、2臺SNS5192光纖交換機；B容災中心部署2臺SNS5192。在滿足技術先進性的前提下保障技術選型穩定性和高可用性，確保SAN架構穩健、保障業務系統性能。在實施整個項目過程中以數據完整性為核心保障體系，按計劃完成容災方案為目標，盡量減少業務系統影響，降低對業務系統的影響。根據設備情況，從需求、容量、性能、可用性和管理性幾個方面詳細設計,重點考慮存儲池類別、吞吐負載、關聯耦合性，尤其需要提前規劃SAN交換機端口分配規則、Zone分配規則、跨數據中心級聯設計。4.3高可用及容災我行根據金融機構自身特點制定了“大同城，小異地”的多數據中心整體容災建設思路。“大同城”指以雙活模式構建兩個同城數據中心，通過部署必要的軟硬件設備，逐步實現既能兩個中心共同承擔業務，又能單個中心獨立承載全部業務。“小異地”指建立異地災備數據中心，在發生區域性災難時，保障金融機構關鍵業務的持續運營。存儲架構是全行容災方案的重要基礎。存儲架構方案的設計需要根據全行整體容災建設思路，結合存儲特性和業務特點統籌規劃，以確保滿足監管及全行所需RTO及RPO指標。在實際制定存儲規劃方案中，有以下方面需重點關注。4.3.1存儲3DC的選擇存儲3DC架構已是各大存儲產品的標準功能架構，也是各行業容災方案中均采用的成熟存儲容災解決方案。但在實際使用中，需根據各行現網容災架構、數據中心間距離、空間、帶寬質量、人員分布等因素綜合考慮。一般來說，存儲3DC架構在物理地點設置上有兩種方案，一是本地、同城和異地各一臺存儲，三者間形成3DC容災架構；二是本地（2臺雙活）和同城（1臺）組成容災架構。我行現網北京異地災備與主中心間采用數據庫邏輯復制方案，同時結合武漢地質災害較少、本地兩中心距離較短（物理距離30KM、線路距離50KM），且鏈路質量較好（通過裸光纖專線互聯），最終選擇了方案二，即本地（2臺雙活）和同城（1臺）組成容災架構，最大程度應對本地主中心存儲故障。在存儲資源池規劃方面，我行存儲平臺的建設總體原則是根據不同應用對存儲性能和容災的訴求進行存儲選型。按A+、A、B、C四類應用的業務重要性及對RPO、RTO不同要求，重新排列應用主機和存儲對應關系，對應不同級別容災方案，核心、外圍采用本地雙活技術做本地高可靠設計。同時優化當前煙囪式架構，FCSAN網絡采用core-edge架構，通過分層實現計算、存儲資源池化，更利于向云化演進。存儲池間數據互聯互通，應用共享所有存儲資源。4.3.2存儲高可用方案的選擇容災體系規劃應該從業務視角為出發點，以終為始的制定各類業務系統RTO和RPO，找準各容災技術定位，通過各容災技術組合做好備份冗余，按照業務類別和技術特性搭好容災技術體系框架，做好容災技術頂層設計。在同城雙活中心建設時，根據業務系統重要等級將存儲資源池分為核心、外圍及管理三類，分別提供存儲級“快照+本地雙活+同城復制”、“本地雙活+同城復制”及“同城復制”容災能力。可以將上述三類存儲資源池及所提供的容災能力看做三個“籃子”，當有新增系統或變更時，只需按照業務系統等級及特性，將其放入不同存儲及容災技術的“籃子”之中，同時根據需要搭配數據庫復制及備份容災技術。此舉可大大降低存儲及容災體系維護工作量。容災體系規劃實踐中，可以利用多種容災技術進行組合，以提高災難防范能力并滿足業務系統的RTO和RPO要求。如，針對核心重要類系統，我行在本地存儲雙活、異地存儲復制和數據庫復制的基礎上，在本地存儲新增了每4小時一次的快照和每日數據庫備份，利用多層次的容災技術組合增強關鍵系統的高可用性。4.4數據遷移數據遷移是存儲新架構投產的關鍵步驟。在存儲數據遷移中需重點關注數據一致性、業務完備性和系統兼容性。我行同城雙活建設項目涉及應用改造和災備架構的變更，涵蓋14套核心系統和56套BC類系統，涉及到應用軟件版本變更、操作系統替換、數據庫版本等諸多變更，數據遷移技術難度高，對客戶影響大。因此，需科學安排數據遷移策略，盡量減少停機窗口和停機對我行客戶服務體驗感知。原14套核心業務系統主要以AIX、Linux操作系統、DB2數據庫、oracle數據庫為主，部署于IBM小型機和DS8700存儲。操作系統層面，通過LVM技術實現兩臺DS8700鏡像雙活。遷移目標環境中，對操作系統版本、數據庫版本均進行了較大版本跨度的升級，給數據遷移帶來更大的挑戰。在數據遷移方案中，我行采用華為所提供的數據遷移工具，針對不同場景制定了個性化數據遷移方案。具體來說，針對現網存儲架構，對基于LVM卷管理的存儲采用基于LVM卷鏡像技術遷移；對SVC管理的存儲池，采用華為存儲納管方式；對于應用系統環境較為復雜，無法采用上述兩種方式進行數據遷移的系統，基于應用層數據備份/恢復及拷貝方式進行遷移。在正式遷移投產前，項目組通過大量遷移測試和演練，最終成功平穩的完成遷移工作。具體遷移情況將撰寫存儲數據遷移專題文章分享。5運維及實踐5.1實際性能5.1.1與原生產傳統存儲性能對比（1）平均讀時延和最大讀時延，由原架構的2.41ms和15.41ms，提升為當前的0.4ms和0.7ms，提升約為6倍；（2）最大寫時延，由原架構的4.75ms，提升為當前的<1ms，提升約為4倍；（3）平均寫時延，由原架構的0.44ms，提升為當前的0.4ms，略有提升。5.1.2存儲運行峰均值情況通過投產后近兩年的穩定高效運行，華為OceanStorDorado18000系列高端全閃存儲及其整體架構表現優異。（1）平均讀時延和最大讀時延，分別為0.397ms和0.6ms。（2）平均寫時延和最大寫時延，分別為0.4ms和0.87ms；（3）總IOPS均值及峰值，分別為7315和85967。總帶寬均值及峰值，分別為460MB/s和2024MB/s。5.1.3真實業務運行情況各類系統架構升級投產后，穩定性和性能均大幅提升，夜間批處理全量時間由5.5小時縮短至3.2小時，其中決定網點門市業務的日啟批處理時間由3小時縮短至1.4小時，耗時最長的存款計息批處理由110分鐘縮短至15分鐘。5.2運維管理由華為所提供的現場“備件+駐場”，服務“現場+遠程”的服務方式是閃存投產后高效穩定運營的堅實后盾。相較于原核心存儲運維服務，華為原廠運維人員技術能力更加突出、后臺技術支持更加到位、配套管理工具更加齊全、智能維護措施更加豐富。特別是由存儲研發專家組成的二線支持團隊，所提供的線上支持、現場保障和難點排查等專業服務的響應效率和事件完結率，給我行留下了深刻印象，堅定了我們對國產高端存儲的信心。5.3運維工具我行與華為原廠、維保廠商所組建的存儲運維團隊建立了常態運維機制，包括常態巡檢機制和性能分析機制，利用華為所提供的存儲運維工具高效自動生成：監控評估報告、洞察分析和核心存儲性能分析報告。在閃存運維中主要使用了華為所提供的SmartKit、eService和SystemReporter三款運維工具。華為SmartKit為存儲、服務器、云計算三大領域的產品提供了統一的服務工具平臺。運維團隊運用SmartKit“定時任務”功能實現核心存儲自動化巡檢機制。eService是華為IT產品的云端智能運維平臺，覆蓋存儲、服務器、云計算三大領域產品。提供存儲智能預測分析（硬盤失效預測、容量趨勢預測、性能潮汐分析、性能異常檢測、性能瓶頸分析、設備健康評估），eService主動式問題處理。CallHome服務（需聯網），云上管理（需聯網）。限于我行數據中心外網隔離要求，日常由維護人員定期將存儲運行數據脫機上傳至云端。SystemReporter是存儲系統的性能監控軟件，可以幫助用戶更好地了解固態存儲系統的性能狀況與趨勢。提供實時監控、歷史監控、性能告警、報表定制和容量預測。為進一步提升存儲管理效率，計劃新增SmartIDC和DMEStorage兩款工具。SmartIDC是針對數據中心分析評估容量、性能、容災等現狀，問題和風險，幫助有效預防風險，優化現網，規劃演進。DMEStorage是數據中心存儲設備的集中管理運維軟件。統一了管理、控制和分析多個傳統存儲軟件。覆蓋生命周期的自動化能力，讓管理員從重復繁瑣的工作中抽離出來，既避免了人為錯誤，又可以專注于問題的解決和經驗的積累。6總結全閃存的性價、技術和服務的普惠為我行數字化轉型提供了更多的選擇，國內高端全閃存產品的投產為我們的數字化轉型之路，堅定了信心、夯實了基礎并贏得了空間。6.1堅定了數字化轉型信心同城雙活中心建設項目的成功上線和全閃存儲順利投產所帶來的系統性能提升，讓我行堅定了數字化轉型的信心。一是技術發展帶來展業機會。核心類系統升級成功后，在原應用架構幾乎不變的情況下，支付類交易TPS（系統每秒處理交易筆數）提升60%，交易耗時大幅縮短，平穩度過春節前業務高峰期，極大地提升了客戶體驗，為業務發展帶來了新機會。二是承載核心及重要類系統的6臺華為OceanStorDorado18000系列高端全閃存儲投產后，高效穩定運行，性能符合預期，堅定了我們對核心設備國產化的信心，在數字化轉型之中擁有更多更好的技術選擇。三是同城雙活中心項目實施中，實施團隊所展現出勤懇的工作態度和突出的專業能力進一步增強了我們對高端國內廠商交付能力