1、某銀行核心系統(tǒng)基于華為高端 NAS存儲雙活實踐摘要：對于中小金融機構(gòu)來講，由于歷史原因和早期有限的業(yè)務(wù)場景，大多存儲協(xié)議都較為單 一，主要以集中式SAN存儲為主。隨著企業(yè)的業(yè)務(wù)發(fā)展，非結(jié)構(gòu)化數(shù)據(jù)不斷積聚，而且 其年增長率要遠高于結(jié)構(gòu)化數(shù)據(jù)。同時，非結(jié)構(gòu)化數(shù)據(jù)也變得更加重要。無論是對業(yè)務(wù)本 身，還是做數(shù)據(jù)挖掘，這些非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)成為各企業(yè)的寶貴資產(chǎn)。為了解決不同類型 數(shù)據(jù)的合理存放問題，各企業(yè)都開始優(yōu)化存儲架構(gòu)。集中式FC SAN存儲以其高吞吐、低延遲特性滿足數(shù)據(jù)庫類的應(yīng)用場景。NAS文件存儲以其組網(wǎng)簡單，即插即用的特性，滿足業(yè)務(wù)系統(tǒng)文件共享的需求。而對象存儲則用于處理海量非結(jié)構(gòu)化數(shù)據(jù)。近年來

2、，隨著我行業(yè)務(wù)系統(tǒng)和業(yè)務(wù)規(guī)模的快速發(fā)展，業(yè)務(wù)系統(tǒng)已經(jīng)積累了越來越多的非結(jié) 構(gòu)化數(shù)據(jù)。但這些非結(jié)構(gòu)化數(shù)據(jù)基本都存儲在傳統(tǒng)集中式的塊存儲中。其中文件類的數(shù)據(jù) 存放在構(gòu)建在塊存儲之上的IBM GPFS并行文件系統(tǒng)上。為了優(yōu)化文件類數(shù)據(jù)的存儲，擬采用NAS文件存儲替換GPFS架構(gòu)。此外，依托NAS存儲構(gòu)建文件交互平臺。本文闡述了我行基于華為高端NAS存儲雙活項目建設(shè)背景和必要性、建設(shè)方案、項目創(chuàng)新點、技 術(shù)方案以及項目成效等。一、 項目背景和建設(shè)必要性目前，我行的非結(jié)構(gòu)化數(shù)據(jù)主要存儲在構(gòu)建于傳統(tǒng)集中式塊存儲之上的 IBM GPFS并行文件系統(tǒng)中。這些非結(jié)構(gòu)化數(shù)據(jù)的文件數(shù)量和容量隨著業(yè)務(wù)規(guī)模的發(fā)展呈逐年

3、激增的趨勢， 而這種使用存儲的方式靈活性不高，同時帶來了過高的成本開銷。 GPFS構(gòu)建在FCSAN存儲之上，消耗了較多的SAN存儲資源以及中間的FC 交換網(wǎng)絡(luò)資源。另外，由于和數(shù)據(jù)庫類的應(yīng)用爭搶存儲資源，也給這些聯(lián)機交易類系統(tǒng)帶來了一定的性能沖擊。隨著行里的業(yè)務(wù)種類越來越豐富，不同類型數(shù)據(jù)的合理存放成為亟待解決的問題。為此，我行 2018 年引入了中低端NAS 存儲設(shè)備，用于存儲文件類的數(shù)據(jù)，為數(shù)據(jù)的分類存儲提供了便利，使得存儲的使用方式更趨于合理化。然而，按照我行存儲資源池的分級 架構(gòu)建設(shè)規(guī)劃，需要額外建設(shè)具備雙活能力的高端NAS 存儲系統(tǒng)，滿足GPFS 場景中重要業(yè)務(wù)系統(tǒng)的文件共享需求和同

4、城雙活的高可用需求。而現(xiàn)有的中低端NAS存儲，可以繼續(xù)承載GPFS場景中的一般重要業(yè)務(wù)系統(tǒng)的文件存儲需求。除了非結(jié)構(gòu)化數(shù)據(jù)存儲架構(gòu)優(yōu)化之外，我行另一個需要逐步優(yōu)化的場景是系統(tǒng)間的文件交互。目前，我行使用專門的文件傳輸工具進行各系統(tǒng)間的文件傳遞，軟件架構(gòu)較為復(fù)雜， 同時運維難度也略大。此外，由于各業(yè)務(wù)系統(tǒng)分布在不同的網(wǎng)絡(luò)區(qū)域，跨區(qū)的文件傳輸流量也會給各區(qū)域的邊界防火墻帶來性能壓力。為此，我們可以借助NAS存儲構(gòu)建文件交互平臺，不但省去了文件在各系統(tǒng)間的頻繁傳遞，提高業(yè)務(wù)系統(tǒng)效率，同時，依托NAS 存儲的多網(wǎng)絡(luò)區(qū)域覆蓋能力，可以避免產(chǎn)生跨區(qū)流量，進而規(guī)避對邊界防火墻的性能沖 擊。二、 項目建設(shè)方案

5、和 POC測試由于我行首次引入高端NAS 雙活系統(tǒng)，因此在運維人員技術(shù)儲備和項目實施技術(shù)細節(jié)的全面掌控上以及開發(fā)人員對NAS 存儲平臺的使用經(jīng)驗上比較欠缺，所以項目立項之初需要進行詳細的項目架構(gòu)規(guī)劃。首先，運維中心作為項目的建設(shè)部門積極和開發(fā)中心進行溝通，收集業(yè)務(wù)系統(tǒng)使用場景和需求。然后，和業(yè)界主流NAS存儲廠商以及銀行同業(yè)進行技術(shù)交流，探討NAS雙活平臺的使用場景以及技術(shù)實現(xiàn)方案。最后，選取了在NAS存儲雙活細分領(lǐng)域領(lǐng)先的兩家廠商進行了長達 5 個月的產(chǎn)品POC測試。在測試的過程中，運維人員全程深度參與，測試用例涵蓋 6 大使用場景以及 20 個高可用場景。在高可用測試場景中，主要包括了仲裁

6、到主存儲鏈路故障、仲裁到備存儲鏈路故障、兩中心間復(fù)制ISL 鏈路故障、仲裁故障、主存儲故障以及備存儲故障等單點故障場景以及ISL 鏈路故障且仲裁到主存儲鏈路故障、主存儲故障且仲裁服務(wù)器故障等雙點故障場景。測試主機端采用vdbench IO 仿真軟件持續(xù)下發(fā)IO 模擬業(yè)務(wù)操作，在各種故障場景中記錄軟件的IO 中斷時間，用以評估是否滿足實際的業(yè)務(wù)場景需求。此外，對于雙點故障中的 仲裁服務(wù)器故障且主存儲故障場景，會因哪個先發(fā)生故障產(chǎn)生不同的結(jié)果。如果主存儲先發(fā)生故障，此時由于仲裁服務(wù)器存活，那么仲裁功能還生效，所以從端會自動被仲裁判活拉起來提供服務(wù)。然而，當仲裁服務(wù)器先發(fā)生故障后，此時仲裁模式會由仲

7、裁服務(wù)器模式切換為靜態(tài)優(yōu)先級模式，如果主存儲再發(fā)生故障，是需要手工拉起從端存儲的。表一 華為高端NAS雙活系統(tǒng)在各種故障場景下的測試結(jié)果在華為高端NAS存儲雙活系統(tǒng)POC測試過程中，除了上面的高可用場景外，我們重點測試了華為NAS雙活系統(tǒng)特有的基于租戶的單業(yè)務(wù)系統(tǒng)主從切換功能（RTO指標參見表一中的第一個測試項）。該功能不但可以很好地滿足我行每年定期開展的針對各系統(tǒng)的計劃 性災(zāi)備切換演練工作，而且通過租戶隔離極大地提升了業(yè)務(wù)系統(tǒng)的安全性以及維護的便捷 性和靈活性。通過詳細的測試，不但驗證了華為高端NAS 雙活產(chǎn)品可以滿足我行的業(yè)務(wù)需求，也驗證了在各種故障場景下，華為高端NAS 雙活系統(tǒng)的架構(gòu)健

8、壯性。同時，運維人員在測試過程中也積累了豐富的產(chǎn)品使用經(jīng)驗。結(jié)合業(yè)界現(xiàn)有的技術(shù)和實施經(jīng)驗，以及我行的實際需求，我們采購了2 臺華為OceanStor18 000系列全閃高端存儲，華為OceanStor 18000 系列是全新一代高端全閃存存儲系統(tǒng)，為企業(yè)關(guān)鍵業(yè)務(wù)提供最高水平的數(shù)據(jù)服務(wù)。具備創(chuàng)新的高可靠SmartMatrix 架構(gòu)、更高的擴展性、全閃存設(shè)計的高性能以及面向混合云的演進方案，滿足大型數(shù)據(jù)庫OLTP/OLAP、云計算等各種應(yīng)用的數(shù)據(jù)存儲需求，與我行的應(yīng)用需求與發(fā)展要求相符 合。三、 項目創(chuàng)新點本項目的創(chuàng)新可以分為管理創(chuàng)新和技術(shù)創(chuàng)新兩個方面。在管理維度， 首先，通過華為高端雙活NAS存

9、儲系統(tǒng)的引入，完善了我行NAS文件存儲的分級資源池建設(shè)，滿足了我行業(yè)務(wù)系統(tǒng)分級建設(shè)的需求。 中低端NAS存儲資源池采用生產(chǎn)中心本地部署模式，滿足我行一般重要和較重要業(yè)務(wù)系統(tǒng)的文件共享需求。 華為高端雙活NAS存儲資源池滿足我行核心系統(tǒng)、重要和重要支撐系統(tǒng)的文件共享需求以及文件跨中心的高可用需求。 其次，通過項目建設(shè)，近一步優(yōu)化了我行非結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)架構(gòu)，不同類型業(yè)務(wù)數(shù)據(jù)的存儲布局 更加合理，實現(xiàn)了降本增效。最后，項目建設(shè)本身也完成了一次管理創(chuàng)新，通過立項前的 深度POC測試，提升了運維人員的技能，運維中心和開發(fā)中心的緊密聯(lián)動也很好地保證 了項目建設(shè)質(zhì)量和我行信息系統(tǒng)建設(shè)和運維的規(guī)范性。在技

10、術(shù)創(chuàng)新方面，第一，同城雙中心高端NAS雙活是銀行業(yè)相對較少的實施案例，提升了我行重要業(yè)務(wù)系統(tǒng)文件類數(shù)據(jù)的地域級抗風(fēng)險能力。第二，對于高端存儲，我行從物理層面隔離SAN結(jié)構(gòu)化數(shù)據(jù)和NAS文件類非結(jié)構(gòu)化數(shù)據(jù)，在提升了存儲系統(tǒng)可管理性外也規(guī)避了兩種不同特性的IO 對存儲資源的爭搶和性能干擾。第三，在高端NAS雙活系統(tǒng)實施方面，我們采用四網(wǎng)隔離的方案，實現(xiàn)了業(yè)務(wù)網(wǎng)、數(shù)據(jù)復(fù)制網(wǎng)、仲裁網(wǎng)和管理網(wǎng)絡(luò)的分離，提升了網(wǎng)絡(luò)安全性和性能。此外，雙活系統(tǒng)采用了物理主備雙仲裁雙隔離VLAN的方案，極大提升了雙活系統(tǒng)的健壯性。第四，借助雙活系統(tǒng)提供的租戶特性，實現(xiàn)了不同于其他整體存儲切換方案的基于單業(yè)務(wù)系統(tǒng)的細粒度站點級

11、災(zāi)備切換方案。第五，借助NAS 系統(tǒng)構(gòu)建了文件交互平臺，在提高業(yè)務(wù)系統(tǒng)效率的同時，也避免了先前方案中文件傳輸軟件帶來的跨區(qū)流量，進而規(guī)避了對邊界網(wǎng)絡(luò)防火墻的性能沖擊。# 四、 技術(shù)方案按照前期規(guī)劃，兩臺華為 OceanStor 18000系列全閃存儲雙活NAS設(shè)備分別部署在我行亦莊機房和空港機房，構(gòu)建同城NAS雙活系統(tǒng)，為我行新核心、重要以及重要支撐系統(tǒng) 提供文件交互、文件共享服務(wù)和文件高可用容災(zāi)服務(wù)。（一）網(wǎng)絡(luò)架構(gòu)圖一是華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓撲圖。圖一 華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓撲圖整個網(wǎng)絡(luò)架構(gòu)共涉及 4 個網(wǎng)絡(luò)平面，分別是業(yè)務(wù)網(wǎng)絡(luò)平面、復(fù)制網(wǎng)絡(luò)平面、仲裁網(wǎng)絡(luò)平面以及管理網(wǎng)絡(luò)平面。每

12、張網(wǎng)絡(luò)的拓撲和功能介紹如下：業(yè)務(wù)網(wǎng)絡(luò) 平面高端NAS雙活系統(tǒng)同時接入新核心區(qū)和業(yè)務(wù)三區(qū)，其中A 、B 控接入業(yè)務(wù)三區(qū)； C 、D 控接入新核心區(qū)，形成兩個故障漂移組（fail grou）p 。每個控制器通過 2 條 10GbE光纖接入業(yè)務(wù)交換機，形成一個20GbE的端口組（LACP ） 。接入同一網(wǎng)絡(luò)區(qū)域的控制器之間采用A-A （雙active）互備的工作模式，當任一個控制器出現(xiàn)硬件故障或業(yè)務(wù)網(wǎng)絡(luò)中斷時，存儲系統(tǒng)會自動將業(yè)務(wù)地址切換到另一個活動的控制器上，切換時間控制在 5 秒以內(nèi)，對前端業(yè)務(wù)系統(tǒng)可以做到無感知。復(fù)制網(wǎng)絡(luò) 平面每臺存儲通過 4 個 40GbE的全互聯(lián)連接接入 2 臺 40GbE

13、的內(nèi)部復(fù)制交換機，兩中心的 4 臺復(fù)制交換機通過 2 條平行連接的 10GbE DWDM線路連接，構(gòu)建了 NAS同城雙活數(shù)據(jù)復(fù)制鏈路 。通過存儲系統(tǒng)內(nèi)部的配置，共形成8 條負載均衡的冗余 ISL（Inter Switch Li）nk數(shù)據(jù)復(fù)制鏈路。仲裁網(wǎng)絡(luò) 平面每臺存儲設(shè)備通過 2 塊仲裁網(wǎng)卡，和 2 臺仲裁物理服務(wù)器（HA 主備架構(gòu)）構(gòu)建成 2 個獨立vlan的高可用仲裁網(wǎng)絡(luò) 。對于仲裁模塊，從仲裁網(wǎng)絡(luò)鏈路到仲裁軟件， 再到底層的仲裁服務(wù)器均實現(xiàn)了雙冗余，規(guī)避了仲裁系統(tǒng)的單點故障，從而極大提升了仲裁的高可用性。圖二復(fù)制和仲裁鏈路管理網(wǎng)絡(luò) 平面每臺存儲通過 2 個管理網(wǎng)口接入網(wǎng)管網(wǎng)，用于存儲設(shè)備

14、的日常管理和存儲監(jiān)控管理 。如上所述，高端NAS雙活系統(tǒng)的網(wǎng)絡(luò)按照功能劃分為四個物理隔離的平行網(wǎng)絡(luò)平 面，每個網(wǎng)絡(luò)平面只承載各自功能模塊的流量。這樣的網(wǎng)絡(luò)架構(gòu)設(shè)計，既保證了各個網(wǎng)絡(luò)的安全性，也提升了每個網(wǎng)絡(luò)平面的吞吐性能。業(yè)務(wù)網(wǎng)絡(luò)平面既可以支持兩中心大二層打通的網(wǎng)絡(luò)架構(gòu)，也支持不打通大二層，使用各中心獨立IP 地址的方案。為了遵從我行整體的網(wǎng)絡(luò)規(guī)劃，我們采用了后者即獨立 IP 的方案。兩種網(wǎng)絡(luò)架構(gòu)在存儲端的RTO指標是一致的，而最主要的區(qū)別主要在于大二層打通的架構(gòu)可以獲得更好的主機端全局的RTO指標。在大二層打通的情況下，當發(fā)生站點切換時，主機側(cè)可以無感知的恢復(fù)NAS連接。而對于獨立IP 的方

15、案，需要主機側(cè)重新執(zhí)行NAS存儲的掛載。為了近一步提升該方案中主機側(cè)的RTO指標，利用我行自動化災(zāi)備切換系統(tǒng)編排NAS站點切換流程，定制了各系統(tǒng)的切換腳本。（二）軟件架構(gòu)在軟件層面，為了提升安全性和易管理性，華為高端NAS系統(tǒng)采用基于租戶的方式實現(xiàn)業(yè)務(wù)系統(tǒng)邏輯隔離。租戶是文件系統(tǒng)、網(wǎng)絡(luò)邏輯端口的存儲資源集合。針對我行的實際業(yè)務(wù)場景，設(shè)計了兩類租戶，一類是業(yè)務(wù)系統(tǒng)交互，另一類是業(yè)務(wù)系統(tǒng)獨自使用。對于業(yè)務(wù)系統(tǒng)間交互的租戶，會按照業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)區(qū)域配置不同的邏輯端口，業(yè)務(wù)系統(tǒng)會使用同區(qū)域的網(wǎng)絡(luò)端口接入NAS存儲，從而提升存儲訪問效率，同時還能規(guī)避邊界網(wǎng)絡(luò)防火墻的 跨區(qū)流量。除了安全性、易管理性和性能因

16、素外，租戶也是華為高端NAS雙活系統(tǒng)細粒度站點級容 災(zāi)的底層支撐要素。每個租戶在雙活架構(gòu)下會配置雙活租戶pair對，由于雙活租戶 pair是雙活系統(tǒng)的最小單元，因此，可以實現(xiàn)基于單個業(yè)務(wù)系統(tǒng)的站點級災(zāi)備切換方案。下圖是 雙活租戶pair的管理界面，從中可以清晰的看到雙活租戶pair以及文件系統(tǒng)雙活 pair的運行狀態(tài)。圖三 雙活租戶PAIR 和文件系統(tǒng)雙活PAIRNAS存儲的另一層數(shù)據(jù)保護是基于文件系統(tǒng)的快照功能。通過快照技術(shù)，可以實現(xiàn)一定時間段內(nèi)對文件歷史版本的回溯以及找回被誤刪除的文件等?？梢葬槍γ總€業(yè)務(wù)系統(tǒng)的需求定制不同的快照和快照保留策略。此外，可以靈活定制每個文件系統(tǒng)的快照預(yù)留空間，

17、當快照預(yù)留空間剩余不足時，最早的快照將被自動清除。在數(shù)據(jù)備份方面，使用NDMP協(xié)議實現(xiàn)Server-Free的備份架構(gòu)。在這種架構(gòu)下，業(yè)務(wù)數(shù)據(jù)可以從NAS存儲端直接備份到磁帶庫中，而不通過前端客戶機操作系統(tǒng)中轉(zhuǎn)。因此， 不但可以提升數(shù)據(jù)備份效率，更重要的是，可以大幅降低數(shù)據(jù)備份對業(yè)務(wù)系統(tǒng)的性能影 響。（三） 使用規(guī)范NAS存儲在權(quán)限管理和控制方面，總體來說，主要包括客戶端授權(quán)以及用戶管理兩方面。在用戶管理方面，通過綜合考慮我行的實際業(yè)務(wù)特性、應(yīng)用場景和使用規(guī)模，最終選擇了 本地用戶管理策略，也就是說NAS存儲未接入AD 域或者使用LDAP 。所以對于CIFS 協(xié)議來講，通過使用NAS存儲本地用

18、戶實現(xiàn)Windows客戶端的用戶管理和文件系統(tǒng)共享權(quán)限控制。而對于NFS協(xié)議，在客戶端IP 授權(quán)之外，則采用客戶端本地的傳統(tǒng)SYSTEM級 ACL 策略實現(xiàn)文件的權(quán)限控制。基于上述權(quán)限控制方案，結(jié)合我行實際的業(yè)務(wù)場景，制定出了詳細的NAS使用規(guī)范。主 要分為上文提到的單業(yè)務(wù)系統(tǒng)使用場景和不同業(yè)務(wù)系統(tǒng)間的文件交互場景。對于單業(yè)務(wù)系 統(tǒng)使用場景，需要應(yīng)用系統(tǒng)集群的各節(jié)點服務(wù)器使用同樣的應(yīng)用用戶訪問NFS共享，考慮到 Linux 操作系統(tǒng)的ACL 授權(quán)機制，需要各節(jié)點的這個應(yīng)用用戶有相同的UID 和 GID 設(shè)置。而對于不同業(yè)務(wù)系統(tǒng)間的文件交互場景，NAS存儲端按照實際業(yè)務(wù)需求控制不同業(yè)務(wù)系統(tǒng)客戶端

19、服務(wù)器對同一共享文件系統(tǒng)的讀寫和只讀權(quán)限，共享文件系統(tǒng)中的文件和目錄 權(quán)限通過設(shè)置子目錄實現(xiàn)細粒度的權(quán)限控制。各業(yè)務(wù)系統(tǒng)在共享文件系統(tǒng)掛載點目錄下建 立獨立的子目錄，各子目錄由對應(yīng)的業(yè)務(wù)系統(tǒng)的實際需求進行權(quán)限設(shè)置。原則上，禁止跨 業(yè)務(wù)系統(tǒng)子目錄進行寫入、刪除和更改操作，跨業(yè)務(wù)系統(tǒng)子目錄只允許只讀操作。除了NAS的權(quán)限和用戶管理，對于客戶端的掛載也要按照最佳實踐進行配置。首先，對于客戶端NFS 文件系統(tǒng)本地掛載點的選擇，要避免使用“嵌套”目錄，也就是說客戶端掛載點是根文件系統(tǒng)（根目錄）下的獨立空目錄，不能是其他非根文件系統(tǒng)下的子目錄。這樣在技術(shù)上可以規(guī)避上層文件系統(tǒng)異常對NFS 共享文件系統(tǒng)的影響。另外，NFS的掛載選項里有很多可以調(diào)優(yōu)的參數(shù)，這里面可以根據(jù)實際情況，結(jié)合NAS廠商白皮書提供的建議進行設(shè)置。最后，為了提高文件訪問性能，高端NAS存儲接入了多個網(wǎng)絡(luò)區(qū)域，以便提供給不同網(wǎng)絡(luò)區(qū)域中的業(yè)務(wù)系統(tǒng)使用，從而規(guī)避邊界防火墻對跨網(wǎng)絡(luò)區(qū)域文件訪問的性能影響。因此，各網(wǎng)絡(luò)區(qū)域中的客戶端要通過相應(yīng)區(qū)域的存儲前端業(yè)務(wù)網(wǎng)絡(luò)接 入。五、 項目運營情況華為高端NAS存儲雙活系統(tǒng)自投產(chǎn)以來運行平穩(wěn)高效。其中，業(yè)務(wù)系統(tǒng)間文件交互場景 隨著我行新核心銀行系統(tǒng)工程建設(shè)項目一并上線。截止目前，該平臺已經(jīng)承載了和新核心銀行系統(tǒng)交互的