1、 銀行核心系統(tǒng)基于Power 架構(gòu)的升級改造實踐 【導(dǎo)讀】本文以某銀行核心業(yè)務(wù)系統(tǒng)升級建設(shè)項目為背景，根據(jù)該銀行近十年以來銀行業(yè)業(yè)務(wù)發(fā)展的功能與非功能需求，建立短期以及中長期的核心業(yè)務(wù)系統(tǒng)建設(shè)目標(biāo)，詳盡設(shè)計核心業(yè)務(wù)系統(tǒng)業(yè)務(wù)邏輯、基礎(chǔ)架構(gòu)、容災(zāi)架構(gòu)和浪潮K1 Power服務(wù)器選型配置、性能測試、架構(gòu)方案設(shè)計等多階段、多維度項目實施和運維管理經(jīng)驗，為同業(yè)核心系統(tǒng)升級建設(shè)提供可參考、可操作的真實案例和寶貴經(jīng)驗。一、項目背景在銀行的整個IT藍(lán)圖中，核心業(yè)務(wù)系統(tǒng)是負(fù)責(zé)處理和管理核心銀行產(chǎn)品的生產(chǎn)系統(tǒng)。所謂的核心銀行產(chǎn)品，就業(yè)務(wù)而言，是指銀行主營業(yè)務(wù)中向客戶提供存款、貸款、中間業(yè)務(wù)等產(chǎn)品和相關(guān)的服務(wù)。在一

2、定程度上，核心業(yè)務(wù)系統(tǒng)是一個商業(yè)銀行日常運作的基礎(chǔ)，核心業(yè)務(wù)系統(tǒng)的先進(jìn)程度對整個銀行的運作有著至關(guān)重要的影響，一套專業(yè)化的核心業(yè)務(wù)系統(tǒng)在優(yōu)化業(yè)務(wù)流程、提高生產(chǎn)效率和盈利能力方面的重要性越來越被銀行高管層所重視。傳統(tǒng)核心業(yè)務(wù)系統(tǒng)對銀行業(yè)務(wù)變化發(fā)展的適應(yīng)性問題越來越浮上臺來，以至于逐漸失勢，隨著業(yè)務(wù)的快速發(fā)展和銀行業(yè)加速轉(zhuǎn)型，需要對現(xiàn)有的IT系統(tǒng)架構(gòu)、業(yè)務(wù)體系進(jìn)行重構(gòu)和優(yōu)化，打造運行高效、長期可用、滿足專業(yè)化經(jīng)營要求的新一代核心業(yè)務(wù)系統(tǒng)，相關(guān)技術(shù)面對的挑戰(zhàn)主要表現(xiàn)在以下幾個方面：一是移動互聯(lián)網(wǎng)時代的業(yè)務(wù)快速增長；二是利率市場化的業(yè)務(wù)產(chǎn)品創(chuàng)新加速；三是業(yè)務(wù)連續(xù)性要求日趨苛刻。通過銀行新一代核心業(yè)務(wù)系

3、統(tǒng)升級建設(shè)，從整體架構(gòu)、系統(tǒng)功能、產(chǎn)品功能、數(shù)據(jù)支持和技術(shù)創(chuàng)新等各方面實現(xiàn)核心系統(tǒng)全方位能力的提升，逐步實現(xiàn)銀行數(shù)字化，為對接“植入式”銀行 4.0 夯實基礎(chǔ)，進(jìn)一步滿足未來金融市場的需要。二、需求分析我行的核心業(yè)務(wù)系統(tǒng)于2006年投產(chǎn)上線，自上線以來，運行穩(wěn)定，為我行業(yè)務(wù)發(fā)展提供了有力的支撐，隨我行業(yè)務(wù)的快速發(fā)展，原有的核心系統(tǒng)受到傳統(tǒng)系統(tǒng)架構(gòu)的限制，以客戶為中心的設(shè)計程度較弱，參數(shù)化和產(chǎn)品組件化程度不高，在客戶體驗、產(chǎn)品創(chuàng)新、差異化定價、參數(shù)管理方面的需求響應(yīng)程度較弱，整體開發(fā)實施費時費力，周期過長，不能快速響應(yīng)業(yè)務(wù)部門的需求，對未來銀行的業(yè)務(wù)發(fā)展支撐能力不足，為使我行更好地開展業(yè)務(wù)，需重

4、建新一代核心業(yè)務(wù)系統(tǒng)，新一代核心業(yè)務(wù)系統(tǒng)將實現(xiàn)“以客戶為中心”的經(jīng)營理念，實現(xiàn)產(chǎn)品模型化、風(fēng)險管理體系化、配置管理參數(shù)化、數(shù)據(jù)標(biāo)準(zhǔn)化、定價靈活化、賬戶體系化等以及支持高性能高擴(kuò)展，我行于2018年啟動了新一代核心業(yè)務(wù)系統(tǒng)建設(shè)，目標(biāo)包含如下內(nèi)容：定義新建核心業(yè)務(wù)系統(tǒng)在全行級總體IT系統(tǒng)架構(gòu)中的位置和重要性，滿足新建核心業(yè)務(wù)系統(tǒng)對于豐富業(yè)務(wù)開展的需求；系統(tǒng)功能較靈活，產(chǎn)品參數(shù)化程度較高，可快速支持業(yè)務(wù)發(fā)展；通過模塊化、組件化、參數(shù)化設(shè)計原則，便于以較低的再投入擴(kuò)充新的業(yè)務(wù)功能，同時不影響系統(tǒng)的原有功能；滿足自主、安全可控的監(jiān)管需求；吸收互聯(lián)網(wǎng)架構(gòu)的優(yōu)點，具備分布式橫向擴(kuò)展能力，支持高并發(fā)億級賬戶；

5、支持7*24小時服務(wù)，系統(tǒng)批量窗口時間短；支持產(chǎn)品核算分離；實現(xiàn)核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)讀寫分離；符合業(yè)界安全標(biāo)準(zhǔn)，支持多級安全、保密、權(quán)限控管機(jī)制，確保業(yè)務(wù)數(shù)據(jù)的準(zhǔn)確性、完整性、一致性和安全性。三、建設(shè)目標(biāo)本次核心業(yè)務(wù)系統(tǒng)升級改造目標(biāo)是搭建一套行業(yè)內(nèi)先進(jìn)主流、穩(wěn)定、安全、可靠的核心業(yè)務(wù)系統(tǒng)，滿足新建核心業(yè)務(wù)系統(tǒng)對于豐富業(yè)務(wù)開展的需求，通過模塊化、組件化、參數(shù)化設(shè)計原則，便于以較低的再投入擴(kuò)充新的業(yè)務(wù)功能，同時不影響系統(tǒng)的原有功能；在非功能性需求方面，滿足自主、安全可控的監(jiān)管需求；吸收互聯(lián)網(wǎng)架構(gòu)的優(yōu)點，具備分布式橫向擴(kuò)展能力，支持高并發(fā)億級賬戶，最后為銀行數(shù)字化轉(zhuǎn)型成功奠定基礎(chǔ)。四、技術(shù)選型我行新一代

6、核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫軟件采用Oracle 12C，對于此種集中式數(shù)據(jù)庫服務(wù)器選型，考慮的最重要的因素是單機(jī)處理能力、響應(yīng)時間及穩(wěn)定性等。1、服務(wù)器型號的選擇我行進(jìn)行新一代核心數(shù)據(jù)庫服務(wù)器選型時正是浪潮K1 Power 系列服務(wù)器Power8和Power9并存的階段，主要型號有浪潮K1 Power E980、E950、S924、S922、E880、E850、S824、S822等幾種型號，其中E850、E950及以上為高端機(jī)型，在擴(kuò)展性、穩(wěn)定性、可靠性上比其他中低端機(jī)型會更甚一籌，根據(jù)我行實際情況，綜合價格、穩(wěn)定性、可靠性等因素，本次項目考慮選擇浪潮K1 Power S924，但我行對S924是否能

7、滿足核心業(yè)務(wù)系統(tǒng)TPS 2500+的要求存在顧慮，于是我們采用與原核心系統(tǒng)一樣配置，即24 core的S824機(jī)器來測試新核心系統(tǒng)TPS，發(fā)現(xiàn)可以達(dá)到2800+。最終我們選擇了浪潮K1 Power S924作為主服務(wù)器，S922作為讀寫分離和災(zāi)備服務(wù)器。2、服務(wù)器CPU數(shù)量的選擇浪潮K1 Power S924 CPU有多種型號，有8核、10核、11核、12核。從圖中可以看出，20core的S924比24core的S824在SMT4模式下性能要高一點，但在SMT8模式下，20core的S924比24core的S824性能要高出30%左右，所以我們選擇了20C的S924。3、操作系統(tǒng)和數(shù)據(jù)庫版本選

8、擇操作系統(tǒng)、數(shù)據(jù)庫等基礎(chǔ)軟件的選擇應(yīng)該遵循“行業(yè)主流，安全穩(wěn)定”的原則，我們選擇了AIX 7.1 TL5 SP3和Oracle 12C的穩(wěn)定版本及最新的補(bǔ)丁。五、性能測試我們對核心系統(tǒng)進(jìn)行了多輪性能測試，在購買正式生產(chǎn)機(jī)器前，進(jìn)行性能測試，目的是為機(jī)型選擇提供依據(jù)，生產(chǎn)機(jī)型選定后，對到貨的正式生產(chǎn)設(shè)備進(jìn)行性能測試，主要目的是對生產(chǎn)系統(tǒng)進(jìn)行不斷優(yōu)化，發(fā)現(xiàn)隱藏的問題。機(jī)型選擇性能測試使用S824和S822小型機(jī)，生產(chǎn)設(shè)備性能測試使用S924和S922小型機(jī)，其他保持不變。測試環(huán)境配置基本與生產(chǎn)配置保持一致，我們配置了4臺壓測機(jī)，運行Loadrunner環(huán)境;6臺24C、128G應(yīng)用服務(wù)器外加F5環(huán)

9、境，2臺浪潮K1 Power數(shù)據(jù)庫服務(wù)器，2臺浪潮K1 Power數(shù)據(jù)庫只讀服務(wù)器；賬戶數(shù)據(jù)4000萬，選取的交易包含10支最常見的交易，并按照實際最常見交易場景分配讀寫比例，保證性能測試案例與實際交易場景的匹配性，測試結(jié)果如下：（1）S924和S922性能測試場景下，比S824和S822場景TPS高出50%以上，應(yīng)該是Power9充分發(fā)揮出SMT8多線程優(yōu)勢的結(jié)果。（2）機(jī)器的性能和官網(wǎng)的rPerf值是正相關(guān)的。當(dāng)使用S824數(shù)據(jù)庫做測試時，系統(tǒng)TPS隨著并發(fā)用戶數(shù)的增加，系統(tǒng)處理能力呈線性增加，并發(fā)用戶由207逐漸增加至352時，系統(tǒng)處理能力由1954筆/秒逐漸上升至3009筆/秒，當(dāng)并發(fā)

10、用戶數(shù)352增加到531時，系統(tǒng)處理能力已趨近于平穩(wěn)，無明顯上升趨勢。系統(tǒng)最大處理能力3016筆/秒，下圖為不同用戶數(shù)情況下TPS增長情況和高峰時段CPU資源利用率情況。當(dāng)使用S924數(shù)據(jù)庫做測試時，在613用戶并發(fā)下，系統(tǒng)處理能力達(dá)到4800TPS左右，讀寫主數(shù)據(jù)庫CPU使用率70%左右，同樣的數(shù)據(jù)庫CPU使用率，系統(tǒng)處理能力提高了50%以上。讀寫應(yīng)用服務(wù)器CPU使用64%左右，只讀應(yīng)用服務(wù)器CPU使用55%左右。六、架構(gòu)方案設(shè)計1、面向SOA的技術(shù)架構(gòu)系統(tǒng)設(shè)置為通訊層、業(yè)務(wù)流程執(zhí)行控制層、內(nèi)部總線層、業(yè)務(wù)組件/服務(wù)層、數(shù)據(jù)庫訪問層以及作為整體技術(shù)支撐的技術(shù)平臺（如下圖所示）。核心系統(tǒng)各層之

11、間通過標(biāo)準(zhǔn)的接口連接，實現(xiàn)各層之間的相對獨立性，其中一層的改變不會影響到與它聯(lián)接的其它層，保證系統(tǒng)的穩(wěn)定性和可擴(kuò)展性。通訊層負(fù)責(zé)核心系統(tǒng)與外圍系統(tǒng)、渠道、終端的連接，主要包括負(fù)責(zé)通訊協(xié)議的處理、負(fù)責(zé)數(shù)據(jù)的拆包和組包等功能；內(nèi)部總線層負(fù)責(zé)模塊間訪問接口的發(fā)布；業(yè)務(wù)流程執(zhí)行配置層負(fù)責(zé)將外部服務(wù)請求轉(zhuǎn)換成核心系統(tǒng)內(nèi)部的交易、轉(zhuǎn)發(fā)核心系統(tǒng)對外部的服務(wù)請求、基于服務(wù)的業(yè)務(wù)流程組合等功能；業(yè)務(wù)組件/服務(wù)層負(fù)責(zé)業(yè)務(wù)邏輯的處理。業(yè)務(wù)處理被封裝為基本業(yè)務(wù)組件，再按具體業(yè)務(wù)處理規(guī)則進(jìn)行組裝成為可被調(diào)用的業(yè)務(wù)服務(wù)。一些公共函數(shù)處理、控制處理被封裝成為技術(shù)組件，可被其它各類組件所調(diào)用。核心系統(tǒng)基于組件的設(shè)計，從根本上

12、保證了業(yè)務(wù)功能的穩(wěn)定性和可擴(kuò)展性，并且易于組合使用，使業(yè)務(wù)的變化能夠快速地得以實施，能夠應(yīng)對激烈的市場競爭；數(shù)據(jù)訪問層在核心系統(tǒng)中負(fù)責(zé)對業(yè)務(wù)數(shù)據(jù)和系統(tǒng)參數(shù)的訪問，其隔離了系統(tǒng)業(yè)務(wù)處理部分和具體的數(shù)據(jù)存儲，使業(yè)務(wù)處理不用關(guān)心物理存儲方式。數(shù)據(jù)訪問層同時還在一定程度上降低數(shù)據(jù)結(jié)構(gòu)變化對業(yè)務(wù)處理部分的影響；技術(shù)平臺提供核心系統(tǒng)運行所需的基礎(chǔ)設(shè)施和處理機(jī)制，包括系統(tǒng)開發(fā)、運行以及操作的一系列標(biāo)準(zhǔn)、工具和公共函數(shù)，和具體的業(yè)務(wù)處理無關(guān)，但又是業(yè)務(wù)運行的基礎(chǔ)，技術(shù)平臺將這些功能封裝為技術(shù)組件供業(yè)務(wù)組件進(jìn)行調(diào)用，其主要作用在于使業(yè)務(wù)處理無需考慮具體的技術(shù)處理和控制的細(xì)節(jié)。技術(shù)平臺無論從功能還是數(shù)據(jù)的設(shè)計上都

13、是和業(yè)務(wù)處理部分相對隔離的，其修改和擴(kuò)充不會影響到業(yè)務(wù)處理部分。2、核心業(yè)務(wù)系統(tǒng)物理部署架構(gòu)核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫采用4臺浪潮K1 Power，安裝Oracle 12C，組成兩套Oracle RAC，每套RAC使用Oracle ADG技術(shù)，實現(xiàn)核心業(yè)務(wù)系統(tǒng)的讀寫分離；NAS共享存儲作為文件服務(wù)器，用于存放核心系統(tǒng)與外圍系統(tǒng)交互的文件。3、核心業(yè)務(wù)系統(tǒng)容災(zāi)架構(gòu)新核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)部署整體架構(gòu)我行核心業(yè)務(wù)系統(tǒng)應(yīng)用采用Vmware SRM+VR進(jìn)行容災(zāi)，數(shù)據(jù)庫采用兩臺浪潮K1 Power S924，使用Oracle RAC技術(shù)實現(xiàn)高可用，同城和異地災(zāi)備中心分別采用兩臺浪潮K1 Power S922作為災(zāi)備

14、服務(wù)器，也使用Oracle RAC；核心系統(tǒng)數(shù)據(jù)庫容災(zāi)采用環(huán)形3DC存儲復(fù)制和Oracle ADG方案，并使用備份技術(shù)實現(xiàn)數(shù)據(jù)邏輯保護(hù)，其中備份軟件每天晚上對核心數(shù)據(jù)進(jìn)行全備備份，數(shù)據(jù)庫日志每30分鐘備份一次。4、核心業(yè)務(wù)系統(tǒng)軟硬件資源配置為確保新核心業(yè)務(wù)系統(tǒng)基礎(chǔ)架構(gòu)資源方面能夠滿足功能要求、性能需求、數(shù)據(jù)標(biāo)準(zhǔn)要求以及穩(wěn)定、可靠、安全等非功能性要求，核心數(shù)據(jù)庫和只讀庫完全采用LPAR方式（DLPAR-enabled）進(jìn)行部署（黃色部分），詳細(xì)如下所示：七、項目經(jīng)驗分享1、小型機(jī)選型配置經(jīng)過前期性能測試和近一年的生產(chǎn)運行表明，在運行Oracle數(shù)據(jù)庫的情況下，同樣核數(shù)的浪潮K1 Power服務(wù)器

15、，POWER9系列CPU的處理能力是POWER8系列的至少1.5倍，對于追求性價比的中小城商行來說，雖然性能提升，但是總體擁有成本較低。2、高可用配置和測試高可用的最終目的是保障業(yè)務(wù)連續(xù)運營，因此要從整體上考慮高可用配置，對于核心系統(tǒng)的每一個環(huán)節(jié)都需要考慮到，并通過實際業(yè)務(wù)場景驗證核心系統(tǒng)的高可用性。在應(yīng)用層面，通過部署多節(jié)點應(yīng)用，利用F5實現(xiàn)負(fù)載均衡和故障轉(zhuǎn)移；在數(shù)據(jù)庫層面，采用Oracle RAC和Oracle ADG外加統(tǒng)一的服務(wù)名實現(xiàn)核心數(shù)據(jù)庫的無縫切換；數(shù)據(jù)庫存儲層面，建議采用本地存儲雙活，將數(shù)據(jù)放在兩臺存儲上，避免存儲單點故障；在硬件設(shè)備層面，采用雙網(wǎng)卡、雙硬盤、雙交換機(jī)、雙路由、

16、雙線路等；在多系統(tǒng)交互層面，統(tǒng)一通過F5虛地址與ESB進(jìn)行交互。有一點需要注意的是，從Power8開始，內(nèi)置硬盤默認(rèn)采用RAID卡管理，出廠就將每塊內(nèi)置硬盤默認(rèn)做成了RAID0，這樣在多臺主機(jī)裝機(jī)的時候無法進(jìn)行克隆，另外RAID如果壞了，有可能硬盤信息就丟失，建議操作系統(tǒng)層面rootvg做mirror的時候，將hdisk分布在兩塊RAID卡上，避免RAID卡的單點故障。3、CPU線程數(shù)POWER9默認(rèn)是開啟了SMT8，根據(jù)實測，POWER9比POWER8在同等CPU核數(shù)情況下，至少高出50%，有部分原因是因為Oracle數(shù)據(jù)庫使用了SMT8線程，建議保留SMT8線程設(shè)置。4、虛擬機(jī)CPU資源爭

17、用在進(jìn)行性能測試時，2臺應(yīng)用程序虛擬機(jī)部署在同一臺宿主機(jī)上，在高并發(fā)情況下存在虛擬機(jī)CPU爭用，即使從操作系統(tǒng)層面看CPU利用率正常，這種情況下需要注意，可以從vCenter上觀察宿主機(jī)CPU使用情況，并將虛擬機(jī)分布在不同的物理機(jī)上。5、存儲設(shè)備選型隨著業(yè)務(wù)不斷發(fā)展，對核心系統(tǒng)性能要求不斷提高，原有的機(jī)械硬盤存儲陣列可能存在瓶頸，主要表現(xiàn)在大量交易下的隨機(jī)IO訪問，建議核心業(yè)務(wù)系統(tǒng)選擇高端全閃存陣列，滿足核心系統(tǒng)穩(wěn)定和高性能需求。6、系統(tǒng)監(jiān)控對于系統(tǒng)監(jiān)控，我行采用Zabbix監(jiān)控主機(jī)等基礎(chǔ)資源，包括操作系統(tǒng)、數(shù)據(jù)庫、中間件等，針對浪潮K1 Power系列服務(wù)器，除了通用的基礎(chǔ)監(jiān)控外，還需要監(jiān)控硬件、磁盤路徑狀態(tài)等，目前我行通過自定義腳本采集AIX errpt日志、HMC event、lspath日志及各種多路徑軟件磁盤路徑狀態(tài)；另外，為滿足故障排查需求，建議在主機(jī)上部署Nmon采集，推薦一款Nmon文件解析工具NMONVisualizer，可以批量解析，比Excel使用方便。7、小型機(jī)批量信息采集對于擁有大批量浪潮K