...wd......wd......wd...銀行業對象存儲平臺設計企業級對象存儲助力銀行企業精簡存儲架構、提升非構造化數據存儲效率目錄一、企業非構造化數據存儲的現狀及痛點3〔1〕現狀3〔2〕痛點3二、企業非構造化數據存儲優化思路3〔1〕采用對象存儲方案思路4〔2〕對象存儲方案與傳統分布式NAS方案的比照及總結5三、平臺測試與體驗6〔1〕測試內容6〔3〕測試過程及結果61、功能性測試62、部署靈活性測試133、接口可用性測試144、系統可靠性測試175、系統管理性測試306、系統可維護性測試327、系統安全性測試36一、企業非構造化數據存儲的現狀及痛點〔1〕現狀1111SANSAN50TB〔FS900〕7IBMECMECM30TSM730ECMECM30TSMECM〔2〕痛點IO3、4ECMECMECM5TB，7ECMECMECM二、企業非構造化數據存儲優化思路SAN海量數據進展整合、精簡存儲架構，目前非構造化海量數據存儲較好的方案主NASNASSAN存儲方案類似，都是基于文件系統的方案，均為樹形目錄組織構造，隨著數據SAN，IOPSIODS8870，5300V3，NASNASNAS〔1〕采用對象存儲方案思路SANIT1、精簡非構造化數據存儲架構。對總行而言，之前我行的存儲架構為閃存-DS8870-華為5300V3，三層存儲架構，且存儲和現有生產交易類存儲閃存和DS8870IOIO7DS8870,30DS88705300V3，ECMTSM個地市分別部署了一套華為ECM2、提升非構造化數據的副本數和冗余度。相較于現有存儲架構中的單副本3、提升非構造化數據的存取性能。雖然目前的方案中閃存的引入，對于7ECMECMECMECM天歷史影像數據的調閱也就越來越慢，無法滿足30ECMTSMTSMECMSAN1API2DS88705300V3〔2〕對象存儲方案與傳統分布式NAS方案的比照及總結NASNASNAS方案的比照：SANNAS對象存儲可以使用低廉的X86服務器+對象存儲軟件實現，存儲成本比較低。2、數據可用性RAIDRAID3、大容量和高擴展性4、容災備份優勢5、性能優勢I/ONASI/O自動選擇合理的節點，保證系統性能最大化。SANNASSAN三、平臺測試與體驗IBMCleversafe〔1〕測試內容通過對如下內容的測試來驗證IBMCleversafe產品是否滿足業務需求：1、 產品基本功能，如對非構造化數據的上傳、修改、刪除2、 產品的部署可行性和靈活性。包括部署的復雜度，模擬跨站點等場景3、 產品的接口可用性性和應用系統的對接開發可行性對應用系統的改造可行性。4、 產品的可靠性。是否有完善的性能保障方案，保障系統穩定可靠運行。5、 產品的易用性。包括圖形化的前端界面，方便日常的維護操作管理。6、 產品的可維護性。包括硬件更換，系統升級，監控管理和日志管理。〔3〕測試過程及結果1、功能性測試【產品功能展現】A、案例編號：001B、案例名稱：產品功能的基本展現C〔storagepool〕、訪問池〔access〕、庫〔vault〕。Dslicestor，CloudStorageS3，IDA4/5/6Vault，4，5，6。意64成讀操作，當成功寫入5片時即完成寫操作。manager，accesser，slicestor創立storagepool：創立accesspool：accesspoolAPIIDAS3header【對象讀寫刪操作】A、案例編號：002B、案例名稱：存儲系統的上傳，下載，刪除C、案例場景描述：通過S3Browser工具，完成文件的上傳、下載及刪除DS3BrowserVault，上傳一個實vaultvaultaccesspool，以及用戶權Vaulttemplate。S3BrowserS3生keyIDsecurity〔此賬戶可能對應的是某應用或某管理員〕第二步：進入特定某用戶，如果已經生成密鑰，即可直接拷貝，如果沒有生成過密鑰，那么點擊右邊GenerateKey第三步，將此key拷貝配置到S3Browser中S3Browser可以查看到對應的vault和執行的上傳下載操作。在S3Browser上完成刪除操作2、部署靈活性測試【多站點部署】A、案例編號：003BC、案例場景描述：在管理界面展現各站點機器的部署情況D、案例實現描述：模擬六臺slicestor分布在不同的三個城市的機房，其中accesser、manager在分散在這三個機房中。3、接口可用性測試【接口對接】A、案例編號：004BC、案例場景描述：展現具體的S3API的調用方式DS3BrowserCloudBerryExplore用S3API的調用方式配置對象存儲，以及對應JAVA語言，采用AWSSDK及Curl的方式S3APIaccesskeysecretkey2S3Browser的配置界面：CloudBerryExplore：JAVAS3SDKAPI調用方式，完成對象PUT及GET的操作4、系統可靠性測試【Manager節點失效】A、案例編號：005B、案例名稱：系統可靠性-manager失效C、案例場景描述：當manager失效時，系統能夠正常運作DmanagerS3Browser所有正常運作的虛機節點將managershutdownS3Browser中的log顯示，讀寫操作均正常【Accesser節點失效】A、案例編號：006B、案例名稱：系統可靠性-accesser失效Caccesseraccesser，系統就能夠正常運作DaccesserCloudBerryendpointendpointendpoint關閉accesser1CloudBerryaccesservaultaccesser失效前：失效后：【Slicestor節點失效，不同IDA配置】A、案例編號：007B-slicestorIDACslicestorIDAD、案例實現描述：在IDA為4/5/6的情況下，失效一臺可以正常讀寫，失效IDA3/4/6配置兩種不同的IDA從而觀察當slicestor一臺臺失效時，系統的行為。當一臺slicestor失效時：vaultslicestorIDA456internalerror，讀正常，可以展示之前所有的IDA346當三個節點失效時：IDA456無法進展讀寫，IDA346依然可讀，但是不可執行寫操作。當四個節點失效時，IDA456和IDA346的vault都無法正常讀寫。【掃描和重構】A、案例編號：008B、案例名稱：系統后臺掃描及重構的驗證CslicestorRebuildDIDA4/5/6slicestorRebuildRebuildRebuild。rootslicestor6，查到到最底層，CloudBerry當寫入一個9.1MB的文件時，我們可以發現有三個切片文件出現，按照每4MBslicestor3在第三塊磁盤中找到切片數據將其中第一個切片數據進展DD篡改，只修改其中的一個字節，count=1，15:43啟動篡改。此時關閉另外兩臺沒有更改正切片數據的slicestor4&5，發現下載對象。slicestor6Rebuild〔大約在3分鐘后開場掃描程序。暫停slicestor4&5后，可以直接讀取同時，在log中，也能夠獲取對應重構的信息，時間戳也能匹配。5、系統管理性測試【系統監控、報警、報告】A、案例編號：009B、案例名稱：系統監控、報警及報告配置C、案例場景描述：觀測之前系統測試中，所出現的異常D性能數據、告警提示配置、日志配置界面、報表配置界面等告警總控臺：性能數據監控：告警配置：收集日志配置：報表配置：6、系統可維護性測試【網頁troubleshooting】A、案例編號：010B、案例名稱：網頁版的troubleshooting中控臺C、案例場景描述：在管理界面中實現terminal界面的debug指令D、案例實現描述：實現一鍵點擊troubleshooting指令webUIdebug，發送一些常用指令，檢測其結果。【在線系統升級】A、案例編號：011B、案例名稱：簡易在線升級C、案例場景描述：在管理界面中上傳升級包，實現全自動化系統升級D、案例實現描述：實現一鍵點擊，系統各部件完成自動升級的過程manager升級其他部件，系統會自己控制每次升級的臺數，從而保證系統始終可用。【在線硬件更換】A、案例編號：012B、案例名稱：在線硬件更換C、案例場景描述：在管理界面中簡單步驟實現一臺機器的替換Dslicestor7slicestorslicestor7approved第二步，確認源機器和目的機器當數據遷移完成后，會顯示對應狀態注意：替換下來的機器需要重新安裝后才可以繼續使用。【在線容量擴容】A、案例編號：013B、案例名稱：存儲池擴容C、案例場景描述：在管理界面中簡單步驟實現存儲池的擴容D、案例實現描述：展示存儲池擴容界面3storagepool，在此僅作功能演示，不作為以后配置參考。點擊右上角“ExpandStoragePool〞擴容存儲總體容量增加，從而獲得兩倍的容量7、系統安全性測試【系統安全測試】A、案例編號：014B、案例名稱：系統安全性測試C、案例場景描述：系統各個環節保障存儲數據安全性D、案例實現描述：加密一共分為兩個層面，一塊是網絡層，包括網絡傳輸〔TLS/SSL/SN