1、銀行業(yè)對象存儲平臺設計企業(yè)級對象存儲助力銀行企業(yè)精簡存儲架構、提升非結構化數(shù)據(jù)存儲效率精選目錄一、企業(yè)非結構化數(shù)據(jù)存儲的現(xiàn)狀及痛點 3（1 ）現(xiàn)狀 3（2 ）痛點 3二、企業(yè)非結構化數(shù)據(jù)存儲優(yōu)化思路 3（1 ） 采用對象存儲方案思路 4（2 ）對象存儲方案與傳統(tǒng)分布式 NAS 方案的對比及總結 5.三、平臺測試與體驗 6（1 ）測試內(nèi)容 6（3 ）測試過程及結果 61、功能性測試 72、部署靈活性測試 1.4.3 、接口可用性測試 1.6.4 、系統(tǒng)可靠性測試 1.9.5、系統(tǒng)管理性測試 3.2.6、系統(tǒng)可維護性測試 3.6.7、系統(tǒng)安全性測試 4.0.一、企業(yè)非結構化數(shù)據(jù)存儲的現(xiàn)狀及痛點 隨

2、著本行數(shù)字化業(yè)務的持續(xù)開展和監(jiān)管要求的不斷提高，其中影像系統(tǒng)、呼 叫中心系統(tǒng)，以及已經(jīng)上線的后督系統(tǒng)等各類應用系統(tǒng)產(chǎn)生的影像文件、音頻、 視頻等非結構化數(shù)據(jù)急速增加，本行正面臨現(xiàn)有的文件存儲設施不能適應業(yè)務增 長、系統(tǒng)管理復雜、擴展能力差、訪問能力差等問題。因此需要啟動開放式海量非 結構化數(shù)據(jù)的存儲平臺項目，滿足本行海量的非結構化數(shù)據(jù)存儲、讀取、管理需求。（1）現(xiàn)狀目前我行的影像數(shù)據(jù)主要分兩塊，一塊是地市影像數(shù)據(jù)，主要承載著事后督 查業(yè)務，一塊是總行影像數(shù)據(jù)，主要是柜面和信貸的影像數(shù)據(jù)。 11 個地市的影像數(shù) 據(jù)目前分別存放于 11 個 SAN 存儲當中，根據(jù)地市的業(yè)務規(guī)模不一，存儲容量也不

3、一，平均每個SAN存儲約50TB。總行影像數(shù)據(jù)通過存儲分層架構實現(xiàn)在線、近線 和離線數(shù)據(jù)的存儲和隔離。在線存儲存放于閃存（FS900當中，約5T，保存了 近 7 天的影像數(shù)據(jù)，并通過 IBM 的 ECM 客戶端定期遷移至 ECM 系統(tǒng)所在的近線 存儲（DS8870當中，約20T，保存了近30天的影像數(shù)據(jù)，最后再通過TSM備 份軟件每日將近線存儲中的影像數(shù)據(jù)備份至華為（5300V3離線存儲當中，約200TB當信貸或者柜面業(yè)務需要調(diào)取7天的影像數(shù)據(jù)時，直接讀取在線存儲， 調(diào)取 30 天的數(shù)據(jù)時，先通過 ECM 客戶端將 ECM 中數(shù)據(jù)抽取至影像平臺，再傳給 業(yè)務系統(tǒng)，調(diào)取 30 天以上的數(shù)據(jù)時，需

4、先通過 TSM 備份軟件抽取備份的影像數(shù) 據(jù)至ECM系統(tǒng)，再傳給影像平臺，最終傳給相關業(yè)務系統(tǒng)。（ 2 ）痛點此架構通過存儲的分層，不同性能的存儲提供不同的 IO 服務，確實也在項 目上線后的 3 、 4 年內(nèi)，提供了比較高效非結構化數(shù)據(jù)存取能力。然而隨著近兩 年存儲的影像數(shù)據(jù)量的暴增，新增了多類業(yè)務的影像業(yè)務和數(shù)據(jù)，像互聯(lián)網(wǎng)影像數(shù) 據(jù)、手機銀行及人臉識別影像數(shù)據(jù)、銀企業(yè)務影像數(shù)據(jù)等等，這樣就導致影像系統(tǒng) 尤其是 ECM 系統(tǒng)壓力的陡增，目前遇到的痛點主要在于 ECM 系統(tǒng)，無論是近線數(shù) 據(jù)還是離線數(shù)據(jù)，影像數(shù)據(jù)的位置與影像數(shù)據(jù)間的關系等信息均存放于 ECM 數(shù)據(jù)庫 當中，該數(shù)據(jù)庫為聯(lián)機型關系

5、數(shù)據(jù)庫，隨著數(shù)據(jù)量的劇增，ECM數(shù)據(jù)庫的數(shù)據(jù)量已達到近 5TB， 7 天以上的數(shù)據(jù)調(diào)閱均需要訪問先 ECM 數(shù)據(jù)庫，來獲取數(shù)據(jù)位 置，然而目前龐大 ECM 的數(shù)據(jù)庫，并發(fā)讀取性能已經(jīng)越來越不滿足業(yè)務的需求， 因此數(shù)據(jù)調(diào)閱響應時間也越來越長。因此迫切需要對現(xiàn)有影像以及 ECM 的數(shù)據(jù)存儲 架構進行轉型，精簡該存儲架構，全面提升影像數(shù)據(jù)的存儲效率。二、企業(yè)非結構化數(shù)據(jù)存儲優(yōu)化思路鑒于我行目前非結構化數(shù)據(jù)主要存放在 SAN 集中式存儲上，而傳統(tǒng)存儲采 用集中式的元數(shù)據(jù)處理方式，因此，當我行影像系統(tǒng)在處理千萬、億級的文件量 時就會出現(xiàn)陡峭的性能驟降拐點，直接表現(xiàn)就是前端影像平臺處理效率降 低， 柜面、

6、信貸、事后督查等涉及影像的業(yè)務效率的下降，最終導致客戶滿意度的下 降，這顯然不利于我行的健康持久發(fā)展。因此我行需要對現(xiàn)有存儲中的 海量數(shù)據(jù)進行整合、精簡存儲架構，目前非結構化海量數(shù)據(jù)存儲較好的方案主 要有傳統(tǒng)分布式 NAS 方案和對象存儲方案。傳統(tǒng) NAS 存儲方案由于和現(xiàn)有 SAN 存儲方案類似，都是基于文件系統(tǒng)的方案，均為樹形目錄組織結構，隨著數(shù)據(jù) 量的增大，同樣存在文件尋址越來越慢的瓶頸。另外如果將現(xiàn)有 SAN 方案改為 NAS存儲方案，IOPS和IO響應時間還有所降低，尤其是在線儲存目前所用的為 閃存陣列，近線存儲為DS8870,地市后督影像存儲為華為5300V3, NAS方案顯 然不

7、適合對現(xiàn)有架構進行改造，且存在越改越差的情況，并且對NAS存儲的容災備 份方案，依舊是兩套 NAS 鏡像的方式，副本數(shù)較少，備份效率低，數(shù)據(jù)一致性校 驗困難。因此我行在非結構化存儲架構轉型偏向于對象存儲方案。（1） 采用對象存儲方案思路我行期望通過使用分布式對象存儲架構替換傳統(tǒng)的 SAN 存儲架構，能夠解決海 量非結構化數(shù)據(jù)的集中存儲及訪問問題，提升非結構化文件存取效率，解決地市影像和 總行影像存儲單點問題，并盡可能的精簡現(xiàn)有非機構化數(shù)據(jù)的存儲架構。而分布式對象 存儲能夠保證不丟失數(shù)據(jù)、不中斷服務、提供良好的用戶體驗，解決存儲擴容復雜問 題。由于分布式對象存儲采用扁平化的數(shù)據(jù)組織方式，所以目

8、錄架構擴展性強，耦合 性低，增刪節(jié)點時所需遷移的數(shù)據(jù)少。整體而言，在業(yè)務 系統(tǒng)、IT性能以及運維方面 都帶了本質(zhì)的提升。因此利用對象存儲的方案，可以解決我行三個方面的問題：1、精簡非結構化數(shù)據(jù)存儲架構。對總行而言，之前我行的存儲架構為閃存 -DS8870-華為5300V3，三層存儲架構，且存儲和現(xiàn)有生產(chǎn)交易類存儲閃存和 DS8870 共用，一來非結構化數(shù)據(jù)不適合放于 IO 響應時間優(yōu)異的存儲當中，性能浪 費嚴重，占用過多的存儲空間，其他對 IO 響應時間要求較高的交易類系統(tǒng)， 可能 反而得不到高性能的存儲。二來該存儲架構過于冗余，數(shù)據(jù)存儲具有大量遷移過程， 如 7 天以上的數(shù)據(jù)由閃存遷移至 D

9、S8870,30 天以上的數(shù)據(jù)由 DS8870 遷移至 5300V3,歷史數(shù)據(jù)調(diào)閱的過程又反向，雖然均通過 ECM系統(tǒng)和TSM軟件實現(xiàn)該過 程，但效率較低，相當于，存儲性能比較優(yōu)異，但整體數(shù)據(jù)存取效率不高，尤其是歷史 數(shù)據(jù)的存儲方面。對地市分行而言，11 個地市分別部署了一套華為存儲，獨立使 用，數(shù)據(jù)來源于事后監(jiān)督系統(tǒng)通過抽取總行 ECM 的歷史數(shù)據(jù)而來， 數(shù)據(jù)和總行 數(shù)據(jù)重合，卻并不是總行數(shù)據(jù)的副本。而采用對象存儲方案，可以通過總行和地市部 署存儲節(jié)點和訪問節(jié)點的方式，將所有存儲打通成一個大存儲資源池，所有影像數(shù)據(jù) 均放在該存儲池，形成二層精簡架構，所有數(shù)據(jù)的存取，包括柜面、信貸、后督系 統(tǒng)

10、對影像數(shù)據(jù)的存儲，均通過本地的訪問節(jié)點訪問，大大提升了訪問效率。2、提升非結構化數(shù)據(jù)的副本數(shù)和冗余度。相較于現(xiàn)有存儲架構中的單副本 數(shù)據(jù)，由于對象存儲池中的數(shù)據(jù)可劃分為多個副本，且每份影像數(shù)據(jù)也通過切片的 方式分布于所有存儲節(jié)點當中，因此數(shù)據(jù)的冗余度也大大提升，即使某一個或者多 個存儲節(jié)點發(fā)生故障，或者訪問節(jié)點發(fā)生故障，均可以通過其他存儲節(jié)點和訪問節(jié)點 獲取數(shù)據(jù)。3、 提升非結構化數(shù)據(jù)的存取性能。雖然目前的方案中閃存的引入，對于7 天的影像數(shù)據(jù)的存取效率大大提升，但歷史影像數(shù)據(jù)的調(diào)閱性能較差，導致該問 題的一個主要原因在于歷史影像數(shù)據(jù)調(diào)閱需要通過 ECM 客戶端訪問 ECM 系統(tǒng)中的 存儲數(shù)據(jù)

11、，而該訪問的過程首先要讀取 ECM 數(shù)據(jù)庫，獲取存儲數(shù)據(jù)的位置和地址， 才能獲取存儲當中的數(shù)據(jù)，這樣的弊端在于隨著 ECM 數(shù)據(jù)庫中數(shù)據(jù)量的增大， 數(shù)據(jù) 庫訪問效率大大降低， 30 天歷史影像數(shù)據(jù)的調(diào)閱也就越來越慢，無法滿足 柜面及信貸對影像數(shù)據(jù)的需求，至于 30天以上的歷史數(shù)據(jù)就更加如此，除了需 要訪問ECM數(shù)據(jù)庫之外，還需要訪問TSM備份系統(tǒng)，通過TSM備份系統(tǒng)自動將要 調(diào)閱的數(shù)據(jù)恢復至ECM系統(tǒng)中，再上傳給影像平臺，供其他系統(tǒng)調(diào)閱。因此整個過 程實際上耗費了大量時間在數(shù)據(jù)查找和數(shù)據(jù)傳輸上，即使底層存儲采用了 SAN存 儲，性能較對象存儲強，但加上這些時間，總體調(diào)閱時間大大提高。因此倘若采

12、用 了對象存儲，訪問時間就僅僅為對象存儲的尋址時間，沒有其他時間的消耗，這樣性 能也就大大提升。因此，對本行的非結構化數(shù)據(jù)存儲架構的改造而言，采用對象存儲方案是最 優(yōu)的方案。但同時，另一方面，采用對象存儲，也將給我行帶來兩個方面的問題：1、傳統(tǒng)的文件系統(tǒng)讀取的方式將改為對象存儲 API的方式。需要對應用進 行改造，增加接口，修改程序代碼。2、原閃存、DS8870 5300V3中的存儲數(shù)據(jù)需要通過調(diào)閱的方式遷移至對象 存儲當中，涉及的數(shù)據(jù)量較多，耗時較長，且影像系統(tǒng)在數(shù)據(jù)遷移過程中，不能有 中斷現(xiàn)象，遷移時也要對其他業(yè)務系統(tǒng)提供影像服務，因此，整個平滑遷移與過渡 的方案要理清。(2) 對象存儲方

13、案與傳統(tǒng)分布式 NAS方案的對比及總結我行在對非結構化數(shù)據(jù)改造過程中，也考慮過傳統(tǒng) NAS方案，對經(jīng)過對比,發(fā)現(xiàn)傳統(tǒng)NAS方案并不能滿足我們的實際需求，下面一張圖為對象存儲與分布式 NAS方案的對比：分布式文件系找，分布式NA5*力布式對敷優(yōu)無需接口Btiai Z文件斂苣軟少 吋,訪問時勵 道合計算分析性業(yè)1, 靈作系繞天然 支持.沒有兼容性 限制2、無希接口改造屮1. 支持廣域的訪何和驥據(jù)并享丄2. 具備精址化的參版本和高效的雷恃方 案.3. 海區(qū)文件下沒苞目錄層畿設計1訪何 性能更好雖文件訪問接口更豐富.不局浪與數(shù)據(jù) 的IO訪何，可眾更倔平化業(yè)勢舉構t結構文件疑參尋址越慢”2. 般還是揣S

14、AN存?zhèn)颍河布?上仍然沒有完全分 布式化L3、一般部署于計算 嚴勢器上，過塞的牡針對海童交件沒 苞高效的備密方案p九械形的目錄組 織結構文件找參 尋址越變”VWWWWMZ僅限于敗據(jù)中 心內(nèi)訪何r廣域訪 何支持受限4&存儲寫服務器 間的mount罷接 隈制了其共皇性和 鴦更騎接能力口雪要應用劇文件諭問接口的開發(fā)工作査口該圖總結而言，相對于傳統(tǒng)的SAN存和NAS存儲，對象存儲具有以下優(yōu)點:1、降低數(shù)據(jù)存儲成本對象存儲可以使用低廉的 X86 服務器 +對象存儲軟件實現(xiàn)，存儲成本比較低。2、數(shù)據(jù)可用性RAID,當一個RAID磁盤出現(xiàn)故障，系統(tǒng)會慢如蝸牛需要數(shù)小時或數(shù)天來重建陣 列。大多數(shù)對象存儲使用糾

15、刪碼技術存儲數(shù)據(jù)，經(jīng)過合理設施后，可以以較低的副 標數(shù)量保證數(shù)據(jù)的可用性。而數(shù)據(jù)恢復只需要數(shù)分鐘便可以完成，而且數(shù)據(jù)可用性 不會中斷，性能也不會明顯退化。3、大容量和高擴展性 對象存儲系統(tǒng)中，沒有目錄層次結構 （樹） ，對象的存儲位置可以存儲在不同的目 錄路徑中易變檢索。這就使得對象存儲系統(tǒng)可以精準到每個字節(jié)，而且不受文件 （對象）數(shù)量、文件大小和文件系統(tǒng)容量的限制。對象存儲系統(tǒng)可以不需要文件名、日 期和其他文件屬性就可以查找文件。他們還可以使用元數(shù)據(jù)應用服務水平協(xié)議SLA）,路 由協(xié)議，備災和災難恢復，備份和數(shù)據(jù)刪除刪除以及自動存儲管理。這些是文件系統(tǒng) 所不能解決的問題。4、容災備份優(yōu)勢 對

16、象存儲系統(tǒng)如果設計合理，并不需要備份。多個副本可以確保數(shù)據(jù)始終保持可 用狀態(tài)，而且異地災難恢復備份也可以被自動創(chuàng)建。、5、性能優(yōu)勢 利用分布式實現(xiàn)大規(guī)模 I/O 并行讀寫。每個節(jié)點都是獨立的，提供了集群 的切入點，并運行相同的代碼。這使得工作量可以平均分配到集群中的所有節(jié)點 上，避免 NAS 和集群文件系統(tǒng)中常見的熱節(jié)點問題的出現(xiàn)。自動負載均衡可以讓 I/O 自動選擇合理的節(jié)點，保證系統(tǒng)性能最大化。因此，在現(xiàn)有 SAN 存儲架構、傳統(tǒng) NAS 存儲架構方案和對象存儲方案中，我 們最終決定選擇采用對象存儲方案來對現(xiàn)有 SAN 分層存儲架構進行改造。三、平臺測試與體驗為了充分了解對象存儲方案的優(yōu)勢

17、，幫助我們且為了將來更好的利用好對象 存儲，我們采用線上和線下兩種方式對 IBM 的 Cleversafe 對象存儲進行測試， 經(jīng)過充分的測試內(nèi)容、方案的準備和測試中詳盡的過程記錄，發(fā)現(xiàn)這款對象存儲軟 件十分優(yōu)異，下面將整個測試內(nèi)容和測試過程匯總如下：（1）測試內(nèi)容通過對如下內(nèi)容的測試來驗證 IBM Cleversafe 產(chǎn)品是否滿足業(yè)務需求：1、產(chǎn)品基本功能，如對非結構化數(shù)據(jù)的上傳、修改、刪除2、產(chǎn)品的部署可行性和靈活性。包括部署的復雜度，模擬跨站點等場景3、產(chǎn)品的接口可用性性。 和應用系統(tǒng)的對接開發(fā)可行性， 對應用系統(tǒng)的改造 可行性。4、產(chǎn)品的可靠性。是否有完善的性能保障方案，保障系統(tǒng)穩(wěn)定

18、可靠運行。5、產(chǎn)品的易用性。包括圖形化的前端界面，方便日常的維護操作管理。6、產(chǎn)品的可維護性。包括硬件更換，系統(tǒng)升級，監(jiān)控管理和日志管理。（3）測試過程及結果1、功能性測試【產(chǎn)品功能展現(xiàn)】A、 案例編號： 001B、 案例名稱：產(chǎn)品功能的基本展現(xiàn)C、案例場景描述：創(chuàng)建對應的存儲池(storage pool )、訪問池(access)、 庫(vault )。D 案例實現(xiàn)描述：系統(tǒng)初始化完畢后，在管理界面實現(xiàn)對應配置，存儲池選取生 成的六臺slicestor，訪問池選取配置 Cloud Storage鏈接方式，即S3，創(chuàng)建一個IDA為4/5/6的Vault，即讀閾值為4，寫閾值為5，寬度為6。意

19、味著此庫會將寫入的數(shù)據(jù)通過糾刪碼計算為6片，當獲取其中4片時，即完成讀操作，當成功寫入5片時即完成寫操作。此時一個全新的系統(tǒng)，所有由虛機構成，有一臺manager，兩臺accesser，六臺 slicestorj o System卜詢ulUHStorage Pools (D)卜Access Pools(0)J 銚如卄l-亠 My Site(9:J o Devices (9)屮 o Managerf!) 丄人manner4 c A)cce&sr(；2)i i 二鼻 R accessedj c，Slicestor (6J卜事 slicetadL 六 slicestor2h- A si icesto

20、r3i- * slicestar4h- A si itestorSL 、slicestorbStr暉 Enp 恃厝血 PLfeMliwinM EErnrwBE XJe3bm at wlm nf ThavrmmH ar trail IS liD 3|idi.h 令f中l(wèi)w fijhUM mkv ixvkEmm TU 衛(wèi)Wl hH 甩耐吃 GMU W 1奮aw竺皿 3屮啊 VHA創(chuàng)建 access poolhMt IMpKb |V|! *! Q fe2 MftHHn 町曲：f“w r n izj 2T*Mtw 呂iMaWOwpIcYNurL血 *luvLfew葉吟ll *!-憎鞋卑皿iMhMI l

21、 Ln_n I第一個紅框表明此access pool是使用何種API進行調(diào)用訪問 創(chuàng)建庫(vault=bucket)，即邏輯上的存儲空間。第一個紅框即為IDA的配置，第二個紅框是一些可選功能，依次為加密、版 本管理、防刪除，第三個紅框為是否需要S3 header來構建索引。【對象讀寫刪操作】A、案例編號：002B、案例名稱：存儲系統(tǒng)的上傳，下載，刪除C、案例場景描述：通過S3 Browser工具，完成文件的上傳、下載及刪 除D 案例實現(xiàn)描述：通過S3 Browser連接到已經(jīng)創(chuàng)建好的Vault ，上傳一個實 例文件，確認存儲系統(tǒng)對應的空間被消耗，下載此文件，確認可以被訪問后，刪 除此文件。以及

22、用戶權o當vault 創(chuàng)建完成后，需要配置該vault 對應的access pool 限，亦可簡化配置Vault templateS3 Browser中的存儲類型選擇S3兼容存儲，endpoint即為accesserIP （生 產(chǎn)部署后對應的是負載均衡器的服務IP），access key ID 需要在管理界面中生 成獲取，如下截圖：t AccounzAccourtEdtacoaji (teisiEs and click Saxe changesonEiie 唧 PAccount Marre-JXRCCBYoi. fa asignany nRin弓tnyc k icfcurtSecret Acc

23、ess KyS+rirt Accs Kp i： nn found hei hUfis *c r arts auaon c im iH!ii/horift?sr jncrulnri.-lI- Entry pt Access Keys wi:h 3 pos 冬肚時LTurn this oplcnor if you wonl to prefect yuu Access Ktys wi| i a niosrer passwurdI _. IJa sec uiei a rife* (SSL/TLS)IF checked iiH awnmunkfliions 料山加 storage wi I go tvo

24、ugh pnf typreri SSUHS chaTkf-矽 SauothangH0 CarcI匚：心弋I苫eto $qin 十 上pin工on 23弋. StarEigc TypeS3 CoTipatitlc Sicrcgc士!-n j-aa-L- i b*L-lL*l a卓ll 1P ar . m nn JL n-u-i-v i.i-i C CT* j-i.imn n.iivuf 十皆討丁尸呼 yr?ii 罰飛q wort wilh Default value is Amazon S3 StorageRES- EncpontWai222HSnA-ifv S3-rcnnfil API Rnd

25、ooint F nan I? (oiridin storap riacumsnrarnr Fxarnplfi rA$t server comW6CAcxcsd Ke ID7F ICHczS IG 7zs5nfMTcrAi.ctiS- K卻 ID i ai hr foufJ 心 e ! iipsFttiiisule dvm - r dZt h ton 1/1 rri lioi： iv_ctaJerrm第一步：進入security tag，點擊進入需要連接存儲的賬戶（此賬戶可能對應的是某應用或某管理員）Mon florConfigureSecurityMaintenanceAdminHtratio

26、nSystem FingerprintThe fnge匚rintfbr ft唱忌電膽進 白uthcit is.917? 83x7:1Q :O8 raO：3；db:a4:1: be ：9Sb: ?3 :c6 ibStAccounts and GroupsSean 11 resjfts.Slivw FilktsONameUrnmeOf Ac minadminC3 mt第二步：進入特定某用戶，如果已經(jīng)生成密鑰，即可直接拷貝，如果沒有 生成過密鑰，則點擊右邊 Gen erate Key第三步，將此key拷貝配置到S3 Browser中S3 Browser可以查看到對應的vault和執(zhí)行的上傳下載操作。

27、在S3 Browser上完成刪除操作2、部署靈活性測試【多站點部署】A、案例編號：003B、案例名稱：各節(jié)點的靈活部署C、案例場景描述：在管理界面展現(xiàn)各站點機器的部署情況D 案例實現(xiàn)描述：模擬六臺slicestor分布在不同的三個城市的機房，其中accesser、manager在分散在這三個機房中。在系統(tǒng)中邏輯部署成三個站點：九江、萍鄉(xiāng)、南昌，存儲系統(tǒng)可以做到靈活 部署和配置，一方面滿足我行組網(wǎng)需求、一方面提升運維效率。MonitorMaintenanceAdministrationConfigureSecuritySite: AilVaults (1)Storage Pools (1)Acc

28、ess Pools Devices (9Summary3 Devices1 Accessary Device2 SliGstc； Dfe jces0 CabinetDevices at this SiteVaults門Stofaqe Pools (1) iAccess Pools (14Sites h l 3:i i- * 南昌3；L- “蘋鄉(xiāng)(3I Devices 9)Site:南昌Summary3 Devices1 Manager Device0 Ac cesser Device2 SlicestonJ- Devices q CabinetDevices at this Sitejj =

29、mmn日田s 函創(chuàng)it storls幾引忙戢口它3、接口可用性測試【接口對接】A、案例編號：004B、案例名稱：接口調(diào)用及可用性C、案例場景描述：展現(xiàn)具體的S3 API的調(diào)用方式D 案例實現(xiàn)描述： 分別展現(xiàn)S3 Browser和CloudBerry Explore 兩種工具采用S3 API的調(diào)用方式配置對象存儲，以及對應 JAVA語言，采用AWS SDK及Curl的方式如果通過S3 API的方式訪問，其access key 和secret key 的獲取方式已 在測試案例2已經(jīng)描述。S3 Browser的配置界面：o-dx山AJapnoo.ClcudSerry Exp：orer for Ama

30、zon S3 Freeware精選Access Manager (IArJameJXRCCB)Edit S3 CompatFble Storage AccountSpecify ne,v valu亡s for exisng 521 Compa Jble acoourtSe rvioe poin ti153ddFile View Took Sync Folders Compare Fo3der5 AWS Import/ExportRegistered AccountsAc cess key:7FI CHczSIQ 7za SrijMTcrSecret key：二 Use SS

31、LJ Use ridti ve multipart upload (recoaimended)Test Connect onCKCancelCloseJAVA S3 SDK API調(diào)用方式，完成對象PUT及GET的操作fwbllc clastctor privstfString靜 “bH比嚴別燈鼻聲當哥ivzmvvoBQ $private 譏曲讓 Str LIE 5E3 己料E=fmZdrfehDCj j j rPCaBC bl/Septra* . - q-Fv j T -K3t S -.Ug =3elf pprivate vtfltie String- * http-：/IB-0- lJi2

32、214H;publicvpitf raaiTtStrinifl a-Ri)lOESptfXb-m_ t2s- aE37cTh PTQf 1L iC rtUtn tidhir will -fivrii youF (dtf lultrrisn-tisl po-file- b read!frorrcrezenTiaIs fi 1J i-J = rmJLlleit ( - -tier Lia Is) jI-i.etfndsai(FWO 旳胡。string: bu -keiha-re = cewc1-5B (Syatet:-Dut. 3rin七丄 JplcHdriF a nev pi.ctu_e h S

33、3 f rotr 1 z-ca 1 diik string HltW - CAMflHkM. jpe*Pile 訂A iRtw FLUf FUPdttnLPu:少卜，曇G耳R專qiu亡三左- 噲峠 PiuitC:亡ttke：HLs.t4LiL-4=：:l.= 1 1 -百eL也亡仁，iui：|Sjrtt h . mt. pr iqt In (3. grtWl (budMMiiWj, fi 1 r. gvtN4iw( Ji);齒艾豈.空上-二= 二.眈：優(yōu) 9匕：-禺審5a：ib ；況1就即吐二：_：-生：.Uh i匸E6：m尹電i撫 IEL二Syt t m. suit. print Ip (:

34、 ari e n t -T B pe + ek jet: g?tO&jectMe tiHta( ) . getCofltefltType );dT fztS-Trr wf-_ 匸 _*et. FDhirofntert ( Vi;SDKsussnc AV/S srxnc&s in yc-ur a：pplications ULlth an API tallcrpd to your programm-ng lriguaci or platformtAndroidBrowseriosIn-sial Install ”inrstall rscyn iantatiiin DixwmonLearn乂n mc

35、kf # 卄La匆門 nwwJava,NETNode.jsIriSlELE 戶insullJnstai Doc-umentBlion *OMumentHhon ”DocurTflentMionLiearr more *Learri morta- vLearn rrore ”PHPPythonRubyInstall Ins恒l *DocLir&enlsUcn Doc ULntatfon 曲JocumcnmGn *Lm廠 Tvor 旳L&am more -上曠rrore -4、系統(tǒng)可靠性測試【Manager節(jié)點失效】A、案例編號：005B、案例名稱：系統(tǒng)可靠性-manager失效C、案例場景描述：

36、當manager失效時，系統(tǒng)能夠正常運作D 案例實現(xiàn)描述：暫停manager的虛機，通過S3 Browser對存儲系統(tǒng)進行正 常上傳測試所有正常運作的虛機節(jié)點Virtual Machine ManagerFile Edit View HelpName CPU usage localhcst 舊田LIAcceswrlRunningRunningRunning slkestorl Running flkestorZRunning slkestor?RunningUkotor4RunningMkestorSRunning slkestorGRunni ng將 manager shut downtai

37、t/irtual MachineNameCPU usacLocaLhost (QEMU)齊“s班1Runningactesse r2Runningslice stor2Runningslice storJRunningslk&5tDr4RunningeUcq stor5Running5lk*& storeRunningRunningslk-0$torlRunningsik-cstorlS3 Browser中的log 顯示，讀寫操作均正常【Accesser節(jié)點失效】A、案例編號：006B、案例名稱：系統(tǒng)可靠性-accesser失效C、 案例場景描述：當accesser失效時，只要還有在線acce

38、sser，系統(tǒng)就能夠 正常運作D 案例實現(xiàn)描述：暫停兩臺accesser當中的一臺虛機，在CloudBerry 中配 置兩個endpoint的對象存儲，可以看到一個endpoint無法訪問，但是另外 一個en dpoi nt正常使用，并測試文件上傳，以及之前上傳文件的下載關閉 accesserlVirtual Machine ManagerFiLe Edit View Helpen | OQ n7 CPU usage loca(host (QEMLI)siMitofrmanagerPunningslkestorlRunningsL)r&stor3RunningslkestorZRunningR

39、unning00 e0lktor4RunningRunningRunning在CloudBerry中，當兩臺accesser都正常的時候，可以同時讀取vault中 的文件，而當其中一臺accesser失效是，第二臺已經(jīng)可以獲得所有數(shù)據(jù)。失效前：AW-0VMHMWHHfe *4IBIMU? itUr VvIfflBMh bam-MULeIINaAm Bj/MJ I*iwiiii 【Slicestor節(jié)點失效，不同IDA配置】A、案例編號：007B、案例名稱：系統(tǒng)可靠性-slicestor失效，測試不同IDA的系統(tǒng)能力C、 案例場景描述：當slicestor 失效時，在滿足IDA設置的極限值內(nèi)，系

40、統(tǒng)能夠正常運作D案例實現(xiàn)描述：在IDA為4/5/6的情況下，失效一臺可以正常讀寫，失效兩臺可以正常讀，失效三臺系統(tǒng)失效；在IDA為3/4/6的情況下，失效一臺 或兩臺均可正常讀寫，失效三臺可以正常讀，失效四臺系統(tǒng)失效。配置兩種不同的IDA從而觀察當slicestor臺臺失效時，系統(tǒng)的行為。MonitorCcnfigurcSecurityMai n：ie nanceAdminigtralin也Utt： IDA346O 鼻pen All QCID9E AJ|5 /stem 事 V&uhs 111L . gmo- 1-T2 M6:-|-JlCA2；匸.IDA456-truly StorQB IPoo

41、Ie 1) Access Poc-te ；1) (3 -Devices $liold:3常te Thrj-w d4*rtL# 冷 l；耳gpjnrfirfSrf：-419 MEAdditional FeaturesMorilloiCwinunuSecurityMdnuAdinlriiHtJHdonGOVault: IDA45S svilem申 vaults 卜 ri “nw 1 T2 1B - CA34a - rnpty L .34弼*呷如i StWflOfi j ACCQtC POWi |1) SMflESI0”比“ I町Be neralConfiguRtioriYdttir6irresfi

42、oiia；qVAiteThr9&hi3ld5Al-rt LeviSegiT-enl Size.M3N釦W；SI: irsj jr PaoGreat on DaUUIDIDA456斥二口匚艮門cl2O16-11-2S J&49D4 GMT6Td15J-?S.?5-12- 乂刁-芝兀2fbS3：3：AddirinnlVirtual Machine ManagerFiLe Edit View Help士i I. OpenName7 CPU usage LcicaLtiost (QEMU)Runningaccess rZRunningsUtestorlShutoffElkestorSm ruger口

43、unningcces&erlRunningslice stor3Runningslke-st&r4RunningslkestorSRunningslkestDiURunning讀操作正常，可以看到所有vault當中的文件，寫操作正常，可以新添加圖片 當兩臺slicestor失效時：Virtual Machine ManagerFiLe Edit View/ HelpNamevu v CPU l oca l he 51 (QEMU)accesserlRunningRunning耐 nagRurinrigslko&torlShUoffELkstor2sLhz&stor?Shutoff良 urini

44、ngRunning| 卜slkestor5Running=Ucq 或ordRunning，讀正常，可以展示之前所有的IDA456已經(jīng)無法寫入，報in ternal error圖片。而IDA346則讀寫正常wbf J!R *n.BjL Ff-171當三個節(jié)點失效時:Virtual Machine ManagerCPU usageNamelocalhost (QEMU)acresserlRuiningiccesMrZRuiintrigFSurinng sLk&storlShs-Ti -r當四個節(jié)點失效時，IDA456和IDA346的vault 都無法正常讀寫0 CtaMdP*KJi 1 I r l

45、aa-dLUi 旨0Tiwk吒 gM QoydxiM 耳取4 Repcxt WttsTp Mte葉weBetvciUr EMoup Ma# !-【掃描和重構】A、案例編號：008B、案例名稱：系統(tǒng)后臺掃描及重構的驗證C、案例場景描述：正常寫入某對象文件，強行進入后臺破壞某slicestor 數(shù)據(jù), 通過Rebuild方式獲取原數(shù)據(jù)D 案例實現(xiàn)描述：在IDA為4/5/6的桶下，寫入部分數(shù)據(jù)，在某臺slicestor 中找到對應的數(shù)據(jù)盤，刪除上面的切片數(shù)據(jù)，監(jiān)控管理界面的Rebuild 程序, 當發(fā)現(xiàn)Rebuild完成后，暫停另外兩部沒有改動的機器，測試讀取剛剛寫入 的文件，從而驗證剛剛壞損的數(shù)據(jù)

46、獲得Rebuild 。在未寫入數(shù)據(jù)時，先使用root權限，進入slicestor6，查到到最底層， 無切片數(shù)據(jù)。從CloudBerry工具也是零數(shù)據(jù)(2si 1lsiurb: n cd /iihjlsi/s.ord/031 i ceswrG:網(wǎng) 15I 03.I Iceswrb:rt cd /iiEdla/sronatc/-f334e3cc-3f i-deEe-b5h,0-c&i46d6Z8b62/DtlJect/YKEQF00Lb4E7h6LeQaLit1uC/| tji Accl -* 舅 IMy ComputerSource:知 otTcatCDisQlDAtSG 2.let HTTP

47、HsaderE 1 lIty Report | J Upload RliIk專| 曲1Cmpy 孚 Maue估 Web URL5iw-Nnn?-vT當寫入一個9.1MB的文件時，我們可以發(fā)現(xiàn)有三個切片文件出現(xiàn)，按照每4MB個切段的原理，因此一臺slicestor會存有3個切段數(shù)據(jù)的六分之一的切片數(shù)據(jù)，如下截圖iS My ComputerSourix;LJAccl 1* Wt h TatC33c3IDft152輪Copy a Mzvt l*r Q少 Nz JR_3 *t HTTP Headkre I Capatify ReportE Upload RuIqg *Sa:Dete Mchdfia:TwetFlCtajJEferyEYplrpr=t：il_.M. 7 j.9-irwJT6/lV3a 15：3?： ：5FlQ5tandard在第三塊磁盤中找到切片數(shù)據(jù)ia lcestorfe：訐-1 1 - . _ J _ 一 .# 1S一sllcestor3：* cd e792bl7d-&z)31 42-f-SO53-fOGfiea?a/3bJect/YK5QFOOih4E7N&LGaawFXiu