1、非結構化數據存儲方案一、存儲類型體系：1.1 存儲類型體系結構圖1.2 存儲類型體系描述（1） 塊存儲：將存儲區域劃分為固定大小的小塊，是傳統裸存設備的存儲空間對外暴露方式。塊存儲系統將大量磁盤設備通過SCSI/SAS或FC SAN與存儲服務器連接，服務器直接通過SCSI/SAS或FC協議控制和訪問數據。主要包括DAS和SAN兩種存儲方式。對比如下圖：（2） 分布式文件存儲：文件存儲以標準文件系統接口形式向應用系統提供海量非結構化數據存儲空間。分布式文件系統把分布在局域網內各個計算機上的共享文件夾集合成一個虛擬共享文件夾，將整個分布式文件資源以統一的視圖呈現給用戶。它對用戶和應用程序屏蔽各個節

2、點計算機底層文件系統的差異，提供用戶方便的管理資源的手段和統一的訪問接口。主要包括NAS和HDFS兩種存儲方式。a) 網絡附加存儲NAS結構如圖：b) HDFS分布式文件系統存儲結構如圖：（3） 對象存儲：對象存儲為海量非結構化數據提供Key-Value這種通過鍵-值查找數據文件的存儲模式，提供了基于對象的訪問接口，有效地合并了NAS和SAN的存儲結構優勢，通過高層次的抽象具有NAS的跨平臺共享數據優點，支持直接訪問具有SAN的高性能和交換網絡結構的可伸縮性。主要包括swift和ceph兩種實現形式。a) Swift，OpenStack Object Storage（Swift）是OpenSt

3、ack項目的子項目之一，被稱為對象存儲。它構建在比較便宜的標準硬件存儲基礎設施之上，無需采用RAID（磁盤冗余陣列），通過在軟件層面引入一致性散列技術和數據冗余性，犧牲一定程度的數據一致性來達到高可用性和可伸縮性，支持多租戶模式、容器和對象讀寫操作，適合解決非結構化數據存儲問題。b) ceph，Linux下PB級分布式文件系統，可輕松擴展PB容量，提供了對多種工作負載的高性能和高可靠性。它大致分為四部分：客戶端（數據用戶），元數據服務器（緩存和同步分布式元數據），一個對象存儲集群（包括數據和元數據），以及最后的集群監視器（執行監視功能）。二、非結構化大數據分布式存儲架構非結構化PB級大數據分布

4、式存儲架構，相對于其各自存儲結構及不同應用場景，結合國產化大數據平臺特性，現給出兩種解決方案。第一種是基于OpenStack子項目swift的分布式大數據存儲方案，另一種是基于ceph的分布式大數據存儲方案基于openStack子項目swift的大數據分布式存儲a) Swift集群部署架構圖：b) 實現原理：用戶上傳文件PUT DATA和下載文件GET DATA，分別請求同一個對象。上傳文件時，PUT請求通過負載均衡管理器隨即挑選一臺Proxy Server，將請求轉發給后者，后者通過查詢本地Ring文件，選擇3個不同節點中的后端來存儲文件，然后同時將該文件向這三個存儲節點發送文件。這個過程需要滿足NWR策略，然后給用戶返回寫成功的信息。下載文件時，GET請求也通過負載均衡管理器隨機挑選一臺Proxy Server，后者上的Ring文件查詢到這個文件的存儲節點位置并同時向后端查詢，至少兩個節點“表示”可以提供該文件，然后Proxy Server從中選擇一個節點下載文件。c) 架構關鍵技術說明：Ø Proxy Server：是提供Swift API的服務器進程，負責Swift其余組件間的相互通信。Ø Storage Server：提供了磁