云環境下的分布式存儲技術

內容1軟件定義存儲技術的發展2分布式存儲技術VSAN介紹

存儲形態的變化2服務器直連存儲25年之前服務器直連外部存儲5年以前現在服務器直連外部存儲云存儲變化的驅動力：服務器閃存多核CPU虛擬化普及云經濟數據增長IT基礎架構邁向ServerSAN和超融合架構Source:IDCHyperconvergedSystems2015-2019ForecastTraditional

SAN/NASCAGR1:-17.8%1WikibonServerSANResearchProject2014EnterpriseServerSANCAGR1:44.2%60%CAGR

軟件定義的存儲–ServerSAN計算與存儲的融合4當今SSDFCSATASSDFCSATASSDFCSATAFlashHotEdgeColdCore未來一切以計算為核心與CPU/Memory捆綁低延時通過虛擬化層訪問虛擬化存儲閃存主宰性能以提供容量為核心白牌設備彈性，跨地域同時提供文件/對象訪問擴展到云CloudObjectStorage什么是軟件定義存儲？

?軟件定義的存儲：是將工業標準服務器的存儲提供出來并通過軟件控制層面實現存儲的自動化和池化。它將存儲的置備和管理的方法簡化到了極致，并利用工業標準服務器的存儲大大降低了成本。?軟件定義的存儲產品：是一個將硬件抽象化的解決方案，它使你可以輕松地將所有資源池化并通過一個友好的用戶界面（UI）或API來提供給消費者。一個軟件定義的存儲的解決方案使得你可以在不增加任何工作量的情況下進行縱向擴展（Scale-Up）或橫向擴展（Scale-Out）軟件定義存儲是云數據中心的重要組成部分軟件定義的存儲–

特點7目前的方式軟件定義的存儲Object-basedPoolSAN/NASPoolHypervisorConvergedPoolLUNArrayALUNLUNArrayBLUNLUN抽象與池化以虛擬機為核心的自動化SLA設定以虛擬機為粒度的數據服務SAN/NASx86ServersCloudObjectStorage虛擬化層ReplicationSnapshots虛擬SAN虛擬存儲卷軟件定義存儲的分布式擴展性8縱向擴展添加更多磁盤IOPS容量

XXTBXXXTBXXPB橫向擴展添加更多節點

分布式可擴展性：彈性

–按需伸縮粒度

–添加單個節點或磁盤無干擾–無應用程序停機簡單且全自動可預測避免復雜預測以及前期大量投資軟件定義存儲分類：控制平面

+數據平面

控制平面是關鍵根據不同的工作負載來動態分配存儲資源。Hypervisor/OS，或者云管理軟件具有優勢。軟件定義存儲的分類

(存儲資源由軟件來自動控制，即存儲策略驅動)

DataPlane(數據平面)

1）基于商用的硬件包括了IDC分類中VirtualStorageAppliance（簡稱VSA）和PhysicalStorageAppliance（簡稱PSA）兩類。

ServerSAN/HCI里有：

VMware

VSAN或

EVO:RAIL、

EMCScaleIO、

DELLFluidCache、HPStorVirtual、RedHatInktankCeph、MicrosoftStorageSpaces、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等；國內有：華為FusionStorage、華云網際、達沃時代、XSKY(Ceph)、大道云行SSAN、志凌海納SmartX、BigTera、深信服aSAN；開源的有OpenvStorage（類似Nutanix架構）；在ServerSAN里，非超融合架構（也即不提供計算資源）的有：主要是分布式文件系統，如GPFS、Lustre、Panasas等；其他SDS有：飛康、DataCore、Nexenta、國內的InfoCore(信核)等，還有其他支持SolarisZFS的存儲；另外還有開源的FreeNAS、NAS4Free等10軟件定義存儲的分類

(存儲資源由軟件來自動控制，也即存儲策略驅動)

DataPlane(數據平面)（續）2）傳統的SAN/NAS（ExternalStorage）支持SPBM(如VirtualVolumes)，或者OpenStackCinder的傳統外置磁盤陣列3）Cloud/ObjectStorage做為DataPlane的組成部分，實際上是以后端存儲的身份為VM/App提供存儲資源的。私有云和公有云之間，能在存儲級別，實現存儲的備份、歸檔和容災。運行在公有云之上的VSA，即可與本地存儲建立數據交換。

如：NetApp的CloudONTAP、SoftNAS、Zadara等ControlPlane(控制平面)1）VMwareSPBM；2）OpenStackCinder；3）EMCViPR；4）ProphetStor（希智）的Federator；未來幾年內，會有越來越多的數據平面(DataPlane)的存儲產品，向控制平面開放API，支持存儲策略驅動。11傳統共享存儲陣列的時代SSD出現之前，CPU發展速度是磁盤的幾十萬倍軟件定義存儲的發展：過去、現在和未來

SSD和高速網絡的出現，改變了存儲的游戲規則–未來的主流是分布式分布式存儲，數據靠近計算，延時更短！性能更高！傳統外置磁盤陣列一個I/O落到盤上，要經歷多個環節，延時在毫秒以上；而SSD內置在服務器里，延時在亞毫秒(也即0.1ms)級別2014年04月30日,SanDisk發布世界上第一款4TBSSD；2015年3月，SanDisk推出的InfiniFlash，單卡容量達8TB的閃存卡（64個）；2015年08月11日,三星在閃存峰會上公布世界容量最大的2.5英寸硬盤：16TBSSDPM1633a。相比之下，希捷或西部數據制造的容量最大的機械硬盤只有8TB或10TB軟件定義存儲的現在軟件定義存儲的未來：

ServerSAN(軟件定義存儲中最大組成部分)預計5年左右，ServerSAN(SDS中主要的種類)，將占據整個全球存儲市場份額的半壁江山！2.TheRiseofServerSAN,Jul16,2015Source:/wiki/v/The_Rise_of_Server_SAN企業級ServerSAN預計達44.2的年復合增長率；2021年企業級ServerSAN將是傳統外置磁盤陣列的1.24倍。

分布式存儲VSAN

技術介紹VSAN是：內嵌在vSphere內核的分布式的對象存儲聚合了虛擬化管理程序的極其簡單的虛擬機存儲

vSphere

+

Virtual

SAN...軟件定義的存儲針對虛擬機進行了優化超融合體系架構（分布式，橫向和縱向擴展）可在任何標準x86服務器上運行將

HDD/SSD池化為共享數據存儲提供企業級的可擴展性和性能基于策略的自動化，滿足SLA，可按虛機甚至vmdk級別的顆粒度設置存儲策略與VMware產品體系深度集成概述硬盤SSD硬盤SSD硬盤SSDVSAN數據存儲用來取代vSphere后端的傳統外置磁盤陣列存儲策略向導SPBMVSAN對象VSAN對象

管理器虛擬磁盤(vmdk)VSAN對象可能(1)跨主機進行鏡像，以及(2)跨磁盤磁盤/磁盤組/主機進行條帶以符合虛擬機存儲配置文件策略數據存儲配置文件存儲策略決定服務級別（包括確定數據如何布局）從上至下，圍繞著業務/虛機為中心每個虛機甚至每個vmdk在置備時都可配置各自的個性化QoS的屬性。用戶以策略的形式指定所需設置，然后VSAN會自動決定如何在集群中為每個vmdk分配存儲資源，以滿足用戶的QoS需求共享存儲生產集群冗余交換機管理集群傳統方式虛擬化資源池環境存儲單點故障風險容量和性能無法同步擴展存儲維護配置復雜傳統存儲的局限性NAS

VSAN相對于傳統存儲方案的優勢更簡單內嵌于vSphere,無需安裝虛擬機存儲策略驅動，不再需要存儲設備上的操作和虛擬化單一界面管理，維護更方便更快速通過SSD緩存加速技術，IO性能大幅提升分布式彈性擴展，節點內垂直擴展，容量和性能線性擴展更可靠分布式存儲架構，節點冗余技術，消除存儲單點故障風險更高效融合部署，提升資源利用率最短存儲路徑，虛擬機感知的虛擬化存儲池適合投資保護與未來發展降低外部存儲的配置成本互聯網存儲模式，符合未來數據中心虛擬化

的發展方向需要操作傳統存儲VSANRaid組創建LUN劃分ZoningLUNMasking/Mapping多路徑軟件安裝配置DiskGroup創建存儲策略創建VM存儲策略選擇虛擬機存儲配置方式比較人工操作VS自動化策略物理主機vSphere采用VirtualSANvSphere的物理主機vSphere采用VirtualSANvSphere的物理主機vSphere采用VirtualSANvSphere的

VirtualSAN數據

存儲集群VirtualSAN-從根本上簡化存儲

物理主機物理主機物理主機VirtualSAN-利用緩存提升性能

所有虛擬機I/O均指向SSD。寫入內容稍后會轉儲到HDD。如果請求的讀取數據塊不在緩存中，會將該請求定向到HDD硬盤SSDvSphereVSANVSAN數據存儲12寫入(30%)硬盤SSDvSphereVSANVSAN數據存儲12讀取(70%)物理主機物理主機物理主機VirtualSAN

-可用性與性能

虛擬機存儲對象(主目錄、VMDK、增量、交換)可以分布在VSAN集群中的多個主機和磁盤內。虛擬機可以使用復制副本提供可用性，或使用條帶提供HDD性能硬盤硬盤SSDSSD硬盤SSD虛擬機1的副本與條帶虛擬機2的副本與條帶vSphereVSAN2…64物理主機vSphere采用VirtualSANvSphere的物理主機vSphere采用VirtualSANvSphere的物理主機vSphere采用VirtualSANvSphere的VM

VirtualSAN數據

存儲集群VirtualSAN

-恢復能力極強

物理主機物理主機物理主機通過虛擬機的存儲策略實現存儲自動分配

按照存儲策略為虛擬機調配存儲資源。策略在創建后便向下發送到VSAN，然后按照策略中的功能實例化虛擬機對象。借助VSAN，單個數據存儲現在可以針對各個虛擬機或各個虛擬磁盤強制實施不同的服務質量(QoS)級別。VSAN數據存儲白銀級可用性=x性能=y容量

=

z虛擬機存儲策略白銀級黃金級青銅級物理主機物理主機物理主機按需定制存儲策略

每個對象的磁盤條帶數Numberofdiskstripesperobject存儲對象的各個副本所跨的HDD數量。用于改善性能，缺省為1，最大12。允許的故障次數Numberoffailurestotolerate定義存儲對象能夠允許的主機、網絡和/或磁盤的故障次數。可用性保障，缺省為1，最大為3。對象空間預留Objectspacereservation應預留的存儲對象(包括快照)邏輯大小百分比(厚配置)。閃存讀取緩存預留Flashreadcachereservation預留閃存容量，作為存儲對象的讀取緩存。用于提升性能，缺省為0，最大100%。強制調配Forceprovisioning在數據存儲不能滿足資源時是否進行調配。白銀級可用性=x性能=y容量

=

z虛擬機存儲策略物理主機物理主機物理主機簡化存儲變更操作，提升效率

傳統方式將虛擬機從數據存儲遷移走；卸載LUN/卷；創建新的LUN/卷以滿足虛擬機對存儲需求的變化；如果是塊設備，使用VMFS格式化LUN；將虛擬機遷移到新的數據存儲。VSAN編輯或創建新的存儲策略；將存儲策略應用到虛擬機。vs.ScaleUPAddmoreDisksIOPSCapacity40TB400TB4.4PBScaleOUTAddmorenodes彈性

按需增減顆粒度

單節點或磁盤非破壞性

業務不中斷VSAN可以根據性能和容量需求進行線性擴展27分布式存儲SAN6.0性能參數28Hosts/Cluster326464VMs/Cluster320064006400VMs/Host100200200IOPS/Host20K40K100KSnapshotdepths23232VMDKSize2TB62TB62TBVirtualSAN5.5VirtualSAN6.0混合VirtualSAN6.0全閃存分布式存儲VSAN其它特性29第4代VirtualSAN具有重要的新功能特性企業就緒支持IPv6網絡軟件校驗和（SoftwareChecksum）增強的Horizon集成已經過SAP測試且已就緒適用于VMwarePhoton的VSAN技術預覽版極其簡單QoS（IOPS限制值）性能監控和容量監控HealthCheck集成到vSphereWebClient內最低成本去重

壓縮糾刪碼ClientCache和SparseSwap$特性一和特性二：去重和壓縮（提高空間效率）支持全閃存按照磁盤組的級別，實現近線的去重和壓縮叫做“提高空間效率”磁盤組越大，去重比率越高去重和壓縮在集群級別激活當數據從緩存層De-staging（刷新）到持久化層時實現去重，在去重后實現壓縮去重在緩存寫確認后執行固定大小的塊去重

(4KB數據塊)在VSANStretchedCluster和ROBO方式下也支持去重和壓縮30Betaesxi-01esxi-02esxi-03vmdkvmdkvSphere&VirtualSANvmdkAllFlashOnly特性三糾刪碼：RAID-5ErasureCoding

“FTT=1”高可用性RAID-53+1(最少4臺主機，并非4的倍數，而是4臺或更多即可)1.33倍的開銷，以往的開銷是兩倍以往20GB數據消耗40GB空間,現在約為27GB可以實現在vmdk的顆粒度上，在VMwareSPBM（基于存儲策略的管理）里設置不支持VSANStretchedClusterRAID-5ESXiHostparitydatadatadataAllFlashOnlyESXiHostdataparitydatadataESXiHostdatadataparitydataESXiHostdatadatadata