分布式存儲對象存儲概述-文檔資料_第1頁
分布式存儲對象存儲概述-文檔資料_第2頁
分布式存儲對象存儲概述-文檔資料_第3頁
分布式存儲對象存儲概述-文檔資料_第4頁
分布式存儲對象存儲概述-文檔資料_第5頁
已閱讀5頁,還剩27頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、1分布式存儲對象存儲分布式存儲對象存儲-CEPH-CEPH概述概述2分布式存儲對象存儲CEPH3分布式存儲系統分布式存儲系統41.1:1.1:分布式存儲歷程分布式存儲歷程.DAS.DAS用于操作系統和應用程序的本地存儲。缺點: 1對對1,單點,單點 數據無法再服務器之間共享。51.2:1.2:分布式存儲歷程分布式存儲歷程.SAN.SAN 多對多對1。 數據大集中在SAN存儲。缺點: 性能好 橫向擴展 性受限。 不能共享。 成本高61.3:1.3:分布式存儲歷程分布式存儲歷程.NAS.NAS 實現不同服務器之間傳統文件系統數據共享數據共享。 多對多對1。 數據集中。缺點: 多臺服務器不能同時訪問

2、修改,性能有限 橫向擴展 性受限。 成本高71.4: NAS.SAN1.4: NAS.SAN網絡存儲方網絡存儲方式式目前主流的存儲方式目前主流的存儲方式81.5:1.5:分布式存儲歷程分布式存儲歷程. .分布式存儲分布式存儲 性能優越。 擴展性很好。 成本低廉。缺點: 平臺穩定性需要考慮。 技術支持的問題。9個人理解分布式存儲就是多臺橫向連接的計算機同時運行,共同處理完成同一件client的應用工作請求任務。可靈活的增加,或減少節點, 性能優越。 擴展性很好。 成本低廉。1.6:1.6:分布式存儲優勢分布式存儲優勢10對象存儲Object-Based Storage112.1 對象存儲技術 對

3、象存儲是綜合了NAS和SAN的優點,同時具備了SAN直接高速訪問和NAS的數據共享等優勢。 提供了具有高性能,高可用性,跨平臺,以及安全的數據共享的存儲體系結構。122.2 2.2 對象存儲解釋優對象存儲解釋優勢勢對象存儲就是分布式系統,也可理解為依托于分布式存儲架構的一個特性,高級功能1)傳統的塊存儲讀寫快而不利于共享,塊存儲讀寫快而不利于共享,2 2 )文件存儲讀寫慢但利于共享文件存儲讀寫慢但利于共享對象存儲則集成二者優點,是一個利于共享、讀寫快的“云存儲”技術。作為一種分布式存儲,最重要的一點是能解決對非結構化數據快速增長帶來的問題。132.3 2.3 對象存儲結構對象存儲結構14152

4、.4 2.4 對象存儲組件對象存儲組件 對象(Object)包含了文件數據以及相關的屬性信息,可以進行自我管理 OSDOSD(Object-based Storage Device)一個智能設備,OSD 為存儲對象數據的設備, 它是一個智能設備,包括處理器、RAM 內存、網絡接口、存儲介質等以及運行在其中的控制軟件 MDS MDS 元數據服務器(Metadata Server)系統提供元數據、Cache一致性等服務 162.52.5:傳統存儲數據存儲過:傳統存儲數據存儲過程程傳統文件儲存過程。172.62.6:對象存儲數據儲存過:對象存儲數據儲存過程程對象文件儲存過程。182.72.7:Ino

5、des vs Inodes vs Objects Objects 192.8:對象存儲模式用于海量數據存儲的優勢: 高性能數據存儲:訪問節點有獨立的數據通路和元數據訪問通路,可以對多個OSD 進行并行訪問 跨平臺數據共享:由于在對象存儲系統上部署基于對象的分布式文件系統比較容易,所有能夠實現不同平臺下的設備和數據的共享。 可伸縮性:對象存儲模式具有分布式結構的特性。由于OSD 是獨立的智能設備,可以通過增加OSD 數量,使存儲系統的聚合I/O 帶寬、存儲容量和處理能力得到提高,這種平衡擴展模式使得存儲系統能夠具有良好的可伸縮性。202.9:與傳統存儲的對比:存儲接口存儲系統優點缺點塊級存儲塊塊

6、存儲設備S如:AN , 提供高性能的隨機I/O和數據吞吐率可擴展性和可管理性較差、價格較高、不能滿足成千上萬CPU 規模的系統文件儲存文件塊存儲設備文件系統如:NAS, 擴展性好、易于管理、價格便宜開銷高、帶寬低、延遲大,不利于高性能集群中應用對象存儲對象塊存儲設備文件系統定位邏輯應用程序支持高并行性、可伸縮的數據訪問, 管理性好、安全性高、適合高性能集群使用處于發展階段,相應的硬件、軟件支持有待進一步完善21CEPH概述223.1:ceph簡介企業級存儲產品的需求233.2: Ceph可提供:243.3: Ceph架構圖底層Rados - Ceph實現分布式存儲的根本,所有存儲接口都是基于R

7、ados實現的 - Rados本身就是一個對象存儲接口,維護了一個集群集群狀態和實現了數據分發數據分發的要求25l (2)基礎庫librados - 對RADOS進行抽象和封裝,并向上層提供API,以便直接基于RADOS(而不是整個Ceph)進行應用開發l (3)高層應用接口 - 這一層包括了三個部分:RADOS GW(RADOS Gateway)、 RBD(Reliable Block Device)和Ceph FS(Ceph File System),其作用是在librados庫的基礎上提供抽象層次更高的上層接口,分別對應 對象存儲、塊存對象存儲、塊存儲和文件存儲儲和文件存儲。l(4)應用

8、層這一層就是不同場景下對于Ceph各個應用接口的各種應用方式,例如基于librados直接開發的對象存儲應用,基于RADOS GW開發的對象存儲應用,基于RBD實現的云硬盤等等。263.4: 傳統 VS ceph傳統:Ceph:27 - Monitor: 維護集群的成員和狀態(cluster map) ,提供強一致性的決策 - MDS metdata數據服務器 - OSD: 每一個disk、SSD或者RAID group或者其他一個物理存儲設備都成為一個OSD,主要負責存儲和查找對象,并且負責向該對象的復制節點分發和恢復。3.5: Rados組件283.6:Ceph 使用場景舉例-Rados

9、GWlRadosGW位于Librados之上,它主要提供RESTful接口并且兼容S3、Swfit的接口。293.7:S3 使用案例303.8:性能檢測rootcephclient # rados bench -p cephfs_data 10 write -no-cleanupMaintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objectsObject prefix: benchmark_data_cephclient_8322 sec

10、Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 8 16 247 231 115.464 108 0.357958 0.53742 9 16 274 258 114.633 108 0.449163 0.539057 10 16 301 285 113.968 108 0.551572 0.543629Total time run: 10.595630Total writes made: 302Write size: 4194304Object size: 4194304Bandwidth (MB/sec): 114.009Stddev Bandwidth: 41.2795Max bandwidth (MB/sec): 228313.9:ceph 優勢: Ceph是一種為優秀的性能、可靠性和可擴展性而設計的統一的、分布式的

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論