非結構化數據存儲解決方案參考模板_第1頁
非結構化數據存儲解決方案參考模板_第2頁
非結構化數據存儲解決方案參考模板_第3頁
非結構化數據存儲解決方案參考模板_第4頁
非結構化數據存儲解決方案參考模板_第5頁
全文預覽已結束

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

1、1. 非結構化數據存儲在上圖中，描述了非結構化數據存儲架構的基本組成部分，其中：1. 文件存取統一接口，封裝了對數據中心所以非結構化數據的讀寫操作接口。2. Hadoop HDFS 負責對大文件的存儲，以HDFS：為文件協議標準3. HBase 通過維護一張文件表完成對小文件的存儲，以HBase：為文件協議標識1.1文件存取統一接口1.1.1 文件存儲接口對文件進行存儲前，接口根據文件的大小和HDFS文件分塊的配置大小進行比較，當文件超過設定大小時，接口認為該文件是大文件，直接分配到HDFS文件存儲接口進行寫入；否則當文件小與塊大小時，根據系統維護的Hbase小文件存儲通用存儲表進行存儲管理。

2、1 / 51. 對直接存儲到HDFS的文件，則文件路徑以HDFS為中心存儲文件協議頭，文件路徑則根據該文件的業務屬性做完文件的路徑，文件名稱保留原有名稱，例如：HDFS:/aaa/bbb.zip2. 對通過Hbase管理的小文件，則文件路徑以HBASE為中心存儲文件協議頭，文件路徑不需要分文件夾，直接以文件的唯一標識標識即可，例如：HBASE:/uuid1.1.2 文件讀取接口文件讀取時，通過識別URL，確定文件的存儲方式，然后找到對應的存儲接口獲取文件。1.1 Hadoop HDFS存儲接口完成大文件的存儲與讀取接口操作。1.2 Hbase存儲接口文件通用存儲表結構：表存在兩個列簇，defa

3、ult列簇負責存儲基礎屬性信息，用一個單獨的列簇存儲圖片內容。    HBase是采用面向列的存儲模型，按列簇來存儲和處理數據，即同一列簇的數據會連續存儲。HBase在存儲每個列簇時，會以Key-Value的方式來 存儲每行單元格(Cell)中的數據，形成若干數據塊，然后把數據塊保存到HFile中，最后把HFile保存到后臺的HDFS上。由于用單元格 (Cell)存儲圖片小文件的內容，上述存儲數據的過程實際上隱含了把圖片小文件打包的過程。默認情況下，HBase數據塊限制為64KB。由于圖片內容作為單元格(Cell)的值保存，其大小受制于數據塊的大小。在應用中需根據最大圖片大小對HBase數據塊大小進行修改。具體修改方法

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論