Hadoop大數據開發基礎與案例實戰（微課版）課件 4.2HDFS相關概念_第1頁
Hadoop大數據開發基礎與案例實戰（微課版）課件 4.2HDFS相關概念_第2頁
Hadoop大數據開發基礎與案例實戰（微課版）課件 4.2HDFS相關概念_第3頁
Hadoop大數據開發基礎與案例實戰（微課版）課件 4.2HDFS相關概念_第4頁
Hadoop大數據開發基礎與案例實戰（微課版）課件 4.2HDFS相關概念_第5頁
已閱讀5頁，還剩5頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

Hadoop大數據項目開發——HDFS體系結構目錄content02數據節點塊0405第二名稱節點01HDFS體系結構03名稱節點HDFS體系結構HDFS的核心組件是名稱節點（NameNode）和數據節點（DataNode）。它是一個主/從（master/slave）架構的系統，即一個HDFS集群由一個NameNode和若干DataNode組成。其中，名稱節點為主節點，數據節點為從節點。HDFS的體系結構塊的概述Hadoop2.X版本默認的塊大小為128M。塊是HDFS中的最小存儲單位，并且可以自定義大小。塊按實際大小存儲。拆分出來的塊會有它相應的副本。塊的優勢可以存儲任意大小的數據文件，不用再受單個節點磁盤容量大小的限制。簡化了文件存儲子系統的設計，將元數據信息和文件數據信息分開存儲。有利于實現負載均衡并提高集群可靠性。有利于實現分布式文件系統的容錯性。名稱節點概述名稱節點是整個HDFS集群的管家，名稱節點上存儲的元數據信息包括：數據塊到數據節點的映射信息。每個文件由哪些數據塊組成。文件目錄的所有者及其權限。文件名、目錄名及其層級關系。名稱節點的數據結構元數據信息可被持久化到本地磁盤的兩個文件中，分別是元數據鏡像文件（fsimage）和事務日志文件(edits）。fsimage存儲著文件系統的所有命名空間信息。edits存儲著HDFS數據的事務操作日志。名稱節點的數據結構所謂的持久化，就是指把數據保存到可永久保存存儲設備（如磁盤）中。數據節點概述每個數據節點中的數據會被保存在各自節點的本地Linux文件系統中。負責為客戶端或名稱節點提供數據的檢索和讀寫服務，并通過“心跳”定期向名稱節點發送自己的塊列表信息。存儲著HDFS文件的真實數據，負責數據的存儲和讀取第二名稱節點因為事務日志文件（edits）開始比較小，但隨著對數據的不斷修改，事務日志文件（edits）會不斷增大，大到一定程度的時候，又會影響整個系統的功能，由此引入第二名稱節點。1.對元數據鏡像文件（fsimage）和事務日志文件（edits）定期合并，縮短名稱節點（NameNode）的重啟時間，提高系統性能。2.是名稱節點的冷備份，因為名稱節點有可能發生故障。為什么又引入第二名稱節點？第二名稱節點的功能：本節小結負責管理整個文件

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論