2023學年完整公開課版HDFS架構_第1頁
2023學年完整公開課版HDFS架構_第2頁
2023學年完整公開課版HDFS架構_第3頁
2023學年完整公開課版HDFS架構_第4頁
2023學年完整公開課版HDFS架構_第5頁
已閱讀5頁,還剩6頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

HDFS架構目錄一、HDFS架構圖二、NameNode三、SecondaryNameNode四、DataNode五、Hearbeats六、Block塊七、Client客戶端一、HDFS架構圖

HDFS的架構是較為經典的主/從架構,在架構圖中NameNode是主節點,DataNode是從節點,HDFSClient是客戶端、HDFS提供了比較豐富的客戶端像cli、api、gui等等支持,SecondaryNameNode作為輔助NameNode工作的一個輔助節點。HDFS架構圖二、NameNode首先是NameNode,它是HDFS主從架構當中的主節點,其實主要負責接受客戶端提交過來的讀寫請求、以及一些類似管理的工作,比如說,數據存到HDFS當中每個文件都會對應一份元數據信息,這些元數據信息都是存放在NameNode的內存當中、由NameNode來進行維護。NameNode三、SecondaryNameNode

SecondaryNameNode,屬于NameNode的輔助結點,主要幫助NameNode完成元數據文件的合并處理工作,HDFS當中元數據持久化文件包含了fsimage、edits兩種,在HDFS運行過程當中需要對這兩種文件進行合并操作,這項工作就是由SecondaryNameNode來完成。SecondaryNameNode四、DataNode

DataNode,他作為一個從節點出現,主要負責數據的存放。數據文件寫入到HDFS當中會切分為小的數據塊block,這些數據塊會存放在DataNode節點上。在一個HDFS集群當中DataNode結點可以有任意多臺,當然要根據你文件系統的數據量來確定,并且后期如果容量不足的情況下,也支持DataNode結點動態添加、擴容。DataNode五、Hearbeats

NameNode與DataNode之間的連線,DataNode在運行過程當中一直會和NameNode結點保持通信。一方面,在DataNode啟動時,會給NameNode上報自己服務器上有哪些數據塊、也就是block的位置存放信息,NameNode接收到這些block位置信息會維護好一份完整的元數據信息,從而找到具體數據存放在哪些DataNode上;另一方面,運行過程當中,DataNode會每隔3秒定時和NameNode做一次心跳,從而NameNode可以知道DataNode的運行狀況。Hearbeats六、Block塊

Block數據塊是HDFS最小存儲單元,文件寫入HDFS時會被切分成若干個Block,默認為128M,且備份3個副本。Block塊七、Client客戶端

Client是客戶端,包括文件切分,并與NameNode和DataNode進行交互,從NameNode獲取元數據信息,向DataNode交互進行數據的讀取或寫入。Client客戶端習題:1、請簡要描述HDFS的架構設計?2、

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論