Hadoop大數據開發基礎與案例實戰（微課版）課件 5.7 YARN概述（完）_第1頁
Hadoop大數據開發基礎與案例實戰（微課版）課件 5.7 YARN概述（完）_第2頁
Hadoop大數據開發基礎與案例實戰（微課版）課件 5.7 YARN概述（完）_第3頁
Hadoop大數據開發基礎與案例實戰（微課版）課件 5.7 YARN概述（完）_第4頁
Hadoop大數據開發基礎與案例實戰（微課版）課件 5.7 YARN概述（完）_第5頁
已閱讀5頁，還剩10頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

Hadoop大數據項目開發——

YARN概述目錄content02YARN功能01YARN簡介YARN簡介MapReduce1.0既是一個計算框架，也是一個資源管理調度框架YARN簡介YARN是一個純碎的資源管理調度框架，而不是一個計算框架.MapReduce1.0中的資源管理調度功能，被單獨剝離出來形成了YARN。Hadoop2.0以后YARN簡介被剝離了資源管理調度功能的MapReduce框架就變成了MapRedece2.0，它是運行在YARN之上的一個純碎的計算框架，不再自己負責資源調度管理服務，而是由YARN為其提供資源管理調度服務。YARN簡介YARN是一個純碎的資源調度框架。MapRedece2.0運行在YARN之上的一個純碎的計算框架。YARN簡介YARN是一種新的Hadoop資源管理器；是一個通用資源管理系統；可為上層應用提供統一的資源管理和調度；為集群在利用率、資源統一管理和數據共享等方面帶來了好處。YARN功能ResourceManagerApplicationMasterNodeManagerYARN--ResourceManager的功能ResourceManager功能處理客戶端請求資源分配和調度監控NodeManager啟動ApplicationMaster監控ApplicationMasterYARN--ResourceManager的功能ResourceManager處理客戶端請求啟動pplicationaster負責接受來自ApplicationMaster的應用程序資源請求，把集群中的資源以“容器”的形式分配給提出申請的應用程序，容器的選擇通常會考慮應用程序所要處理的數據的位置，進行就近選擇從而實現“計算向數據靠攏”調度器應用程序管理器負責管理整個系統中所有應用程序，包括應用程序提交、與調度器協商資源以啟動ApplicationMaster、監控ApplicationMaster運行狀態并在失敗時重新啟動它等。YARN--ResourceManager功能容器（container）作為動態資源分配單位，每個容器中都封裝了一定數量的CPU、內存、磁盤等資源，從而限定每個應用程序可以使用的資源量。YARN會為每個任務分配一個容器，且該任務只能使用該容器中封裝的資源。YARN--ApplicationMaster的功能ApplicationMaster為應用程序申請資源，并分配給內部任務；功能2：任務調度、監控和容錯。功能1：YARN--NodeMaster的功能NodeMaster單個節點上的資源管理功能2：處理ResourceManger的命令。功能1：功能3：處理ApplicationMaster的命令。YARN功能YARN的資源管理和執行框架都是按主/從范例實現的——Slave節點管理器（NM）運行、監控每個節點，并向集群的Master資源管理器(RM)報告資源的可用性狀態，資源管理器最終為系統里所有應用分配資源。本章

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論