e403.hadoop的起源和體系3課件_第1頁
e403.hadoop的起源和體系3課件_第2頁
e403.hadoop的起源和體系3課件_第3頁
e403.hadoop的起源和體系3課件_第4頁
e403.hadoop的起源和體系3課件_第5頁
已閱讀5頁，還剩12頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

基于GreenplumHadoop分布式平臺的大數據解決方案GreenplumHadoop講師：迪倫（北風網)Hadoop的起源和體系(3)Hadoop的架構Hadoop的思想課程目標Hadoop的架構NamenodeHDFS的守護程序紀錄文件是如何分割成數據塊的，以及這些數據塊被存儲到哪些節點上對內存和I/O進行集中管理是個單點，發生故障將使集群崩潰SecondaryNamenode監控HDFS狀態的輔助后臺程序每個集群都有一個與NameNode進行通訊，定期保存HDFS元數據快照當NameNode故障可以作為備用NameNode使用DataNode每臺從服務器都運行一個負責把HDFS數據塊讀寫到本地文件系統JobTracker用于處理作業（用戶提交代碼）的后臺程序決定有哪些文件參與處理，然后切割task并分配節點監控task，重啟失敗的task（于不同的節點）每個集群只有唯一一個JobTracker，位于Master節點TaskTracker位于slave節點上，與datanode結合（代碼與數據一起的原則）管理各自節點上的task（由jobtracker分配）每個節點只有一個tasktracker，但一個tasktracker可以啟動多個JVM，用于并行執行map或reduce任務與jobtracker交互Master與SlaveMaster：Namenode、SecondaryNamenode、Jobtracker。瀏覽器（用于觀看管理界面），其它Hadoop工具Slave：Tasktracker、DatanodeMaster不是唯一的日志分析系統-原有系統架構日志分析系統-客戶問題數據量巨大擴容困難（每日數億日志）。復雜分析模型單機較難運算。可計算的數據量不夠大、覆蓋不夠廣導致結果不準確?，F有系統缺乏自我知識成長。(URL分類)隨之數據量增加查詢性能越來越差數據安全性較低單節點系統穩定性沒有保證前沿的業務需求無法滿足日志分析系統-hadoop解決方案數據分析者面臨的問題數據日趨龐大，無論是入庫和查詢，都出現性能瓶頸用戶的應用和分析結果呈整合趨勢，對實時性和響應時間要求越來越高使用的模型越來越復雜，計算量指數級上升數據分析者期待的解決方案完美解決性能瓶頸，在可見未來不容易出現新瓶頸過去所擁有的技能可以平穩過渡。比如SQL、R轉移平臺的成本有多高？平臺軟硬件成本，再開發成本，技能再培養成本，維護成本Hadoop的思想WhynotHadoop？Java

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論