數(shù)據(jù)冗余存儲(chǔ)2學(xué)習(xí)任務(wù)初步了解HDFS數(shù)據(jù)冗余存儲(chǔ)熟悉HDFS數(shù)據(jù)存儲(chǔ)的優(yōu)缺點(diǎn)3知識(shí)目標(biāo)什么是數(shù)據(jù)冗余存儲(chǔ)結(jié)合HDFS說明數(shù)據(jù)冗余存儲(chǔ)了解HDFS數(shù)據(jù)存儲(chǔ)的優(yōu)缺點(diǎn)01能力目標(biāo)能夠掌握數(shù)據(jù)冗余存儲(chǔ)的基本概念針對(duì)HDFS存儲(chǔ)優(yōu)缺點(diǎn)加深理解02學(xué)習(xí)目標(biāo)4目錄01數(shù)據(jù)冗余簡(jiǎn)介02HDFS的數(shù)據(jù)冗余存儲(chǔ)簡(jiǎn)介03HDFS數(shù)據(jù)存儲(chǔ)優(yōu)點(diǎn)04HDFS數(shù)據(jù)存儲(chǔ)缺點(diǎn)5數(shù)據(jù)冗余簡(jiǎn)介數(shù)據(jù)冗余是指數(shù)據(jù)之間的重復(fù)，也可以說是同一數(shù)據(jù)存儲(chǔ)在不同數(shù)據(jù)文件中的現(xiàn)象。可以說增加數(shù)據(jù)的獨(dú)立性和減少數(shù)據(jù)冗余是企業(yè)范圍信息資源管理和大規(guī)模信息系統(tǒng)獲得成功的前提條件。6HDFS的數(shù)據(jù)冗余存儲(chǔ)簡(jiǎn)介HDFS是一種高度分布的多層次結(jié)構(gòu)布局。典型的HDFS集群是由數(shù)百個(gè)服務(wù)器被同時(shí)部署在同一個(gè)集群之中，并且可以同時(shí)被來自同一或者不同地點(diǎn)的多個(gè)客戶機(jī)進(jìn)行訪問。概述7HDFS的數(shù)據(jù)冗余存儲(chǔ)簡(jiǎn)介為了實(shí)現(xiàn)這兩個(gè)目的，僅僅在多臺(tái)機(jī)器上進(jìn)行單一存儲(chǔ)是不夠的，并不能預(yù)防硬件設(shè)備失誤帶來的損失。因此而采用的是多副本存儲(chǔ)復(fù)制。概述8HDFS數(shù)據(jù)存儲(chǔ)優(yōu)點(diǎn)數(shù)據(jù)自動(dòng)保存多個(gè)副本。它通過增加副本的形式，提高容錯(cuò)性。某一個(gè)副本丟失以后，可以自動(dòng)恢復(fù)，這是由HDFS內(nèi)部機(jī)制實(shí)現(xiàn)的，我們不必關(guān)心。高容錯(cuò)性9HDFS數(shù)據(jù)存儲(chǔ)優(yōu)點(diǎn)它是通過移動(dòng)計(jì)算而不是移動(dòng)數(shù)據(jù)。它會(huì)把數(shù)據(jù)位置暴露給計(jì)算框架。適合批處理10HDFS數(shù)據(jù)存儲(chǔ)優(yōu)點(diǎn)數(shù)據(jù)規(guī)模：能夠處理數(shù)據(jù)規(guī)模達(dá)到

GB、TB、甚至PB級(jí)別的數(shù)據(jù)。文件規(guī)模：能夠處理百萬(wàn)規(guī)模以上的文件數(shù)量，數(shù)量相當(dāng)之大。節(jié)點(diǎn)規(guī)模：能夠處理10K節(jié)點(diǎn)的規(guī)模。適合大數(shù)據(jù)處理11HDFS數(shù)據(jù)存儲(chǔ)優(yōu)點(diǎn)一次寫入，多次讀取，不能修改，只能追加。它能保證數(shù)據(jù)的一致性。流式數(shù)據(jù)訪問12HDFS數(shù)據(jù)存儲(chǔ)優(yōu)點(diǎn)它通過多副本機(jī)制，提高可靠性。它提供了容錯(cuò)和恢復(fù)機(jī)制。比如某一個(gè)副本丟失，可以通過其它副本來恢復(fù)。可構(gòu)建在廉價(jià)機(jī)器上13HDFS數(shù)據(jù)存儲(chǔ)缺點(diǎn)比如毫秒級(jí)的來存儲(chǔ)數(shù)據(jù)，這是不行的，它做不到。它適合高吞吐率的場(chǎng)景，就是在某一時(shí)間內(nèi)寫入大量的數(shù)據(jù)。但是它在低延時(shí)的情況下是不行的，比如毫秒級(jí)以內(nèi)讀取數(shù)據(jù)，這樣它是很難做到的。不適合低延時(shí)數(shù)據(jù)訪問14HDFS數(shù)據(jù)存儲(chǔ)缺點(diǎn)存儲(chǔ)大量小文件的話，它會(huì)占用NameNode大量的內(nèi)存來存儲(chǔ)文件、目錄和塊信息。這樣是不可取的，因?yàn)镹ameNode的內(nèi)存總是有限的。小文件存儲(chǔ)的尋道時(shí)間會(huì)超過讀取時(shí)間，它違反了HDFS的設(shè)計(jì)目標(biāo)。無(wú)法高效的對(duì)大量小文件進(jìn)行存儲(chǔ)15HDFS數(shù)據(jù)存儲(chǔ)缺點(diǎn)一個(gè)文件只能有一個(gè)寫，不允許多個(gè)線程同時(shí)寫。僅支持?jǐn)?shù)據(jù)

append（追加），不支持文件的隨機(jī)修