大數據與機器學習

第四章HDFS介紹原理介紹HDFS（HadoopDistributedFileSystem），是分布式計算中數據存儲管理的基礎，是基于流數據模式訪問和處理超大文件的需求而開發的，可以運行于廉價的商用服務器上。它所具有的高容錯、高可靠性、高可擴展性、高獲得性、高吞吐率等特征為海量數據提供了不怕故障的存儲，為超大數據集（LargeDataSet）的應用處理帶來了很多便利。原理概述：HDFS將一份數據分成多塊，將多塊數據并分別存儲在三個DataNode節點上，且每個節點上同時備份一塊數據。其中NameNode是存儲元數據的，即告知每塊數據存儲在哪個DataNode上。架構介紹HDFS由四部分組成，HDFSClient、NameNode、DataNode和SecondaryNameNode。HDFS是一個主/從（Master/Slave）體系結構，HDFS集群擁有一個NameNode和一些DataNode。NameNode管理文件系統的元數據，DataNode存儲實際的數據(Block默認64M，Hadoop2.0默認為128M)。NameNode和DataNodeClient:用于管理和訪問HDFS。以及讀取數據和寫入數據讀取數據：需要與NameNode交互獲取文件位置信息寫入數據：將文件分割多個Block，然后存儲到DateNode NameNode：元數據存儲，用來存儲Block文件位置信息。對內存需求很大管理HDFS的名稱空間管理數據塊（Block）映射信息配置副本策略處理客戶端讀寫請求DataNode：實際數據Block存儲的節點，定時向NameNode發送數據存儲信息報告SecondaryNameNode:輔助NameNode，分擔其工作量。定期合并fsimage(元數據鏡像)和fsedits（客戶端對數據增刪改查操作），并推送給NameNode。在緊急情況下，可輔助恢復NameNode。注：并非NameNode的熱備。當NameNode掛掉的時候，它并不能馬上替換NameNode并提供服務Block塊介紹Block塊是磁盤讀取文件時的大小。Chunk是HDFS將文件切割的每份大小。Chunk與Block大小要一致，這樣避免Map程序跨節點讀取文件傳統數據塊存儲與HDFS存儲原理傳統磁盤按照512字節存儲，超過512字節，比如600字節，就會88字節存儲到512字節空間，造成512減去88，即424字節的浪費。而HDFS在Hadoop2.0下默認是128M存儲，其可以將浪費空間自動進行前移操作，減少浪費。HDFS存儲本質減少尋址時間尋址時間占數據讀取時間的1%（底層代碼實時的原理）尋址時間：即磁盤找到Block的時間，10ms毫秒讀取時間：即磁頭寫入數據時間，100M/s讀取時間遠遠大于尋址時間，因此要減少尋址時間數據Block為每秒100M數據，所以按照2的N次方默認大小，即2的6次方為64M，2的7次方128M，正好符合100M每秒存儲。隨著磁盤技術發展，將來會擴展到默認2的8次方，9次方存儲。副本放置策略副本默認是3份，才會有放置策略，如果超過3份，多出來的副本就隨機節點放置，無策略可言。Hadoop2.0放置策略第一副本放置策略：文件在節點本地磁盤，則選擇該節點放置文件在遠程客戶端，則選擇空間較大，傳輸速度快的節點第二副本放置策略：選擇與第一個副本不同的機架上的節點第三副本放置策略：選擇與第二個副本相同的機架上的不同節點Hadoop3.0放置策略第一副本放置策略：同Hadoop2.0一樣第二副本放置策略：選擇與第一個副本相同的機架上的不同節點第三副本放置策略：選擇與第二個副本不同的機架上的相同節點HDFS的三種模式本地模式（調試用）：使用的是本地磁盤偽分布式模式（調試用）：文件系統用的是HDFS分布式模式（生產環境）：ClusterIDNameNode的ClusterID要與DataNode的一致，否則，DataNode啟動不了，原因是NameNode重新格式化了，所以與原來的DataNode的ID不一致了，將新的ID拷貝給DataNode即可?？蛻舳讼騂DFS寫流數據NameNode的元數據管理