主講：朱佳目錄0102機架感知策略配置并使用機架感知策略機架感知策略1機架感知策略

HDFS和YARN都支持機架感知策略(實際上是對交換機的感知)，即集群中的節點都有彼此相對的位置這樣一個概念。HDFS利用機架感知策略，確保將一個數據塊復制到不同機架來實現容錯的目的。這樣，如果網絡被關閉或者整個機架下架，仍然能夠對數據進行訪問。ResourceManager利用機架感知策略優化資源的分配，使客戶端盡可能訪問距離最近的數據。NameNode和ResourceManager守護進程通過調用API(將DNS映射到機架ID)的方式獲取機架信息。機架感知策略

注意：在默認三副本備份的情況下，數據塊一般存儲在兩個機架而非三個機架上，這在讀取數據時，能夠減少網絡帶寬占用。將Hadoop集群中的節點安排到多個機架是很常見的。默認情況下，即使集群中的節點實際分屬多個機架，Hadoop也會假定所有節點都屬于同一機架Hadoop利用機架感知策略，配置不同的機架幫助實現集群的冗余性。因為同一機架節點間的網絡流量相比于不同機架上節點之間的網絡流量少，因此配置多個機架是有益的。如果配置了多個機架,NameNode會嘗試將數據復制到多個機架，從而提供更高的容錯性。配置并使用機架感知策略2配置并使用機架感知策略Hadoop提供了topology.py腳本用來幫助配置集群的機架感知策略。Hadoop集群通過這個腳本確定節點在機架的位置。該腳本使用一個基于文本的控制文件，可以通過編輯該文件添加集群中節點信息(IP地址)。執行topology.py腳本時，Hadoop會根據機架信息文件中提供的IP地址得到一份機架名稱列表。為了讓機架感知策略生效，需要在core-site.xml文件中進行如下配置:<property><name></name><value>/etc/hadoop/conf/topology.py</value></property>配置并使用機架感知策略下面是一個topology.py腳本的樣例:importsysDEFAULT_RACK="/prod/default-rack"HOST_RACK_FILE="/etc/hadoop/conf/host-rack.map"host_rack={}forlineinopen(HOST_RACK_FILE): (host,rack)=line.split()host_rack[host]=rackforhostinsys.argv[1:]:ifhostinhost_rack: printhost_rack[host]else:printDEFAULT_RACK配置并使用機架感知策略默認情況下，集群中的每-一個機架都有相同的機架ID一defaultrack.也就是說，如果不設置參數，Hadoop將為集群中所有節點返回一個默認值:/default-rack。如果Hadoop管理員配置了topology.py腳本，每個節點都會通過這個腳本找出它自己的機架ID。如下所示:60,/rack061,/rack062,/rack063,/rack064,/rack0365,/rack03配置并使用機架感知策略也可以執行dfsadmin-printTopology命令訪問集群的機架信息，如下所示:$hdfsdfsadmin-printTopology在小的集群體系架構下，所有的集群節點都位于一個機架上。在這種情況下，很容易確定位置——一個節點要么在本機上，要么在其他機器上。Hadoop不均勻地將文件副本分配在集群的機架上。當上傳新的數據到HDFS時，會在當前機架的DataNode上放一個副本，第二個副本放在遠程機架的一個節點上，第三個副本放在遠程機架的一個不同節點上(在默認三備份的情況下):三分之一的副本將被寫入一個節點。三分之二的副本將被寫入一個機架三分之一的副本均勻地分布在其他機架上。配置并使用機架感知策略這樣做的目的是通過減少機架間的寫入來提升寫入性能。相比于一個節點，失去整個機架的可能性要低很多。通過將數據放在兩個獨立的機架上而不是三個，可以減小讀數據時的網絡帶寬。此外，不管副本放置在哪里，如果交換機不工作，那