基于Hadoop平臺的并行編程實踐李東秀內容介紹熟悉hadoop配置環境搭建實驗平臺編寫（矩陣相乘）運算的map，reduce函數在hadoop實驗平臺上實現配置計算環境：1個Master、3個Slave的Hadoop集群Apache軟件基金會下的一個開源分布式計算平臺以Hadoop的HDFS和MapReduce為核心的Hadoop為用戶提供了系統底層細節透明的分布式基礎架構。對于Hadoop的集群來講，可以分成兩大類角色：Master和Salve。一個HDFS集群是由一個NameNode和若干個DataNode組成的。MapReduce框架是由一個單獨運行在主節點上的JobTracker和運行在每個集群從節點的TaskTracker共同組成的。1.1Hadoop簡介HDFS在MapReduce任務處理過程中提供了文件操作和存儲等支持，MapReduce在HDFS的基礎上實現了任務的分發、跟蹤、執行等工作，并收集結果，二者相互作用，完成了Hadoop分布式集群的主要任務。集群中包括4個節點：1個Master，3個Salve，節點IP地址分布如下：

localhost

20

ubuntu1

21

ubuntu2

22

ubuntu3

23

ubuntu4

1.2環境說明1.3hadoop的主從節點結構分解2.1在所有的機器上建立相同的用戶對每個系統進行系統名和ip地址的配置必須在所有的機器上建立相同的用戶，設置每個系統的ip地址。2.2配置NameNode和DataNode配置hosts文件修改每臺機器的/etc/hosts(包括namenode和datanode)）

localhost

20

ubuntu1

21

ubuntu2

22

ubuntu3

23

ubuntu42環境說明和安裝配置SSH2.2安裝配置SSH安裝和啟動SSH協議yuminstallssh安裝SSH協議yuminstallrsyncservicesshdrestart啟動服務

配置Master無密碼登錄所有SalveHadoop運行過程中需要管理遠端Hadoop守護進程，在Hadoop啟動以后，NameNode是通過SSH來啟動和停止各個DataNode上的各種守護進程的。SSH安裝配置這就必須在節點之間執行指令的時候是不需要輸入密碼的形式，故我們需要配置SSH運用無密碼公鑰認證的形式，這樣NameNode使用SSH無密碼登錄并啟動DataName進程，同樣原理，DataNode上也能使用SSH無密碼登錄到NameNode。在用戶目錄下建立ssh的安裝目錄，之后設置權限Master機器上生成無密碼密碼對,追加權限注意：目錄要設成700有執行權限

authorized_keys要設成600否則會出錯

還有ssh登陸要加入用戶名的SSH配置用root用戶登錄服務器修改SSH配置文件/etc/ssh/sshd_config，無密碼登錄本級已經設置完畢，接下來的事兒是把公鑰復制所有的Slave機器上配置所有Slave無密碼登錄Master和Master無密碼登錄所有Slave原理一樣，就是把Slave的公鑰追加到Master的".ssh"文件夾下的"authorized_keys"中這樣就建立了Master和Slave之間的無密碼驗證相互登錄SSH配置安裝jdk1.6.45環境變量配置編輯"/etc/profile"文件，在后面添加Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"內容。exportJAVA_HOME=/usr/java/jdk1.6.0_31exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin使配置生效

（重要）source/etc/profile驗證

Slave安裝jdk：Master下的JDK復制到其他Slave的/home/hadoop/下面剩下的事兒就是在其余的Slave服務器上按照步驟安裝JDK。3jdk安裝配置首先在namenode上配置，配置后在分發到datanode上在“/usr/hadoop”下面創建tmp文件夾安裝

把"/usr/hadoop"讀權限分配給hadoop用戶配置hadoop配置hadoop-env.sh使得能夠找到java的路徑exportHADOOP_HOME=/usr/hadoopexportJAVA_HOME=/usr/java/jdk1.6.0_29

4Hadoop集群安裝配置配置文件也被分成了三個core-site.xml、hdfs-site.xml、mapred-site.xml。修改Hadoop核心配置文件core-site.xml，這里配置的是HDFS的地址和端口號。修改Hadoop中HDFS的配置hdfs-site.xml。（就是Slave的臺數默認3個）修改Hadoop中MapReduce的配置文件mapred-site.xml，配置的是JobTracker的地址和端口。4.1配置文件配置masters文件

第一種：修改localhost為Master.Hadoop第二種：去掉"localhost"，加入Master機器的IP：21配置slaves文件（Master主機特有）第一種：去掉"localhost"，每行只添加一個主機名，把剩余的Slave主機名都填上。第二種：去掉"localhost"，加入集群中所有Slave機器的IP，也是每行一個。

4.1配置文件現在在Master機器上的Hadoop配置就結束了，剩下的就是配置Slave機器上的Hadoop。一種方式是按照上面的步驟，把Hadoop的安裝包在用普通用戶hadoop通過"scp"復制到其他機器的"/home/hadoop"目錄下，然后根據實際情況進行安裝配置另一種方式是將Master上配置好的hadoop所在文件夾"/usr/hadoop"復制到所有的Slave的"/usr"目錄下4.2配置Slave機器上的Hadoop格式化HDFS文件系統只需一次，下次啟動不再需要格式化啟動hadoop（啟動前關閉所有機器的防火墻）可以一次全部啟動所有的節點serviceiptablesstopstart-all.sh或是分別啟動namenode、datanode、tasktracker、secondarynamenode、jobtracker驗證hadoop4.3Hadoop啟動及驗證用"hadoopdfsadmin-report"查看Hadoop集群的狀態。網頁查看集群訪問"http:20:50030“mapreduce的web頁面訪問"http:20:50070"hdfs的web頁面4.4網