大數據技術基礎實驗報告-Linux環境下hadoop集群的搭建與基本配置實驗內容:（一）安裝和配置CentOS（二）安裝和配置Java環境（三）啟動和配置SSH綿密登錄（四）安裝和配置Hadoop設置僅主機連接模式啟動Linux虛擬機，手動設置IP地址，注意和windows下虛擬網卡地址一個網段；.安裝winscp（windows和linux虛擬機傳數據的小工具）,pieTTY（linux小客戶端），并使用工具連接到虛擬機linux，通過winscp上傳jdk、hadoop到linux虛擬機；.永久關閉防火墻，和Selinux，不然ssh無密碼連接時可能會無法連接。執行如下命令/etc/init.d/iptablesstopchkconfigiptablesoffvi/etc/sysconfig/selinux設置SELINUX=disabled.進入/etc/hosts添加自己的IP地址和主機名。如20hadoop.安裝jdk并配置環境變量。（用RPM包或壓縮包）。rmp安裝命令：rpm-ivhjdk-7u67-linux-x86.rpmmv命令jdk相關目錄改名進入/etc/profile文件，添加Java環境變量vi/etc/profileexportJAVA_HOME=/usr/local/jdkexportPATH=$PATH:$JAVA_HOME/bin執行source/etc/profile刷新配置文件驗證jdk是否成功。Java-version.配置用戶免密碼登錄。.安裝hadoop（安裝版本hadoop2.7版本以上）使用ssh上傳文件到linux主機執行了mv命令解壓后更改文件夾名為hadoop在/etc/profile文件下添加環境變量，如下exportHADOOP_HOME=/home/hadoop/hadoopexportPATH=$PATH:$HADOOP_HOME/bin保存配置文件執行source/etc/profile使其立即生效切換到hadoop_home下etc/Hadoop下修改相關配置文件。.進行配置文件的修改，版本不同配置文件位置會不同。第1頁共10頁修改hadoop-env.shViHadoop-env.shExportJAVA-HOME=/usr/local/jdk依賴于前期配置的路徑，如果按照視頻上面的需要這樣設置。如果按照本文檔，使用下面設置。修改yarn-env.sh道理一樣.安裝配置結果NameNode端的進程如下：[hadooptaMasteretc]$jps18823Jps18509ResourceManager18183NameNode18350SecondaryNameNode■I ■ ■■ ■IIIDataNode端的進程如下：[hadoop@Slavel桌面]$jps7146Jps6991NodeManager6385DataNode[hadoop(asiavel桌面]$|jFhrrie!實驗基本過程：1：環境：Ubuntu14.0464位2：準備工作：選定一臺機器作為Master在Master節點上配置hadoop用戶、安裝SSHserver、安裝Java環境在Master節點上安裝Hadoop，并完成配置在其他Slave節點上配置hadoop用戶、安裝SSHserver、安裝Java環境將Master節點上的/usr/local/hadoop目錄復制到其他Slave節點上在Master節點上開啟Hadoop3：網絡配置：第2頁共10頁需要更改網絡連接方式為橋接（Bridge）模式，才能實現多個節點互連，例如在VirturalBox中的設置如下圖。此外，如果節點的系統是在虛擬機中直接復制的，要確保各個節點的Mac地址不同（可以點右邊的按鈕隨機生成MAC地址，否則IP會沖突）4:SSH無密碼登陸節點：這個操作是要讓Master節點可以無密碼SSH登陸到各個Slave節點上。5：配制path變量：在單機偽分布式配置教程的最后，說到可以將Hadoop安裝目錄加入PATH變量中，這樣就可以在任意目錄中直接使用hadoo、hdfs等命令了，如果還沒有配置的，需要在Master節點上進行配置。首先執行vim?/上3$卜工，加入一行。6：配置集群/分布式環境：實驗結果:[root@s202桌面]#jps4336Jps4178NodeMarager3833DataNode4300JobHistoryServer[rooWs202桌面]#adoop/hadoop/lib/native/liLhadoop.sa.1.0.0whichnigiitnavedisatiledstack:guard,TheVMwilltrytofinthestackgyardnow.心寫ter;it'shighly th^LyoufixtheLibraryvith'execstack-c《liborlintitwithT-zncExecstack'.JavaHotspot(TM)ClientVMwamingtYouhaveloadedliijrary/usr/Iocal/haloop/hai&op/lib/Ti3^iv&/libhadoopLso.1.0.0wbichmighthav^Jisabledstackguard.Tk白VMwilltrysfixthe5uckgudrdnow.It'shighlyreconnnendedthatyoufixthelibraryvith'execstack-c3rlinkitwithnoexscstack1.[ro6tflMast5rsbin]/jps6G36ResourceManager633DJobs13d：or/Server5691NaiueNode5S526366[roonSMastersbin]t|第3頁共10頁疑難小結(總結實驗中遇到的問題)：1： HDFS進入安全模式:Namenodeisinsafemodemode退出安全模式，執行命令： hadoopdfsadmin-safemodeleave2：INFOutil.NativeCodeLoader-Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-Javaclasseswhereapplicable--hadoop的本地庫力□載失敗。檢查native庫的版本信息，32bit的版本和64bit的版本在不匹配的機器上會加載失敗，檢查的命令是file<native-so-file>native庫依賴的glibc的版本問題。如果在高版本gcc(glibc)的機器上編譯的native庫，放到低版本的機器上使用，會由于glibc版本不一致導致該錯誤。3：mapstolocalhost,butthisdoesnotmapback解決：原因：因為DNS服務器把192.168.x.x的地址都反向解析成localhost,而DNS服務器不是自己的，不能改。辦法：編輯ssh客戶端的/etc/hosts文件，把出問題的IP地址和主機名加進去，就不會報這樣的錯了。4：jps命令正常，但是8088端口的WEB頁面無法訪問解決方案：檢查一下防火墻和selinux狀態，將防火墻和selinux關閉防火墻：serviceiptablesstatus永久修改：修改/etc/selinux/config文件中設置SELINUX=disabled，然后重啟服務器。5：8088端口訪問正常，但是看不到datanode節點解決方案：可能出現的問題和解決方案:1.8080端口沒有打開，手動啟動yarn主要操作過程:1：HDFS進入安全模式:Namenodeisinsafemodemode退出安全模式，執行命令： hadoopdfsadmin-safemodeleave第4頁共10頁2：INFOutil.NativeCodeLoader-Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-Javaclasseswhereapplicable--hadoop的本地庫力口載失敗。檢查native庫的版本信息，32bit的版本和64bit的版本在不匹配的機器上會加載失敗，檢查的命令是file<native-so-file>native庫依賴的glibc的版本問題。如果在高版本gcc(glibc)的機器上編譯的native庫，放到低版本的機器上使用，會由于glibc版本不一致導致該錯誤。3：mapstolocalhost,butthisdoesnotmapback解決：原因：因為DNS服務器把192.168.x.x的地址都反向解析成localhost,而DNS服務器不是自己的，不能改。辦法：編輯ssh客戶端的/etc/hosts文件，把出問題的IP地址和主機名加進去，就不會報這樣的錯了。4：jps命令正常，但是8088端口的WEB頁面無法訪問解決方案：檢查一下防火墻和selinux狀態，將防火墻和selinux關閉防火墻：serviceiptablesstatus永久修改：修改/etc/selinux/config文件中設置SELINUX=disabled，然后重啟服務器。5：8088端口訪問正常，但是看不到datanode節點解決方案：可能出現的問題和解決方案：1.8080端口沒有打開，手動啟動yarn主要操作過程：1先決條件確保在你集群中的每個節點上都安裝了所有必需軟件：sun-JDK,ssh,HadoopJavaTM1.5.x,必須安裝，建議選擇Sun公司發行的Java版本。ssh必須安裝并且保證sshd一直運行，以便用Hadoop腳本管理遠端Hadoop守護進程。2實驗環境搭建準備工作操作系統：Ubuntu第5頁共10頁部署：Vmvare在vmvare安裝好一臺Ubuntu虛擬機后，可以導出或者克隆出另外兩臺虛擬機。說明：保證虛擬機的ip和主機的ip在同一個ip段，這樣幾個虛擬機和主機之間可以相互通信。為了保證虛擬機的ip和主機的ip在同一個ip段，虛擬機連接設置為橋連。準備機器：一臺master，若干臺slave，配置每臺機器的/etc/hosts保證各臺機器之間通過機器名可以互訪。為保證環境一致先安裝好JDK和ssh：安裝JDK#安裝JDK$sudoapt-getinstallsun-java6-jdk1.2.3這個安裝，java執行文件自動添加到力$「/0門/目錄。驗證shell命令：java-version看是否與你的版本號一致。下載、創建用戶$useraddhadoop$cd/home/hadoop在所有的機器上都建立相同的目錄，也可以就建立相同的用戶，最好是以該用戶的home路徑來做hadoop的安裝路徑。例如在所有的機器上的安裝路徑都是：/home/hadoop/hadoop-0.20.203，這個不需要mkdir，在/home/hadoop/下解壓hadoop包的時候，會自動生成)(當然可以安裝/usr/local/目錄下，例如/usr/local/hadoop-0.20.203/chown-Rhadoop/usr/local/hadoop-0.20.203/chgrp-Rhadoop/usr/local/hadoop-0.20.203/)(最好不要使用root安裝，因為不推薦各個機器之間使用root訪問)安裝ssh和配置安裝：sudoapt-getinstallssh這個安裝完后，可以直接使用ssh命令了。執行$netstat-nat查看22端口是否開啟了。測試：sshlocalhosto第6頁共10頁輸入當前用戶的密碼，回車就ok了。說明安裝成功，同時ssh登錄需要密碼。（這種默認安裝方式完后，默認配置文件是在/?~/$5卜/目錄下。sshd配置文件是:/etc/ssh/sshd_config）：注意：在所有機子都需要安裝ssh。配置：3）首先設置namenode的ssh為無需密碼的、自動登錄切換到hadoop用戶（保證用戶hadoop可以無需密碼登錄，因為我們后面安裝的hadoop屬主是hadoop用戶。）$suhadoopcd/home/hadoop$ssh-keygen-trsa然后一直接回車完成后，在home跟目錄下會產生隱藏文件夾.ssh測試：$sshlocalhost發現鏈接成功，并且無需密碼。4）復制authorized_keys至Unode2和node3上為了保證node1可以無需密碼自動登錄到node2和node3,先在node2和node3上執行$suhadoopcd/home/hadoop$ssh-keygen-trsa一路接回車.然后回到node1,復制authorized_keys至Unode2和node3[hadoop@hadoop.ssh]$scpauthorized_keys node2:/home/hadoop/.ssh/[hadoop@hadoop.ssh]$scpauthorized_keys node3:/home/hadoop/.ssh/這里會提示輸入密碼,輸入hadoop賬號密碼就可以了。改動你的authorized_keys文件的許可權限[hadoop@hadoop.ssh]$chmod644authorized_keys測試：sshnode2或者sshnode3（第一次需要輸入yes）。如果不須要輸入密碼則配置成功，如果還須要請檢查上面的配置能不能正確。安裝Hadoop#切換為hadoop用戶suhadoopwget//hadoop/common/hadoop-/hadoop-rc1.tar.gz第7頁共10頁下載安裝包后，直接解壓安裝即可:$tar-zxvfhadoop-rc1.tar.gz6)配置conf/hadoop-env.sh文件配置conf/hadoop-env.sh文件#添力口exportJAVA_HOME=/usr/lib/jvm/java-6-sun/這里修改為你的jdk的安裝位置。測試hadoop安裝：bin/hadoopjarhadoop-0.20.2-examples.jarwordcountconf//tmp/out.集群配置（所有節點相同）配置文件：conf/core-site.xml<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><property><name></name><value>hdfs://node1:49000</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop_home/var</value></property></configuration>是NameNode的URI。hdfs://主機名:端口/第8頁共10頁hadoop.tmp.dir：Hadoop的默認臨時路徑，這個最好配置，如果在新增節點或者其他情況下莫名其妙的DataNode啟動不了，就刪除此文件中的tmp目錄即可。不過如果刪除了NameNode機器的此目錄，那么就需要重新執行NameNode格式化的命令。配置masters和slaves主從結點配置conf/masters和conf/slaves來設置主從結點，注意最好使用主機名，并且保證機器之間通過主機名可以互相訪問，每個主機名一行。.hadoop啟動格式化一個新的分布式文件系統先格式化一個新的分布式文件系統$cdhadoop-0.20.203$bin/hadoopnamenode-format查看輸出保證分布式文件系統格式化成功執行完后可以至Umaster機器上看到/home/hadoop〃name1和/home/hadoop//name2兩個目錄。在主節點master上面啟動hadoop,主節點會啟動所有從節點的hadoop。啟動所有節點啟動方式1：$bin/start-all.sh（同時啟動HDFS和Map/Reduce）執行完后可以到slave（node1,node2）機器上看到/home/hadoop/hadoopfs/data1ff/home