1、產品ID密級FocusHadoop中產品版本頁數1.0.015云計算開發平臺安裝配置手冊Linux單機偽集群分冊零年九月目錄 TOC o 1-5 h z HYPERLINK l bookmark10 o Current Document 綜述 4 HYPERLINK l bookmark12 o Current Document 依據 4 HYPERLINK l bookmark14 o Current Document 目的 4 HYPERLINK l bookmark16 o Current Document 范圍 4 HYPERLINK l bookmark18 o Current Do

2、cument 術語 4 HYPERLINK l bookmark20 o Current Document 安裝環境 5_ HYPERLINK l bookmark22 o Current Document 安裝準備 6_ HYPERLINK l bookmark30 o Current Document 4.安裝 JDK7 HYPERLINK l bookmark36 o Current Document 5.安裝 hadoop 7_安裝hbase服務13安裝xdat 服務 1_9修改 xdata 的配置文件 19安裝solr月艮務28安裝LZO壓縮模塊 29標準安裝 29測試LZO壓縮解壓

3、32如果安裝后的lib包有問題不能用執行以下步驟補救 33修訂記錄日期修訂版本描述編撰人2011-09-200.0.1Linux單機偽集群分冊劉學2011-10-130.0.2增加安裝hbase內容鄒躍2011-10-180.0.3調整文檔部分結構。xdata-xdata概念轉變劉學2011-10-190.0.4增加LZO壓縮模塊安裝劉學2011-10-200.0.5修改xdata安裝文檔目錄結構劉學2011-12-090.0.6修改其中錯誤的地方羅亮2011-12-090.0.7增加solr單機模式安裝鄒躍2011-12-290.1.0重構文檔羅亮2012-1-40.1.1增加第24步創建符

4、號鏈接康華星綜述1.1.依據本文檔依賴于Apache組織hadoop開源項目的相關資料與文檔以及各種網 絡收集的經過整理的資料。12 目的本文檔將指導IT工程人員在單臺Linux服務器上安裝配置單節點的偽集群 服務。1.3. 范圍本文檔將指導如何獲取安裝文件構建安裝目錄、安裝JDK、安裝hadoop服務、配置云計算實驗平臺服務平臺、HDFS測試、MapReduce測試等。14 術語HadoopCygwinEclipesXdata定義在云計算技術基礎上的數據應用解決方案產品，適應各種未知 數據模型，具備很好的數據應用模式的延展性。LZOLZO是一個美妙與Hadoop的使用的壓縮方案，因為它的速度

5、非常 快，支持splittable(可分塊)。Gzip很快，但不能利用 Hadoop的 自然地圖的優勢分裂，因為這是不可能的，開始一個隨機文件中的 偏移量開始解壓縮 GZIP流的。LZO的塊格式能夠在解壓縮文件的 某些特定的偏移執行解壓在新的LZO塊邊界開始。LZO除了支持解壓，這個類( pression.lzo.LzoIndexer)提供了一個進程中的索引器以及Map-Reduce風格索引器，它將讀取一組LZO文件，將輸出的LZO塊邊界偏移量與 Hadoop文件塊邊 界自然融合。這使得大量的LZO文件分割成多個映射器和并行處理。壓縮，因為它是從磁盤讀取的數據較少，最大限度地減少所需 的IOP

6、S數。和lzo減壓是如此之快，CPU保持領先磁盤中讀取的， 所以不必解壓縮，因為它的讀取磁盤數據，也沒有性能的影響。Gzip某種壓縮格式，速度快，但是不支持壓縮分塊。安裝環境硬件環境CPU:無特殊要求內存：無特殊要求 硬盤:無特殊要求軟件環境操作系統: Linux 瀏覽器:目前只支持 IE6.0 和 IE7.0安裝準備步驟1獲取安裝包安裝文件安裝包目錄如下， 如果缺省的安裝包下面缺少對應的內容需要通過他人溝通獲取目錄結構說明././bi n./hadoop/config/lib/log/setup./ hadoop-rc1.tar ema_mysql.sqljdk-6u10-li nu x-i

7、586.b injdk-6u10-li nux-x64.bi n mysql-5.0.67-li nux-i686.tar.gz /mysql./bi n./mysqlaccess mysqld_safemy.c onf/hadoop./conf/tomcat./conf/webapps./emahadoop可執行文件執行目錄啟動腳本（里面 RUN_USER配置hadoop）配置目錄（缺省配置在里面）軟件包目錄日志目錄安裝用臨時文件夾，包括安裝需要的軟件包最新的hadoop平臺安裝包mysql數據庫腳本Jdk1.6 x32位版本Jdk1.6 x64位版本Mysql數據庫軟件包mysql數據庫替

8、換文件hadoop缺省配置目錄setup中解壓的tar.gz文件要放在這里放了 hadoop服務缺省的4個配置文件WEB服務器軟件目錄配置目錄只需要修改 server.xml界面應用程序發布在這里基礎界面框架實驗平臺代碼檢查安裝包目錄是否完整。步驟2拷貝安裝包安裝文件到安裝目錄將上述目錄中所有內容文件拷貝到機器的/xdata目錄注：如未說使用何種用戶進行的操作默認為root用戶步驟3創建安裝所需要的用戶與用戶組以root用戶登錄服務器，在命令行下輸入：#groupadd xdata#useradd -g xdata xdata#passwd xdata/輸入新的用戶名密碼Changing pa

9、ssword for user xdata.New UNIX password:BAD PASSWORD: it is based on a dictio nary wordRetype new UNIX password: passwd: all authe nticati on toke ns updated successfully.安裝JDK步驟4解壓jdk軟件包#chmod 755 /xdata/setup/*.*#cd /xdata/setup#. /jdk-6u10-li nux-i586.b in步驟5建立jdk的符號鏈接#ln -s /xdata/setup/jdk1.6.0

10、_10 /xdata/jdk如果服務器上已經安裝有JDK直接做符號鏈接#ln -s /*/jdk* /xdata/jdk安裝 hadoop步驟6 解壓hadoop安裝包#cd /xdata/setup#gunzip authorized_keys配置authorized_keys文件權限$chmod 600 authorized_keys驗證$ ssh localhost 使用xdata用戶執行步驟10改變系統工作目錄權限給xdata#chgrp -R xdata /xdata#chow n -R xdata /xdata步驟 11 配置 $HADOOP_HOME/conf/hadoop-en

11、v .sh切換到 Hadoop的安裝路徑找到 hadoop/conf/hadoop-env.sh文件，使用 vi或離線方法 打開將#vi /xdata/hadoop/c on f/hadoop-e nv.sh# export JAVA_HOME=/usr/lib/j2sdk1.5-sun 改為export JAVA_HOME=/usr/java/jdk1.6.0_16/ /usr/java/jdk1.6.0_16 表示 jdk 存放的路徑，若是其他路徑，要做相應修改步驟 12 配置$ HADOOP_HOME/conf/core-site.xml切換到Hadoop的安裝路徑找到 conf/cor

12、e-site.xml文件，使用vi或離線方法打開將#vi /xdata/hadoop/co nf/core-site.xml/ 粗體部分根據自身情況修改fs.default .n ame/name hdfs:master:51600 hadoop.tmp.dir/name /xdata/hadoop/tmp hdfs:/master:51600 :表示 hdfs 連接的路徑/xdata/hadoop/tmp:表示存放的位置注：如果沒 有配置hadoop.tmp.dir參數，此時系統默認的臨時目錄為： /tmp/hadoop-hadoop.而這個目錄在每次重啟后都會被干掉，必須重新執行forma

13、t才行，否則會出錯。步驟 13 配置$HADOOP_HOME/conf/ hdfs-site.xml切換到Hadoop的安裝路徑找到 conf/hdfs-site.xml文件，使用vi或離線方法打開將#vi /xdata/hadoop/c on f/hdfs-site.xmldfs.replicati on1dfs .n ame.dir/name/xdata/hadoop/namedfs.data.dir/name/xdata/hadoop/datadfs.http.address/name31:50070dfs.replication是配置復制副本數目，不同的文件副本的分區會放在不同的dat

14、a node機器上dfs.data.dir是data node機器上data數據存放的位置，沒有則放到core-site.xml的tmp目錄中.dir是 namenode機器上 name數據粗放的位置，沒有則放至Ucore-site.xml的tmp目錄中dfs.http.address提供 web頁面顯示的地址和端口默認是50070, ip是name node的ip步驟 14 配置$HADOOP_HOME/conf/mapred-site.xml找到$HADOOP_HOME/conf/mapred-site.xml 文件，使用離線方法打開將mapred.job.tracker localhos