1、hadoop集群環(huán)境部署hadoop /插件 lzo安裝解釋1、所需軟件apache-ant-1.8.0-bin.tarant編譯工具，必需大于1.7版本，否則有些屬性不支持kevinweil-hadoop-lzo-23e8370.tar用來編譯hadoop-lzo-0.4.13.jar文件hadoop-gpl-ion-0.1.0-rc0.tar.gz 上面的替代計劃，經(jīng)測試此計劃更佳，建議用法lzo-2.04.tar lzo動態(tài)庫編譯lzop-1.03.tar lzo客戶端工具，用來壓縮解壓生成.lzo文件，供測試2、安裝ant工具apache官方網(wǎng)站下載1.7以上版本解壓之后放入/usr/

2、local/apache-ant-1.8.0ant_home=/usr/local/apache-ant-1.8.0path=$path:$ant_home/binsource /etc/pro3、編譯安裝lzo庫【中得每臺機(jī)器都需要安裝,應(yīng)當(dāng)復(fù)制庫文件就可以】 在安裝過程中碰到無數(shù)異樣錯誤，所以建議每臺機(jī)器上編譯安裝wget -zxvf lzo-2.04.tar.gz./configure -sharmakemake install庫文件默認(rèn)安裝到/usr/local/lib名目下需要舉行一下操作中的隨意一項：a、拷貝/usr/local/lib名目下得lzo庫到/usr/lib【/usr/

3、lib64】按照系統(tǒng)打算b、在/etc/ld.so.conf.d/名目下面新建lzo.conf文件，寫入庫文件的路徑，然后運行/sbin/ldconfig -v 使配置生效4、安裝編碼解碼器 目前為kevinweil-hadoop-lzo-23e8370.tar.gztar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz kevinweil-hadoop-lzo-2ad6654 ant compile-native tar假如操作正確會生產(chǎn)相應(yīng)的jar文件hadoop-lzo-0.4.13.jar用來部署到集群中該步驟有幾點注重：a、假如碰到以下異樣/usr

4、/bin/build-classpath: error: could not xml-commons-apis java tension for this jvm/usr/bin/build-classpath: error: some specified jars were not found 實為依靠插件沒有正確安裝，可以通過以下安裝 yum -y remove xml-commons-apis yum -y install xml-commons-apisb、class org.apache.too.ant.taskdefs.conditiontask doesn't pport

5、 the nested "typefound" element. 緣由：ant版本較低，升級到1.7.0以上版本 ant -version查看版本 假如升級完成，環(huán)境變量也設(shè)置過還是浮現(xiàn)以上異樣 嘗試肯定路徑運行ant 如：/usr/local/apache-ant-1.8.0/bin/ant compile-native tar 假如以上過程碰到錯誤，如下計劃可行：下載： build/hadoop-lzo-0.4.10.jar /usr/local/cdh3u0/hadoop-0.20.2-cdh3b4/lib/tar -cbf - -c build/native . |

6、 tar -xbvf - -c /usr/local/cdh3u0/hadoop-0.20.2-cdh3b4/lib/native網(wǎng)上有文檔說挺直cp也可以cd kevinweil-hadoop-lzo-2ad6654/build/native/linux-amd64-64/lib cp * $hadoop_home/lib/native/linux-amd64-64 cp * $hbase_home/lib/native/linux-amd64-646、配置hadoop集群配置文件 core-site.xml,mapred-site.xmlcore-site.xml property nam

7、e pression.codecs /name value press.defaultcodec,press.gcodec,press.bzip2codec,pression.lzo.lzopcodec /value /property property name pression.codec.lzo.class /name value pression.lzo.lzocodec /value /property mapred-site.xml property name press /name value true /value /property property name mapred.

8、child.env /name value java_library_path=/usr/local/cdh3u0/hadoop-0.20.2-cdh3u1/lib/native/linux-amd64-64 /value /property property name press.codec /name value pression.lzo.lzocodec /value /property 7、lzo文件生成工具安裝 用于生成一些lzo壓縮文件，供測試wget /download/lzop-1.03.tar.gz tar -zxvf lzop-1.03

9、cd lzop-1.03 ld_library_path=$ld_library_path:/usr/local/lib ./configure make make install安裝勝利之后運行：lzop -u -9 lzo-test.txt 將.txt文件壓縮成.lzo文件hadoop fs -copyfromlocal /home/hadoop/likl/lzo-test.txt.lzolzo-test-in【至關(guān)重要的一步】 hadoop的lib名目將lib/native名目下面的庫拷貝至hadoop/lib/native下面*假如hadoop用的是cdh3版本，cloudora改寫了compression類，所以需要在以上基礎(chǔ)上修改源碼舉行重新編譯添加如下代碼段：import org.apache.hadoop.conf.conf