Sqoop安裝與配置主講：李強任務描述因為Sqoop是一個用于在關系數據庫服務器和Hadoop系統之間傳輸數據的工具，其中Hadoop系統主要是HDFS、Hive和HBase等，所以Sqoop安裝后的配置主要就是針對這幾個的環境變量的配置工作以及更新所需的Hive和HBase的程序包。任務分析由于Sqoop2偏向服務化，特別是架構稍復雜，配置部署很繁瑣，Sqoop1在功能上完全可以滿足基本的需求，所以本項目使用Sqoop1中的Sqoop1.4.7版本。本任務只在master節點上進行安裝配置和應用即可。7.1.1安裝Sqoop組件1．解壓安裝文件本手冊所使用的版本是Sqoop1.4.7，可以從Sqoop官網下載。下載好的安裝包都需上傳到指定目錄下，本手冊指定為/root/目錄，使用ls命令可以查看上傳的安裝包（具體上傳方式請參考項目1），如圖7-1所示。使用tar命令解壓Sqoop到/usr/local/src文件夾，并切換到安裝目錄下查看，可以使用ls查看解壓后的效果，如代碼7-1所示，效果如圖7-2所示。代碼7-1解壓安裝包圖7-1查看安裝包tar-zxfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/usr/local/src/cd/usr/local/src/ls圖7-2查看解壓好的安裝包2．修改文件夾名稱由于解壓后的文件夾名稱帶有比較復雜的版本號，為了簡化后續配置，此處修改文件夾名稱。使用mv命令將解壓的sqoop-1.4.7.bin__hadoop-2.6.0目錄重命名為sqoop，如代碼7-2所示，效果如圖7-3所示。代碼7-2重命名文件夾圖7-2查看解壓好的安裝包tar-zxfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/usr/local/src/cd/usr/local/src/ls3．修改環境變量文件為了可以在任何目錄下直接執行Sqoop的相關命令，可以在環境變量文件中添加Sqoop的環境變量。參考項目2，使用“vi/root/.bash_profile”將如表7-1所示的配置信息添加到/root/.bash_profile文件的末尾，保存退出。表7-1環境變量文件的添加內容#setsqoopenvironmentexportSQOOP_HOME=/usr/local/src/sqoopexportPATH=$PATH:$SQOOP_HOME/binexportCLASSPATH=$CLASSPATH:$SQOOP_HOME/lib4．生效環境變量文件為了刷新環境變量文件的配置，需要在master節點執行下面的命令使得環境變量文件生效，如代碼7-3所示。代碼7-3生效環境配置文件source/root/.bash_profile7.1.2修改Sqoop配置文件1．修改sqoop-env.sh文件sqoop-env.sh是Sqoop命令執行時去加載HadoopHDFS環境變量，Hive和HBase環境變量的核心配置文件。由于/usr/local/src/sqoop/conf目錄里的是配置模板文件，需要復制為sqoop-env.sh，使用代碼7-4的代碼復制并修改文件內容。代碼7-4修改sqoop-env.sh圖7-4Sqoop配置文件修改項cd/usr/local/src/sqoop/confcpsqoop-env-template.shsqoop-env.shvisqoop-env.sh打開這個配置文件后，需要修改的環境變量配置項如圖7-4所示。1．修改sqoop-env.sh文件該文件中需要修改的圖上的四處設置：首先將每個配置項前面的#去掉；HADOOP_COMMON_HOME和HADOOP_MAPRED_HOME均為Hadoop的安裝目錄；HBASE_HOME為HBase安裝目錄；HIVE_HOME為Hive安裝目錄，具體設置參考內容如表7-2所示。表7-2文件的添加內容exportHADOOP_COMMON_HOME=/usr/local/src/hadoopexportHADOOP_MAPRED_HOME=/usr/local/src/hadoopexportHBASE_HOME=/usr/local/src/hbaseexportHIVE_HOME=/usr/local/src/hiveexportHCAT_HOME=/usr/local/src/hive/hcatalog#此項為新增的配置項2．復制MySQL和Hive的驅動程序包為了使Sqoop能夠連接MySQL數據庫，需要將mysql-connector-java-8.0.21.jar文件放入Sqoop的lib目錄中，該Jar文件的版本需要與MySQL數據庫的版本相對應，否則Sqoop導入數據時會報錯。（MySQL8.0.21對應的是mysql-connector-java-8.0.21.jar版本）。為了使Sqoop能夠連接Hive，需要將Hive組件/usr/local/src/hive/lib目錄下的hive-common-3.1.2.jar也放入Sqoop安裝路徑的lib目錄中。使用代碼7-5進行復制到/usr/local/src/sqoop/lib/，另外復制之前需要先查看讀者本地的驅動包版本，不要照抄本手冊。代碼7-5復制程序包cp/root/mysql-connector-java-8.0.21.jar/usr/local/src/sqoop/lib/cp/usr/local/src/hive/lib/hive-common-3.1.2.jar/usr/local/src/sqoop/lib/cp/usr/local/src/hive/lib/hive-exec-3.1.2.jar/usr/local/src/sqoop/lib/7.1.3測試安裝1．啟動Hadoop集群執行Sqoop前需要先啟動Hadoop集群，參考項目2在master節點執行start-all.sh啟動，并使用jps查看Java進程是否正常，此處不再詳述。2．測試連接使用代碼7-6中的Sqoop命令連接MySQL，該命令的幾個參數說明如下。（1）list-databases：表示顯示連接上的MySQL服務器的數據庫名稱。（2）--connect：MySQL數據庫連接URL，此處為：“jdbc:mysql://master:3306/sqoop_db”。（3）--username：MySQL數據庫的用戶名，此處為“root”。（4）-P：root用戶的密碼，在交互中輸入“Password123$”。（MySQL數據庫root用戶的密碼，請讀者根據實際情況修