主講：張義0102目錄Sqoop概念Sqoop版本對比03安裝部署Sqoop概念1Sqoop概念Hadoop業(yè)務的大致開發(fā)流程以及Sqoop在業(yè)務中的地位：Sqoop概念

Sqoop可以理解為【SQL–to–Hadoop】，正如名字所示，Sqoop是一個用來將關系型數(shù)據(jù)庫和Hadoop中的數(shù)據(jù)進行相互轉移的工具。它可以將一個關系型數(shù)據(jù)庫(例如Mysql、Oracle)中的數(shù)據(jù)導入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的數(shù)據(jù)導入到關系型數(shù)據(jù)庫(例如Mysql、Oracle)中。Sqoop版本對比2Sqoop版本對比Sqoop1和Sqoop2對比：兩個版本，完全不兼容，Sqoop1幾乎無法平滑升級到Sqoop2版本號劃分區(qū)別Apache版本：1.4.x(Sqoop1);1.99.x(Sqoop2)CDH版本:Sqoop-1.4.3-cdh4(Sqoop1);Sqoop2-1.99.2-cdh4.5.0(Sqoop2)Sqoop2相對Sqoop1的改進引入Sqoopserver，集中化管理connector等訪問方式多樣化：CLI(command-lineinterface，命令行界面)，WebUI，RESTAPI引入基于角色的安全機制在架構上，sqoop2引入了sqoopserver（具體服務器為tomcat），對connector實現(xiàn)了集中的管理。其訪問方式也變得多樣化了，其可以通過RESTAPI、JAVAAPI、WEBUI以及CLI控制臺方式進行訪問。另外，其在安全性能方面也有一定的改善，在sqoop1中我們經(jīng)常用腳本的方式將HDFS中的數(shù)據(jù)導入到mysql中，或者反過來將mysql數(shù)據(jù)導入到HDFS中，其中在腳本里邊都要顯示指定mysql數(shù)據(jù)庫的用戶名和密碼的，安全性做的不是太完善。在sqoop2中，如果是通過CLI方式訪問的話，會有一個交互過程界面，你輸入的密碼信息不被看到。安裝部署3安裝部署1、下載

下載地址：/dist/sqoop/1.4.6/

下載sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz2、解壓安裝tar-zxvfsqoop-1.4.6.bin__hadoop-1.0.0.tar.gz-C/datacd/datamvsqoop-1.4.6.bin__hadoop-1.0.0/sqoop1chmod-R775/data/sqoop1chown-Rhadoop:hadoop/data/sqoop1安裝部署3、配置環(huán)境變量vim/etc/profileexportSQOOP_HOME=/data/sqoop1exportPATH=$PATH:$SQOOP_HOME/binsource/etc/profile安裝部署4、其他配置（1）下載mysql驅動包，mysql-connector-java-5.1.40-bin.jar，把jar包丟到到$SQOOP_HOME/lib下面（2）接下來修改sqoop的配置文件cd/data/sqoop1/confcpsqoop-env-template.shsqoop-env.shvimsqoop-env.sh#指定各環(huán)境變量的實際配置#SetHadoop-specificenvironmentvariableshere.#Setpathtowherebin/hadoopisavailable#exportHADOOP_COMMON_HOME=#Setpathtowherehadoop-*-core.jarisavailable#exportHADOOP_MAPRED_HOME=#setthepathtowherebin/hbaseisavailable#exportHBASE_HOME=#Setthepathtowherebin/hiveisavailable#exportHIVE_HOME=安裝部署5、驗證是否成功#列出所有數(shù)據(jù)庫sqooplist-databases--connectjdbc:mysql://ip:port--usernameusername--passwordpw