主講：張義0102目錄查看數據庫數據導入HDFS03導入部分數據04使用配置文件控制導入查看數據庫1查看數據庫主要使用list-databases命令來對數據庫進行查看:sqooplist-databases\--connectjdbc:mysql://master:3306\--usernamehive\--password123456數據導入HDFS2數據導入HDFS我們將test庫下的customer表導入hdfs中，customer表的建表指令及insert數據指令如下:Create

table

customer(id

int,name

varchar(50));Insert

in

to

customer

values(1,'neil’);Insert

in

to

customer

values(2,'jack’);Insert

in

to

customer

values(3,'martin’);Insert

in

to

customer

values(4,'tony’);Insert

in

to

customer

values(5,'eric');數據導入HDFS我們執行如下指令將customer表進行導入sqoopimport\--connectjdbc:mysql://master:3306/test\--usernamehive\--password123456\--tablecustomer執行此指令，卻發現如下錯誤ERRORtool.ImportTool:Errorduringimport:Noprimarykeycouldbefoundfortablecustomer.Pleasespecifyonewith–split-byorperformasequentialimportwith‘-m1’.此時的錯誤是因為我們所要導入的customer表未設定主鍵，這個錯誤有兩種解決的辦法,一個是為customer設置主鍵，二是設定split-by選項或者-M來解決.

數據導入HDFS使用設置主鍵的方法去解決此問題Alter

table

customer

add

primarykey(id);設置customer表的id字段為該表的主鍵，再次執行，我們發現執行已成功，出現如下的內容:INFOmapreduce.ImportJobBase:Transferred37bytesin25.6157seconds(1.4444bytes/sec)

INFOmapreduce.ImportJobBase:Retrieved5records.

數據導入HDFS指定路徑導入在上述的sqoop指令后加入--warehouse

-dirXXX1可以指定導入的路徑，同時也要注意該路徑是不能已經存在的指定并行度在上述的sqoop指令后加入-m2

這樣可以指定map操作的并行度為2，最終我們會發現文件會被分為2份:

導入部分數據3導入部分數據使用–query可以實現sqoop的部分導入sqoopimport\--connectjdbc:mysql://master:3306/test\--usernamehive\--password123456\--query"select*fromcustomerwhereid<=3and\$CONDITIONS"\-m1\--target-dir/user/root/customer

要注意使用–query導入部分數據時，不能再指定–table參數，同時必須指定–target-dir參數，否則則會報錯.另外在where的篩選條件中一定要加上”and

$CONDITIONS”導入部分數據使用–where導入部分數據sqoopimport\--connectjdbc:mysql://master:3306/test\--usernamehive\--password123456\--tablecustomer\--where"id<=3"導入部分數據使用–columns指定導入的列sqoopimport\--connectjdbc:mysql://master:3306/test\--usernamehive\--password123456\--tablecustomer\--columnsname我們這里只導入name列，在–columns后指定需要導入的列。使用配置文件控制導入4使用配置文件控制導入我們可以把上面輸入操作指令寫入到一個配置文件中，在sqoop導入時使用配置文件，實現同樣的功能

我們vim一個名為sqoop.im的文件，將如下內容寫入,注意參數值和內容必須獨自成行。Import--connectjdbc:mysql://master:33