Hive安裝部署課程目標本課程的目的是能夠使學員了解Hive的作用、工作原理、工作場景，掌握Hive數據倉庫的HQL使用方法，能夠進行UDF編程、Hive模式設計及優化。課程內容Hive安裝配置Hive概述HiveQL--數據定義HiveQL—數據操作hive視圖、索引hive文件操作及UDFHive模式設計及優化實驗說明實驗的操作系統是Linux的開源發行版Ubuntu16.04，采用VM虛擬機進行安裝創建JDK版本1.8Hadoop版本2.7.2Hive版本1.2.1安裝前準備完成JDK安裝配置完成hadoop安裝配置下載文件apache-hive-1.2.1-bin.tar.gzmysql-connector-java-5.1.39.zip集群的規劃設計集群中部署3個節點：IP

hostname 充當的角色

Master nn/RM/Hive/metastore/mysql

Slave1 dn/NM/Hive Slave2 dn/NM/hive Hive的安裝步驟--本地模式安裝Mysql，并進行配置創建hive用戶，并分配權限下載hive包，并解壓到工作目錄配置hive文件，設置環境變量、指出使用本地Mysql數據庫，以及連接協議、賬號、口令等把mysql-connector-java-x.x.x.jar復制到hive的lib目錄下初始化mysql數據庫啟動hive驗證hive是否安裝成功安裝mysql安裝服務器sudoapt-getinstallmysql-server安裝客戶端sudoapt-getinstallmysql-clientsudoapt-getinstalllibmysqlclient-dev修改配置文件/etc/mysql/mysql.conf.d/f#bind-address=安裝mysql創建用戶并設置遠程登錄權限grantALLPRIVILEGESon*.*to‘hive'@'%'identifiedby'123456';grantALLPRIVILEGESON*.*TO‘hive'@'localhost'IDENTIFIEDBY'123456';

FLUSHPRIVILEGES;Hive安裝上傳包將下載的hive安裝包上傳到/home/hadoop上解壓 tar–zxvfapache-hive-1.2.1-bin.tar.gz重命名包mvapache-hive-1.2.1-binhive-1.2.1下載MySQL的驅動包mysql-connector-java-5.1.39.zip，將解壓出來的jar放入hive的lib目錄下配置hive環境變量$file

注意CLASSPATH、PATH在原有配置上增加hive包路徑exportHIVE_HOME=/home/hadoop/hive-1.2.1exportPATH=$HIVE_HOME/bin:$PATHexportCLASSPATH=$CLASSPATH:$HIVE_HOME/lib$file配置hive-env.shcphive-env.sh.templatehive-env.sh編輯hive-env.sh文件HADOOP_HOME=/home/hadoop/hadoop-2.7.2exportHIVE_CONF_DIR=/home/hadoop/hive-1.2.1/confHDFS存儲位置配置Hive配置文件里要用到HDFS的一些路徑，需要手動創建如下路徑：hdfsdfs-mkdir-p/hive/warehousehdfsdfs-mkdir-p/hive/logshdfsdfs-mkdir-p/hive/tmphdfsdfs-chmod733/hive/warehousehdfsdfs-chmod733/hive/logshdfsdfs-chmod733/hive/tmp創建本地的目錄mkdir-p/home/hadoop/hive-1.2.1/hivedata/logs配置hive-site.xmlcphive-default.xml.templatehive-site.xml編輯hive-site.xml文件<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value></property>配置hive-site.xml<property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.metastore.warehouse.dir</name><value>/hive/warehouse</value></property><property><name>hive.exec.scratchdir</name><value>/hive/tmp</value></property>配置log4j創建配置文件：perties修改上面兩個文件中的配置:hive.log.dir=/home/hadoop/hive-1.2.1/logslog4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter啟動hive初始化mysql數據庫schematool--dbTypemysql-initSchema如果出現如下警告：WARN:EstablishingSSLconnectionwithoutserver‘sidentityverificationisnotrecommended.AccordingtoMySQL5.5.45+,5.6.26+and5.7.6+requirementsSSLconnectionmustbeestablishedbydefaultifexplicitoptionisn’tset.。。。修改hive-site.xml配置文件：<name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>啟動hive啟動hivehive啟動hive時，可能會遇到下面的問題：Exceptioninthread"main"java.lang.RuntimeException:java.lang.IllegalArgumentException:.URISyntaxException:RelativepathinabsoluteURI:${system:java.io.tmpdir%7D/$%7Bsystem:%7D解決方法：查看hive-site.xml配置，會看到配置值含有"system:java.io.tmpdir"的配置項新建文件夾mkdir-p/home/hadoop/hive-1.2.1/hivedata/tmp將含有"system:java.io.tmpdir"的配置項的值修改為如上地址啟動hive啟動hivehive啟動hive時，可能會遇到下面的問題：[ERROR]Terminalinitializationfailed;fallingbacktounsupportedjava.lang.IncompatibleClassChangeError:Foundclassjline.Terminal,butinterfacewasexpectedatjline.TerminalFactory.create(TerminalFactory.java:101)Foundclassjline.Terminal：原因是hadoop目錄下存在老版本jline解決方法：進入hive的lib目錄，把新版本的jline復制到hadoop的以下目錄cpjline-2.12.jar/home/hadoop/hadoop-2.7.2/share/hadoop/yarn/lib/把hadoop舊版本的jline刪掉Hive的安裝--遠程模式安裝部署將master上的hive-1.2.1目錄復制到其他節點上按照master上的配置修改其他節點上的.profile文件，添加hive的配置修改hive-size.xml文件，刪除如下的配置：javax.jdo.option.ConnectionURLjavax.jdo.option.ConnectionDriverNamejavax.jdo.option.ConnectionUserNamejavax.jdo.option.ConnectionPassword修改hive-size.xml文件，添加如下的配置：<property>

<