hive 安装教程

hive 安装教程

hive几种交互式使用方式

1、hive交互shell bin/hive

2、hive jdbc服务（参考java jdbc链接mysql)

3、hive 启动为一个服务，来对外提供服务

控制台启动：bin/hiveserver2

命令行启动：nohub /bin/hiveserver2 1>/var/log/hiveserver2.log 2> /var/log/hiveserver.err &

启动成功后使用 可以在别的节点使用beeline去链接

/bin/beeline -u jdbc:hive2://youduk3:10000 -n root

或者使用命令行

bin/beeline

! connect jdbc:hive2://youduk3:10000

4、hive 命令

hive -e sql

/bin/hive -e ‘select * from t_test’

安装教程

1、安装包下载

hive 下载地址

https://dlcdn.apache.org/hive/

apache-hive-1.2.2-bin.tar.gz

下载安装包

mkdir -p /home/bigdata/

安装包放入到 /home/bigdata/中

tar -zxvf apache-hive-1.2.2-bin.tar.gz

cd apache-hive-1.2.2-bin

2、配置环境变量

export HIVE_HOME=/home/bigdata/apache-hive-1.2.2-bin

export PATH=.:$HIV{E}_{H}OME/bin:$PATH

保存退出

source /etc/profile 立即生效

启动方式

1、derby启动方式

bin/hive
退出

会增加两个文件
derby日志文件和 数据库文件。

derby 方式 元数据无法共享。用来做测试实验

2、mysql启动方式

mysql 安装方式，请参考 https://mp.csdn.net/mp_blog/creation/editor/

配置hive环境变量

vim conf/hive-env.sh 配置其中的$hadoop_home

cp conf/hive-env.sh.template conf/hive-env.sh
hive默认配置 conf/hive-default.xml.template

自定义配置

vi conf/hive-site.xml

<configuration> <property> <name>javax.jdo.option.ConnectionDriverName 
     name> <value>com.mysql.cj.jdbc.Driver 
      value> <description>Driver class name for a JDBC metastore 
       description>  
        property> <property> <name>javax.jdo.option.ConnectionURL 
         name> <value>jdbc:mysql://youduk5:3306/hive?allowPublicKeyRetrieval=true&createDatabaseIfNotExist=true 
          value> <description>JDBC connect strin 
           description>  
            property> <property> <name>javax.jdo.option.ConnectionUserName 
             name> <value>root 
              value> <description>Username to use against metastore database 
               description>  
                property> <property> <name>javax.jdo.option.ConnectionPassword 
                 name> <value>xxxxxx 
                  value> <description>password to use against metastore database 
                   description>  
                    property>  
                     configuration> 

自定义配置可以在conf/hive-default.xml.template 找到

&createDatabaseIfNotExist=true 如果没有 自动创建。

hive 需要手动配置mysql链接驱动

下载mysql驱动放到 lib下

启动

bin/hive

Logging initialized using configuration in jar:file:/home/bigdata/apache-hive-1.2.2-bin/lib/hive-common-1.2.2.jar!/hive-log4j.properties hive> hive> create database h_it hive> show databases; OK default h_it 退出控制台 

再次进入 bin/hive

Logging initialized using configuration in jar:file:/home/bigdata/apache-hive-1.2.2-bin/lib/hive-common-1.2.2.jar!/hive-log4j.properties hive> show databases; OK default h_it 

mysql 方式安装成功。

hive-site.xml中配置

<property> <name>hive.metastore.warehouse.dir 
     name> <value>/user/hive/warehouse 
      value>  
       property> 

MySQL中同样可以看到：

show databases;

use hive;

show tables;

select * from TBLS;

select * from COLUMNS_V2;

3、hive集群搭建

 
   
   
   
    
    
      javax.jdo.option.ConnectionURL 
     
    
      jdbc:mysql://youduk5:3306/hive?allowPublicKeyRetrieval=true&createDatabaseIfNotExist=true 
     
    
      JDBC connect string for a JDBC metastore 
     
    
    
    
      javax.jdo.option.ConnectionDriverName 
     
    
      com.mysql.cj.jdbc.Driver 
     
    
      Driver class name for a JDBC metastore 
     
    
    
    
      javax.jdo.option.ConnectionUserName 
     
    
      root 
     
    
      username to use against metastore database 
     
    
    
    
      javax.jdo.option.ConnectionPassword 
     
    
      xxxxxx 
     
    
      password to use against metastore database 
     
    
    
    
    
      hive.exec.local.scratchdir 
     
    
      /home/bigdata/apache-hive-1.2.2-bin/iotmp 
     
    
      Local scratch space for Hive jobs 
     
    
    
    
      hive.downloaded.resources.dir 
     
    
      /home/bigdata/apache-hive-1.2.2-bin/iotmp 
     
    
      Temporary local directory for added resources in the remote file system. 
     
    
   

4、配置mysql驱动

下载mysql驱动放到 lib下 

5、到 bin目录下执行初始化

​ schematool -dbType mysql -initSchema MySQL作为元数据库，此时在hive的bin目录

6、使用scp打包hive到子节点

scp -r /home/bigdata/apache-hive-1.2.2-bin root@youduk4:/home/bigdata/ scp -r /home/bigdata/apache-hive-1.2.2-bin root@youduk5:/home/bigdata/ 

7、配置子节点的环境变量

上面介绍了。参照安装教程中配置环境变量章节

8、配置hive-config.sh文件

cd /home/bigdata/apache-hive-1.2.2-bin

vi hive-config.sh #添加如下内容

export JAVA_HOME=/opt/jdk1.8.0_181

export HADOOP_HOME=/opt/hadoop-2.7.7

9、启动hive

1）启动Metastore服务

​ 先启动hadoop start-all.sh # 启动Metastore服务,执行Hive前, 须先启动metastore服务, 否则会报错 ./hive –service metastore # 此时在hive的bin目录

2）启动hive

3） 配置从节点配置

vim conf/hive-site.xml

<property> <name>hive.metastore.uris 
     name> <value>thrift://youduk3:9083 
      value> <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore. 
       description>  
        property> 

从节点 bin/hive