Hive数据库操作

Hive数据库操作

1、对数据库进行操作

（1）创建数据库

create database chengzhi; 

如果出现如下错误：

hive> create database db_hive; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Database db_hive already exiSts 

使用命令：（避免要创建的数据库已经存在错误，增加 if not exists 判断。）

hive (default)> create database if not exists db_hive; 

（2）切换数据库以及删除数据库

use chengzhi; drop database db_hive2; 

（3）创建表

create table st( id String, name String, score integer) row format delimited fields terminated by ','; 

（4）修改表中的机构以及表记录

修改表表名，列名，列注释，表注释，增加列，调整列顺序，属性名等操作

ALTER TABLE name RENAME TO new_name ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...]) ALTER TABLE name DROP [COLUMN] column_name ALTER TABLE name CHANGE column_name new_name new_type ALTER TABLE name REPLACE COLUMNS (col_spec[, col_spec ...]) 

（5）将表记录导入到数据表中去

load data inpath '/data/user.txt' into table student; #上传文件从本地上传 load data local inpath '/data/user.txt' into table stu; 

出现的错误：

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 

说明数据库内容有问题：

我的原因是应为修改了名称，导致数据库出错。

查看并修改vi hive-site.xml内容。

使用Sqoop工具导入导出

1、Sqoop安装配置

（1）设置sqoop-env.sh文件，添加如下配置内容：

export HADOOP_COMMON_HOME=/usr/app/hadoop2.7.3 export HADOOP_MAPRED_HOME=/usr/app/hadoop2.7.3 export HADOOP_HIVE_HOME=/usr/app/hive2.3.7 

（2）设置系统环境变量：

export SQOOP_HOME=/usr/app/sqoop1.4.7 export PATH=$PATH:$SQOOP_HOME/bin 

（3）sqoop-site.xml保持默认配置

（4）将MySQL的包文件导入到/usr/app/sqoop1.4.7/lib下面mysql-connector-java-5.1.7-bin.jar

（6）测试是否链接数据库：

sqoop list-databases \ --connect jdbc:mysql://192.168.87.202/ \ --username root \ --password  

2、上传文件方法

（1）全量导入

sqoop import \ --connect jdbc:mysql://192.168.1.2/cqcvc \ --username root \ --password  \ --target-dir /mydata \ --table student \ --num-mappers 1 

（2）增量导入

sqoop import \ --connect jdbc:mysql://192.168.1.2/cqcvc \ --username root \ --password  \ --target-dir /mydata \ --table student \ --incremental append \ --check-column id \ --last-value 5 

（3）带where参数的数据过滤导入

sqoop import \ --connect jdbc:mysql://192.168.1.2/cqcvc \ --username root \ --password  \ --where "sex='女'" \ --target-dir /mydata1 \ --table student \ --num-mappers 1 

（4）通过query参数的数据过滤导入

 sqoop import --connect jdbc:mysql://192.168.1.2/cqcvc --username root \ --password  \ --target-dir /mydata4 \ --query 'select * from student where id>2 and $CONDITIONS' \ --num-mappers 1 

（5）数据导出export

sqoop export\ --connect jdbc:mysql://192.168.87.202/chengzhi?characterEncoding=utf8 \ --username root \ --password  \ --table money \ --export-dir /Hive_WH/chengzhi.db/money1 

课堂实例

1、先将要分析的数据表consumption.log上传到Hadoop的/data文件下。

2、在hive上新建一个

create table money( id int, name String, Time String, product String, money int, city1 String, city2 String, Telephone String) row format delimited fields terminated by ' '; 

2、从本地上传到hive上

load data local inpath '/data/user.txt' into table money; 

3、将需要查找的数据查询到然后保存到hive的数据表中去，并且以逗号作为分隔符

create table money1 row format delimited fields terminated by ',' as select name,sum(money) as sum from consumption1 group by name order by sum; 

6、在MySQL数据库中创建一个和需要导出表的表结构相同的数据表

CREATE TABLE money(name varchar(30),sum int(10)); 

5、将数据保存好后退出hive然后使用sqoop将数据导出MySQL中

sqoop export \ --connect jdbc:mysql://192.168.87.202/chengzhi?characterEncoding=utf8 \ --username root \ --password  \ --table money \ --export-dir /Hive_WH/chengzhi.db/money1