如何把timestamp数据类型存储到hive中

如何把timestamp数据类型存储到hive中前言 我们在测试 hive 数据时 经常要入库数据到 hive 中 无论是从其它数据库入库到 hive 中还是从本地导入数据到 hive 中 会遇到 timestamp 格式的数据 那么我们怎么导入进去呢 一 首先建立一个人临时表 把数据中 timestamp 格式全部变为 string 格式 CREATETABLE dwd dwd jp user member bk etl insert date string batch task name string member id string

前言:我们在测试hive数据时,经常要入库数据到hive中,无论是从其它数据库入库到hive中还是从本地导入数据到hive中,会遇到timestamp格式的数据,那么我们怎么导入进去呢?

一、首先建立一个人临时表,把数据中timestamp格式全部变为string格式

CREATE TABLE `dwd.dwd_jp_user_member_bk`( `etl_insert_date` string, `batch_task_name` string, `member_id` string COMMENT 'ID', `user_id` string COMMENT '业务ID', `nickname` string COMMENT '昵称', `last_name` string COMMENT '姓', `first_name` string COMMENT '名', `avatar_url` string COMMENT '头像', `update_time` string COMMENT '更新时间', `mobile` string COMMENT '手机号', `id_card` string COMMENT '身份证号', `email` string COMMENT '邮箱', `gender` string COMMENT '性别', `age` string COMMENT '年龄', `birth_date` string COMMENT '生日', `channel_name` string COMMENT '会员渠道', `channel_first_name` string COMMENT '会员首次来源', `full_name` string COMMENT '姓名', `register_time` string COMMENT '注册时间', `domain_id` string COMMENT '域名id') ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ( 'field.delim'=',', 'serialization.format'=',') STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 'hdfs://nameservice1/user/hive/warehouse/dwd.db/dwd_jp_user_member_bk' TBLPROPERTIES ( 'transient_lastDdlTime'='') 

二、把数据导入到临时表(这里我的数据是从本地导入)

load data local inpath 'user_member_user_id.csv' into table dwd.dwd_jp_user_member_bk; 

三、把数据从临时表插到正式表

insert overwrite table dwd.dwd_jp_user_member select etl_insert_date ,batch_task_name ,member_id ,user_id ,nickname ,last_name ,first_name ,avatar_url ,cast(substring(update_time,1,10) as timestamp) as update_time ,mobile ,id_card ,email ,gender ,age ,birth_date ,channel_name ,channel_first_name ,full_name ,cast(substring(register_time,1,10) as timestamp) as register_time from dwd.dwd_jp_user_member_bk 

至此数据导入大功告成!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/224244.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月17日 下午12:22
下一篇 2026年3月17日 下午12:23


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号