hadoop hive 手记

hadoop hive 手记

大家好,又见面了,我是全栈君。

hadoop hive  手记

 
1,创建表及分区,针对于squid_log 
create table squid_tmp(visittime string, clientip string, visitdom string, visiturl string, visitstat string) partitioned by (pt_ip string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’ STORED AS TEXTFILE;
 
create table squid_tmpp(visittime string, clientip string, visitdom string, visiturl string, visitstat string) partitioned by (pt_ip string, pt_dt int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’ STORED AS TEXTFILE;
 
create table squid_log
(visittime string, clientip string, visitdom string, visiturl string, visitstat string) partitioned by (pt_ip string, pt_dt int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’ STORED AS TEXTFILE;
 
2, 导入文本到hive 中
load data local inpath ‘/data1/squid_log/117.34.80.249/tmp.log’ overwrite into table squid.squid_tmp partition(pt_ip = ‘117.34.80.249’)
 
3, 从 squid_tmp 导入到squid_log中
insert into table squid_log partition(pt_ip, pt_dt) select visittime, clientip, visitdom, visiturl, visitstat, substr(visittime,1,8) as pt_dt, pt_ip from squid_tmp;
 
4, hive 删除分区
alter table squid_log drop partition(pt_ip = ‘117.34.80.249’, pt_dt=20130224);
 
5, hive 查看分区信息
show partitions squid_log;
 

本文转自 swq499809608 51CTO博客,原文链接:http://blog.51cto.com/swq499809608/1142460

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108002.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • [渝粤教育] 徐州工业职业技术学院 橡胶原材料 参考 资料「建议收藏」

    [渝粤教育] 徐州工业职业技术学院 橡胶原材料 参考 资料「建议收藏」教育-橡胶原材料-章节资料考试资料-徐州工业职业技术学院【】课程认知随堂测验1、【多选题】下列制品可采用橡胶材料制作的是。A、轮胎B、鞋子底C、输送带D、婴儿奶嘴参考资料【】2、【多选题】硫化体系主要包括。A、硫化剂B、促进剂C、活性剂D、防焦剂参考资料【】3、【判断题】橡胶是一种材料,它在大的形变下能迅速而有力恢复其形变,能够被改性(硫化)。A、正确B、错误参考资料【】4、【判断题】生胶是一种高弹性高聚物材料,是制造橡胶制品的基础材料,一

    2022年10月2日
    3
  • IDS入侵检测系统的缺点_IDS入侵检测是指依照

    IDS入侵检测系统的缺点_IDS入侵检测是指依照[转载自:https://blog.csdn.net/qq_36119192/article/details/84343269]一、IDS是什么IDS(intrusiondetectionsystem)入侵检测系统是一种对网络传输进行即时监视,在发现可疑传输时发出警报或者采取主动反应措施的网络安全设备。它与其他网络安全设备的不同之处便在于,IDS是一种积极主动的安全防护技术。在很多中大…

    2022年10月9日
    2
  • dex文件介绍

    dex文件介绍搭建环境Ubuntu18.04.1LTSandroid-ndk-r17-beta2FFmpeg4.0.2编译FFmpeg修改configure配置编译脚本报错调整错误1:错误2:错误3:错误4:错误5:搭建环境Ubuntu18.04.1LTS需要安装yasm:sudoapt-getinstallyasmand…

    2022年6月27日
    32
  • 基本农田卫星地图查询软件下载_谷歌高清卫星地图2019村庄

    基本农田卫星地图查询软件下载_谷歌高清卫星地图2019村庄谷歌地图整合Google的本地搜索以及驾车指南两项服务,能够鸟瞰世界,将取代目前桌面搜索软件。谷歌地图可在虚拟世界中如同一只雄鹰在大峡谷中自由飞翔,登陆峡谷顶峰,潜入峡谷深渊。谷歌地图使用界面相关软件版本说明下载地址谷歌卫星地图下载器X2.0查看高德地图官方最新版v7.7.4查看奥维互动地图v6.1.1查看谷歌浏览器稳定版v56.0.2924.3查看谷歌翻译v6.0查看软件简介谷歌地图采…

    2022年4月19日
    371
  • C语言数组初始化

    C语言数组初始化转载博客代码编译运行环境:VS2017+Win32+Debug1.字符数组的初始化方式C语言中表示字符串有两种方式,数组和指针,字符数组是我们经常使用的方式。变量的定义包括指明变量所属类型、变量名称、分配空间以及初始化。可以看出,变量的初始化是变量定义的一部分。除了const变量需要显示初始化以外,其它变量如果在定义时未显示初始化,编译器会为变量以默认…

    2022年7月18日
    19
  • SQL | 窗口函数 row number + partition by 排序

    SQL | 窗口函数 row number + partition by 排序目录1  背景2  SQL牛逼函数走起来2.1  Step12.2  SQL实现12.3  Step22.4  SQL实现22.5  补充-collect函数2.5.1  SQL语句3  头条面试SQL题3.1&nbs…

    2022年5月29日
    46

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号