hadoop hive 手记

hadoop hive 手记

大家好,又见面了,我是全栈君。

hadoop hive  手记

 
1,创建表及分区,针对于squid_log 
create table squid_tmp(visittime string, clientip string, visitdom string, visiturl string, visitstat string) partitioned by (pt_ip string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’ STORED AS TEXTFILE;
 
create table squid_tmpp(visittime string, clientip string, visitdom string, visiturl string, visitstat string) partitioned by (pt_ip string, pt_dt int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’ STORED AS TEXTFILE;
 
create table squid_log
(visittime string, clientip string, visitdom string, visiturl string, visitstat string) partitioned by (pt_ip string, pt_dt int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’ STORED AS TEXTFILE;
 
2, 导入文本到hive 中
load data local inpath ‘/data1/squid_log/117.34.80.249/tmp.log’ overwrite into table squid.squid_tmp partition(pt_ip = ‘117.34.80.249’)
 
3, 从 squid_tmp 导入到squid_log中
insert into table squid_log partition(pt_ip, pt_dt) select visittime, clientip, visitdom, visiturl, visitstat, substr(visittime,1,8) as pt_dt, pt_ip from squid_tmp;
 
4, hive 删除分区
alter table squid_log drop partition(pt_ip = ‘117.34.80.249’, pt_dt=20130224);
 
5, hive 查看分区信息
show partitions squid_log;
 

本文转自 swq499809608 51CTO博客,原文链接:http://blog.51cto.com/swq499809608/1142460

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108002.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Unity键盘钩子[通俗易懂]

    Unity键盘钩子[通俗易懂]http://blog.csdn.net/qq452626100/article/details/52398830privatestaticintKeyboardHookProc(intnCode,Int32wParam,IntPtrlParam){ if(nCode==HC_ACTION ) { varkc=(KeyCode)(wParam+97-65)

    2022年5月28日
    48
  • vb 随机数_vb随机产生一个范围的数

    vb 随机数_vb随机产生一个范围的数[代码]

    2022年8月4日
    7
  • ajax的实现_JavaScript高级教程

    ajax的实现_JavaScript高级教程点击这里下载PDF文件。  点击这里下载示例文件。  点击这里下载视频文件。  相关内容:AJAX培训第二讲:使用AJAX框架(下)  首先向大家说声抱歉,离上次隔的时间实在太长。由于一度工作比较忙,所以录制就耽搁了。而且后来在录制过程中也麻烦不断,主要原因是我的笔记本比较差,而录制的内容一多,几乎就会处于“僵死”状态,然后Captivate非常容易崩溃,最后连录制内容都弄坏了。录制结束后怎么发布

    2022年9月11日
    2
  • 哈夫曼树

    哈夫曼树一、哈夫曼树的概念和定义 什么是哈夫曼树?让我们先举一个例子。判定树:       在很多问题的处理过程中,需要进行大量的条件判断,这些判断结构的设计直接影响着程序的执行效率。例如,编制一个程序,将百分制转换成五个等级输出。大家可能认为这个程序很简单,并且很快就可以用下列形式编写出来:  if(score<60) cout<<"Bad"<

    2022年6月11日
    34
  • Gson读取文件「建议收藏」

    Gson读取文件「建议收藏」读取文件

    2022年5月15日
    48
  • ASP官网_什么是ASP.NET?它有什么优势

    ASP官网_什么是ASP.NET?它有什么优势asp转换时区的问题原代码,strDateTime=now()因空间是美国的,这样获得的是美国的时间怎样写,可以转换成北京时间美西时间为西8区,北京时间为东8区也就是说美西时间比北京时间慢16个小时所以,北京时间=美西时间+16小时得到:strDateTime=DateAdd(“h”,16,now())插曲:美国共有四个时区:西部

    2022年10月7日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号