hadoop hive 手记

hadoop hive 手记

大家好,又见面了,我是全栈君。

hadoop hive  手记

 
1,创建表及分区,针对于squid_log 
create table squid_tmp(visittime string, clientip string, visitdom string, visiturl string, visitstat string) partitioned by (pt_ip string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’ STORED AS TEXTFILE;
 
create table squid_tmpp(visittime string, clientip string, visitdom string, visiturl string, visitstat string) partitioned by (pt_ip string, pt_dt int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’ STORED AS TEXTFILE;
 
create table squid_log
(visittime string, clientip string, visitdom string, visiturl string, visitstat string) partitioned by (pt_ip string, pt_dt int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’ STORED AS TEXTFILE;
 
2, 导入文本到hive 中
load data local inpath ‘/data1/squid_log/117.34.80.249/tmp.log’ overwrite into table squid.squid_tmp partition(pt_ip = ‘117.34.80.249’)
 
3, 从 squid_tmp 导入到squid_log中
insert into table squid_log partition(pt_ip, pt_dt) select visittime, clientip, visitdom, visiturl, visitstat, substr(visittime,1,8) as pt_dt, pt_ip from squid_tmp;
 
4, hive 删除分区
alter table squid_log drop partition(pt_ip = ‘117.34.80.249’, pt_dt=20130224);
 
5, hive 查看分区信息
show partitions squid_log;
 

本文转自 swq499809608 51CTO博客,原文链接:http://blog.51cto.com/swq499809608/1142460

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108002.html原文链接:https://javaforall.net

(0)
上一篇 2022年3月8日 下午7:00
下一篇 2022年3月8日 下午8:00


相关推荐

  • soapUI使用教程[通俗易懂]

    soapUI使用教程[通俗易懂]SoapUI使用1.什么是soapUI由于Web服务是被程序调用的,一般不会提供界面让最终用户或测试人员直接使用,soapUI是针对这种情况开发的一个工具,用户可以在soapUI中通过简单的操作完成复杂的测试。目前我们系统中电子渠道接口、充值卡接口都是用WebService实现的,因此需要用到SoapUI进行测试。SoapUI不仅可以简单地执行测试,而且可以自动运行已经准备

    2022年6月15日
    94
  • UID卡、CUID卡、FUID卡、UFUID卡的区别及写入方式

    UID卡、CUID卡、FUID卡、UFUID卡的区别及写入方式UID 卡 国外又称 GEN1 所有区块可被重复读写卡片 ID 可改写且使用后门指令更改 ID 卡片 ID 可重复修改相应后门指令 意味着可被使用后门指令检测是否为克隆卡的机器发现 CUID 卡 国外又称 GEN2 所有区块可被重复读写卡片 ID 可改且使用普通指令更改 IDID 可被重复修改不响应后门指令 意味着不容易被反克隆系统发现 FUID 卡 国外称 GEN2 0 区块可写且仅可写入一次使用普通置

    2026年3月19日
    2
  • String类型转换BigDecimal、Date类型

    String类型转换BigDecimal、Date类型String类型转换BigDecimal类型public static void main(String[] args) {         String str1="2.30";            BigDecimal bd=new BigDecimal(str1);            System.out.println(bd);    }Java String类型转换成D…

    2022年6月13日
    43
  • 11. OpenClaw 安全配置最佳实践

    11. OpenClaw 安全配置最佳实践

    2026年3月13日
    1
  • linux桌面系统 9,红旗Linux系统RedFlag Linux Desktop 9.0安装教程

    linux桌面系统 9,红旗Linux系统RedFlag Linux Desktop 9.0安装教程以下分享红旗Linux操作系统RedFlagLinuxDesktop9.0安装教程,你可以用Vmware、VirtualBox虚拟机、硬盘、U盘、光盘的方式来安装。本文以光盘的方式来演示安装RedFlagLinuxDesktop9.0全过程。安装RedFlagLinuxDesktop9.0至少需要如下基本硬件配置:1.Intel或AMDCPU,推荐使用2GB以上内存。2.最少…

    2022年8月20日
    10
  • MAC电脑用adb命令安装APK

    MAC电脑用adb命令安装APK目录开始过程结果开始分别在命令行里面输入以下命令:touch.bash_profileopen-e.bash_profilesource.bash_profileadbversion过程这个时候会弹出一个这种框需要你配置路径比如我的路径是这个命令:exportPATH=${PATH}:–…

    2022年6月1日
    90

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号