hivesql导出本地文件

hivesql导出本地文件

介绍

做数据分析的时候,经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果,然后再将查询结果放到Excel等工具中,但是如果查询的字段太多,这时候将查询结果放到Excel会经常会碰到错位问题,很是头疼.

解决方案一:借助linux管道替换输出分隔符

样例如下:

# 方法一:sed

hive -e "select * from db.table_name" | sed 's/\t/,/g' > ./abc.txt

 

# 方法二:tr

hive -e "select * from db.table_name" | tr "\t" ","

 

结果查看如下:

$ cat abc.txt 

解决方案二:借助Hive的insert语法

代码如下:

insert overwrite local directory 'path'
row format delimited
fields terminated by ','
select xxxx 
from xxxx;

上面的sql将会把查询结果写到指定目录中,字段之间以‘,’分隔

结果如下:

$ ls path
000000_0
 

官方介绍:

Standard syntax:
INSERT OVERWRITE [LOCAL] DIRECTORY directory1
  [ROW FORMAT row_format] [STORED AS file_format] (Note: Only available starting with Hive 0.11.0)
  SELECT ... FROM ...
 
Hive extension (multiple inserts):
FROM from_statement
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 select_statement2] ...
row_format
  : DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char]
        [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
        [NULL DEFINED AS char] (Note: Only available starting with Hive 0.13)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/119632.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Xshell如何修改字体大小和颜色

    Xshell如何修改字体大小和颜色

    2021年10月18日
    61
  • Linux命令 ldd

    Linux命令 ldd转载:Linux中的ldd命令和pvs命令ldd命令用于判断某个可执行的binary档案含有什么动态函式库。参数说明:–version  打印ldd的版本号-v–verbose  打印所有信息,例如包括符号的版本信息-d–data-relocs  执行符号重部署,并报告缺少的目标对象(只对ELF格式适用)-r–function-relocs  对目标对象和函数执行重

    2022年6月8日
    40
  • raid0 raid1 raid5 raid6 raid10的优缺点和做各自raid需要几块硬盘[通俗易懂]

    raid0 raid1 raid5 raid6 raid10的优缺点和做各自raid需要几块硬盘[通俗易懂]一、Raid0:一块硬盘或者以上就可做raid0优势:数据读取写入最快,最大优势提高硬盘容量,比如3块80G的硬盘做raid0可用总容量为240G。速度是一样。缺点:无冗余能力,一块硬盘损坏,数据全无。建议:做raid0可以提供更好的容量以及性能,推荐对数据安全性要求不高的使用。二、Raid1:至少2快硬盘可做raid1优势:镜像,数据安全强,2快硬盘做raid一块正常运行,另外一块镜像备份数据,保障数据的安全。一块坏了,另外一块硬盘也有完整的数据,保障运行。缺…

    2022年7月15日
    19
  • Nginx+DNS负载均衡「建议收藏」

    Nginx+DNS负载均衡「建议收藏」今天看了很多关于nginx负载均衡的博客,人家推荐的都是自己的ip来做负载,但是同样有说DNS负载均衡,刚开始我也是一头雾水,慢慢的分析才知道真正意义上的Nginx+DNS负载均衡。1.nginx负载均衡的5种策略(先了解这个后面的才好懂)轮询策略(默认)这种策略下每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。upstreambackserver{server192.168.0.14;server192.168.0.15;}指定

    2022年7月14日
    38
  • EnableEventValidation启用事件验证

    EnableEventValidation启用事件验证根据出错页面给出的提示消息可以知道,默认情况下是启用了事件验证的,在Aspx页HTML部分的Page指令处添加如下属性,就可以在页面回发时禁用事件验证<%@PageLanguage=”C#”EnableEventValidation=”false”.%>分析:出现这个错误一般是因为在客户端调用了js代码,改写了页面控件中的值,而通过postback再次requ…

    2022年7月24日
    15
  • windows文件服务器双机热备_服务器双机热备解决方案「建议收藏」

    两台主机各安装一套数据库软件(Oracle/SQL/Sysbase/)和应用程序,建立主机系统结构的镜像模式。将数据库的系统库、数据库及日志建立在磁盘阵列提供的硬盘裸设备上,保证了其中任一台主机出现故障时,令外一台的数据库能继续访问数据库,通过主机切换进程的脚本文件实现应用程序的切换。保证应用业务的服务不停顿,和资料的安全。使用两台服务器分别与磁盘阵列相连接,采用standby方式。一台主机(…

    2022年4月17日
    217

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号