hive表数据去重

全栈程序员-站长 • 2021年5月13日上午11:00 • 未分类 • 阅读 144

hive表数据去重

根据user name查重
SELECT test_user_name, count(*) c from default.test GROUP BY test_user_name HAVING c> 1;
根据id查重
SELECT id ,count(*) c FROM default.test GROUP BY id HAVING c >1;
去重：注意min用法，取相同数据的最小id，去重的重点
min:使用group by 分组后取分组内最小id，以便去掉其它重复数据
INSERT OVERWRITE table default.test partition(test_data_source) select * from default.test where id in ( select min(id) as id from default.test group by test_user_name) ;

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/100394.html原文链接：https://javaforall.net

数据

全栈程序员-站长

0 0

关于C语言数组的输入与输出[通俗易懂]

关于C语言数组的输入与输出[通俗易懂]先摆代码:#include#includeintmain(){ chara[8];//定义数组,不设初值 chara[8]={‘a’};//定义数组,设置初值,这样其余为\0 scanf(“%s”,a);//第一种输入方式 inti=0;//第二种输入方式 for(;i<=sizeof(a)-1;i++) { char

全栈程序员-站长
2022年7月11日
11
idea

ieda 2021激活码【2021最新】

(ieda 2021激活码)这是一篇idea技术相关文章，由全栈君为大家提供，主要知识点是关于2021JetBrains全家桶永久激活码的内容https://javaforall.net/100143.htmlIntelliJ2021最新激活注册码，破解教程可免费永久激活，亲测有效，上面是详细链接哦~S32PGH0SQB-eyJsaWNlb…

全栈程序员-站长
2022年3月25日
109
数据结构图的邻接表

数据结构图的邻接表呃，下面该写邻接表了…….邻接表的出现是因为图若是稀疏图，用邻接矩阵会造成空间的浪费，毕竟你要开辟一个一维数组和一个二维数组嘛，而且还是大开小用的那种。邻接表为了避免内存的浪费引入了链式存储，它的处理办法是：1.用一个一维数组存储顶点，当然你也可以用单链表存储，2.用单链表存储顶点的邻接点，可以将顶点改为结构体数组，结构体中存放邻接点的指针，邻接点也创建一个结构体，定义指针…

全栈程序员-站长
2022年6月28日
18
京东云服务器使用教程视频_京东通信app下载

京东云服务器使用教程视频_京东通信app下载形势分析对公司而言，服务器并不是大事。互联网公司都有服务器和机房。但对个人开发者而言，服务器长久以来确是一大难题。但近年，国外亚马逊牵头开始做AWS云服务，并迅速获得极大成功。国内阿里巴巴及时跟进，推出阿里云平台。服务器对个人开发者而言不再是遥不可及，反而变得触手可及。甚至很多企业不再自己搭建服务器，转而使用云服务平台以节省成本。目前国内云服务平台已是百家争鸣，比起早年互联网环境已好很多。除阿里云外

全栈程序员-站长
2022年10月14日
0
软件测试面试题（含答案）[通俗易懂]

软件测试面试题（含答案）[通俗易懂]软件测试面试题（含答案）

全栈程序员-站长
2022年6月9日
31
CentOS 安装 semanage 命令

CentOS 安装 semanage 命令

全栈程序员-站长
2021年10月18日
35