hive表数据去重

全栈程序员-站长 • 2021年5月13日上午11:00 • 未分类 • 阅读 144

hive表数据去重

根据user name查重
SELECT test_user_name, count(*) c from default.test GROUP BY test_user_name HAVING c> 1;
根据id查重
SELECT id ,count(*) c FROM default.test GROUP BY id HAVING c >1;
去重：注意min用法，取相同数据的最小id，去重的重点
min:使用group by 分组后取分组内最小id，以便去掉其它重复数据
INSERT OVERWRITE table default.test partition(test_data_source) select * from default.test where id in ( select min(id) as id from default.test group by test_user_name) ;

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/100394.html原文链接：https://javaforall.net

数据

全栈程序员-站长

0 0

oracle中integer最大值,integer表示的最大整数[通俗易懂]

oracle中integer最大值,integer表示的最大整数[通俗易懂]Integer类型的变量可能存在的最大整数为？A.256BInteger类的数据范围为，最小值为-2^31，最大值为2^31-1；验证如下，创建java类TestInteger，做测试验证用，编写java代码，创建Integer对象，值为256，数据可以输出，Integeri=newInteger(256);System.out.println(i);java中int型最大值…

全栈程序员-站长
2022年9月8日
0
NOIP2017 酱油送命记

NOIP2017 酱油送命记

全栈程序员-站长
2022年3月12日
41
javamethod用法_method

javamethod用法_methodClass类getMethod()方法getMethod()方法在java.lang包中可用。getMethod()方法用于返回Method对象，这些对象指示该类的给定公共方法或由此Class对象表示的接口。getMethod()方法是一种非静态方法，只能通过类对象访问，如果尝试使用类名称访问该方法，则会收到错误消息。getMethod()方法在返回Method对象时可能会引发异常。NoSuchM…

全栈程序员-站长
2022年9月23日
0
administrator改名字_计算机名和用户名

administrator改名字_计算机名和用户名重命名计算机必须以管理员或Administrators组成员身份登录才能完成该过程。如果计算机与网络连接，则网络策略设置也可以阻止您完成此步骤。在控制面板中打开系统。在“计算机名称”选项卡，单击“更改”。在“计算机名”下键入计算机的新名称，然后单击“确定”。如果计算机是域的成员，则提示您提供用户名和用户密码才能重命名域中的计算机。注意要打开“系统”，请单击“开始”，指向“设置”，单击“控制面…

全栈程序员-站长
2022年10月14日
0
json字符串转换为实体类_java类字符串转为日期格式

json字符串转换为实体类_java类字符串转为日期格式StringreleaseModel=redisUtil.get(RedisContants.Release);StringunleaseModel=redisUtil.get(RedisContants.unRelease);从redis取出数据JSON是字符串格式的:这时候有两种方法可以转换：使用JSONObject.pareArray…

全栈程序员-站长
2022年9月7日
0
SpringBoot创建maven多模块项目(实战)

SpringBoot创建maven多模块项目(实战)SpringBoot创建maven多模块项目(实战)工作中一直都是一个人奋战一人一个项目，使用maven管理，看这个也挺好，但是总感觉没有充分发挥maven的功能，于是研究了一下这个，网上关于这个的文章很多，虽然不是很好，但我从中收获了很多，在这集百家所长，写一份实战记录，大家跟着我一块做吧！声明：构建多模块不是最难的，难点是如果把多模块打包成一个执行jar。……

全栈程序员-站长
2022年10月13日
0