python去重脚本

python去重脚本可以用来去除字典 漏洞数量等使用方法 将要去重的部分保存成为 csv 格式 并命名为 all csv 直接执行后 会在当前目录下生成 qc csv 的文件 coding utf 8ciku open r all csv r 打开需要去重文件 xieci open r qc csv w 打开处理后存放的文件 cikus ciku readlines list2

可以用来去除字典、漏洞数量等

使用方法,将要去重的部分保存成为csv格式,并命名为all.csv,直接执行后,会在当前目录下生成qc.csv的文件!

#coding:utf-8 ciku=open(r'all.csv','r') #打开需要去重文件 xieci=open(r'qc.csv','w') #打开处理后存放的文件 cikus=ciku.readlines() list2 = {}.fromkeys(cikus).keys() #列表去重方法,将列表数据当作字典的键写入字典,依据字典键不可重复的特性去重 i=1 for line in list2: if line[0]!=',': # print line[0:-1].decode('utf-8').encode('gbk') # print u"writing"+i i+=1 xieci.writelines(line) xieci.close() 
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/200619.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月20日 上午10:25
下一篇 2026年3月20日 上午10:25


相关推荐

  • IDEA搭建Android开发环境[通俗易懂]

    IDEA搭建Android开发环境[通俗易懂]开发环境IDEA2019.3+SDK+JDK1.8。关于JDK的安装参考:JDK安装以及环境变量的配置,这里就不再说了。直接从SDK的安装开始。一、SDK的下载官方下载地址:sdk下载。不过服务器可能进不去。因为不用AndroidStudio,所以拉到最下面,选择sdk-tools就行下载完成后,解压到一个目录下即可。二、IDEA配置SDK打开Configure->Str…

    2022年7月23日
    235
  • js替换所有的回车换行符[通俗易懂]

    js替换所有的回车换行符[通俗易懂]//替换所有的回车换行functionTransferString(content){varstring=content;try{string=string.replace(/\r\n/g,””)string=string.replace(/\n/g,””);}catch(e){

    2022年5月24日
    91
  • 基于近邻的协同过滤算法

    基于近邻的协同过滤算法这节课我们来学习K近邻在推荐系统中的应用,你将完成本课程的第一个实战项目:基于KNN的电影推荐系统!为了使你能够顺利地完成实战内容,我们先了解一下推荐系统中的基础知识。基于近邻用户的协同过滤假定有一个场景:某个周日的下午,你感觉很无聊,然后从电脑上打开了一个视频网站,想看下最近有什么好看的电影。然而你发现网站上的热门电影基本都看过,其他的电影又太多,不知道该看什么。想使用搜索框去查一下,但是又不知道该搜什么关键词,这个时候你的内心很焦灼,总不能挨个去尝试吧,那时间成本也太大了…仔细想想还是有办法的,那

    2022年6月30日
    29
  • 【整理】什么是SDK(软件开发工具包)

    【整理】什么是SDK(软件开发工具包)一般我的理解是 SDK 是一些公司针对某一项技术为软件开发人员制作的一套辅助开发或者减少开发周期的工具 比如说 微软除了发布 DIRECTX 的 RUNTIME DX 的运行时刻库 一般需要 DX 支持的游戏运行时只要这个就够了 之外 还会发布 DIRECTX 的 SDK 那么开发游戏的人或者其他编程的人 就可以利用 DIRECTX 的 SDK 更好的开发使用 DIRECTX 技术的游戏或软件 一般 SDK 中会对一些技术的内部特性

    2026年3月17日
    2
  • 应用迁云之镜像迁移-(1)概述

    应用迁云之镜像迁移-(1)概述

    2022年2月23日
    40
  • Hibernate查询方式之:HQL查询(需要使用的类是:Query)

    Hibernate查询方式之:HQL查询(需要使用的类是:Query)

    2021年7月10日
    80

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号