可以用来去除字典、漏洞数量等
使用方法,将要去重的部分保存成为csv格式,并命名为all.csv,直接执行后,会在当前目录下生成qc.csv的文件!
#coding:utf-8 ciku=open(r'all.csv','r') #打开需要去重文件 xieci=open(r'qc.csv','w') #打开处理后存放的文件 cikus=ciku.readlines() list2 = {}.fromkeys(cikus).keys() #列表去重方法,将列表数据当作字典的键写入字典,依据字典键不可重复的特性去重 i=1 for line in list2: if line[0]!=',': # print line[0:-1].decode('utf-8').encode('gbk') # print u"writing"+i i+=1 xieci.writelines(line) xieci.close()
发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/200619.html原文链接:https://javaforall.net
