Python删除文件中重复的内容「建议收藏」

Python删除文件中重复的内容「建议收藏」1.背景:在将多个文件进行合并时,存在一个问题是许多文件中含有相同的内容,但是希望合并后的文件内容具有唯一性,即文件中的数据唯一,不会有重复的情况  #txt1内容为: #txt2内容为: #希望合并后的文件内容为: 123 234 456 123 254 456 …

大家好,又见面了,我是你们的朋友全栈君。

1.背景:在将多个文件进行合并时,存在一个问题是许多文件中含有相同的内容,但是希望合并后的文件内容具有唯一性,即文件中的数据唯一,不会有重复的情况

 

#txt1内容为:

#txt2内容为:

#希望合并后的文件内容为:

123

234

456

123

254

456

123

234

456

254

 

2.程序核心代码:

"""
class_train.txt文件中包含许多重复的内容,因此
剔除class_train.txt文件中重复的内容
input: class_train.txt
output: train.txt
"""

train_list = ['bottle_train.txt','chair_train.txt','diningtable_train.txt',
              'pottedplant_train.txt','sofa_train.txt','tvmonitor_train.txt']
train = 'train.txt'

train_data = set()

for i in train_list:
  
    f = open(i,'r')

    for line in f:
        if line[12:14] == ' 1': 
            train_data.add(line)
            
    f.close()

outfile=open(train,'w')

for i in list(train_data):
    outfile.write(i)

outfile.close()

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/142656.html原文链接:https://javaforall.net

(0)
上一篇 2022年5月23日 上午10:00
下一篇 2022年5月23日 上午10:20


相关推荐

  • AbstractInterceptor和Interceptor的区别

    AbstractInterceptor和Interceptor的区别AbstractInterceptor实现了Interceptor接口,并且空实现了init()和destroy()方法。在使用中,如果无需实现init和destroy方法,可以直接实现AbstractInterceptor

    2022年5月15日
    42
  • Win10专业工作站版本激活并获得数字权利的方法和密钥

    Win10专业工作站版本激活并获得数字权利的方法和密钥Win10 专业工作站版本作为 win10 最高级的版本 很多同学都想体验一下 但是激活和获得数字权利成了头疼的问题 今天小编就教你怎样激活和获得数字权利 首先需要先输入一个公开的 MAK 版本密钥 MBQRK FNDW8 B7GF4 V9PCW 6MV77 直接更改产品密钥 输入即可 此时提示不能激活 不要着急 是正常的 然后用 cmd 命令导入以下密钥 如果密钥失效或者被用完 可以联系小编 vx zxc

    2026年3月20日
    2
  • 行列式的六条运算法则整理

    行列式的六条运算法则整理性质一 行列式与它的转置行列式相等性质二交换行列式的两行 行列式取相反数性质三行列式的某一行的所有元素都乘以同一数 k 等于用数 k 乘此行列式性质四行列式如果有两行元素成比例 则此行列式等于零性质五若行列式的某一行每一个元素都可以由两个数相加得到 则这个行列式是对应两个行列式的和 举个例子 这个性质由乘法分配律可以容易得出 自行脑补 性质

    2026年3月18日
    2
  • JAVA类加载器_java三个类加载器

    JAVA类加载器_java三个类加载器1.类的加载过程 JVM将类加载过程分为三个步骤:装载(Load),链接(Link)和初始化(Initialize)链接又分为三个步骤,如下图所示:1)装载:查找并加载类的二进制数据;2)链接:验证:确保被加载类的正确性;准备:为类的静态变量分

    2022年8月11日
    12
  • CentOS 7 下使用yum安装MySQL5.7.20 最简单 图文详解

    CentOS 7 下使用yum安装MySQL5.7.20 最简单 图文详解CentOS7默认数据库是mariadb,但是好多用的都是mysql,但是CentOS7的yum源中默认好像是没有mysql的。上一篇安装的是5.6的但是我想安装5.7的yum安装是最简单的尝试过编译安装各种问题,最后就决定用yum。(经过一段时间的学习又写了一篇用源码安装mysql5.7.22的点击打开链接)1.卸载先停掉mysql进程没有安装过的可以直接跳过…

    2022年6月11日
    32
  • Android Spinner使用技巧讲解

    Android Spinner使用技巧讲解

    2021年8月18日
    63

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号