Python删除文件中重复的内容「建议收藏」

Python删除文件中重复的内容「建议收藏」1.背景:在将多个文件进行合并时,存在一个问题是许多文件中含有相同的内容,但是希望合并后的文件内容具有唯一性,即文件中的数据唯一,不会有重复的情况  #txt1内容为: #txt2内容为: #希望合并后的文件内容为: 123 234 456 123 254 456 …

大家好,又见面了,我是你们的朋友全栈君。

1.背景:在将多个文件进行合并时,存在一个问题是许多文件中含有相同的内容,但是希望合并后的文件内容具有唯一性,即文件中的数据唯一,不会有重复的情况

 

#txt1内容为:

#txt2内容为:

#希望合并后的文件内容为:

123

234

456

123

254

456

123

234

456

254

 

2.程序核心代码:

"""
class_train.txt文件中包含许多重复的内容,因此
剔除class_train.txt文件中重复的内容
input: class_train.txt
output: train.txt
"""

train_list = ['bottle_train.txt','chair_train.txt','diningtable_train.txt',
              'pottedplant_train.txt','sofa_train.txt','tvmonitor_train.txt']
train = 'train.txt'

train_data = set()

for i in train_list:
  
    f = open(i,'r')

    for line in f:
        if line[12:14] == ' 1': 
            train_data.add(line)
            
    f.close()

outfile=open(train,'w')

for i in list(train_data):
    outfile.write(i)

outfile.close()

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/142656.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • JS数组合并(5种)

    JS数组合并(5种)前言项目过程中,经常会遇到JS数组合并的情况,时常为这个纠结。这里整理一下。简单而实用的for最容易想到的莫过于for了。会变更原数组,当然也可以写成生成新数组的形式。letarr=[1,2]letarr2=[3,4]for(letiinarr2){arr.push(arr2[i])}console.log(arr)//[1,2,3,4]arr.concat(arr2)会生成新的数组。letarr=[1,2]let

    2022年6月30日
  • 运行代码后出现Process finished with exit code 0是为什么?

    运行代码后出现Process finished with exit code 0是为什么?

    2021年10月21日
  • 使用VS2010打包软件详解!

    使用VS2010打包软件详解!使用VS2010下VisualStudioInstaller工程进行软件安装包制作        软件在功能开发实现后,其实并没有真正的完成。对于一个专业的开发者来说,Release软件应该是以安装版本的形式进行发布的,这篇文章将具体介绍如何使用VS2010下VisualStudioInstaller进行打包软件。Setp1.首先建立VisualStudio

    2022年11月1日
  • java IO流之BufferedReader和BufferedWriter[通俗易懂]

    java IO流之BufferedReader和BufferedWriter[通俗易懂]笑霸能看懂的学习笔记

    2022年6月2日
  • 中国电信广东DNS服务器[通俗易懂]

    中国电信广东DNS服务器[通俗易懂]1中国电信广州用户(包括番禺、增城、从化等区电信用户)“首选DNS服务器”为:61.144.56.100“备用DNS服务器”为:61.144.56.101这个经过测试确实是目前最快最有效的DNS服务器。2中国电信深圳用户“首选DNS服务器”为:202.96.128.86“备用DNS服务器”设置为:202.96.128.1663中国电信广东省其他地区用户(包括佛山、中山、江…

    2022年7月11日
  • 《JavaScript 模式》读书笔记(4)— 函数5

    这一篇是函数部分的最后一篇。我们来聊聊Curry化。十、Curry这部分我们主要讨论Curry化和部分函数应用的内容。但是在深入讨论之前,我们需要先了解一下函数应用的含义。函数应用在一些纯粹的

    2022年3月25日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号