Python删除文件中重复的内容「建议收藏」

全栈程序员-站长 • 2022年5月23日上午10:20 • 未分类 • 阅读 56

大家好，又见面了，我是你们的朋友全栈君。

1.背景：在将多个文件进行合并时，存在一个问题是许多文件中含有相同的内容，但是希望合并后的文件内容具有唯一性，即文件中的数据唯一，不会有重复的情况

#txt1内容为：

#txt2内容为：

#希望合并后的文件内容为：

123

234

456

123

254

456

123

234

456

254 2.程序核心代码：

"""
class_train.txt文件中包含许多重复的内容，因此
剔除class_train.txt文件中重复的内容
input: class_train.txt
output: train.txt
"""

train_list = ['bottle_train.txt','chair_train.txt','diningtable_train.txt',
              'pottedplant_train.txt','sofa_train.txt','tvmonitor_train.txt']
train = 'train.txt'

train_data = set()

for i in train_list:
  
    f = open(i,'r')

    for line in f:
        if line[12:14] == ' 1': 
            train_data.add(line)
            
    f.close()

outfile=open(train,'w')

for i in list(train_data):
    outfile.write(i)

outfile.close()

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/142656.html原文链接：https://javaforall.net

Python删除文件中重复的内容「建议收藏」

1.背景：在将多个文件进行合并时，存在一个问题是许多文件中含有相同的内容，但是希望合并后的文件内容具有唯一性，即文件中的数据唯一，不会有重复的情况

#txt1内容为：

#txt2内容为：

#希望合并后的文件内容为：

123

234

456

123

254

456

123

234

456

254

2.程序核心代码：

相关推荐

OleDbCommand执行查询无效的解决[通俗易懂]

3d立体相册，情人节，情侣生日礼物代码适用

华为模拟器ensp命令_vmware命令大全

RewriteRule指令[通俗易懂]

iocp详解_iocp是异步io吗

Oracle 11g 的PL/SQL函数结果缓存

发表回复