1. 全栈程序员必看首页

python保存文件的几种方式「建议收藏」

全栈程序员-站长 • • 未分类 • 阅读 94

python保存文件的几种方式「建议收藏」当我们获取到一些数据时，例如使用爬虫将网上的数据抓取下来时，应该怎么把数据保存为不同格式的文件呢？下面会分别介绍用python保存为txt、csv、excel甚至保存到mongodb数据库中文件的方法。保存为txt文件首先我们模拟数据是使用爬虫抓取下来的，抓取的下来的数据大致就是这样的下面使用代码保存为txt文件importrequestsfromlxmlimportetr…

大家好，又见面了，我是你们的朋友全栈君。

当我们获取到一些数据时，例如使用爬虫将网上的数据抓取下来时，应该怎么把数据保存为不同格式的文件呢？下面会分别介绍用python保存为 txt、csv、excel甚至保存到mongodb数据库中文件的方法。

保存为txt文件

首先我们模拟数据是使用爬虫抓取下来的， 抓取的下来的数据大致就是这样的
在这里插入图片描述
下面使用代码保存为txt文件

import requests
from lxml import etree


url = 'https://ke.qq.com/course/list/?mt=1001'
headers = { 
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                         "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36"}
# 获取放回的html源代码字符串
response = requests.get(url, headers=headers).text


def save_txt():  # 保存为txt文件
    f = open("./ke.txt", "w", encoding="utf8")
    # 抓取文章目录和标题
    html = etree.HTML(response)
    li_list = html.xpath('//ul[@class="course-card-list"]/li')
    for li in li_list:
        title = li.xpath('.//a[@class="item-tt-link"]/@title')[0]
        href = li.xpath('.//a[@class="item-tt-link"]/@href')[0]
        href = "https:" + href
        f.write(f'{title}-->{href}\n')
    f.close()
save_txt()

运行程序，效果图如下
在这里插入图片描述

保存为csv文件格式

代码如下

import requests
from lxml import etree
import csv

url = 'https://ke.qq.com/course/list/?mt=1001'
headers = { 
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                         "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36"}
# 获取放回的html源代码字符串
response = requests.get(url, headers=headers).text

def save_csv():  # 保存为csv文件
    with open("ke.csv", "w", encoding="utf8", newline='') as f:
        header = ["title", "href"]
        writer = csv.DictWriter(f, header)  # 创建字典writer
        writer.writeheader()
        # 抓取文章目录和标题
        html = etree.HTML(response)
        li_list = html.xpath('//ul[@class="course-card-list"]/li')
        for i, li in enumerate(li_list):  # 获取索引和值
            title = li.xpath('.//a[@class="item-tt-link"]/@title')[0]
            href = li.xpath('.//a[@class="item-tt-link"]/@href')[0]
            href = "https:" + href
            item = { 
   "title": title, "href": href}
            print(item)
            writer.writerow(item)
        print("保存成功...")

save_csv()

运行程序，文件会存储再当前目录下。
在这里插入图片描述

存储为excel文件

代码如下：

import requests
from lxml import etree
import openpyxl

url = 'https://ke.qq.com/course/list/?mt=1001'
headers = { 
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                         "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36"}
# 获取放回的html源代码字符串
response = requests.get(url, headers=headers).text
def save_excel():  # 保存为excel文件
    wb = openpyxl.Workbook()  # 创建工作铺
    ws = wb.active  # 创建工作表
    # 写入表头
    ws["A1"] = "课程标题"
    ws["B1"] = "课堂链接"

    # 抓取文章目录和标题
    html = etree.HTML(response)
    li_list = html.xpath('//ul[@class="course-card-list"]/li')
    for i, li in enumerate(li_list):  # 获取索引和值
        title = li.xpath('.//a[@class="item-tt-link"]/@title')[0]
        href = li.xpath('.//a[@class="item-tt-link"]/@href')[0]
        href = "https:" + href
        ws.cell(row=i+2, column=1, value=title)  # 写入行，列所对应的值
        ws.cell(row=i+2, column=2, value=href)
    wb.save("./QQ课堂.xlsx")


save_excel()

运行程序，打开文件
在这里插入图片描述

保存在mongodb数据库中

代码如下

import requests
import pymongo
from lxml import etree
def save_mongo():  # 将数据存储到monggodb数据库
    client = pymongo.MongoClient()  # 连接数据库
    db = client["ke"]  # 创建数据库
    collection = db["ke_content"]
    items = []
    html = etree.HTML(response)
    li_list = html.xpath('//ul[@class="course-card-list"]/li')
    for i, li in enumerate(li_list):  # 获取索引和值
        title = li.xpath('.//a[@class="item-tt-link"]/@title')[0]
        href = li.xpath('.//a[@class="item-tt-link"]/@href')[0]
        href = "https:" + href
        item = { 
   "title": title, "href": href}
        items.append(item)  # 将每个item添加到items列表中
    collection.insert_many(items)  # 插入多条数据
    for content in collection.find():  # 查看数据库中的数据
        print(content)

运行代码，可以在终端中查看数据库中的内容
在这里插入图片描述
也可以直接进入数据库中查看，打开终端，进入数据库。查看即可
在这里插入图片描述

小结

最后把所有代码整理一遍，大家只需要按需所用即可，只需要修改部分代码就好了。

import pymongo
import requests
from lxml import etree
import openpyxl  # 保存为excel文件
import csv  # 保存为csv文件


url = 'https://ke.qq.com/course/list/?mt=1001'
headers = { 
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                         "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36"}
# 获取放回的html源代码字符串
response = requests.get(url, headers=headers).text


def save_txt():  # 保存为txt文件
    f = open("./ke.txt", "w", encoding="utf8")
    # 抓取文章目录和标题
    html = etree.HTML(response)
    li_list = html.xpath('//ul[@class="course-card-list"]/li')
    for li in li_list:
        title = li.xpath('.//a[@class="item-tt-link"]/@title')[0]
        href = li.xpath('.//a[@class="item-tt-link"]/@href')[0]
        href = "https:" + href
        f.write(f'{title}-->{href}\n')
    f.close()


def save_csv():  # 保存为csv文件
    with open("ke.csv", "w", encoding="utf8", newline='') as f:
        header = ["title", "href"]
        writer = csv.DictWriter(f, header)
        writer.writeheader()
        # 抓取文章目录和标题
        html = etree.HTML(response)
        li_list = html.xpath('//ul[@class="course-card-list"]/li')
        for i, li in enumerate(li_list):  # 获取索引和值
            title = li.xpath('.//a[@class="item-tt-link"]/@title')[0]
            href = li.xpath('.//a[@class="item-tt-link"]/@href')[0]
            href = "https:" + href
            item = { 
   "title": title, "href": href}
            print(item)
            writer.writerow(item)
        print("保存成功...")


def save_excel():  # 保存为excel文件
    wb = openpyxl.Workbook()  # 创建工作铺
    ws = wb.active  # 创建工作表
    # 写入表头
    ws["A1"] = "课程标题"
    ws["B1"] = "课堂链接"

    # 抓取文章目录和标题
    html = etree.HTML(response)
    li_list = html.xpath('//ul[@class="course-card-list"]/li')
    for i, li in enumerate(li_list):  # 获取索引和值
        title = li.xpath('.//a[@class="item-tt-link"]/@title')[0]
        href = li.xpath('.//a[@class="item-tt-link"]/@href')[0]
        href = "https:" + href
        ws.cell(row=i+2, column=1, value=title)  # 写入行，列所对应的值
        ws.cell(row=i+2, column=2, value=href)
    wb.save("./QQ课堂.xlsx")

    print("保存成功")


def save_mongo():  # 将数据存储到monggodb数据库
    client = pymongo.MongoClient()  # 连接数据库
    db = client["ke"]  # 创建数据库
    collection = db["ke_content"]
    items = []
    html = etree.HTML(response)
    li_list = html.xpath('//ul[@class="course-card-list"]/li')
    for i, li in enumerate(li_list):  # 获取索引和值
        title = li.xpath('.//a[@class="item-tt-link"]/@title')[0]
        href = li.xpath('.//a[@class="item-tt-link"]/@href')[0]
        href = "https:" + href
        item = { 
   "title": title, "href": href}
        items.append(item)
    collection.insert_many(items)  # 插入多条数据
    for content in collection.find():  # 遍历在这个集合中的数据
        print(content)


if __name__ == '__main__':
    save_mongo()  # 调用相应的方法即可

如果有什么不足之处请指出，我会加以改进，共同进步！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/125042.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • js斐波那契数列递归算法_php斐波那契数列递归算法

    js斐波那契数列递归算法_php斐波那契数列递归算法

    js斐波那契数列递归算法_php斐波那契数列递归算法斐波那契数列（Fibonaccisequence），又称黄金分割数列，因数学家莱昂纳多·斐波那契（LeonardoFibonacci）以兔子繁殖为例子而引入，故又称为“兔子数列”，指的是这样一个数列：1、1、2、3、5、8、13、21、34、……从数列可以看出，从第三项开始，每一项都是前两项的和，f(n)=f(n-1)+f(n-2)那么用js怎么求斐波那契数列第n项的值呢？1.普通递归计算:functionfibonacci(n){if(n==1||n==2)retu

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月4日
    3
  • Java中static作用及用法详解「建议收藏」

    Java中static作用及用法详解「建议收藏」

    Java中static作用及用法详解「建议收藏」static是静态修饰符，什么叫静态修饰符呢？大家都知道，在程序中任何变量或者代码都是在编译时由系统自动分配内存来存储的，而所谓静态就是指在编译后所分配的内存会一直存在，直到程序退出内存才会释放这个空间，也就是只要程序在运行，那么这块内存就会一直存在。这样做有什么意义呢？在Java程序里面，所有的东西都是对象，而对象的抽象就是类，对于一个类而言，如果要使用他的成员，那么普通情况下必须先实例化对象后，通过对象的引用才能够访问这些成员，但是用static修饰的成员可以通过类名加“.”进行直接访问。

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月8日
    24
  • <span role="heading" aria-level="2">大学生全网各类资源网站汇总

    大学生全网各类资源网站汇总

    大学生全网各类资源网站汇总本文转自我的公众号（求学青年）为了方便你更好的找到想要的网站，我把之前所有分享的学习网站都整合起来啦！！一路走来，有八十多天吧，我几乎每天都分享了一个网站，说容易也容易，但是这也是我心中的一点坚持，

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月1日
    27
  • caffe神经网络框架的辅助工具（将图片转换为leveldb格式）

    caffe神经网络框架的辅助工具（将图片转换为leveldb格式）

    caffe神经网络框架的辅助工具（将图片转换为leveldb格式）

    全栈程序员-站长的头像 全栈程序员-站长
    2021年12月6日
    38
  • unit在matlab中啥意思,unit8(matlab中uint8函数)

    unit在matlab中啥意思,unit8(matlab中uint8函数)

    unit在matlab中啥意思,unit8(matlab中uint8函数)就是宏定义，代码中就用这些去定义变量如uint16a；就表示定义了一个无符号整形变量a(等价于unsignedinta；)其他的同理其作用是程序更加简洁最大的作用是增.将变量t类型强制转换为uint8*类型也就是转换成指向uint8类型变量的指针变量uint8应该是无符号8位二进制整型，其实就是unsignedchar类型。一定要是新教材！！！美国的复感恩节。在大多…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年9月17日
    3
  • id门禁卡复制到手机_门禁卡怎么复制到苹果手机？「建议收藏」

    id门禁卡复制到手机_门禁卡怎么复制到苹果手机？「建议收藏」

    id门禁卡复制到手机_门禁卡怎么复制到苹果手机？「建议收藏」NFC手机一枚RootExplorerNFCTaginfo方法/步骤1，读取卡的62616964757a686964616fe78988e69d8331333363396461ID。安装“NFCTagInfo”，打开手机的NFC设置，门禁卡贴到手机后盖NFC部分，“NFCTagInfo”读取校园卡ID。可以看到我的卡ID是13:67:A9:0A修改手机NFC的ID。打开R.E.管理器，根目…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月2日
    261

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号