爬虫scrapy框架–log日志输出配置及使用

爬虫scrapy框架–log日志输出配置及使用1 在配置文件中设置日志输出文件名和日志等级 1 为什么以日期为文件名 因为这样可以方便开发者查看每天的日志信息 同时也可以防止单文件 log 日志信息堆积的越来越多 所以将当天日志信息保存到当天的日志文件中 2 配置选项有日志等级 LOG LEVEL 日志文件路径 LOG FILE 我这里设置等级为 WARNING2 在程序中导入 logging 模块 对需要输出的内容进行 log 日志输出我

在这里插入图片描述

1、在配置文件中设置日志输出文件名和日志等级

1、为什么以日期为文件名?

因为这样可以方便开发者查看每天的日志信息,同时也可以防止单文件log日志信息堆积的越来越多,所以将当天日志信息保存到当天的日志文件中

2、配置选项有日志等级LOG_LEVEL、日志文件路径LOG_FILE,我这里设置等级为WARNING

这里写图片描述

2、在程序中导入logging模块,对需要输出的内容进行log日志输出

我配置的时候用了WARNING等级,那么我将100个1和这是一个异常定义为WARNING输出的时候(logging.warning),则高于或者等于该等级的信息就能输出到我的日志中,低于该级别的信息则输出不到我的日志信息中

以下是warning级别的信息,两条都输出到log日志文件

这里写图片描述

这里写图片描述

以下是一个info,一个warning级别的信息,只有warning级别的信息输出到log日志文件

这里写图片描述

这里写图片描述

3、扩展

Scrapy提供5层logging级别:

CRITICAL – 严重错误

ERROR – 一般错误

WARNING – 警告信息

INFO – 一般信息

DEBUG – 调试信息

LOG_ENABLED 默认: True,启用logging

LOG_ENCODING 默认: ‘utf-8’,logging使用的编码

LOG_FILE 默认: None,在当前目录里创建logging输出文件的文件名

LOG_LEVEL 默认: ‘DEBUG’,log的最低级别

本人经验有限,不足之处欢迎指正

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/178366.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月26日 下午5:26
下一篇 2026年3月26日 下午5:27


相关推荐

  • 实用指南:LLM – Agent Skills 智能体新范式

    实用指南:LLM – Agent Skills 智能体新范式

    2026年3月15日
    2
  • 《梦断代码》摘录及感悟「建议收藏」

    《梦断代码》摘录及感悟

    2022年1月22日
    39
  • awr报告分析 mysql_生成awr报告

    awr报告分析 mysql_生成awr报告主要参考文档 http blog 163 com blog static 6 概况 Oracle 内部以一定的频率把系统关键的统计信息和负载情况存储起来 生成 snapshot 快照 所有的 snapshot 存储在 awr 中 即 automaticwor 当发现主要参考文档 http 34376

    2026年3月19日
    1
  • html空格代码是什么?html中空格怎么打「建议收藏」

    html空格代码是什么?html中空格怎么打「建议收藏」html空格代码是什么?html中空格怎么打?对于刚刚入门的新手来说可能比较陌生,下面我们来总结一下html空格代码。打造全网web前端全栈资料库(总目录)看完学的更快,掌握的更加牢固,你值得拥有(持续更新)一:html空格代码是什么说到html空格代码很多人都会想到&nbsp,其实这也是表示html空格的一种方法,当我们输入十个&nbsp就表示有十个空格,然而在现实中,也有很多人认为html空格就是在html中输入几个空格键,如果是单纯的输入空格键,也是可以起到空格的效果.

    2026年2月13日
    3
  • Linux下export命令和source命令与环境变量设置「建议收藏」

    Linux下export命令和source命令与环境变量设置「建议收藏」Linux下export命令和source命令与环境变量设置环境变量广泛用于程序运行环境的设置。从Linuxshell的角度来看,环境变量无非就是shell脚本的变量而已。从这个角度理解环境变量,就能理解设置环境变量的那些命令究竟在做什么。说明:笔者的系统为debian,shell为bash,以下例子均在笔者的Linux环境下测试,不保证其他环境能够通过。export命令和source命令…

    2025年9月24日
    9
  • Android手机证书安装

    Android手机证书安装我手机是小米手机 之前把系统全部清理了一遍 可能把浏览器中之前安装的证书被删掉 导致后来连 fiddle 后 始终访问不到对应的代理服务机器 然后 fiddler 中的 log 一直显示证书问题 如果不确定是 fiddler 的问题 还是自己手机的问题 可以换一部 android 手机试试 当时我一直以为是 fiddler 的问题 后来借了一部同事的手机 发现他的手机可以访问代理服务器 这才确定是自己手机的问题

    2026年3月17日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号