修改配置nginx,限制无良爬虫频率

修改配置nginx,限制无良爬虫频率

配置如下:

#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

#某个server中
 limit_req zone=anti_spider burst=30 nodelay;
 if ($http_user_agent ~* "xxspider|xxbot") {
 set $anti_spider $http_user_agent;
}

超过设置的限定频率,就会给spider一个503。
上述配置详细解释请自行google下,具体的spider/bot名称请自定义。

转载于:https://www.cnblogs.com/zl0372/p/pachong.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/109783.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • python爬虫–scrapy(初识)

    python爬虫–scrapy(初识)

    2021年4月18日
    191
  • Pytest(1)安装与入门「建议收藏」

    Pytest(1)安装与入门「建议收藏」pytest介绍pytest是python的一种单元测试框架,与python自带的unittest测试框架类似,但是比unittest框架使用起来更简洁,效率更高。根据pytest的官方网站介绍,它

    2022年7月30日
    7
  • Java菜鸟教程 标识符

    Java菜鸟教程 标识符笔者作为一名Java新手,在跟随教程的学习过程中首先接触到的,是标识符。标识符,英文名identifier,词根是identity。顾名思义,它的作用就是给变量、类和方法命名。标识符只能以字母,下划线以及美元符号$开头。如:intabc = 3int$=9int _123=4但是,标识符不能包含除了数字,字母,下划线以及美元符号$之外的其他字符,否则

    2022年6月3日
    39
  • i386和i686的区别[通俗易懂]

    i386和i686的区别[通俗易懂]i386和i686现在所有的intel32位体系(包括AMD等兼容CPU)都叫i386体系,包括P4。、i686仍然属于i386体系,不过对CPU(相对于386)的特性作了指令优化。GNU/Linux分为alpha、PowerPC、Sun等各个不同版本,所有从Intel386-P4都用i386版本,但i386版本中有几个内核(i486,i486,i586,i686),安装时安装程序检测到

    2022年6月7日
    32
  • java官方编译器_JAVA 编译器

    java官方编译器_JAVA 编译器javac做了些什么?说白了,javac就是一个编译器;编译器就是把一种语言规矩转换成另一种语言规矩,也就是将对人友好的语言转换成对机器友好的语言。因此,javac是把Java源代码编译成Java字节码,即JVM可以识别的二进制;表面上就是将.java文件转成.class文件。javac做了些什么?主要由4个模块组成。词法剖析器:识别Java中的if、else、for、while等关键字及其语句的…

    2022年7月13日
    19
  • OkHttp与Retrofit上传文件详解

    OkHttp与Retrofit上传文件详解

    2021年9月30日
    158

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号