修改配置nginx,限制无良爬虫频率

修改配置nginx,限制无良爬虫频率

配置如下:

#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

#某个server中
 limit_req zone=anti_spider burst=30 nodelay;
 if ($http_user_agent ~* "xxspider|xxbot") {
 set $anti_spider $http_user_agent;
}

超过设置的限定频率,就会给spider一个503。
上述配置详细解释请自行google下,具体的spider/bot名称请自定义。

转载于:https://www.cnblogs.com/zl0372/p/pachong.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/109783.html原文链接:https://javaforall.net

(0)
上一篇 2021年8月30日 下午12:00
下一篇 2021年8月30日 下午1:00


相关推荐

  • 在vb中什么被称为对象_vb控件数组怎么创建

    在vb中什么被称为对象_vb控件数组怎么创建在BCB中使用VCL控件数组(一)抱雪昨晚和网友邬彦华在OICQ上闲聊,他言及正在为朋友编一个游戏菜单,其中动态创建了一组按纽,最后却无法释放。他的实现方法如下:for(inti=1;i<=ButtonCount;i++){TSpeedButton*spdBtn=newTSpeedButton(this);spdBtn->Parent=ScrollBox;//指定父…

    2025年11月24日
    5
  • 网管小工具「建议收藏」

    网管小工具「建议收藏」找个3CDaemon装上。用TFTP。或者用Kiwi、Solarwind之类的网管小工具

    2022年10月5日
    4
  • 矩阵的乘法

    矩阵的乘法1 有两个矩阵 A 和 B 矩阵实际上就是二维数组 A 矩阵和 B 矩阵可以做乘法运算必须满足 A 矩阵的列的数量等于 B 矩阵的行的数量运算规则 A 的每一行中的数字对应乘以 B 的每一列的数字把结果相加起来矩阵乘法的结果为行与列的关系为 行数量为 A 的行数量 列数量为 B 的列数量 2 因为每一次都是 A 的行与 B 的列 所以最外层的两层循环可以使用 A 的行的数量的变化 B 的列的数量进行变化而

    2026年3月19日
    2
  • Oracle(11g)数据库安装详细图解教程

    Oracle(11g)数据库安装详细图解教程一、下载Oracle11gR2安装包(ForWindows)官网下载百度云盘(提取码:u3xw)下载后的安装包文件如下图所示:同时选中两个压缩包进行解压,解压文件会自动合并到名为database同一文件夹,如下图:进入database目录,双击setup.exe文件进行安装,如下图:首先会弹出黑窗口,不用管它,一会自己就消失了,如下图:…

    2022年7月25日
    17
  • 二次开发mysql数据反推_Discuz二次开发之数据库操作

    二次开发mysql数据反推_Discuz二次开发之数据库操作一、discuz数据操作之查:1、fetch_allDB::fetch_all(sql,$arg=array());//取出符合条件的所有数据sql为查询语句,$arg为绑定参数例:$result=DB::fetch_all(‘SELECT*FROM%t’,array(‘table_name’));$result为二维数组2、fetch_firstDB::fetch_first(s…

    2022年5月19日
    39
  • dlsym使用

    dlsym使用dlsymhttp baike baidu com view 1093952 htm fr aladdin 功能 根据动态链接库操作句柄与符号 返回符号对应的地址 包含头文件 include lt dlfcn h gt 函数定义 void dlsym void handle constchar symbol 函数描述 dlsym dynamiclibra

    2026年3月18日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号