修改配置nginx,限制无良爬虫频率

修改配置nginx,限制无良爬虫频率

配置如下:

#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

#某个server中
 limit_req zone=anti_spider burst=30 nodelay;
 if ($http_user_agent ~* "xxspider|xxbot") {
 set $anti_spider $http_user_agent;
}

超过设置的限定频率,就会给spider一个503。
上述配置详细解释请自行google下,具体的spider/bot名称请自定义。

转载于:https://www.cnblogs.com/zl0372/p/pachong.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/109783.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 数据分析中常见问题「建议收藏」

    数据分析中常见问题「建议收藏」1. 如何检验数据是否服从正态分布?一、图示法(1)P-P图。以样本的累积频率作为横坐标,以安装正太分布计算的相应累计概率作为纵坐标,把样本值表现为直角坐标系中的散点,如果服从正太分布,则样本点围绕第一象限的对角线分布。(2)Q-Q图。以样本的分位数作为横坐标,以按照正态分布计算的相应分位点作为纵坐标,把样本表现为指教坐标系的散点。如果资料服从正态分布,则样本点应该呈一条围绕第一象限对…

    2022年6月3日
    31
  • 如何给自己心仪的人每天发送天气提醒消息

    如何给自己心仪的人每天发送天气提醒消息

    2021年9月18日
    63
  • 什么是多线程,什么是高并发?[通俗易懂]

    什么是多线程,什么是高并发?[通俗易懂]高并发和多线程”总是被一起提起,给人感觉两者好像相等,实则 高并发≠多线程多线程是完成任务的一种方法,高并发是系统运行的一种状态,通过多线程有助于系统承受高并发状态的实现。高并发是一

    2022年8月3日
    7
  • PCA最小平方误差理论推导

    PCA最小平方误差理论推导PCA求解其实是寻找最佳投影方向,即多个方向的标准正交基构成一个超平面。理论思想:在高维空间中,我们实际上是要找到一个d维超平面,使得数据点到这个超平面的距离平方和最小

    2021年12月30日
    41
  • nessus的使用教程扫描_kali安装nessus

    nessus的使用教程扫描_kali安装nessus1.打开浏览器,输入https://localhost:8834/登录Nessus.2.输入你设置的账号密码.3.进入首页,可以使用浏览器自带的网页翻译(如谷歌)。4.点击侧边栏policies(政策),显示策略界面。5.点击newpolicy(创建新策略),显示策略模板。6.选择advancedscan(高级扫描),填写策略名称。7.单击Plugins标签,该界面显示了所有插件程序,默认全部是启动的enabled。在该界面可以单击右上角Disable..

    2022年10月19日
    2
  • 四足机械狗

    四足机械狗机械狗目录机械狗写在前面计划1搭建模拟环境1.1先模拟条简单的狗腿(two-link)1.1.1ForwardKinematics1.1.2InverseKinematics1.1.3ForwardDynamics1.1.4InverseDynamics1.2模拟个复杂点的狗腿(three/four-link)1.3搭个全身1.4加入Contactmodelling1.5合到一起2控制器设计2.1PDcontroll2.2Impedance/forcecontr

    2022年6月5日
    46

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号