IP池设计思考(面试点)[通俗易懂]

IP池设计思考(面试点)面试中IP代理池的几个问题:IP怎么剔除的通过设置失败次数,超过失败次数就会删除,可以自定义失败次数.免费代理多久抓取一次10min抓取一次,代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新,当然如果是自己买的IP代理不用考虑代理不会更新的情况,因为买的IP数量应该是足够的。怎…

大家好,又见面了,我是你们的朋友全栈君。

IP池设计思考(面试点)

面试中IP代理池的几个问题:

  1. IP怎么剔除的
    通过设置失败次数, 超过失败次数就会删除, 可以自定义失败次数.

  2. 免费代理多久抓取一次
    10min抓取一次, 代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新,当然如果是自己买的IP代理不用考虑代理不会更新的情况,因为买的IP数量应该是足够的。

  3. 怎么接入自己的代理设置
    在GetFreeProxy类中(该文件在ProxyGetter文件夹中), 添加自己的静态方法, 扩展自己的代理.扩展的IP可以是免费代理,也可以是购买的IP代理。

  4. 代理多久验证一次
    每五分钟,ProxyValidSchedule.py文件中可以查看。每过5min就会检测现有的可用的代理的情况。将不符合的代理剔除掉。剔除的原理是一次检测不成功就会剔除,当然也可以设置10次,100次等。

  5. 新代理检测频率
    每一分钟检测一次, 先将获取的代理保存在数据库里面名为raw_proxy, 然后将该代理每1min检测一次,
    检测成功的放入userful_proxy, userfull_proxy是每5min检测一次.

  6. API接口怎么实现的
    通过flask, 在本地实现的接口.将数据库里面的代理提取出来。

    1. get是随机获取一个IP
    2. delete是删除指定的IP
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129461.html原文链接:https://javaforall.net

(0)
上一篇 2022年4月15日 上午6:20
下一篇 2022年4月15日 上午6:40


相关推荐

  • 超详细的tomcat的下载安装和配置教程「建议收藏」

    超详细的tomcat的下载安装和配置教程「建议收藏」tomcat运行的前提是安装并配置了JDK,若没有安装配置JDK,先去安装配置JDK。如下链接:JDK_1.8的下载安装和环境变量的配置【详细步骤】一、下载tomcat1.进入tomcat的下载tomcat下载官网2.点击进入,点击:v8.5.73/3.选择bin4.选择:apache-tomcat-8.5.73-windows-x64.zip,点击即可下载二、tomcat安装1.解压到指定的位置,我解压后的如下2.配置环境变量①配置环境变量,此电脑—>属性—&gt

    2022年5月19日
    39
  • datanode启动不了(datanode启动不了)

    安装Hadoop(伪分布式环境)namenode和datanode无法启动解决方案先附上我参考的安装教程链接10.1.88.4/index_1.php?url=http://www.msftconnecttest.com/redirect我在执行./start-all.sh之后发现,没有任何错误提示,输入jps得到如下结果:[hadoop@localhost…

    2022年4月13日
    65
  • TRILL原理

    TRILL原理一 TRILL 原理 nbsp 假设一个数据包要从 A 口传像 B 口 1 nbsp nbsp nbsp nbsp 1 A 的网卡端口首先给数据打公网 MAC 然后向 C 发送 这时数据包的格式是 nbsp nbsp 2 nbsp nbsp nbsp nbsp 2 C 收到这个数据包之后 学习源的 MAC 地址 填 MAC 表 然后给数据包打上公网 VLANtag RILL 与传统二层无差异 在 C 的 MAC 表中查找 desMAC 发现 MAC 表中对应的下一跳是一个 nick

    2026年3月19日
    1
  • 哈夫曼树原理,及构造方法

    哈夫曼树原理,及构造方法哈夫曼树 最优二叉树 百度百科 https baike baidu com item E5 93 88 E5 A4 AB E6 9B BC E6 A0 91 fr aladdin 一 目的 找出存放一串字符所需的最少的二进制编码二 构造方法 首先统计出每种字符出现的频率 也可以是概率 权值

    2026年3月26日
    2
  • 开关量电压转换电路

    开关量电压转换电路单片机的I/O口承受输入电压一般是-5V到 +5V,如果一个开关接的距离比较远,就容易受到线路干扰、线缆本身的电阻率影响导致MCU无法识别。虽然MCU的I/O的输入是“高阻抗”的,但是还是很难确保远距离后的影响。  左边可以输入0~12V,右边可以很稳定的输出0~5V

    2022年5月5日
    43
  • java实现int数组转String

    java实现int数组转Stringint array 1 2 3 4 5 6 7 8 9 10 System out println array toString 输出是 I 64c64813 手写方法 publicString int array StringBuffer newStringBuf f

    2026年3月26日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号