IP池设计思考(面试点)[通俗易懂]

IP池设计思考(面试点)面试中IP代理池的几个问题:IP怎么剔除的通过设置失败次数,超过失败次数就会删除,可以自定义失败次数.免费代理多久抓取一次10min抓取一次,代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新,当然如果是自己买的IP代理不用考虑代理不会更新的情况,因为买的IP数量应该是足够的。怎…

大家好,又见面了,我是你们的朋友全栈君。

IP池设计思考(面试点)

面试中IP代理池的几个问题:

  1. IP怎么剔除的
    通过设置失败次数, 超过失败次数就会删除, 可以自定义失败次数.

  2. 免费代理多久抓取一次
    10min抓取一次, 代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新,当然如果是自己买的IP代理不用考虑代理不会更新的情况,因为买的IP数量应该是足够的。

  3. 怎么接入自己的代理设置
    在GetFreeProxy类中(该文件在ProxyGetter文件夹中), 添加自己的静态方法, 扩展自己的代理.扩展的IP可以是免费代理,也可以是购买的IP代理。

  4. 代理多久验证一次
    每五分钟,ProxyValidSchedule.py文件中可以查看。每过5min就会检测现有的可用的代理的情况。将不符合的代理剔除掉。剔除的原理是一次检测不成功就会剔除,当然也可以设置10次,100次等。

  5. 新代理检测频率
    每一分钟检测一次, 先将获取的代理保存在数据库里面名为raw_proxy, 然后将该代理每1min检测一次,
    检测成功的放入userful_proxy, userfull_proxy是每5min检测一次.

  6. API接口怎么实现的
    通过flask, 在本地实现的接口.将数据库里面的代理提取出来。

    1. get是随机获取一个IP
    2. delete是删除指定的IP
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129461.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • sql2008r2绿色版免安装_少女都市模拟器中文版激活成功教程版免费

    sql2008r2绿色版免安装_少女都市模拟器中文版激活成功教程版免费中文版本64位免激活成功教程SQLyog-12.5.064位中文激活成功教程版 百度云盘https://pan.baidu.com/s/1yvQ7f0esY8idqc_Ci3Su2Ahttps://pan.baidu.com/s/1mhFLVpm 原文:https://blog.csdn.net/odyssey1816/article/details/78801342…

    2022年9月24日
    0
  • 数电设计–交通灯控制系统「建议收藏」

    数电设计–交通灯控制系统「建议收藏」一、课程设计的内容题目:交通灯控制系统交通灯控制系统时典型的数字电路系统,通过该系统的设计、仿真、制板、答辩和报告等环节,同学可得到数字电路及系统的综合训练。本课程要求设计一个十字路口的交通灯控制器,控制A、B两条交叉道路上的车辆通行。具体要求如下:(1)在十字路口,主、支干道分别设置一组信号灯,每组信号灯由红、黄、绿等表示允许通行,红灯表示禁止通行,黄灯表示该车道上已过停车线的车辆继续通信,未过停车线的车辆停止通行。(2)主、支干道交替通行,主干道每次放行30s,支干道每次放行20s。(3)每

    2022年9月24日
    0
  • js保留小数点后面两位

    首先框的type一定要是numberbox才有precision这个属性格式化函数那里也需要调用precision2如果你需要保留四位formatter:precision4,options:{precision:4,},

    2022年4月7日
    44
  • 诛仙3 私服架设 仿官网「建议收藏」

    诛仙3 私服架设 仿官网「建议收藏」背景:想情怀一把,抑或想怀旧一下,利用官网的乐趣+私服的金钱,打造一个全新的玩法,这就是我的追求。当然了,好东西是要分享的。 全套工具在百度云盘中: 链接:http://pan.baidu.com/s/1i5HG9YP密码:zg7i…

    2022年9月28日
    0
  • PuTTY详解

    PuTTY详解

    2021年9月11日
    93
  • 【Anconda】关于安装Anaconda3各种各样的问题,吐血总结!!!(failed to create anacoda menu!!++)「建议收藏」

    【Anconda】关于安装Anaconda3各种各样的问题,吐血总结!!!(failed to create anacoda menu!!++)「建议收藏」昨天总结了装python和pycharm。本来想着马上接着总结Anaconda的,谁知道,这一安装,竟然花了我一天一夜的时间,(悲伤辣么大啊简直)。遇到了各种各样的问题,重装20几遍,每次问题都不同还。(掩面悲伤)直到刚才总算是可以了。面对问题的时候第一想法就是百度,结果尝试了所有百度的方法仍然无法解决问题。还是自己太笨了。总之,还是把自己遇到的问题总结一下把,以防不…

    2022年6月2日
    84

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号