IP池设计思考(面试点)[通俗易懂]

IP池设计思考(面试点)面试中IP代理池的几个问题:IP怎么剔除的通过设置失败次数,超过失败次数就会删除,可以自定义失败次数.免费代理多久抓取一次10min抓取一次,代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新,当然如果是自己买的IP代理不用考虑代理不会更新的情况,因为买的IP数量应该是足够的。怎…

大家好,又见面了,我是你们的朋友全栈君。

IP池设计思考(面试点)

面试中IP代理池的几个问题:

  1. IP怎么剔除的
    通过设置失败次数, 超过失败次数就会删除, 可以自定义失败次数.

  2. 免费代理多久抓取一次
    10min抓取一次, 代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新,当然如果是自己买的IP代理不用考虑代理不会更新的情况,因为买的IP数量应该是足够的。

  3. 怎么接入自己的代理设置
    在GetFreeProxy类中(该文件在ProxyGetter文件夹中), 添加自己的静态方法, 扩展自己的代理.扩展的IP可以是免费代理,也可以是购买的IP代理。

  4. 代理多久验证一次
    每五分钟,ProxyValidSchedule.py文件中可以查看。每过5min就会检测现有的可用的代理的情况。将不符合的代理剔除掉。剔除的原理是一次检测不成功就会剔除,当然也可以设置10次,100次等。

  5. 新代理检测频率
    每一分钟检测一次, 先将获取的代理保存在数据库里面名为raw_proxy, 然后将该代理每1min检测一次,
    检测成功的放入userful_proxy, userfull_proxy是每5min检测一次.

  6. API接口怎么实现的
    通过flask, 在本地实现的接口.将数据库里面的代理提取出来。

    1. get是随机获取一个IP
    2. delete是删除指定的IP
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129461.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Unity3d的安装

    Unity3d的安装**Unity3d的安装**1.在线安装a.获取在线安装程序第一步:进入官网:https://unity.com/cn第二步:在主页的底部点击下载第三步:来到UnityStore,拖到该页面的最底部,点击资源下面的Unity旧版本第四步:来到Unity下载存档,拖动页面可以看到很多版本的Unity第五步:选择一个版本,这里我们选择Unity2017.x中的2017.1.0…

    2022年6月27日
    29
  • Java开发手册之OOP规约

    Java开发手册之OOP规约Java开发手册之OOP规约

    2022年4月22日
    45
  • jmeter并发不同请求_jmeter3000个并发怎么测

    jmeter并发不同请求_jmeter3000个并发怎么测Jmeter压力测试工具直接上图查询重复数据如下:selectcount(order_id),order_id,report_typefromt_mapping_order_reportgroupbyorder_id,report_typehavingcount(order_id)>1解决方案:在两个列上添加唯…

    2022年9月27日
    2
  • Java正则表达式简介及实例

    Java正则表达式简介及实例何为正则表达式?有时候会需要编写代码来验证用户输入,比如验证输入是否是一个数字,是否是一个全部小写的字符串,或者社会安全号,完成这个任务一个简单高效的方法就是用正则表达式!

    2022年7月19日
    9
  • XML格式化工具类(java)

    XML格式化工具类(java)下面是完整的代码importorg.apache.catalina.tribes.membership.StaticMember;importorg.apache.xml.serialize.OutputFormat;importorg.apache.xml.serialize.OutputFormat;importorg.apache.xml.serialize.XMLSeria…

    2022年7月16日
    25
  • LaTeX如何正确输入引号:双引号“”单引号‘’[通俗易懂]

    LaTeX如何正确输入引号:双引号“”单引号‘’[通俗易懂]最近看一些latex用户的文章,输入的双引号和单引号都是用输入法中的中文模式键入,并不是LaTeX的正确输入方式。正确的输入方法如下:使用键盘的Tab键上侧的LaTeX技巧218:LaTeX如何正确输入引号:双引号“”单引号‘’连续键入两个“然后输入键盘的两个单引号”。单引号输入类似。示例如下:LaTeX技巧218:LaTeX如何正确输入引号:双引号“”单引号‘’演示代码:

    2022年6月25日
    45

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号