IP池设计思考(面试点)[通俗易懂]

IP池设计思考(面试点)面试中IP代理池的几个问题:IP怎么剔除的通过设置失败次数,超过失败次数就会删除,可以自定义失败次数.免费代理多久抓取一次10min抓取一次,代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新,当然如果是自己买的IP代理不用考虑代理不会更新的情况,因为买的IP数量应该是足够的。怎…

大家好,又见面了,我是你们的朋友全栈君。

IP池设计思考(面试点)

面试中IP代理池的几个问题:

  1. IP怎么剔除的
    通过设置失败次数, 超过失败次数就会删除, 可以自定义失败次数.

  2. 免费代理多久抓取一次
    10min抓取一次, 代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新,当然如果是自己买的IP代理不用考虑代理不会更新的情况,因为买的IP数量应该是足够的。

  3. 怎么接入自己的代理设置
    在GetFreeProxy类中(该文件在ProxyGetter文件夹中), 添加自己的静态方法, 扩展自己的代理.扩展的IP可以是免费代理,也可以是购买的IP代理。

  4. 代理多久验证一次
    每五分钟,ProxyValidSchedule.py文件中可以查看。每过5min就会检测现有的可用的代理的情况。将不符合的代理剔除掉。剔除的原理是一次检测不成功就会剔除,当然也可以设置10次,100次等。

  5. 新代理检测频率
    每一分钟检测一次, 先将获取的代理保存在数据库里面名为raw_proxy, 然后将该代理每1min检测一次,
    检测成功的放入userful_proxy, userfull_proxy是每5min检测一次.

  6. API接口怎么实现的
    通过flask, 在本地实现的接口.将数据库里面的代理提取出来。

    1. get是随机获取一个IP
    2. delete是删除指定的IP
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129461.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 数据库可用率监控工具

    数据库可用率监控工具

    2022年1月28日
    49
  • socket编程详解_socket实现原理

    socket编程详解_socket实现原理rintf(“return code: %d/n”, retcode); } else if (!strncmp(cmd_buf, “quit”, 4))  exit(0); else pu

    2022年8月31日
    1
  • ubuntu卸载JDK

    ubuntu卸载JDK1.要删除OpenJDK,检查是安装的哪个OpenJDK包#dpkg–list|grep-ijdk2.移除openjdk包#apt-getpurgeopenjdk*3.卸载OpenJDK相关包#apt-getpurgeicedtea-*openjdk-*4.检查所有OpenJDK包是否都已卸载完毕#dpkg–list|grep-ijdk注:如果权限不够,就在前面加上sudo。…

    2022年6月25日
    23
  • JavaScript—-什么是纯函数

    JavaScript—-什么是纯函数定义简单来说,一个函数的返回结果只依赖于它的参数,并且在执行过程里面没有副作用,我们就把这个函数叫做纯函数。这么说肯定比较抽象,我们把它掰开来看:函数的返回结果只依赖于它的参数。函数执行过程里面没有副作用。consta=1constfoo=(b)=>a+bfoo(2)//=>3foo函数不是一个纯函数,因为它返回的结果依赖于外部变量…

    2022年10月23日
    1
  • zookeeper锁原理(Redis分布式锁)

    产生问题例:在分布式(集群)环境下,每台JVM不能实现同步,比如将一个项目部署到多台tomcat服务器,那么用多台JVM在使用时间戳生成唯一的订单号时,会出现订单号重复问题。解决办法:分布式情况下,怎么解决订单号生成不重复:1.使用分布式锁2.提前生成好,订单号,存放在redis。获取订单号时,直接从redis中取。实现分布式锁的方式…

    2022年4月14日
    44
  • 滴滴的大数据可视化效果「建议收藏」

    滴滴的大数据可视化效果「建议收藏」前言上一篇专门针对mobike的空间可视化效果写了一篇总结,本篇主要基于滴滴的大数据可视化做一个描述,上篇介绍的空间可视化效果偏静态的,滴滴的大数据可视化更加动态,形式上也更加丰富多彩,本篇主要参考了这篇文章:http://baijiahao.baidu.com/s?id=1588178807086352632和《滴滴出行2017年度城市交通出行报告》。蝌蚪图通过“蝌蚪图”,滴滴大数据…

    2022年10月7日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号