IP池设计思考（面试点）[通俗易懂]

全栈程序员-站长 • 2022年4月15日上午6:20 • 未分类 • 阅读 39

IP池设计思考（面试点）面试中IP代理池的几个问题:IP怎么剔除的通过设置失败次数,超过失败次数就会删除,可以自定义失败次数.免费代理多久抓取一次10min抓取一次,代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新，当然如果是自己买的IP代理不用考虑代理不会更新的情况，因为买的IP数量应该是足够的。怎…

大家好，又见面了，我是你们的朋友全栈君。

IP池设计思考（面试点）

面试中IP代理池的几个问题:

IP怎么剔除的
通过设置失败次数, 超过失败次数就会删除, 可以自定义失败次数.
免费代理多久抓取一次
10min抓取一次, 代码实现可在ProxyRefreshSchedule.py中查看。每过10min就去目标网站抓取一次。有些网站不更新，当然如果是自己买的IP代理不用考虑代理不会更新的情况，因为买的IP数量应该是足够的。
怎么接入自己的代理设置
在GetFreeProxy类中(该文件在ProxyGetter文件夹中), 添加自己的静态方法, 扩展自己的代理.扩展的IP可以是免费代理，也可以是购买的IP代理。
代理多久验证一次
每五分钟，ProxyValidSchedule.py文件中可以查看。每过5min就会检测现有的可用的代理的情况。将不符合的代理剔除掉。剔除的原理是一次检测不成功就会剔除，当然也可以设置10次，100次等。
新代理检测频率
每一分钟检测一次, 先将获取的代理保存在数据库里面名为raw_proxy, 然后将该代理每1min检测一次,
检测成功的放入userful_proxy, userfull_proxy是每5min检测一次.
API接口怎么实现的
通过flask, 在本地实现的接口.将数据库里面的代理提取出来。
1. get是随机获取一个IP
2. delete是删除指定的IP

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/129461.html原文链接：https://javaforall.net

赞 (0)

全栈程序员-站长

0 0

docker

jenkinsfile docker_docker从0创建镜像

jenkinsfile docker_docker从0创建镜像前言之前我们用docker手动安装了jenkins环境，在jenkins中又安装了python3环境和各种安装包，如果我们想要在其他3台机器上安装，又是重复操作，重复劳动，那会显得很low，这里可以

全栈程序员-站长
2022年7月31日
6
SSRF漏洞总结

SSRF漏洞总结0x00什么是SSRF？服务端请求伪造(SSRF)是指攻击者能够从易受攻击的web应用程序发送精心设计的请求，对其他网站进行攻击(利用一个可发起网络请求的服务当做跳板来攻击其他服务)例如：我在http://localhost:8888/pentest/ssrf/index.php有这样一个存在SSRF漏洞的index.php。即我得到了一个使用curl发起网络请求然后返回客户端并且我可以…

全栈程序员-站长
2022年6月25日
29
mongodb和mysql应用场景区别_mongodb和mysql有哪些区别「建议收藏」

mongodb和mysql应用场景区别_mongodb和mysql有哪些区别「建议收藏」mongodb和mysql有哪些区别发布时间：2020-09-0109:15:48来源：亿速云阅读：64作者：小新小编给大家分享一下mongodb和mysql有哪些区别，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！区别分析：)MySQL是关系型数据库。优势：在不同的引擎上有不同的存储方式。查询语句是使用传统的sql语…

全栈程序员-站长
2025年7月10日
2
高斯分布例题_高斯定理求半球面球心电场

高斯分布例题_高斯定理求半球面球心电场给定心形曲线(x2+y2−1)3=x2y3(x^2+y^2-1)^3=x^2y^3，给定任意一点的坐标(X,Y)(X,Y)其中X～N(X,σx)X～N(X,\sigma_x)，Y～N(Y,σy)Y～N(Y,\sigma_y)求点(X,Y)(X,Y)落入心形曲线内的概率。思路：以(X,Y)(X,Y)为中心，画出3∗σ3*\sigma半径的椭圆，求和心形曲线相交的体积。注意：心形曲线方程可化为x

全栈程序员-站长
2022年10月16日
2
SpringBoot集成Activiti6教程

SpringBoot集成Activiti6教程第一步在项目pom.xml文件中添加所需依赖<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt

全栈程序员-站长
2022年7月21日
10
一些非常有价值的资料网站有哪些_比较有价值的网站

一些非常有价值的资料网站有哪些_比较有价值的网站最近在搜集资料的时候，发现了很多好的资料网站，不忍独享，陆续整理出来，贴这里。我先有一个贴一个，等到攒到足够多的时候，我再重新进行整理：电影类：IMDb：http://www.imdb.com/（美国著名互联网电影资料库(InternetMovieDatabase，简称IMDb）是一个关于电影演员、电影、电视节目、电视明星、电子游戏和电影制作的在线数据库。亚马逊公司旗下网站）烂番茄…

全栈程序员-站长
2025年9月1日
9

发表回复

关注全栈程序员社区公众号